Experimenteren, statistiek en validatie: verbeteren op basis van bewijs

Waarom experimenteren?

Binnen Lean en Agile worden dagelijks beslissingen genomen over processen, producten en werkwijzen. Vaak zijn deze gebaseerd op ervaring, intuïtie of aannames. Hoewel ervaring waardevol is, is het niet altijd een betrouwbare voorspeller van wat daadwerkelijk werkt.

Daarom spelen experimenten een centrale rol binnen continu verbeteren.

Een experiment is een gecontroleerde manier om een hypothese te toetsen. Je voert bewust een verandering door, meet het effect en bepaalt op basis van gegevens of de verandering daadwerkelijk een verbetering oplevert.

Het doel van experimenteren is niet om gelijk te krijgen, maar om te leren.

Van mening naar bewijs

Binnen verbeterteams ontstaan regelmatig uitspraken zoals:

• "Deze nieuwe werkwijze is sneller."
• "Klanten vinden dit prettiger."
• "Met deze software werken we efficiënter."
• "Meer controles zorgen voor minder fouten."

Zonder metingen blijven dit aannames.

Door een experiment uit te voeren, worden deze aannames omgezet in meetbare resultaten. Dat maakt beslissingen objectiever en voorkomt dat organisaties investeren in oplossingen die weinig of geen effect hebben.

Begin met een hypothese

Een goed experiment begint altijd met een duidelijke hypothese.

Bijvoorbeeld:

"Als we de werkvoorraad beperken tot maximaal vijf taken tegelijk, neemt de gemiddelde doorlooptijd met minimaal 20% af."

Of:

"Wanneer medewerkers gebruikmaken van een standaard checklist, neemt het aantal fouten af."

Een goede hypothese beschrijft:

• welke verandering wordt getest;
• welk effect wordt verwacht;
• hoe dit effect wordt gemeten;
• wanneer het experiment succesvol is.

Meet voordat je verbetert

Een veelgemaakte fout is dat organisaties direct beginnen met verbeteren zonder eerst een nulmeting uit te voeren.

Daardoor weet niemand achteraf of de verandering werkelijk heeft geholpen.

Een goede nulmeting legt vast:

• huidige doorlooptijd;
• aantal fouten;
• klanttevredenheid;
• wachttijd;
• productiviteit;
• werkvoorraad.

Pas daarna wordt de verandering ingevoerd.

Na afloop worden dezelfde indicatoren opnieuw gemeten.

Kleine experimenten leveren sneller inzicht

Binnen Lean en Agile hoeven experimenten niet groot of ingewikkeld te zijn.

Sterker nog: kleine experimenten leveren vaak sneller bruikbare inzichten op.

Denk bijvoorbeeld aan:

• één team dat een nieuwe werkwijze test;
• een pilot op één afdeling;
• een tijdelijke wijziging in de planning;
• een aangepaste werkverdeling gedurende één week;
• een nieuw formulier voor een beperkte groep klanten.

Door klein te beginnen blijft het risico beperkt en ontstaat snel inzicht.

Dit sluit goed aan bij de PDCA-cyclus:

• Plan: formuleer de hypothese.
• Do: voer het experiment uit.
• Check: analyseer de resultaten.
• Act: standaardiseer of stel bij.

Waarom statistiek belangrijk is

Meten alleen is niet voldoende.

Processen kennen namelijk altijd natuurlijke variatie.

Wanneer de doorlooptijd gisteren 18 minuten was en vandaag 16 minuten, betekent dat niet automatisch dat een verbetering succesvol is.

Misschien was het vandaag simpelweg rustiger.

Statistiek helpt om onderscheid te maken tussen:

• normale variatie;
• echte verbeteringen;
• toevallige uitschieters.

Daardoor voorkom je dat organisaties conclusies trekken op basis van toeval.

Data vertelt een verhaal

Bij experimenteren is het belangrijk om niet alleen gemiddelden te bekijken.

Ook andere gegevens geven waardevolle informatie.

Denk aan:

• spreiding;
• minimale en maximale waarden;
• uitschieters;
• aantallen;
• trends over tijd.

Naast gemiddeldes, denk ook aan mediaan en modussen.

Soms blijft het gemiddelde gelijk, terwijl de spreiding sterk afneemt. Ook dat is een verbetering, omdat het proces voorspelbaarder wordt.

Validatie: werkt de verbetering echt?

Een experiment is pas waardevol wanneer de resultaten worden gevalideerd.

Validatie betekent dat je controleert of de gevonden verbetering daadwerkelijk wordt veroorzaakt door de verandering die je hebt doorgevoerd.

Stel dat een team een nieuwe planning introduceert.

Na twee weken blijkt de doorlooptijd 15% korter.

Is de nieuwe planning de oorzaak?

Of:

• was het toevallig rustiger;
• waren er minder spoedopdrachten;
• werkte een ervaren medewerker extra uren;
• viel een storingsgevoelige machine niet uit?

Validatie helpt om dit onderscheid te maken.

Veelgemaakte fouten

Experimenteren levert alleen waarde op wanneer het zorgvuldig gebeurt.

Veel voorkomende fouten zijn:

• geen duidelijke hypothese formuleren;
• geen nulmeting uitvoeren;
• meerdere veranderingen tegelijk doorvoeren;
• conclusies trekken op basis van één meting;
• te weinig gegevens verzamelen;
• stoppen zodra de eerste positieve resultaten zichtbaar zijn.

Een goed experiment is eenvoudig, meetbaar en herhaalbaar.

Van data naar continu meer leren

Experimenteren draait niet om perfecte oplossingen, maar om steeds betere oplossingen.

Iedere meting levert nieuwe kennis op;

• Soms bevestigt een experiment de hypothese.
• Soms blijkt een idee helemaal niet te werken.

Beide uitkomsten zijn waardevol, omdat ze helpen betere beslissingen te nemen.

Dat is de kern van Lean en Agile: niet verbeteren op basis van aannames, maar op basis van feiten, experimenten en continue validatie.

Door experimenteren onderdeel te maken van de dagelijkse manier van werken, ontstaat een lerende organisatie die continu beter wordt. Iedere verbetering is een kans om nieuwe kennis op te doen en iedere meting brengt het proces een stap dichter bij maximale klantwaarde.