Experimenteren, statistiek en validatie: verbeteren op basis van bewijs

Waarom experimenteren?

Binnen Lean en Agile worden dagelijks beslissingen genomen over processen, producten en werkwijzen. Vaak zijn deze gebaseerd op ervaring, intuïtie of aannames. Hoewel ervaring waardevol is, is het niet altijd een betrouwbare voorspeller van wat daadwerkelijk werkt.

Daarom spelen experimenten een centrale rol binnen continu verbeteren.

Een experiment is een gecontroleerde manier om een hypothese te toetsen. Je voert bewust een verandering door, meet het effect en bepaalt op basis van gegevens of de verandering daadwerkelijk een verbetering oplevert.

Het doel van experimenteren is niet om gelijk te krijgen, maar om te leren.

Van mening naar bewijs

Binnen verbeterteams ontstaan regelmatig uitspraken zoals:

• "Deze nieuwe werkwijze is sneller."
• "Klanten vinden dit prettiger."
• "Met deze software werken we efficiënter."
• "Meer controles zorgen voor minder fouten."

Zonder metingen blijven dit aannames.

Door een experiment uit te voeren, worden deze aannames omgezet in meetbare resultaten. Dat maakt beslissingen objectiever en voorkomt dat organisaties investeren in oplossingen die weinig of geen effect hebben.

Begin met een hypothese

Een goed experiment begint altijd met een duidelijke hypothese.

Bijvoorbeeld:

"Als we de werkvoorraad beperken tot maximaal vijf taken tegelijk, neemt de gemiddelde doorlooptijd met minimaal 20% af."

Of:

"Wanneer medewerkers gebruikmaken van een standaard checklist, neemt het aantal fouten af."

Een goede hypothese beschrijft:

• welke verandering wordt getest;
• welk effect wordt verwacht;
• hoe dit effect wordt gemeten;
• wanneer het experiment succesvol is.

Meet voordat je verbetert

Een veelgemaakte fout is dat organisaties direct beginnen met verbeteren zonder eerst een nulmeting uit te voeren.

Daardoor weet niemand achteraf of de verandering werkelijk heeft geholpen.

Een goede nulmeting legt vast:

• huidige doorlooptijd;
• aantal fouten;
• klanttevredenheid;
• wachttijd;
• productiviteit;
• werkvoorraad.

Pas daarna wordt de verandering ingevoerd.

Na afloop worden dezelfde indicatoren opnieuw gemeten.

Kleine experimenten leveren sneller inzicht

Binnen Lean en Agile hoeven experimenten niet groot of ingewikkeld te zijn.

Sterker nog: kleine experimenten leveren vaak sneller bruikbare inzichten op.

Denk bijvoorbeeld aan:

• één team dat een nieuwe werkwijze test;
• een pilot op één afdeling;
• een tijdelijke wijziging in de planning;
• een aangepaste werkverdeling gedurende één week;
• een nieuw formulier voor een beperkte groep klanten.

Door klein te beginnen blijft het risico beperkt en ontstaat snel inzicht.

Dit sluit goed aan bij de PDCA-cyclus:

• Plan: formuleer de hypothese.
• Do: voer het experiment uit.
• Check: analyseer de resultaten.
• Act: standaardiseer of stel bij.

Waarom statistiek belangrijk is

Meten alleen is niet voldoende.

Processen kennen namelijk altijd natuurlijke variatie.

Wanneer de doorlooptijd gisteren 18 minuten was en vandaag 16 minuten, betekent dat niet automatisch dat een verbetering succesvol is.

Misschien was het vandaag simpelweg rustiger.

Statistiek helpt om onderscheid te maken tussen:

• normale variatie;
• echte verbeteringen;
• toevallige uitschieters.

Daardoor voorkom je dat organisaties conclusies trekken op basis van toeval.

Variatie hoort bij ieder proces

Geen enkel proces levert iedere keer exact hetzelfde resultaat.

Doorlooptijden verschillen.

Klanten reageren verschillend.

Machines produceren kleine afwijkingen.

Zelfs medewerkers voeren dezelfde taak nooit volledig identiek uit.

Lean probeert deze variatie zo klein mogelijk te maken.

Wanneer een proces stabiel is, worden experimenten bovendien betrouwbaarder omdat veranderingen beter zichtbaar worden.

Data vertelt een verhaal

Bij experimenteren is het belangrijk om niet alleen gemiddelden te bekijken.

Ook andere gegevens geven waardevolle informatie.

Denk aan:

• spreiding;
• minimale en maximale waarden;
• uitschieters;
• aantallen;
• trends over tijd.

Soms blijft het gemiddelde gelijk, terwijl de spreiding sterk afneemt. Ook dat is een verbetering, omdat het proces voorspelbaarder wordt.

Validatie: werkt de verbetering echt?

Een experiment is pas waardevol wanneer de resultaten worden gevalideerd.

Validatie betekent dat je controleert of de gevonden verbetering daadwerkelijk wordt veroorzaakt door de verandering die je hebt doorgevoerd.

Stel dat een team een nieuwe planning introduceert.

Na twee weken blijkt de doorlooptijd 15% korter.

Is de nieuwe planning de oorzaak?

Of:

• was het toevallig rustiger;
• waren er minder spoedopdrachten;
• werkte een ervaren medewerker extra uren;
• viel een storingsgevoelige machine niet uit?

Validatie helpt om dit onderscheid te maken.

Herhaal experimenten

Een betrouwbaar experiment wordt bij voorkeur meerdere keren uitgevoerd.

Wanneer een verbetering steeds opnieuw hetzelfde resultaat oplevert, groeit het vertrouwen dat de verandering daadwerkelijk effect heeft.

Daarom worden succesvolle Lean-verbeteringen vaak eerst getest op kleine schaal voordat ze organisatiebreed worden ingevoerd.

Werk met controlegroepen

Soms is het nuttig om twee situaties met elkaar te vergelijken.

Bijvoorbeeld:

• Team A werkt volgens de huidige werkwijze.
• Team B test een nieuwe werkwijze.

Na enkele weken worden de resultaten vergeleken.

Wanneer Team B structureel beter presteert onder vergelijkbare omstandigheden, ontstaat sterker bewijs dat de verbetering werkt.

Experimenteren binnen Lean

Binnen Lean is experimenteren een manier om continu te leren.

Verbeteringen worden niet gebaseerd op aannames, maar op feiten.

Technieken zoals:

• Kaizen;
• PDCA;
• A3-probleemoplossing;
• Design of Experiments (DOE);
• Standard Work;

maken allemaal gebruik van hetzelfde principe:

eerst meten, dan verbeteren en vervolgens opnieuw meten.

Experimenteren binnen Agile

Ook Agile is sterk gebaseerd op experimenteren.

Iedere sprint is eigenlijk een experiment.

Teams formuleren verwachtingen, leveren een werkend resultaat op en verzamelen feedback.

Op basis daarvan worden nieuwe inzichten verwerkt in de volgende iteratie.

Ook technieken zoals:

• A/B-testen;
• feature flags;
• prototypes;
• Minimum Viable Products (MVP's);

zijn vormen van gecontroleerd experimenteren.

Het doel is steeds hetzelfde:

zo snel mogelijk leren wat waarde toevoegt voor de gebruiker.

Veelgemaakte fouten

Experimenteren levert alleen waarde op wanneer het zorgvuldig gebeurt.

Veel voorkomende fouten zijn:

• geen duidelijke hypothese formuleren;
• geen nulmeting uitvoeren;
• meerdere veranderingen tegelijk doorvoeren;
• conclusies trekken op basis van één meting;
• te weinig gegevens verzamelen;
• stoppen zodra de eerste positieve resultaten zichtbaar zijn.

Een goed experiment is eenvoudig, meetbaar en herhaalbaar.

Een praktisch voorbeeld

Een klantenservice wil de wachttijd verkorten.

De hypothese luidt:

"Wanneer klantvragen direct worden gecategoriseerd bij binnenkomst, neemt de gemiddelde afhandeltijd met 15% af."

Het team:

1. meet vier weken lang de huidige situatie;
2. voert de nieuwe werkwijze in bij één team;
3. verzamelt opnieuw gegevens;
4. vergelijkt de resultaten;
5. controleert of andere factoren invloed hebben gehad.

Blijkt de verbetering structureel aanwezig, dan wordt de nieuwe werkwijze organisatiebreed ingevoerd.

Van data naar continu verbeteren

Experimenteren draait niet om perfecte oplossingen, maar om steeds betere oplossingen.

Iedere meting levert nieuwe kennis op.

Soms bevestigt een experiment de hypothese.

Soms blijkt een idee helemaal niet te werken.

Beide uitkomsten zijn waardevol, omdat ze helpen betere beslissingen te nemen.

Dat is de kern van Lean en Agile: niet verbeteren op basis van aannames, maar op basis van feiten, experimenten en continue validatie.

Conclusie

Succesvolle organisaties verbeteren niet door te gokken, maar door te experimenteren. Door hypotheses te formuleren, gegevens te verzamelen en resultaten te valideren, ontstaat inzicht in wat werkelijk werkt. Statistiek helpt daarbij om toeval te onderscheiden van echte verbetering, terwijl validatie ervoor zorgt dat veranderingen duurzaam en betrouwbaar zijn.

Door experimenteren onderdeel te maken van de dagelijkse manier van werken, ontstaat een lerende organisatie die continu beter wordt. Iedere verbetering is een kans om nieuwe kennis op te doen en iedere meting brengt het proces een stap dichter bij maximale klantwaarde.