Menu

Kwalitatieve of kwantitatieve effectmetingen van werken aan kwaliteit

Acties uitvoeren zonder na te gaan wat de effectiviteit is, is een belangrijke valkuil in kwaliteitszorg. Effectmeting is een vorm van kwaliteitsvergelijking: wat is het verschil tussen de oorspronkelijke en de huidige toestand?

26-04-2023 -

Meten van effect is niet altijd een makkelijke klus. Een vaak voorkomend probleem is dat de vraag wat is het effect van deze actie? pas na het uitvoeren van de actie door de proceseigenaars gesteld wordt. In sommige gevallen is het dan al te laat om bepaalde effecten te meten omdat een nulmeting ontbreekt.

Meten van effect is vanuit het standpunt van kwaliteitszorg pas interessant als het over gewenst of beoogd effect gaat. Effecten zijn er uiteindelijk altijd, of je nu iets doet of niet doet. Bepaalde effecten detecteren als toevalstreffer kan leuk zijn, maar beter is om bewust met effecten om te gaan vanuit kwaliteitsdenken: wat willen we bereiken, waar gaan we voor, wanneer zijn we tevreden?

Ik neem een voorbeeld om effectmeting duidelijk te maken. Stel: er is een nascholing op school over interactieve werkvormen. Na de nascholing kun je de output evalueren: is de nascholing doorgegaan, hoeveel deelnemers waren er, vonden de deelnemers het een aangename spreker …? Dit is een outputmeting, geen effectmeting of outcomemeting: de school weet nog niet wat de nascholing effectief heeft opgebracht, bv. worden er nu meer interactieve werkvormen ingezet in de les of niet?

Begin met het einde voor ogen, zegt Steven Covey (2010). Als je een effectmeting wil doen, wordt in de Plan-fase nagedacht over het beoogde effect, het gewenste resultaat. Dat effect wordt zo SMART mogelijk geformuleerd. Voorbeelden van een gewenste effectomschrijving:

X Leerkrachten maken na één schooljaar meer gebruik van interactieve werkvormen in de les.

X Na één schooljaar maken 70% van de leraren gebruik van interactieve werkvormen in de les.

Deze omschrijving verwoordt wanneer de school tevreden is over het initiatief. Dat bepaalt de school zelf. Ze kan hierbij een eigen of externe norm hanteren: in het tweede voorbeeld is dat 70% van de leraren. Het eerste voorbeeld van beoogd effect is vager omschreven, maar daarom niet minder goed.

Er zijn nog tal van andere effectomschrijvingen mogelijk, de normering kan ook anders liggen. Uiteindelijk beslist de school zelf wat voor haar een bevredigend effect is. De school kan haar eigen accenten leggen, gelet op de eigenheid en de context.

Na het bepalen van het beoogde effect kan het best zijn dat de school een nulmeting moet doen om de huidige stand van zaken in kaart te brengen. Dit is het bepalen van de startwaarde.

Als het beoogde effect bepaald is en de nulmeting eventueel uitgevoerd is, kan de nascholing starten. Na de nascholing wordt het effect gemeten, rekening houdend met de formulering van het beoogde effect. Het meten van effect kan op verschillende manieren gebeuren. Ik vermeld hier twee vaak gebruikte methodes: een kwantitatieve effectmeting en een kwalitatieve effectmeting.

Bij een kwantitatieve effectmeting worden data vergeleken. Dit betekent dat een beginmeting (een nulmeting) nodig of raadzaam is. Dit is een mogelijke uitkomst als voorbeeld: bij de nulmeting kozen 53% van de leerkrachten voor interactieve werkvormen, bij de effectmeting 72%. We stellen dus een evolutie vast.

Een kwalitatieve effectmeting is een alternatief. Die wordt ook een impactmeting of de ervaren baat-benadering genoemd. Bij een kwalitatieve effectmeting verwoordt de betrokkene zelf hoe hij of zij het effect ervaren heeft. Wat de nascholing betreft, zou het over deze uitspraak kunnen gaan die gemeten wordt: ‘Ik maak nu meer gebruik van interactieve werkvormen dan voorheen’, met als mogelijke antwoorden ‘ja’ of ‘nee’, waarbij via open vragen nog kan worden doorgevraagd.

Elke methode heeft voor- en nadelen. Er moet ook gekeken worden naar de context: is er een open sfeer van vertrouwen? Als er weinig openheid en vertrouwen is, is een kwantitatieve effectmeting aan te raden.

Zo goed als bij elke activiteit zou een gewenst effect kunnen worden geformuleerd. Haalbaarheid is ook hier van belang: niet overladen. Meten van effect gebeurt idealiter bij acties die er echt toe doen. De planning van effectmetingen kan worden opgenomen in het systematisch kwaliteitsplan.

Eén actie kan meerdere gewenste effecten hebben. Het geformuleerde gewenste effect kan ook zeer divers zijn. Ook dit zou bijvoorbeeld een bijkomend gewenst effect kunnen zijn van onze nascholing over interactieve werkvormen: 50% van de leerkrachten gaat binnen het schooljaar minstens 1 keer op lesbezoek bij een andere leerkracht om inspiratie op te doen over interactieve werkvormen. Het komt er uiteindelijk op neer dat je omschrijft wat je echt wil bereiken en wanneer je tevreden bent over een bepaalde actie.

Meer lezen?
Werken aan kwaliteit op school is een leidraad, een richtingaanwijzer. Kwaliteitszorg krijgt een gezicht, zodat leidinggevenden en medewerkers er meteen mee aan de slag kunnen. Het vormt een beeld van kwaliteitszorg op school: wat zijn de belangrijkste kenmerken, wat zijn randvoorwaarden om het werken aan kwaliteit voldoende slaagkansen te geven, wie betrek je bij kwaliteitszorg, op welke manier geef je concreet gestalte aan kwaliteitszorg …

Ook interessant

Onderwijs

Muzische vorming breed evalueren

Bestel

Onderwijs

Leer Lokaal Verzamelmap

OVSG

Bestel

Onderwijs

Iedereen telt

Luc De Man
Marc Van den Brande

Bestel

Onderwijs, Personeel, Politie & veiligheid

Een job bij de politie | 7de editie (het oude: ik word politie-inspecteur)

Bart De Cocker
Fanny De Maeght
Kevin De Vlieger
Nathalie Adam

Bestel

Onderwijs

De toekomst van het onderwijs aan jonge kinderen

Bestel

Onderwijs

Gemeentelijk onderwijs: verzelfstandigen en samenwerken

Jurgen Bal

Bestel