In 2017 is de gemeente Groningen samen met vijf andere gemeenten gestart met een experimenteel onderzoek onder inwoners met een bijstandsuitkering.  Het doel was om de uitvoering van de Participatiewet te verbeteren door minder controle en dwang,  en meer ruimte voor eigen regie, extra begeleiding en maatwerk. Het onderzoek eindigde eind 2019 en vond plaats onder het toeziend oog van het Ministerie van Sociale Zaken en Werkgelegenheid. Inmiddels zijn de resultaten verwoord in het rapport ‘Bijstand op Maat’

De zes deelnemende gemeenten (Deventer, Nijmegen, Tilburg, Wageningen, Utrecht en Groningen) hebben kennisinstellingen gevraagd de uitkomsten van de experimenten wetenschappelijk te onderzoeken. In Groningen ging het daarbij om de RUG ondersteunt door senior onderzoeker Klaas Kloosterman van de afdeling Onderzoek, Informatie en Statistiek van de gemeente Groningen.

“Het was de bedoeling de verschillende experimenten tussen gemeenten vergelijkbaar te maken zodat de combinatie van gegevens meer robuuste uitspraken met betrekking tot resultaten gedaan zouden kunnen worden. Daarnaast zouden ook regionale verschillen bestudeerd kunnen worden. Om te kunnen vergelijken is in de zes gemeenten door de onderzoekers grotendeels dezelfde vragenlijst afgenomen, zijn dezelfde uitkomstmaten gebruikt en is ook het analysemodel hetzelfde. Echter doordat de experimenten op gemeentelijk niveau zijn vormgeven, zijn de verschillen tussen de gemeentes en de daar geïmplementeerde experimenten te groot om de data echt bij elkaar te kunnen voegen”, stelt Klaas vast.

Overeenkomstig de afspraken met het Ministerie van SZW zijn er in de experimenten naast de reguliere dienstverlening (de controlegroep) drie interventies:

1. Een ontheffing van de arbeids- en re-integratieplicht; Zelf in Actie.
2. Een intensievere en meer op maat gesneden begeleiding en ondersteuning; Extra Hulp.
3. Een ruimere bijverdienregeling voor inkomsten uit werk naast de uitkering; Werken Loont.

Deelnemers werden door loting random aan een van de interventies toegewezen. Er zijn regionale varianten van deze interventies. In sommige gemeenten waren er combinaties van interventies. In Groningen is een vierde toegevoegd; Eigen Keuze. Wat betekende dat deelnemers die voor interventie waren ingeloot konden kiezen voor een van de drie oorspronkelijke interventies.

Op basis van het geheel aan resultaten in de Groningse experimenten stellen de onderzoekers vast dat de reguliere aanpak niet overal significant beter, en soms zelfs significant slechter werkt dan de interventies. Maar dat geldt dus evenzeer voor de geteste interventies. “We concluderen daarom dat noch de geteste interventies noch het reguliere regime voor willekeurig samengestelde groepen bijstandsgerechtigden over alle gemeenten significant beter uitpakt. Samenvattend zijn de belangrijkste resultaten van deze experimenten bescheiden en vooral te vinden in wat ze niet laten zien. De interventies heffen verplichtingen op en geven extra aandacht en hulp. Wij vinden vervolgens geen bewijs dat het in stand laten van dwang en verplichtingen in de vergelijkingsgroepen leidt tot een hogere uitstroom naar werk”, aldus Klaas.

Methodologische inzichten

Bij het bepalen wat werkt en wat niet liepen de onderzoekers tegen een aantal methodologische hobbels op. Zeker als ze daarbij de resultaten van de experimenten in de onderlinge gemeenten willen bundelen. Vanuit de opgedane ervaringen komen de onderzoekers met de volgende aanbevelingen met betrekking tot dit onderwerp.

1. De eerste en wellicht belangrijkste les uit het proces is dat, wanneer er behoefte bestaat aan onderling goed vergelijkbare data, het van groot belang is om dit bij aanvang van het onderzoek vast te stellen. Daarbij horen dan ook voldoende middelen en ruimte voor een goede afstemming. De coördinatie tussen vijf onderzoeksgroepen die rapporteren aan zes projectgroepen in zes gemeenten, vergt (te?) veel van de betrokkenen.
2. De onderzoekers benadrukken de noodzaak van een uniform design wat betreft randomisatie, basisinterventies en implementatie.
3. Bij het implementeren van dit veldexperiment hebben de onderzoekers te maken een complexe realiteit waarbinnen onze invloedssfeer beperkt is en ze toch dienen te navigeren om het onderzoek gedegen te kunnen doen. Zo kan het voorkomen dat de onderzoeksopzet ineens niet meer leidend is, maar andere factoren een rol spelen. Bijvoorbeeld als voor een willekeurige groep mensen een interventie waarvan de klantmanager overtuigd is dat deze goed of juist slecht zal werken, toch moet worden onthouden of juist geïmplementeerd. Of om niet tussentijds bij te sturen in een interventie, terwijl deze niet goed lijkt te werken.
4. Ten slotte lijkt het de onderzoekers raadzaam om in vervolgonderzoek de onderzoeksvraag te verleggen van “weten wat werkt” naar “weten wat werkt voor wie”. De hier gekozen RCT-opzet is zeer geschikt voor onderzoek naar de effecten van interventies op de gemiddelde uitkomsten voor een representatieve groep deelnemers. Daarbij is van groot belang dat er voldoende deelnemers in de verschillende interventiegroepen deelnemen, zodat binnen die groepen nog onderscheid kan worden gemaakt naar achtergrond- en andere kenmerken. Wat voor de een werkt, werkt voor de ander niet.