Derde onderzoeksrapportage Vertrouwen Werkt: Wageningen

Tilburg University Derde onderzoeksrapportage Vertrouwen Werkt Muffels, Ruud; Blom-Stam, Kirsten; van Wanrooij, Stefan Publication date: 2019 Document Version Publisher's PDF, also known as Version of record Link to publication in Tilburg University Research Portal Citation for published version (APA): Muffels, R., Blom-Stam, K., & van Wanrooij, S. (2019). Derde onderzoeksrapportage Vertrouwen Werkt: Wageningen. Tilburg University/ReflecT/Tranzo. General rights Copyright and moral rights for the publications made accessible in the public portal are retained by the authors and/or other copyright owners and it is a condition of accessing publications that users recognise and abide by the legal requirements associated with these rights. • Users may download and print one copy of any publication from the public portal for the purpose of private study or research. • You may not further distribute the material or use it for any profit-making activity or commercial gain • You may freely distribute the URL identifying the publication in the public portal Take down policy If you believe that this document breaches copyright please contact us providing details, and we will remove access to the work immediately and investigate your claim. Download date: 13. Jan. 2022 Derde voortgangsverslag Vertrouwensexperiment Wageningen Ruud Muffels (projectleider), Kirsten Blom-Stam (onderzoeker) & Stefan van Wanrooij (student assistent) Tilburg, 8 April 2019 © Tilburg University/Reflect ReflecT - Research Institute for Flexicurity, Labour Market Dynamics and Social Cohesion, Tilburg University, PO Box 90153, 5000LE Tilburg, Tel.: +31 13 466 2181, reflect@tilburguniversity.edu 1 Inhoudsopgave Paragraaf 1. Inleiding: 1,5 jaar na de start van het Vertrouwensexperiment in Wageningen.................................................................................................................... 1 Paragraaf 2. Stand van zaken aantal deelnemers in begeleiding, instroom, uitstroom en uitval uit het experiment................................................................................ 7 Paragraaf 3. Analyse van de deelnemersvragenlijsten in verband met gezondheid, welbevinden motivatie enzelfredzaamheid...................................................................... . 10 Paragraaf 4. Verslag van de twee focusgroep gesprekken en de analyse van de eerste en tweede procesevaluatie vragenlijsten door de klantmanagers.......................... 14 Paragraaf 5. Bevindingen en conclusie. ........................................................................... 21 Referenties. ........................................................................................................................ 35 2 1. Inleiding: 1,5 jaar na de start van het Vertrouwensexperiment Wageningen Dit derde voortgangsverslag van het Vertrouwensexperiment Wageningen bespreekt de stand van zaken 1,5 jaar na dato van de start van het experiment per 1 oktober 2017. Zoals eerder met alle betrokkenen is besproken worden in deze rapportage geen effecten van het experiment gerapporteerd maar wordt vooral de ontwikkeling geschetst van het verloop van het experiment en wat het doet met de klantmanagers en deels de deelnemers. Uitstroomcijfers, bijvoorbeeld naar deeltijd of voltijd werk, zeggen nog niet veel over het werkelijke effect aangezien gecorrigeerd moet worden voor de mogelijke invloed van zelfselectie van deelnemers aan het experiment (het compositie effect) en de gunstige arbeidsmarktsituatie gedurende de tijd dat het experiment loopt (economische context). Daarnaast heeft de wijze van uitvoering van de participatiewet en de beleidsveranderingen die tussentijds in gang worden gezet in het sociale domein zowel in de periode voor als tijdens het experiment invloed op de uitkomsten (uitvoeringscontext). Dat geen tussentijdse effecten worden gerapporteerd heeft vooral onderzoekstechnische oorzaken. Het is conform de afspraak die de onderzoekers van alle 11 experimenteergemeenten verenigd in het Landelijk Overleg Experimenten Participatiewet (waaronder 6 AMvB gemeenten) daarover met elkaar hebben gemaakt. Verslaglegging van tussentijdse bevindingen waarin de effecten worden gerapporteerd zou het experiment kunnen beïnvloeden waardoor een zuivere meting van de effecten niet meer mogelijk is. Wel worden in tussentijdse verslagen de stand van zaken, de voortgang en de wijze waarop het uitvoeringsproces van het experiment verloopt weergegeven. Dit geeft inzicht in de ontwikkeling van het proces van begeleiden en verandering in de organisatie. Deze rapportage geeft een update van de inhoud van de beide vorige voortgangsrapportages van april 2018 en oktober 2018. In verband met de zelfstandige leesbaarheid van dit verslag is informatie over de opzet en werving in beknopte zin ook weer in dit verslag opgenomen. De update betreft vooral de uitstroom van de groep van deelnemers. Hoewel de totale groep van 395 deelnemers (zie Muffels e.a., 2019) in begeleiding blijft, stromen gedurende het project deelnemers uit naar werk, studie, huishouden, arbeidsongeschiktheid of vanwege verhuizing. Sommigen melden zich af om uiteenlopende redenen. Deze uitstroom wordt nauwkeurig geregistreerd zowel door de gemeente als de onderzoekers. Regelmatig vindt er afstemming plaats over de registraties in hoeverre deze nog overeenstemmen. De wijze van registratie van de uitstroom wijkt echter af doordat de onderzoekers de reden van uitstroom registreren direct bij de eerste uitstroom terwijl de gemeente de uitstroom alleen registreert wanneer gedurende de periode van observatie geen terugkeer in de bijstand heeft plaats gevonden. De aantallen uitstroom zijn daardoor in Tabel 1 hoger dan in de cijfers van de gemeente (zie Zuidema 2019). In totaal zijn er 8 deelnemers die een of meer keren terug zijn ingestroomd in de bijstand. Deels betreft het hier echter administratieve correcties in de registratie en geen ‘echte’ her-instroom. In de laatste rapportage zullen de cijfers van de gemeente en de onderzoekers niet meer verschillen doordat eenzelfde systematiek zal worden gebruikt. 3 Opzet van het experiment in Wageningen De gemeente Wageningen is destijds van start gegaan met het Wageningse vertrouwensexperiment met als titel en adagium “Vertrouwen werkt!”. In het onderzoeksvoorstel (Muffels & van der Klink, 2017) maar ook in de aanvrage van 25 april 2017 om Wageningen aan te wijzen als een van de experimenteer gemeenten in het kader van het Tijdelijk Besluit Experimenten Participatiewet werd gesproken van het Vertrouwensexperiment Wageningen. Wageningen behoorde tot de vier initiatiefgemeenten die samen met Utrecht, Tilburg en Groningen in 2015 een andere aanpak voorstelden vanwege twijfels over de effectiviteit van de Participatiewet die per 1 januari 2015 van kracht was geworden. Er bestonden vooral twijfels over de vraag of de strenge regels en verplichtingen (re-integratie –en sollicitatieplicht plus tegenprestatie in combinatie met kortingen en sancties) wel het beoogde effect hebben. De maatschappelijke participatie van de kwetsbaarste groepen in de Participatiewet leek eerder te worden belemmerd door de strenge regels en verplichtingen dan bevorderd. De gemeenten wilde ruimte voor een andere aanpak waarin het mogelijk zou zijn om de vrijlating van verdiensten te verruimen, er minder (repressief) toezicht en controle zou zijn en meer maatwerk en vertrouwen in de begeleiding. De gemeente wilde daarom onderzoeken of: a. een andere benadering van klanten (met een grotere vrijheid zelf keuzen te maken, met intensieve begeleiding meer maatwerk) leidt tot hogere uitstroom naar werk, hogere maatschappelijke participatie en verhoging van welbevinden; b. een verruiming van de mogelijkheden tot bijverdienen voor mensen in de bijstand leidt tot hogere uitstroom naar deeltijd of voltijd werk, vermindering van bijstandsafhankelijkheid, hogere maatschappelijke participatie en verhogen van welbevinden. In het onderzoeksvoorstel en in de aanvrage is in sterke mate aangesloten bij de opzet van de experimenten in de andere AMvB gemeenten, met name die van de gemeente Tilburg. Het evaluatieonderzoek van het experiment wordt ook door dezelfde groep van onderzoekers aan de Universiteit van Tilburg uitgevoerd (zie Muffels & van der Klink, 2017). In de gekozen opzet wordt conform de opzet in de andere experimenteergemeenten, Tilburg, Groningen, Deventer, Nijmegen en Utrecht) een ‘random control trial’ (RCT) experiment uitgevoerd waarbij deelnemers aselect worden toegewezen aan de ‘treatments’ of interventies. In tegenstelling tot het vertrouwensexperiment in Tilburg zijn geen combinatie interventies maar enkelvoudige interventies ingericht in Wageningen. De aanvrage spreekt over de drie volgende interventies: Interventie 1. Zelf in actie (in de AMvB: de ontheffingsgroep) De treatment ‘zelf in actie’ (met ontheffing van de formele arbeids-en reïntegratieverplichtingen) duidt op de treatment waarbij de ‘eigen regie’ van de cliënt richtinggevend is en eigen initiatief van de cliënt voorop wordt gesteld. Dit treatment is erop gericht de cliënt op een andere manier te bejegenen en minder controle uit te voeren, de 4 regeldruk te verminderen, mensen te waarderen in hun proactief gedrag en in beginsel geen maatregel op te leggen. Deelnemers aan dit treatment kunnen – net als anderen in de bijstand – een beroep blijven doen op ondersteuning van de gemeente en het inzetten van voorzieningen. Deze ondersteuning en het inzetten van voorzieningen is volledig op basis van het gekozen uitgangspunt van regie vanuit betrokkene zelf. Interventie 2. Extra begeleiding (in de AMvB: de intensiveringsgroep) De tweede interventie van intensivering van de begeleiding (in de AMvB: de intensiveringsgroep) bestaande uit vraaggerichte begeleiding op maat is erop gericht mensen te ondersteunen en kansen te bieden waarbij de persoonlijke situatie en wensen van de cliënt centraal staan. Het totale pakket aan dienstverlening in het sociale domein staat hiervoor ter beschikking. Hierbij wordt een integrale aanpak beoogd. Het uitgangspunt van vraaggerichte maatwerkbegeleiding is richtinggevend voor deze treatment. De deelnemers hebben vaker contact en krijgen speciale aandacht. Hiervoor zijn in beginsel tot 6 contact momenten per jaar mogelijk Interventie 3. Zelf verdienen loont (in de AMvB: de vrijlatingsgroep) De derde interventie duiden we aan als ‘zelf verdienen loont’. Het betreft het verruimen van het behoud van inkomsten uit deeltijd of voltijd werk (in de AMvB: de vrijlatingsgroep). Ook gelden hier de algemene arbeids- en re-integratie verplichtingen. Voor deze interventie wordt voorzien in een goede ondersteuning van mensen bij het verrekenen van inkomsten uit werk. Naast deze drie treatments worden nog twee groepen onderscheiden. De eerste is de onderzoek –of standaardgroep die de standaard treatment krijgen die andere nietdeelnemers aan het experiment ook krijgen. Zij zijn deelnemers aan het experiment en het onderzoek. De laatste groep betreft de referentiegroep. Deze bestaat uit bijstandsgerechtigden die niet deelnemen aan het experiment en het onderzoek. In de aanvrage is geopteerd om alle niet-deelnemers tot de referentiegroep te rekenen. Bij een aantal van 400 deelnemers zijn dat ongeveer 350 tot 400 bijstandsgerechtigden. Doel experiment in Wageningen In de eerste voortgangsrapportage van de gemeente van april 2018 wordt het doel van het experiment “Vertrouwen Werkt” als volgt verwoord: “Het doel is om te onderzoeken wat het effect is van een andere benadering van mensen in de bijstand, gebaseerd op vertrouwen en een positieve bejegening. Met het vertrouwensexperiment wil de gemeente onderzoeken of naast het reguliere bijstandsbeleid een aanpak die is geënt op intrinsieke motivatie en een aanpak die is geënt op een ruimere mogelijkheid tot bijverdienen leiden tot een toename van uitstroom en bijverdiensten en/of een vorm van participatie, en/of een toename van welbevinden en/of een toename van de financiële zelfredzaamheid van mensen”(einde citaat). 5 Wat houdt het onderzoek in? Het onderzoek bestaat uit twee onderdelen: de product –en procesevaluatie (zie Muffels & van der Klink 2017). De productevaluatie is erop gericht na te gaan wat beter werkt voor de cliënt; de nieuwe aanpak of de standaardaanpak met een strenge toetsing van verplichtingen en de toepassing van maatregelen en kortingen. Over een periode van 2 jaar worden deelnemers aan het experiment gevolgd. In het onderzoek wordt niet alleen gekeken naar de vraag of deelnemers in de vier interventiegroepen eerder voltijds of deeltijds betaald werk vinden dan de standaardgroep maar ook wat het met hen doet, met hun gezondheid, hun welbevinden, hun zelfvertrouwen en hun zelfredzaamheid. Daartoe vullen cliënten aan het begin van het experiment, na 1 jaar en na 2 jaar een online vragenlijst in. De eerste noemen we de nulmeting, de tweede de vervolgmeting en de laatste de eindmeting. Deze vragenlijsten worden online afgenomen met behulp van het Qualtrix programma. Dit programma houdt op internet ook de actuele stand van zaken bij wat betreft het aantal volledig of gedeeltelijk ingevulde vragenlijsten. De onderzoekers geven de projectleider regelmatig een update van het aantal ingevulde vragenlijsten. De procesevaluatie is erop gericht na te gaan hoe de projectleider(s) en klantmanagers als professional het proces van implementatie van het experiment in de gemeente percipiëren en waarderen, en welke meerwaarde de klantmanagers ervaren van de andere bejegening van de deelnemer voor de uitoefening van hun taken in de nieuwe aanpak. Daartoe worden regelmatig focusgroep gesprekken gehouden met de projectleider en de klantmanagers. Het eerste gesprek vindt plaats na 2/3 maanden nadat het experiment is gestart en het eerste gesprek met de cliënt is gehouden. Het eerste focusgroep gesprek met de klantmanagers en de projectleider van Wageningen heeft op 23 Januari 2018 plaatsgevonden; het tweede bijna een jaar na de start op 17 september 2018. Het derde focusgroep gesprek heeft onlangs plaatsgevonden op 21 maart 2019. Ten tweede vult de coach na het gesprek met de deelnemer een korte vragenlijst in over de afspraken en bevindingen van het coaching gesprek. Tezamen met het eerste focusgroep gesprek vormt de eerste vragenlijst van de klantmanagers over de begeleiding van elke deelnemer de nulmeting van het procesevaluatiedeel. Vervolgens vullen de klantmanagers om de 12 maanden, nadat weer een of meer gesprekken met de deelnemers zijn gevoerd, een vragenlijst in waarin voor elke deelnemer over de voortgang in het proces van begeleiding wordt gerapporteerd. Ook deze klantmanagers vragenlijsten wordt online afgenomen met behulp van het Qualtrix programma. Daarnaast wordt door de klantmanagers een door de projectleider gecoördineerde procesmonitor ingevuld waarin nauwkeurig wordt geregistreerd welke interventies voor welk doel worden ingezet. Hierover wordt gerapporteerd in de rapportage door de projectleider die tegelijkertijd met dit onderzoeksverslag is verschenen (zie Zuidema, 2019). De onderzoekers geven de projectleider regelmatig een update van de stand van zaken van het aantal door de klantmanagers ingevulde procesevaluatie vragenlijsten. Dit verslag 6 bevat de resultaten van de eerste twee procesevaluatie metingen, de nulmeting en de vervolgmeting. Hierna volgt er nog 1 procesevaluatie meting aan het einde van het experiment. Daarnaast wordt in dit derde verslag gerapporteerd over de bevindingen van de ingevulde vragenlijsten door de deelnemers zelf. In deze vragenlijsten ligt het accent op het zoekgedrag naar werk en de gezondheid -en welbevinden situatie van de deelnemer. In dit verslag zullen we daarom kort ingaan op de ontwikkelingen in de werk en niet-werk gerelateerde uitkomstmaten in het afgelopen 1,5 jaar voor de groep als geheel. Rapportage In dit derde voortgangsverslag worden de bevindingen van het onderzoek na 1,5 jaar beschreven. In pararaaf 2 bespreken we de stand van zaken wat betreft het aantal deelnemers dat in begeleiding is, zich alsnog heeft afgemeld of dat in het afgelopen 1,5 jaar is uitgestroomd naar werk of anderszins. In paragraaf 3 gaan we kort in op de uitkomsten van de deelnemersvragenlijsten en de ontwikkeling in de gezondheid, welbevinden, motivatie en zelfredzaamheid van de deelnemer. In paragraaf 4 worden vervolgens de resultaten van de analyses op de beide procesevaluatievragenlijsten beschreven. Tot slot formuleren we in paragraaf 5 enkele conclusies en bevindingen op basis van de uitkomsten van de analyses van de klantmanagers -en deelnemersvragenlijsten. Paragraaf 2 Stand van zaken vertrouwensexperiment: ontwikkeling deelnemers in begeleiding, instroom, uitstroom en uitval 2.1 Aanmeldingen, afmeldingen en uitstroom na 1,5 jaar In Wageningen is besloten om alle 724 bijstandsgerechtigden die per 31 september 2017 tot de doelpopulatie behoorden in beginsel uit te nodigen voor deelname aan het experiment. Nadat de deelnemer zich heeft aangemeld voor deelname aan het Vertrouwensexperiment Wageningen wordt deze door de onderzoekers aselect toegewezen aan een van de vier treatments. Zoals in de vorige rapportage is vermeld geschiedde aanmelding op vrijwillige basis. Na indeling in een groep mochten deelnemers alsnog weigeren deel te nemen aan het experiment. Ze kunnen dan niet worden geplaatst in een andere groep. Het aantal deelnemers dat op eigen verzoek is gestopt is opvallend klein (16 deelnemers of 4%). We hadden verwacht dat na toewijzing in de standaard of onderzoeksgroep het aantal afmeldingen daar het grootste en aanzienlijk zou kunnen zijn. Dat is niet gebeurd. De persoonlijke benadering van de Wageningse aanpak en van de cliënten door de klantmanagers heeft waarschijnlijk tot dit gunstige resultaat geleid. Tabel 1 geeft de aantallen aanmeldingen, uitstroom en afmeldingen weer per 15 maart 2019. Per 15 maart 2019 zijn er 410 aanmeldingen geregistreerd waarvan 16 afmeldingen. Het netto aantal deelnemers komt 7 daarmee op 394. Sinds de vorige rapportage in oktober 2018 zijn er 5 afmeldingen bijgekomen. Dit betreft vooral mensen die vanwege persoonlijke, fysieke -en mentale gezondheid redenen alsnog afhaken mede vanwege de belasting van het onderzoek (invullen vragenlijsten). Het aantal afmeldingen in Wageningen vanwege non-compliance met het experiment/onderzoek is klein, zo’n 4%. Tabel 1: Aantallen bereikte deelnemers in Wageningen incl. afmeldingen en uitstroom, cijfers per 15-3-2019 VEX-groep (deelnemers en afmeldingen) Wageningen % Deelnemer in begeleiding (exclusief 8 herinstroom) 266 65% Afgemeld vanwege non-compliance 16 4% Uitstroom naar werk 53 13% Uitstroom vanwege verhuizing 29 7% Uitstroom vanwege studie 9 2% Herziening uitkering en overig uitstroom 38 9% Bruto aantal deelnemers 410 100% Afgemeld om uiteenlopende redenen 16 4% Netto aantal deelnemers 394 96% Bron: Gegevens Vertrouwensexperiment Wageningen en eigen berekeningen onderzoekers, Tilburg University, 2019 Welke treatmentgroepen (interventies) zijn onderscheiden? Wageningen kent evenals de andere AMvB gemeenten dus vier treatment of interventiegroepen. Naast de drie treatments van zelf in actie (eigen regie), verdienen loont (vrijlating) en extra begeleiding (intensivering) is er de standaardaanpak welke in de loop van de tijd kan veranderen vanwege beleidsveranderingen of uitstralingseffecten van het experiment zelf. Dit kan uiteraard in dat geval van invloed zijn op het onderzoek naar de effecten van het experiment. Om die reden is ook nog een referentiegroep onderscheiden waarin alle tot de populatie behorende bijstandsgerechtigden die niet aan het experiment deelnemen zijn vertegenwoordigd. Deze worden administratief gevolgd. De onderzoekers zullen uiteraard in het onderzoek met deze verandering in de standaardtreatment sinds de start van het experiment per 1 oktober 2017 trachten rekening te houden. Van belang is nochtans dat de klantmanagers zich bewust zijn van de noodzaak in het experiment om de ‘treatments’ zoveel als mogelijk in stand te houden en niet te veranderen. In de focusgroep gesprekken wordt besproken in hoeverre dit in de praktijk van alledag ook daadwerkelijk is gebeurd en welke omstandigheden mogelijk van invloed zijn geweest op het proces van begeleiden in de afzonderlijke treatments waaronder de reguliere. 8 2.2. Huidige deelnemers in begeleiding en deelname onderzoek Deelnemers die uitstromen blijven deelnemer en dus ook in begeleiding. In Tabel 2 staat de verdeling van de huidige deelnemers met een bijstandsuitkering over de vier groepen, inclusief degenen die na uitstroom weer terug zijn ingestroomd in de bijstand (8 personen), alsmede de verdeling over de groepen van de deelnemers die zijn uitgestroomd, dus per 15maart 2019. Tabel 2: Huidige deelnemers in begeleiding naar treatmentgroep plus uitstroom (inclusief 8 her-instromers), 15 maart 2019 Treatmentgroep Standaardgroep (controle) Zelf in actie (eigen regie) Verdienen loont (vrijlating) Intensieve Begeleiding Totaal Deelnemers in bijstand 67 65 86 56 274 Deelnemers uitgestroomd 24 34 25 37 120 Totaal deelnemers 91 99 111 93 394 % uitstroom 26% 34% 23% 40% 30,5% Bron: Administratie Vertrouwensexperiment Tilburg University, 2019 Naast de 120 deelnemers die zijn uitgestroomd zijn er nog 8 her-instromers die eerder waren uitgestroomd maar weer in begeleiding zijn. Het percentage uitstroom is relatief hoog bij de groepen zelf in actie en intensieve begeleiding. Deelname onderzoek: ingevulde vragenlijsten, privacy en ‘informed consent’ De onderzoekers hebben twee vragenlijsten uitgezet, een bij de deelnemer als onderdeel van de metingen ten behoeve van de productevaluatie en een bij de klantmanager als onderdeel van de procesevaluatie metingen. Wanneer deelnemers uitstromen bijvoorbeeld naar werk blijven ze deelnemer en worden ze gevraagd de vragenlijsten in te vullen. In het onderzoek worden degenen die zijn uitgestroomd of zich hebben afgemeld en/of geen vragenlijsten meer invullen ook na afmelding administratief gevolgd. Dat gebeurt via de gemeentelijke administratie (BUS) alsook door koppeling van de gegevens van deze oorspronkelijke deelnemers aan de bestanden van het CBS. Dit is voor een valide en zuivere meting van de uitkomsten van het RCT experiment noodzakelijk. De wijze van gegevensverzameling is getoetst aan de AVG privacy regels en aan de ethische procedures voor ‘informed consent’ welke gelden voor wetenschappelijk onderzoek. De persoonsgegevens (NAW) zijn door de gemeente geanonimiseerd met behulp van een anoniem identificatienummer waarbij alleen de gemeente en het CBS toegang tot de persoonsgegevens hebben. Daartoe is een bewerkingsovereenkomst met de gemeente gesloten. In Tabel 3 worden de aantallen respondenten weergegeven van de eerste twee metingen bij zowel de deelnemers zelf als de klantmanagers. In de vorige rapportage hebben we al geconstateerd dat in Wageningen ruim 9 75% van de deelnemers de vragenlijst van de nulmeting heeft ingevuld. De klantmanagers in Wageningen hebben inmiddels ruim 90% van de eerste procesevaluatie vragenlijst ingevuld. Op dit moment worden de online vragenlijsten van de tweede meting van de productevaluatie en de procesevaluatie ingevuld door de deelnemers en de klantmanagers respectievelijk. Dat gebeurt in tranches waarbij in drie tranches de deelnemers in volgorde van aanmelding zijn geselecteerd voor invulling van de tweede Qualtrix deelnemers vragenlijst. Ook de klantmanagers zijn op basis van de volgorde van aanmelding van de deelnemer de Qualtrix vragenlijsten aan het invullen. In Tabel 3 wordt de stand van zaken weergegeven. Daaruit wordt duidelijk dat inmiddels de helft van de deelnemers de eerste vervolgmeting vragenlijst heeft ingevuld en dat voor twee derde van de deelnemers de klantmanagers de vragenlijst inmiddels heeft ingevuld. Tabel 3: Ingevulde vragenlijsten product -en procesevaluatie naar treatment groepen in Wageningen Groepen Standaardgroep Zelf in actie (eigen regie) Verdienen loont (vrijlating) Intensieve Begeleiding Totaal % Deelnemers Meting 0 58 90 89 69 306 77% Meting 1 47 45 60 37 189 48% Klantmanagers Pcev 0 Pcev 1 82 53 101 51 95 85 80 60 358 249 91% 63% Bron: Vragenlijsten deelnemers en klantmanagers, Tilburg University, gegevens per 15 maart 2019 Hoewel nog niet alle deelnemersvragenlijsten en procesevaluatievragenlijsten van de tweede meting binnen zijn (48% respectievelijk 63%), zijn deze aantallen voldoende om zinvolle analyses mogelijk te maken. In deze tweede tussenrapportage gaan we vooral in op de procesevaluatiebevindingen en de bevindingen ten aanzien van de niet-werk gerelateerde uitkomstmaten. Paragraaf 3 Analyse van de deelnemersvragenlijsten in verband met gezondheid, welbevinden motivatie en zelfredzaamheid De beide deelnemersmetingen vormen onderdeel van de productevaluatie welke beoogt vast te stellen of en in welke mate het experiment na 2 jaar realiseert wat het beoogt. De uitkomsten betreffen niet alleen de uitstroom naar betaald werk maar ook de verbetering van de gezondheid, het welbevinden, het zelfvertrouwen en de zelfredzaamheid van de cliënt. Het middel daartoe is een andere bejegening en een andere manier van begeleiding en ondersteuning uitgaande van het opbouwen van een vertrouwensrelatie met de cliënt. 10 Over de wijze waarop in de uitvoering hiermee wordt omgegaan wordt in paragraaf 4 meer gezegd. Hoewel geen effecten worden gerapporteerd kan op basis van de andere uitkomstmaten wel een globaal inzicht worden gegeven in het verloop van de situatie van de deelnemers gedurende het experiment. In Tabel 4 wordt de situatie van de deelnemers na 1,5 jaar weergegeven. Tabel 4: Type werk en sociale participatie na Wageningen Type activiteit na 1,5 jaar Voltijdse baan Deeltijdse baan of uitzendwerk Zelfstandige Werkstage, proefplaatsing, vrb. werk Voltijdse opleiding, cursus of studie Deeltijdse studie of cursus Gedeeltelijke/volledige AO-uitkering Sociale werkvoorziening, leerwerkplaats Vrijwilligerswerk/mantelzorg Bijstand (wv. 13 personen met enkele uren werk) Ziek, overige Verhuisd Totaal N= 1,5 jaar in Vertrouwensexperiment N= 7 38 1 4 7 12 12 14 18 73 2 1 189 % 4% 20% 3% 2% 4% 6% 6% 7% 10% 39% 1% 1% 100% Bron: Vragenlijst eerste vervolgmeting deelnemers, Tilburg University, 15 maart 2019 Een flink deel heeft werk gevonden en dit geldt relatief gezien voor meer mensen dan in de jaren daarvoor (zo’n 27% in 1,5 jaar). Opvallend is dat het merendeel daarvan in een deeltijdbaan werkt en/of uitzendwerk verricht (20%). Het merendeel vindt dus tijdelijk werk dat na verloop van tijd weer kan ophouden waardoor voor sommigen dit ook terugkeer in de bijstand betekent (herinstroom bedraagt echter slechts 8 deelnemers). Een derde van de deelnemers heeft na 1,5 jaar werk gevonden. Dat is meer dan het gemiddelde over de afgelopen jaren hetgeen voor een belangrijk deel toegeschreven kan worden aan de gunstige economische situatie. Voor ongeveer 80% van degenen die werk vinden is het een deeltijdse baan of uitzendwerk. Hoe duurzaam die baan is moet nog blijken wanneer aan het einde van het experiment analyses op de gekoppelde CBS data worden uitgevoerd. Het aandeel mensen dat vrijwilligerswerk verricht is 10% en 7% werkt in sociale werkvoorziening of leerwerkplaats. Daarnaast vervult 2% een werkstage of zit in een proefplaatsing. De helft van de deelnemers is dus na 1,5 jaar betrokken bij een of andere werk-gerelateerde activiteit. Voor degenen die werk hebben gevonden is tevens gevraagd wat voor soort werk of contract dat was (Tabel 5). Tabel 5 laat zien dat een op de vijf deelnemers die werk vindt een vast contract heeft gekregen (20%). Ongeveer 80% van degenen die werk hebben gevonden komen derhalve in 11 tijdelijk banen terecht en 7% gaat als zelfstandige aan de slag. Een op de tien vindt een oproep of uitzendbaan (8%). Tabel 5: Type contract na 1,5 jaar Type contract indien werk Vast contract (onbepaalde tijd) Tijdelijke werk (contract voor bepaalde tijd) Oproepkracht Uitzendkracht Freelance, zelfstandige, vrij beroep N= N= 9 30 2 2 3 46 % 20% 65% 4% 4% 7% 100% Bron: Vragenlijst eerste vervolgmeting deelnemers, Tilburg University, 2019 Welbevinden, gezondheid, keuzevrijheid en zelfredzaamheid In de vragenlijsten voor de deelnemers zijn veel vragen gesteld die beogen het experiment te evalueren op de uitkomstmaten die niet direct gerelateerd zijn aan betaald werk. Dat zijn vragen die te maken hebben met de gezondheid -en welzijnsbeleving van de deelnemer. Het welbevinden van de deelnemer wordt gepeild aan de hand van vragen over de tevredenheid met het leven (schaal van 0 tot 10), de mate waarin men het leven betekenisvol of zinvol acht (schaal van 0 tot 10) en de mate waarin men zich gelukkig acht (twee vragen; een op een schaal van 1 tot 5 en de andere op een schaal van 0 tot 10). Daarnaast zijn vragen gesteld over de dingen die men belangrijk vindt in het leven en die men op de een of andere manier niet kan doen omdat men daar de mogelijkheden niet voor heeft. Dat zijn 7 vragen gebaseerd op Sen’s capability benadering die beogen inzicht te krijgen in de keuzevrijheid ofwel in de mate waarin mensen de middelen hebben om de doelen die men stelt voor het eigen leven en die men belangrijk vindt ook daadwerkelijk te realiseren. Ook wordt gevraagd of men zichzelf zelfredzaam acht, dat is de mate waarin men denkt nu en in de toekomst betaald werk te kunnen vinden dat aansluit bij de eigen kennis en vaardigheden. De een is van nature wat optimistischer of pessimistischer en schat die kansen daardoor hoger of lager in ook al zijn die opvattingen wellicht niet erg realistisch. Tot slot zijn ook vragen gesteld naar de eigen perceptie van de mate waarin men zich opgenomen of welkom voelt in de samenleving, ofwel de mate van acceptatie en sociale participatie. Aangezien slechts de helft van de deelnemers de tweede vragenlijst heeft ingevuld hebben we een vergelijking gemaakt tussen de twee groepen op de verschillende tijdsmomenten maar ook binnen de groep van mensen die aan beide metingen hebben meegedaan. 12 Tabel 6: Profielen van deelnemers in eerste twee metingen (welbevinden, subjectieve gezondheid, keuzevrijheid [capabilities], perceptie sociale participatie en zelfredzaamheid*) Vergelijking meting Welbevinde 0/1 n Subj. gezh. %Slechte gezondh. Keuzevrijheid (capabilities) Perceptie Soc. Part Zelfredzaamh. Nulmeting 5,51 3,99 48% 5,64 6,49 5,70 Eerste meting 6.11*** 4,12 48% 5,80 6,38 5,92 Totaal 5,74 4,04 48% 5,70 6,45 5,79 N= 486 486 486 474 468 479 Nulmeting 5,57 3,90 52% 5,62 6,55 5,85 Eerste meting 6,16*** 4,03 52% 5,86 6,30 5,93 Totaal 5,86 4,04 52% 5,74 6,43 5,89 N= 304 304 304 300 300 300 Deelname 2 metingen Noot:*** p<0,01; ** p<0,05 *) - Welbevinden=gemiddelde van tevredenheid leven 0-10; betekenis leven 0-10; geluk 1-5 gehercodeerd 0-10 - Subjectieve gezondheid=gemiddelde van 1-5 score, gehercodeerd 0-10 - Slechte gezondheid (% van mensen met matige of slechte gezondheid) - Capability score: 7 dingen kunnen doen die men belangrijk vindt in het leven 0-10 - Zelfredzaamheid=gemiddelde van betaald werk vinden als ik moeite doe; in de toekomst kan ik werk vinden, goede indruk maken bij sollicitatie, kan baan vinden die bij me past Bron: Vragenlijst nulmeting en eerste vervolgmeting deelnemers, Tilburg University, 2019 Zoals eerder gememoreerd worden alleen resultaten gegeven voor de groep van deelnemers in totaliteit. De vergelijking tussen de twee metingen kan een vertekend beeld geven doordat bijvoorbeeld degenen die zijn uitgestroomd (nog) geen tweede vragenlijst hebben ingevuld en degenen die achterblijven daardoor een relatief kansarme groep is voor wat betreft de kansen op de arbeidsmarkt. In tabel 6 worden op basis van deze niet-werk gerelateerde uitkomsten de profielen van de deelnemers weergegeven? Om te beoordelen of de verschillen tussen de deelnemers in de twee metingen betekenisvol zijn hebben we een WSANOVA (“within subject” ANOVA) ofwel variantie analyse toegepast op de verschilscores van de deelnemers tussen de twee tijdsmomenten. Over het algemeen zien we in Tabel 5 dat de scores licht toenemen tussen beide meetmomenten met uitzondering van de score op “perceptie sociale participatie” die nagenoeg hetzelfde is gebleven. Afgezien van de scores op welbevinden die duidelijk significant zijn toegenomen zijn de verschillen overigens niet significant. De tabel laat voorts lage scores zien voor ervaren gezondheid. We hebben de scores in de vragenlijst die lopen van slecht (=1) tot uitstekend (=5) omgezet naar een score op een schaal van 0 tot 10. Dan geven de deelnemers een laag rapportcijfer van onder de vier. Dat is niet verbazingwekkend gezien het feit dat meer dan de 13 helft (bijna 60%) van de mensen in de bijstand fysieke of mentale gezondheidsproblemen heeft. Paragraaf 4 Eerste bevindingen van de procesevaluatie aan de hand van de drie focusgroep gesprekken en de procesevaluatievragenlijsten In deze paragraaf bespreken we de bevindingen van de procesevaluatie tot nu toe welke zoals gezegd bestaat uit de focusgroep gesprekken en de analyse van de beide procesevaluatievragenlijsten. Eerst geven we een beknopte samenvatting van de bevindingen in de focusgroep gesprekken. 4.1 Focusgroep gesprekken Het focusgroep gesprek is onderdeel van de procesevaluatie welke gericht is op het proces van experimenteren met een andere benadering en uitvoering van de participatiewet (PW). Hoe gaan de direct uitvoerenden (klantmanagers en projectleider(s)) maar ook de gemeente als organisatie om met de implementatie en ontwikkeling van het experiment? Het proces van experimenteren is een proces van verandering vooral ook in de benadering van de deelnemer door de klantmanagers. In deze gesprekken wordt besproken wat de kansen en eventuele belemmeringen zijn van de andere bejegening in de relatie met de deelnemer en welke resultaten men verwacht en al dan niet bereikt. In het bijzonder wordt ingegaan op de handelwijzen van de consulent in de verschillende interventies en in welk opzicht ze van elkaar dienen te verschillen. De treatments zijn op papier gezet bij de start van het experiment maar hoe wordt hier in de praktijk mee omgegaan? Betekent ‘eigen regie’ dat men de deelnemer volledig moet loslaten of juist niet omdat het ‘leren van zelfredzaamheid’ meer contacten met de deelnemer vraagt? Waarin verschilt de treatment van intensieve begeleiding dan van die van eigen regie afgezien van het aantal contacten? De treatment van vrijlating geeft een extra beloning op het verwerven van inkomsten uit arbeid maar is overigens qua begeleiding vergelijkbaar met de begeleiding in de onderzoek -of standaardgroep in Wageningen. Ten tweede wordt ingegaan op de casuïstiek van de begeleiding waarbij specifieke problemen in de begeleiding zoals fraude, schulden en ongemotiveerd of onaangepast gedrag aan de orde wordt gesteld om ervan te leren. Mede daarvoor is door de onderzoekers ook een training aangeboden waarbij klantmanagers onder begeleiding van een professionele coach leren hoe ze een vertrouwensrelatie met de deelnemer kunnen opbouwen en hoe ze de zelfredzaamheid van deelnemers kunnen bevorderen. Deze training heeft evenwel alleen aan het begin plaats gevonden om de theoretische uitgangspunten en de methodiek te begrijpen en te duiden. Daarna is het team zelf aan de slag gegaan in wekelijkse bijeenkomsten om de handelwijze in de verschillende treatments en de casuïstiek door te spreken. Heeft dat gewerkt? Ook wordt ingegaan op de context waarbinnen het VEX-experiment plaatsvindt, dat is de gemeentelijke organisatie, de politiek, de media en alle betrokkenen daaromheen. De focusgroep gesprekken vormen 14 overigens onderdeel van een dagprogramma waarin de ins en outs van de procesevaluatie zorgvuldig en uitvoerig wordt besproken. Het doel is hiervan te leren en de gemeenschappelijke uitgangspunten en handelwijzen in de vier treatments met elkaar door te spreken en waar nodig bij te sturen. Het eerste focusgroep gesprek van Wageningen vond plaats op 23 januari 2018 en 9 maanden later het tweede, op 17 september 2018. Het derde gesprek vond plaats op 21 maart 2019. Op 23 januari werden de ervaringen in het eerste jaar besproken alsook de ervaren problemen en knelpunten aan de hand van de casuïstiek en hoe en in welke mate deze al dan niet konden worden opgelost. Op 21 maart werden de ervaringen van het laatste half jaar besproken. Deze gesprekken vonden plaats op basis van een half-gestructureerde vragenlijst die in een PowerPoint presentatie werd toegelicht door de onderzoekers. Per onderwerp werden een aantal vragen gesteld die de input vormde voor het gesprek. Het proces van experimenteren in de PW is in de vragenlijst onderverdeeld in 5 stappen. Bij elke stap hebben de onderzoekers vragen geformuleerd die de leidraad vormden bij het gesprek. De volgende onderwerpen zijn aan de orde gesteld: Stap 1. De beleidsuitgangspunten en het doel van het experiment Stap 2. Achterliggende theorie/filosofie en wetenschappelijke vragen Stap 3. Van theorie naar RCT-design voor een niet-AMvB experiment Stap 4. Van design naar implementatie: de drie treatment groepen; de relatie met de cliënt; de eigen rol als coach etc. Stap 5. Van implementatie naar uitkomsten: de lokale en politieke context, de randvoorwaarden en de uitkomsten voor de cliënt. Algemene ervaringen Nagenoeg alle klantmanagers waren bij de drie gesprekken aanwezig. Klantmanagers zijn in Wageningen in beginsel verantwoordelijk voor een treatment maar soms moet daarvan worden afgeweken. Dat vindt men over het algemeen lastig. Men komt wekelijks bij elkaar om over de invulling van de treatments te spreken en met elkaar af te stemmen. De treatments zijn qua inhoud en aantal contacten bij de start van het experiment op papier gezet. Men probeert zich daar zo goed mogelijk aan te houden maar in de praktijk wordt daar soms van afgeweken in verband met de casuïstiek waardoor om uiteenlopende praktische redenen anders wordt gehandeld. Zo vindt men bijvoorbeeld het aantal van 6 contacten bij de intensieve begeleidingsgroep te weinig om goed contact met de deelnemer te kunnen houden. De belangrijkste vraag die in de gesprekken aan de orde is gekomen is welke lessen er zijn getrokken uit de praktijk van de begeleiding en wat is er geleerd van het proces van experimenteren en de ‘nieuwe’ aanpak tot nu toe bij de klantmanagers? De drie gesprekken verliepen in een prettige en geanimeerde sfeer. Er bestond duidelijk behoefte om de ervaringen met de onderzoekers te delen en vragen te kunnen stellen aan de 15 onderzoekers. Men dacht ook duidelijk na over hoe de handelwijze van henzelf van invloed kan zijn op de uitkomsten van het onderzoek. Men was zich zeer goed bewust van het gevaar dat de treatments te veel op elkaar gaan lijken waardoor het onderzoek niet meer goed de verschillen in beeld kan brengen. In alle drie gesprekken kwam de caseload ter sprake die men te hoog vindt om de treatments goed te kunnen uitvoeren. Daardoor ontbreekt de tijd om aandacht aan de deelnemers te geven die nodig is om hen goed van dienst te zijn. Men zou ook graag meer ondersteuning zien vanuit de organisatie voor het experiment. Men stelt vragen of de treatments zoals uitgevoerd nog wel stroken met de handelwijze zoals deze aan het begin op papier is gesteld. Een andere vraag die naar voren kwam is ook of de treatments bij iedereen zullen werken en hoe men moet handelen bij ongewenst gedrag, fraude, gebrekkige motivatie of bij een persoonlijke problematiek. Hoe ga je als consulent om met deze zaken of met persoonlijke problemen/verhalen van deelnemers. In het kort worden de bevindingen van de gesprekken hieronder nog eens puntsgewijs weergegeven. 4.2 Bespreekpunten focusgroep gesprekken op 23 januari 2018, 17 september 2018 en 21 maart 2019 Uitgangspunten • Opvallend is het enthousiasme bij en de steun die het experiment krijgt van de klantmanagers wat betreft de uitgangspunten, de filosofie en de uitwerking en juist ook vanwege de eerste ervaringen met de gesprekken met de cliënt. Men omarmde met name de focus in het experiment op het loslaten van de verplichtingen en het zelf in actie laten komen van de cliënt, de andere bejegening en de extra vrijlatingsmogelijkheden om de cliënt te stimuleren aan het werk te gaan. • Allerwegen wordt erkend dat het opbouwen van een vertrouwensrelatie met de cliënt tijd vraagt door het grote wantrouwen van de cliënt naar de gemeente toe maar dat het veel beter werkt in de begeleiding van de cliënt. De cliënten zijn in eerste instantie achterdochtig en wantrouwend en zijn afwachtend. Later tonen ze zich dankbaar voor de andere houding van de klantmanager. Men was wel bezorgd over de werkdruk en caseload die nauwelijks minder is dan in de standaardbegeleiding waardoor er geen tijd is voor extra begeleiding en contact. • De klantmanagers vinden de manier van begeleiding beter omdat de cliënt met zijn of haar vragen en wensen en problemen centraal staat. Er ontstaat een vertrouwensband die kan helpen effectiever te begeleiden. Sommige klantmanagers vragen zich wel af of de extra tijd die de begeleiding vraagt zich altijd uitbetaalt in effectiviteit. Men wijst op de grote verschillen tussen de verschillende groepen van cliënten (bijvoorbeeld tussen ouderen en jongeren en tussen migranten en autochtonen). Interventies/treatments • Bij de klantmanagers leven veel vragen bij het onderscheidend vermogen van de treatments vooral tussen zelf in actie en extra begeleiding. Het idee van mensen leren zelfredzaam te zijn wordt omarmd maar men vraagt zich af wat dat betekent in de 16 • • praktijk wanneer de cliënt vraagt om extra begeleiding en tijd in de vorm van contacten. Er bestaat behoefte aan overleg over ‘moeilijke’ cases. Nochtans hebben de klantmanagers die betrokken zijn bij de ‘eigen regie’ treatment soms problemen om de grens te bepalen tussen ‘leren zelfredzaam te worden’ hetgeen aan het begin meer begeleidingstijd vraagt en ‘afstand nemen’ of zo veel mogelijk loslaten en het aan de cliënt overlaten om actie te nemen (‘zelf aan het stuur’). Het loslaten vraagt ook veel van de klantmanager. Anderzijds is het leren van de cliënt de ‘eigen regie’ te pakken wellicht wel de beste manier om hen te helpen. Men vraagt zich af of de aanpak van het experiment bij iedere cliënt zal werken aangezien mensen sterk verschillen en dus verschillende soorten interventies nodig hebben. Veel cliënten in de bijstand hebben te maken met ernstige beperkingen in de fysieke en/of mentale sfeer. Daardoor krijgt de treatment van ‘eigen regie’ een andere betekenis dan bij mensen die geen beperkingen ervaren. Hoewel het experiment mensen met ernstige fysieke of mentale beperkingen uitsluit is dit soms lastig te bepalen, waar ligt de grens. Afgezien daarvan zijn er andere groepen die niet zijn uitgesloten van deelname maar een soortgelijke problematiek kennen. Wageningen heeft ervoor gekozen zo min mogelijk mensen uit te sluiten dus ook statushouders niet, zelfs niet als ze de taal maar matig machtig zijn. De klantmanagers werken met tolken in dat geval om de cliënt uit te leggen wat de bedoeling is. Uitvoering/implementatie • De klantmanagers van Wageningen overleggen regelmatig met elkaar om van elkaar te leren en een soort gemeenschappelijk gedragskader te ontwikkelen. Er bestaat behoefte aan aanvullende training omdat men het toepassen van de filosofie in de praktijk lastig vindt. Men vraagt zich af of het experiment veel verandert omdat Wageningen al lang een gemeente is met wethouders die een sterk sociaal gezicht laten zien. Er was daardoor in de standaardbegeleiding al veel in maatwerk voorzien. Dit zou er volgens de klantmanagers toe kunnen leiden dat er niet veel verschil wordt gevonden. • In relatie tot de training wordt opgemerkt dat deze specifieker zou kunnen worden toegespitst op de afzonderlijke treatments in plaats van op de theorie en methodiek van zelfredzaamheid in het algemeen. Daar wordt meer aandacht voor gevraagd om meer inzicht te krijgen in de verschillen tussen de interventies. • Een derde aspect dat in dit verband werd genoemd is de invloed van verschillen tussen de deelnemers maar ook tussen klantmanagers zelf; de een begeleidt nu eenmaal anders dan de andere. Opgemerkt wordt dat de invloed van de klantmanager wordt gemeten middels de procesevaluatievragenlijsten. In principe zouden de klantmanagers ook willekeurig moeten zijn toebedeeld aan de interventies maar in de praktijk is rekening gehouden met de wensen, motivatie en capaciteiten en persoonlijkheden van de consulent. • Het gevoel bij klantmanagers bestaat dat men ‘al doende leert’ en beter snapt wat de bedoeling is en wat dat in de begeleiding betekent en vraagt. Het wekelijkse overleg biedt de mogelijkheid ervaren knelpunten te bespreken en een gezamenlijke aanpak 17 • te vinden. Het schriftelijk vastleggen van de inhoud van de treatments heeft ertoe bijgedragen dat men bewust wordt van de grenzen van de verschillende treatments en dat men dus weet wat wel en niet werkt. Het vraagt wel voortdurend afstemming en aanpassing hetgeen de betrokkenen kenschetsen als een leerproces voor henzelf. Wat de uitvoering binnen de organisatie betreft wordt opgemerkt dat de organisatie moest wennen aan het experiment. Het is een leerproces voor henzelf maar ook voor de organisatie die moet leren en nog moet wennen aan het onderliggende gedachtegoed en de implementatie daarvan in de praktijk. Focusgroep gesprek op 17 september 2018 In het tweede gesprek komen de meeste punten uit het eerste gesprek weer terug zij het dat men meer behoefte had aan het bespreken van de casuïstiek omdat men in de uitvoering aanliep tegen vragen waar men graag nader over van gedachten wilde wisselen. Het gesprek was ook bedoeld om lessen te trekken voor het tweede jaar van het experiment en dus te leren van de ervaringen in het eerste jaar. Puntsgewijs gaat het om de volgende aspecten: Uitgangspunten en bejegening • De klantmanagers ervaren dat de andere bejegening positieve uitkomsten heeft op de beleving door de cliënt, en dat het zijn of haar welbevinden en de vertrouwensrelatie met de cliënt ten goede komt. De klantmanagers ervaren dat aandacht geven en vertrouwen opbouwen tijd vraagt waardoor er meer contact nodig is met de cliënt ook in de eigen regie groep. Soms geven deelnemers in de eigen regie groep echter aan dat eigen regie in hun ogen betekent dat er juist minder contact nodig is omdat ze het zelf moeten doen. • Men weet in bepaalde casussen niet goed hoe te handelen omdat een duidelijk handelingskader ontbreekt. Men vaart op het eigen gevoel maar soms ontbreekt inzicht in de achterliggende factoren die het gedrag van de cliënt kunnen verklaren. Vooral wanneer de cliënt zich weinig constructief opstelt of zelfs obstructie pleegt vraagt men zich af hoe te handelen. Wanneer is het gerechtvaardigd om de cliënt te verwijderen uit het experiment of de klassieke “stok” van maatregelen en sancties te gebruiken terwijl het experiment uitgaat van vertrouwen en het loslaten van verplichtingen en dus minder toepassen van maatregelen. Dat speelt in elke treatment maar vooral bij de eigen regiegroep kwam die vraag naar voren. Interventies/treatments • In de praktijk is het soms lastig om de treatment zuiver toe te passen omdat acties van de klantmanager om bijvoorbeeld vacatures open te stellen niet beperkt zijn tot bepaalde treatments terwijl eigen regie ervan uitgaat dat men zelf in actie komt. Ook komt het incidenteel voor dat cliënten werk weigeren of niet meewerkt aan proefplaatsingen en duidelijk is dat de cliënt niet echt wil meewerken aan de treatment of dat zelfs sprake is van fraude. De normale reflex zou zijn een maatregel op te leggen maar dat is in het experiment niet de intentie. Wanneer is met andere woorden de grens bereikt en hoe ga je daarmee om in de praktijk vormt een belangrijk dilemma in de praktijk? 18 • Ook de juiste dosering van het aantal contacten met de cliënt vooral in de eigen regiegroep werd als problematisch ervaren. Als het doel is cliënten te leren zelfredzaam te zijn of te worden kan dat betekenen dat in het begin veel contacten nodig zijn enerzijds om vertrouwen te kweken anderzijds om duidelijk te maken dat de klant zelf de eigen regie moet oppakken en niet niets kan doen en achterover kan leunen. In de intensieve treatment groep is er veel contact met de cliënt en kan gemakkelijker een vertrouwensrelatie wordt gekweekt waardoor ook sneller duidelijk is of men echt gemotiveerd is of de kantjes ervan afloopt. Uitvoering/implementatie • Opnieuw wordt verwezen naar de grote verschillen tussen de deelnemers en hoe daarmee om te gaan. Eigen regie lijkt voor bijvoorbeeld de groep van migranten per definitie niet goed te werken. De multi-problematiek waar deze mensen veelal mee te maken hebben vraagt eigenlijk om intensieve integrale begeleiding. Daarnaast is het cultuurverschil erg groot hetgeen ook de treatment van intensieve begeleiding bemoeilijkt. Het uitgangspunt van de begeleiding is dat gezamenlijk een plan wordt gemaakt maar dat is voor deze doelgroep onhaalbaar. • Lang is gesproken over de voorwaarden binnen de organisatie om het experiment goed uit te voeren. Er verandert veel in het werk, er worden veel ambities vanuit de organisatie geformuleerd zoals het werken in multidisciplinaire clusters hetgeen veel aandacht opeist van de klantmanagers waardoor ze minder tijd hebben voor de deelnemers in het vertrouwensexperiment. De ondersteuning vanuit de organisatie is volgens de klantmanagers nog niet optimaal. Ook de organisatie maakt een leerproces door. Focusgroep gesprek op 21 maart 2018 In het focusgroep gesprek van 21 maart 2019 komen alle vorige genoemde punten weer terug. Men vindt het belangrijk om de dilemma’s in de praktijk met de onderzoekers te delen. In dit gesprek lag de nadruk enerzijds op de ervaringen in het afgelopen half jaar maar vooral ook op de toekomst nadat het experiment is afgelopen en de regelgeving al dan niet wordt aangepast. Gesproken is ook over de overgangsperiode waarin het experiment afloopt (per 1 oktober 2019) maar nog geen besluiten zijn genomen door het Kabinet over de consequenties van het experiment voor de Participatiewet. Aan het Kabinet is gevraagd om uitstel te verlenen tot 1 januari 2020 om te voorkomen dat deelnemers vanwege de beëindiging van het experiment niet meer wensen deel te nemen aan het onderzoek of hun gedrag op de arbeidsmarkt veranderen omdat men geconfronteerd wordt met de gevolgen van de beëindiging van het experiment. Dat zou de effectmeting kunnen beÏnvloeden. Daarnaast is gesproken over de lessen die zijn getrokken uit de ervaringen met de andere aanpak in het experiment. Puntsgewijs en in beknopte zin kwamen de volgende punten aan de orde: 19 Uitgangspunten • De uitgangspunten van het experiment om uit te gaan van vertrouwen en aandacht, maatwerk en integraal werken worden door de klantmanagers gedeeld en ondersteund. Vanuit de historie van Wageningen is er wat maatwerk betreft niet veel veranderd. Weliswaar was er wel een stevig en strikt beleid ten aanzien van handhaving maar het uitgangspunt was wel maatwerk te leveren. In de ogen van de klantmanagers is er wat dat betreft met het experiment niet zo veel veranderd. Het experiment ondersteunt de oude filosofie van maatwerk en gaat een stapje verder wat betreft zelfredzaamheid. • De meerwaarde van vertrouwen en aandacht geven voor het begeleiden van mensen wordt door veel klantmanagers erkend. Men heeft wel moeite met het idee van “loslaten” gezien de ervaringen met sommige niet gemotiveerde deelnemers in de eigen regie groep. Men hecht eraan om in voorkomende gevallen gebruik te kunnen blijven maken van de toepassing van maatregelen wanneer het gedrag van de cliënt daar aanleiding toe geeft. • Het experiment werd als nuttig ervaren omdat het handvatten geeft om als team een meer methodische aanpak van begeleiding tot stand te brengen. Het doelgericht begeleiden van mensen naar zelfredzaamheid werd als methodiek als zinvol ervaren. Klantmanagers vinden het dan wel belangrijk dat de organisatie hen daarin steunt en ruimte geeft om de nieuwe aanpak ook daadwerkelijk te realiseren. Dat betekent dat meer tijd en aandacht nodig is en dus de caseload lager. • In het algemeen vindt men het willekeurig toewijzen van deelnemers aan de treatmentgroepen in de praktijk lastig. Men begrijpt dat dit voor het onderzoek nodig is maar men ervaart een rolconflict aangezien men van mening is dat een treatment moet passen bij de persoon voor wie deze bestemd is. Na het experiment zouden de verschillende interventies gericht ingezet kunnen worden afhankelijk van de situatie van de cliënt. Interventies/treatments • De drie treatments verschillen in de mate waarin de klantmanagers hier heil in zien. Men ziet niet veel nut in het volledig loslaten van de deelnemer in eigen regie. Juist door frequent contact ontstaat er een band die nodig is om vertrouwen tot stand te brengen. Pas dan kan een appel worden gedaan op de zelfredzaamheid van een persoon. • Voor veel deelnemers is deeltijdwerk het maximaal haalbare. De ruimere vrijlating kan ertoe bijdragen dat deeltijdwerken aantrekkelijker wordt. Deeltijdwerk mag natuurlijk niet ertoe leiden dat voltijdswerk wordt verdrongen. Overigens wordt in deze groep voor het overige de reguliere dienstverlening aangeboden. Voor veel deelnemers zal de baan tevens een flexbaan zijn (oproep, tijdlelijk, uitzend). • Men is het meest enthousiast over de intensieve begeleidingsgroep in het experiment omdat deze de mogelijkheid geeft om meer tijd en contact te besteden aan de 20 begeleiding van de cliënt. Indien tevens maatwerk kan worden geboden is de verwachting dat dit de cliënt ten goede kan komen en bijdraagt aan het succes van reïntegratie. Uitvoering/implementatie • De uitvoering heeft voor de andere manier van werken behoefte aan begeleiding en training waarin klantmanagers bijstandsgerechtigden leren zelfredzaam te zijn. Een systematische begeleiding en training van de klantmanagers kan in het experiment leiden tot een meer gestructureerde ofwel methodische manier van werken. • De implementatie van de uitgangspunten van het experiment zou zo snel mogelijk moeten plaatsvinden. Indien deelnemers weer terugvallen in het oude regime na deelname aan het experiment wordt het vertrouwen aangetast. Een overgangsregime kan hierin soelaas bieden. • Klantmanagers verwachten positieve effecten van het experiment mits de organisatie de uitvoering en implementatie ondersteunt door de randvoorwaarden te scheppen voor succesvolle invoering van de nieuwe aanpak. Kortom, de ervaringen van de klantmanagers zijn in de eerste 18 maanden van het experiment positief ten aanzien van de filosofie en inhoud van het experiment. Men verwacht dat dit kan bijdragen aan een meer methodische en professionelere manier van begeleiding. Het vraagt echter veel van de klantmanagers maar ook van de organisatie in de sfeer van randvoorwaarden. Paragraaf 5 Analyse van de procesevaluatievragenlijsten In de beide vragenlijsten zijn vragen gesteld over de wijze van begeleiding van de deelnemers, zoals de doelen die zijn ingezet in overleg met de deelnemer, de activiteiten die zijn ondernomen en de trajecten die zijn aangevraagd, de motivatie van de deelnemer voor de begeleiding door de klantmanagers, de meer of minder realistische inschatting volgens de consulent van zijn of haar kansen op de arbeidsmarkt voor een betaalde baan en de leereffecten bij de consulent en de deelnemer. Op basis van deze informatie hebben we voor de analyse van de gegevens van 610 vragenlijsten (359 in de nulmeting en 251 in de vervolgmeting) de volgende vragen geformuleerd als uitgangspunt voor de analyse. In tabel 7 worden de vragen weergegeven die op basis van de vragenlijst beantwoord zouden kunnen worden. 21 Tabel 7. Vragen die op basis van de informatie in de PCEV alsook de deelnemer vragenlijsten zouden kunnen worden beantwoord. 1. Doelen en activiteiten: a. In hoeverre zijn doelen gesteld? b. Welke doelen zijn gesteld voor welke treatment? c. Zijn doelen bijgesteld en waarom? d. Hoogst bereikbare doel in welke mate gerealiseerd? e. Welke activiteiten ontplooid f. Hebben activiteiten bijgedragen aan stijging op participatieladder? g. Kans op bereiken doel na afloop experiment toe -of afgenomen? 2. Motivatie deelnemer a. Is de deelnemer gemotiveerd voor treatment volgens coach? b. Is motivatie toe- of afgenomen tijdens begeleiding? c. Heeft deelnemer realistische kijk op arbeidsmarkt? d. Is realisme bij deelnemer toe- of afgenomen? e. Is oordeel over zelfredzaamheid/eigen regie capaciteiten deelnemer veranderd bijgesteld? f. In welke mate heeft deelnemer geleerd van begeleiding (leereffect)? 3. Effecten treatment op uitkomstmaten: wat werkt beter bij wie? a. Werkt de treatment voor deze deelnemer volgens de coach? b. Welke zachte en harde uitkomsten worden verwacht en/of zijn gerealiseerd (zelfredzaamheid etc.)? c. In welke activiteiten/type banen (beroepen) komen de deelnemers terecht? d. Verschuivingen op participatieladder volgens coach? e. Leereffecten bij consulent/coach? De belangrijkste vragen worden in deze rapportage besproken. De nadruk ligt hier op de vragen over de doelen en activiteiten die zijn ondernomen en de mate waarin deze naar de visie van de klantmanagers succesvol worden geacht. Tevens rapporteren we over de ‘sociale stijging’ die deelnemers volgens de klantmanagers op basis van de scores op de participatie of tredeladder realiseren. Ook hiervoor geldt dat we met name de beschrijvende vragen bespreken aangezien de evaluatieve vragen waarbij het effect van de andere aanpak aan de orde komt thans nog niet opportuun zijn in verband met de mogelijke uitstralingseffecten op het gedrag van de klantmanagers en de deelnemers waardoor een zuivere meting van de effecten wordt bemoeilijkt. Doelen en activiteiten In tabel 8 worden de doelen weergegeven die de consulent in overleg met de deelnemers aan het begin van het experiment heeft opgesteld. Per deelnemer konden er meerdere doelen gesteld worden. Opvallend is dat het grootste aantal doelen dat door de klantmanagers wordt genoemd niet-werk gerelateerde doelen zijn (40%) en pas op de tweede plaats doelen die 22 direct op werk gericht zijn (29%). Dat heeft vermoedelijk te maken met de grote afstand tot de arbeidsmarkt die vele deelnemers hebben waardoor werkdoelen pas later bereikbaar worden geacht. Wat de werkdoelen betreft, blijken deeltijdbanen bijna net zo vaak als doel te zijn gesteld als voltijdse betaalde banen. Daarbij is opvallend dat voor iets meer dan een vijfde van het totaal aantal gestelde doelen, de doelen bestaan uit tussenstations naar werk en dat slechts 8% van het totaal aantal doelen een doel betreft richting sociale participatie (waarvan zo’n 48% richting vrijwilligerswerk). Tabel 8. Doelen coaching deelnemers nulmeting experiment Wageningen In % subtotaal In % totaal Doelen werk N= doelen aantal doelen betaalde voltijd baan 87 28.6 8.3 betaalde deeltijd baan 107 35.2 10.3 werkstage/proefplaatsing 66 21.7 6.3 beschut werk 3 1 0.3 loonwaarde/baanafspraak 10 3.3 1 ondernemerschap 31 10.2 3 100 Subtotaal 304 29.2 Doelen voorbereiding voor werk (tussenstations) cursus/opleiding 57 23.9 5.5 leerwerkplaats 38 16 3.6 Re-integratietraject 63 26.5 6 inburgeringstraject 80 33.6 7.7 100 Subtotaal 238 22.8 Doelen sociale participatie Vrijwilligerswerk 41 47.7 3.9 Sociale contacten 45 52.3 4.3 100 Subtotaal 86 8.3 Doelen overige uitkomstmaten 14.7 zelf graag doen 61 5.9 voor zichzelf zorgen 38 9.2 3.6 6.3 rondkomen 26 2.5 gezondheid 75 18.1 7.2 12.3 zelfvertrouwen 51 4.9 zelfredzaamheid 81 19.6 7.8 2.7 zelfstandig wonen 11 1.1 andere doelen 71 17.1 6.8 100 Subtotaal 414 39.7 100 N totaal 1042 100 Bron: Vragenlijsten procesevaluatie Vertrouwensexperiment Wageningen, Tilburg University, 2019. Wat de overige doelen (niet-werk gerelateerd) betreft, zien we vooral dat het grootste deel van deze doelen gaan over zelfredzaamheid (20%) en gezondheid (18%). Dat zal deels te 23 maken hebben met de uitgangspunten van het experiment waarin zelfredzaamheid als een belangrijk doel geldt alsook met de aard van de aangeboden training van de klantmanagers waarin het model van zelfredzaamheid als uitgangspunt gold. Kijken we nu naar hoe de situatie is 1,5 jaar na de start, dan laat Tabel 8.2 zien dat voor de klantmanagers die hun doelen hebben bijgesteld (in 43% van de gevallen) in deze 18 maanden het beeld ietwat veranderd is. Zo is er relatief vaker het doel richting werk gesteld (40%) en iets vaker een doel richting sociale participatie (16%). Blijkbaar is voor een gedeelte van de deelnemers het doel dus naar boven bijgesteld, omdat zij dichterbij de arbeidsmarkt zijn komen te staan gedurende dit jaar. Deze twee toenames zijn ten koste gegaan van de doelen richting overige uitkomsten. De vraagstelling is licht veranderd, waardoor de consulent in het geval van bijstelling van het hoogst bereikbare doel uit de nulmeting, slechts 1 nieuw hoogst bereikbaar doel konden aangeven. Tabel 8.2. Hoogst behaalbare doel coaching deelnemers eerste vervolgmeting experiment Wageningen (alleen deelnemers waarvoor doelen zijn bijgesteld: 43%)) In % In % totaal subtotaal aantal Doelen werk N= doelen doelen betaalde voltijd baan 25 47.2 18.8 betaalde deeltijd baan 28 52.8 21.1 Subtotaal 100 53 39.9 Doelen voorbereiding voor werk (tussenstations) cursus/opleiding 9 33.3 6.8 leerwerkplek 7 25.9 5.3 Re-integratietraject 11 40.7 8.3 Subtotaal 27 100 20.4 Doelen sociale participatie sociale activering 13 61.9 9.8 vrijwilligerswerk 8 38.1 6 Subtotaal 100 21 15.8 Doelen overige uitkomsten doorverwijzen psychosociale 8 25 6 hulpverlening doorverwijzen andere ondersteuning 1 3.1 0.8 gemeente doorverwijzing andere instellingen 1 3.1 0.8 andere doelen 22 68.8 16.5 100 Subtotaal 32 24.1 100 N totaal 133 100 Bron: Vragenlijst vervolgmeting procesevaluatie Vertrouwensexperiment Wageningen, Tilburg University, 2019. 24 In de tabellen 9.1 en 9.2 wordt de informatie voor elk van de vier groepen van doelen weergegeven. Uit de vergelijking tussen beide metingen blijkt dat er slechts kleine verschuivingen zijn in het type doelen dat gesteld wordt. Zo zien we een toename van doelen richting werk en sociale participatie en een kleine afname van doelen ter voorbereiding op werk en overige doelen. Een voorlopige conclusie kan zijn dat in de ogen van de klantmanagers kennelijk de afstand tot de arbeidsmarkt kleiner is geworden. Tabel 9.1 Typen doelen nulmeting in % totaal N= In % deelnemers doelen Doel werk 211 58.8 31.8 Doel voorbereiding werk 162 45.1 24.4 Doel sociale participatie 77 21.4 11.6 Doel overig 213 59.3 32.1 N= 663 359 100 Bron: Vragenlijst nulmeting procesevaluatie Vertrouwensexperiment Wageningen, Tilburg University, 2019 Tabel 9.2. Typen doelen eerste vervolgmeting (indien doel aangepast) In % in % totaal N= deelnemers doelen Doel voltijd/deeltijd 53 39,8 39,8 Doel voorbereiding werk 27 20,3 20,3 Doel sociale participatie 21 15,8 15,8 Doel overig 32 24,1 24,1 N= 133 133 100 Bron: Vragenlijst vervolgmeting procesevaluatie Vertrouwensexperiment Wageningen, Tilburg University, 2019. In de volgende grafiek wordt weergegeven hoe lang het volgens de klantmanager duurt dat het gestelde doel of de doelen ook daadwerkelijk worden gerealiseerd afhankelijk van welk type doel het betreft. Dit geeft de antwoorden weer bij de start van het experiment. De verwachting bij de nulmeting is dat na 12 maanden de voorbereidende werkdoelen al behaald zijn, terwijl de doelen richting werk en vrijwilligerswerk volgens de klantmanagers langere tijd vragen om behaald te worden. De verwachting is dat na 24 maanden alle type doelen gerealiseerd zijn. Opvallend is dat het rapportcijfer dat klantmanagers na 1,5 jaar geven aan de mate waarin het doel of de doelen worden gehaald betrekkelijk laag is; gemiddeld een 5,5. 25 Fig. 1. Verwachting van consulent in nulmeting dat deelnemer met bepaald doel dat na x maanden heeft bereikt Na 6 maanden Na 12 maanden Na 18 maanden Na 24 maanden 100 80 60 40 20 0 doel werk doel vrijw. werk doel voorber. werk (lwpl, cursus, etc.) Bron: Vragenlijst nulmeting procesevaluatie Vertrouwensexperiment Wageningen, Tilburg University, 2019. De bijstelling van het hoogst bereikbaar doel is in de eerste 18 maanden van het experiment, zo laat tabel 10 wel zien, heel duidelijk gerelateerd aan de inschatting van de mate waarin het doel is bereikt. Is die inschatting laag dan kiest men vervolgens wellicht een ander minder ambitieus doel uit. Tabel 10: De mate waarin doel is bereikt en wel/niet bijstelling van het doel voor Wageningen, resultaten eerste vervolgmeting mate doel bereikt (gem % opschaal 0-10) N= Totaal ja 4.7 108 43.2 nee 6.3 142 56.8 Totaal 5.5 250 100 Bron: Vragenlijst vervolgmeting procesevaluatie Vertrouwensexperiment Wageningen, Tilburg University, 2019. Gerealiseerde activiteiten In tabel 11.1 worden de in de begeleiding door de klantmanagers voorgenomen (m0) en daadwerkelijk gerealiseerde (m1) activiteiten weergegeven. Daarbij gaat het om 459 ingevulde vragenlijsten die in totaal in beide metingen zijn ingevuld (dus ongeveer 230 per meting). 26 Tabel 11: Voorgenomen activiteiten in nulmeting (m0) en de mate waarin ze volgens de klantmanagers zijn gerealiseerd in de vervolgmeting (m1) (voor 459 ingevulde vragenlijsten in beide metingen) N (m0) actieve bemiddeling betaald werk uitzendwerk of deeltijdwerk werkstage of proefplaatsing opleidingsplaats leerwerkplaats cursus of opleiding maatschappelijk nuttig werk psychosociale hulpverlening leren eigen regie te voeren intensieve begeleiding cliënt hulp bieden afgestemd op wensen cliënt standaard aanbod van trajecten en instrumenten activering door externe organisatie Overig Totaal*) % in totaal (m0) N (m1) % in gerealiseerd totaal in m1 in % (m1) m0 7.8 97.4 6.5 140.9 4.6 57.9 0.6 37.5 3.4 88.9 6.1 80.6 5.3 53.2 6.1 103.6 6.5 182.4 11 325 38 22 38 8 18 36 47 28 17 16 9 5.2 9 1.9 4.2 8.5 11.1 6.6 4 3.8 37 31 22 3 16 29 25 29 31 52 60 14.2 82 17.3 136.7 13 3.1 52 11 400 22 61 424 5.2 14.4 100 15 50 474 3.2 10.5 100 68.2 82 111.8 *) Doordat meerdere antwoorden mogelijk zijn is het aantal activiteiten groter dan het aantal deelnemers in elk van beide metingen waarvoor de klantmanagers de vragenlijst hebben ingevuld (n=230) Bron: Vragenlijsten nulmeting en vervolgmeting procesevaluatie Vertrouwensexperiment Wageningen, Tilburg University, 2019. Gemiddeld is meer dan 100% (112%) van de voorgenomen activiteiten in de eerste meting volgens de klantmanagers ook daadwerkelijk, dus na 1,5 jaar, gerealiseerd. Uitschieters naar boven wat betreft gerealiseerde activiteiten zijn ‘uitzendwerk of deeltijdwerk’, ‘psychosociale hulpverlening’, ‘leren eigen regie te voeren’ ‘intensieve begeleiding cliënt’, ‘hulp bieden afgestemd op wensen cliënt’ en ‘standaard aanbod van trajecten en instrumenten’. Al deze activiteiten werden vaker gerealiseerd dan dat ze zijn voorgenomen. De actieve begeleiding en hulp afstemmen op de wensen van de cliënt zijn tevens de doelen die expliciet met het experiment worden beoogd. Welke activiteiten daaronder vallen is niet bevraagd. Het lijkt erop dat de extra tijd die wordt besteed aan het voeren van gesprekken met de deelnemers hieronder worden verantwoord door de consulent. Tevens laat de tabel zien dat klantmanagers vier keer zoveel trajecten dan het voorgenomen aantal uit het standaardpakket ook daadwerkelijk hebben gerealiseerd. Het aantal zelf neemt overigens een bescheiden deel in van het totaal (11%). Ook wordt er bijna 100% van de voorgenomen 27 activiteiten in de bemiddeling naar betaald werk gerealiseerd en voor uitzendwerk of parttime werk zelfs 140%. Activiteiten die juist relatief minder vaak gerealiseerd zijn, zijn: ‘werkstage of proefplaatsing’, ‘opleidingsplaats’ en ‘maatschappelijk nuttig werk’. Perceptie motivatie deelnemer door consulent In tabel 12.1 geven we het gemiddelde rapportcijfer dat de klantmanagers geven aan de motivatie van de deelnemer voor de eigen treatment en het in overleg vastgestelde hoogst bereikbare doel in beide metingen. Tabel 12.1: Gemiddeld rapportcijfer hoogst bereikbare doel Gem. cijfer (m0) Eigen treatment 5.6 Hoogst bereikbare doel 5.4 Totaal 5.5 (0-10) motivatie deelnemer voor eigen treatment of N (m0) 333 337 670 Gem cijfer (m1) 4.9** 5.6 5.3 N (m1) 232 237 469 Noot: ***p<0,01; **p<0,05 (WSANOVA); 1) Significantie is getest op de deelnemers waarvoor informatie in beide metingen beschikbaar was (n=459). Bron: Vragenlijst nulmeting en vervolgmeting procesevaluatie Vertrouwensexperiment Wageningen, Tilburg University, 2019. De cijfers laten een betekenisvolle afname zien voor de motivatie die de deelnemer volgens de consulent heeft voor de eigen treatment. Daarnaast is er een stijging zichtbaar in de ingeschatte motivatie voor het hoogst bereikbare doel, maar deze stijging is niet statistisch significant. De motivatie wordt overigens op beide aspecten niet erg hoog ingeschat met een gemiddeld rapportcijfer van een 5.5 in de nulmeting en een 5.3 in de vervolgmeting. De afname van de motivatie voor de eigen treatment kan te maken hebben met de relatief hoge uitstroom naar werk waardoor het relatieve aantal moeilijke gevallen in begeleiding bij de klantmanagers toeneemt. Tevens is aan de klantmanagers gevraagd een beoordeling te geven van de motivatie van de deelnemer ten aanzien van een vijftal aspecten in de begeleiding: hoe realistisch de eisen van de deelnemer zijn volgens de consulent, de mate waarin volgens de klantmanagers de deelnemer in staat is ‘zelf een doel stellen’ of ‘het zelf in actie komen’, het verwachte effect van de treatment gedurende het experiment en de mate waarin de deelnemer volgens de consulent zelfredzaamheid toont. Die beoordeling is omgezet in een gemiddeld rapportcijfer op een schaal van 0 tot 10. In Tabel 12.2 worden de resultaten weergegeven. 28 Tabel 12.2: Gemiddeld rapportcijfer (0-10) van de deelnemer toegekend door de consulent aan vijf aspecten van de begeleiding gem gem cijfer cijfer (m0) N (m0) (m1) N(m1) realistische eisen gestelde doelen 5.4 335 5.4 214 zelf doelstellingen formuleren 5 346 4.7 237 zelf in actie komen 3.9 317 4.2*** 236 effect treatment 4.7 355 4.3 236 zelfredzaamheid 4.7 355 4.7 228 Noot: ***p<0.01; **p<0.05 (WSANOVA); 1) Significantie is getest op de deelnemers waarvoor informatie in beide metingen beschikbaar was (n=459). Bron: Vragenlijst nulmeting en vervolgmeting procesevaluatie Vertrouwensexperiment Wageningen, Tilburg University, 2019. Tussen nulmeting en vervolgmeting is er slechts een betekenisvol verschil gevonden in de gegeven rapportcijfers. Wat betreft ‘het zelf in actie komen’ door de deelnemer is het rapportcijfer significant toegenomen, ondanks dat dit rapportcijfer in de vervolgmeting nog maar uitkomt op een 4. Daarnaast zien we op twee aspecten een lichte daling, namelijk bij ‘zelf doelstellingen formuleren’ en ‘effect treatment’, echter deze blijken niet betekenisvol. Opvallend is dat geen enkel rapportcijfer voldoende is. Het hebben van realistische eisen aan de gestelde doelen scoort het hoogst, maar ook onvoldoende. Deze lage scores zeggen wellicht iets over de motivatie van de deelnemers. Vooralsnog moeten we voorzichtig zijn met het trekken van definitieve conclusies aangezien slechts een deel van de vragenlijsten is ingevuld en er nog een derde meting volgt. Participatieladder: sociale stijging De vraag stelt zich in hoeverre de begeleiding door de klantmanagers ook daadwerkelijk leidt tot een kleinere afstand tot de arbeidsmarkt voor de deelnemer; althans volgens diezelfde klantmanagers die immers die begeleiding voor hun rekening nemen. Een belangrijke doelstelling van het experiment voor de gemeenten is wat ‘sociale stijging’ wordt genoemd, waarbij indien betaald werk niet haalbaar is andere vormen van activiteiten zoals vrijwilligerswerk of maatschappelijk nuttig werk kunnen leiden tot verbetering van de participatie. Dit vertaalt zich in de praktijk in een mogelijke en gewenste stijging op de participatieladder die de afstand tot de arbeidsmarkt tracht te meten. In Tabel 13 hebben we gekeken naar de scores van de deelnemers volgens de opgave van de klantmanagers waarvoor in beide metingen vragenlijsten zijn ingevuld. Mede door de gunstige arbeidsmarktsituatie is, zo leert Tabel 13, er sprake van een significante stijging op de participatieladder van 2.7 naar 3.81. Het aantal deelnemers dat 1 Dit is onderzocht met behulp van WSANOVA waarbij de verandering in de participatieladder score van de deelnemers tussen de nulmeting en de eerste meting is geanalyseerd. Deze bleek sterk significant te zijn 29 betaald werk verricht is gestegen van 6 naar 24, dat is van 1.3% naar 10.8%. Voor 223 deelnemers waren we in staat ook de gemiddelde procentuele verandering in de score op de participatieladder tussen beide metingen vast te stellen. Deze bedroeg 36% waarbij voor 26% van de deelnemers de positie hetzelfde bleef of daalde (12%) maar voor 62% van de deelnemers sprake was van een positieve stijging. Tabel 13. Gepercipieerde verandering op participatieladder door de deelnemers volgens klantmanagers in Wageningen (deelnemers die aan beide metingen hebben deelgenomen) N (m0) zeer grote afstand 1 2 3 4 5 verricht betaald werk 6 Totaal gemiddelde verandering in % % deelnemers dat stijgt N= % in totaal (m0) N (m1) % in totaal (m1) 46 52 73 41 8 20.6 23.3 32.7 18.4 3.6 6 30 63 58 42 2.7 13.5 28.3 26 18.8 3 223 2.7 1.3 100 24 223 3.8*** 10.8 100 +36% 62% Noot: ***p<0,01; **p<0,05 (ANOVA) Bron: Vragenlijst nulmeting en vervolgmeting procesevaluatie Vertrouwensexperiment Wageningen, Tilburg University, 2019. Leereffecten bij deelnemer en consulent Gaandeweg het experiment worden leereffecten verwacht bij zowel de deelnemer als de consulent. De deelnemer leert de eigen arbeidsmarktsituatie en mogelijkheden beter kennen in het overleg met de consulent en de consulent leert op zijn of haar beurt beter in te schatten wat de kansen en mogelijkheden van de deelnemer zijn en wat het effect van de begeleiding is. De scores op een schaal van 1 tot 5 zijn vervolgens weer vertaald in een rapportcijfer tussen 0 en 10. In Tabel 14 worden de voorlopige resultaten weergegeven. 30 Tabel 14: Perceptie leereffecten volgens consulent bij deelnemer en eigen leereffect bij consulent, gemiddelde rapportcijfers (0-10) Nulmeting Gem cijfer Leereffect deelnemer Leereffect consulent Totaal N Vervolgmeting Gem cijfer N 4,7 355 4,7 228 3,2 4 355 710 3,4 4 250 478 Noot: ***p<0.01; **p<0.05 (ANOVA); 1) Significantie is getest op de deelnemers waarvoor informatie in beide metingen beschikbaar was (n=459). Bron: Vragenlijst nulmeting en vervolgmeting procesevaluatie Vertrouwensexperiment Wageningen, Tilburg University, 2019. Als we kijken naar de scores op beide metingen, zien we dat er weinig verschil is; het gemiddelde rapportcijfer voor beide leereffecten is nagenoeg gelijk gebleven. Opvallend is dat de gemiddelde score voor het leereffect van de deelnemers hoger is, dan de gemiddelde score van de consulent zelf. Daarnaast valt op dat beide scores onvoldoende zijn. Uit deze voorlopige resultaten lijkt naar voren te komen dat de leereffecten voor zowel deelnemer als de klantmanager zelf laag worden ingeschat en ook niet toenemen naarmate het experiment vordert. 5. Bevindingen en conclusies Deze tweede tussentijdse rapportage geeft een eerste en voorlopig beeld van de bevindingen van de procesevaluatie. Hieronder worden deze op een rij gezet en worden enkele eerste conclusies getrokken. 5.1. Inhoud en opzet Het experiment is in Wageningen sinds de start per 1 oktober 2017 bijna 1,5 jaar verder. De werving is een succes want het streefaantal van 400 is nagenoeg gehaald (394 deelnemers na slechts 16 afmeldingen) maar heeft meer tijd in beslag genomen dan verwacht. Een deel van de deelnemers zal daardoor, tot 1 oktober 2019 wanneer het experiment afloopt, niet de volledige duur van het experiment van 2 jaar hebben volgemaakt. Door de gunstige arbeidsmarkt nam de uitstroom naar betaald werk sterk toe waardoor het aantal deelnemers in begeleiding snel afnam van 394 (410 deelnemers minus 16 afmeldingen) naar 274 (inclusief 8 mensen die zijn her-ingestroomd) per 15 maart 2019. De gunstige arbeidsmarkt is plezierig voor de deelnemers zelf, een flink groter deel vindt werk dan in de jaren daarvoor, maar daardoor loopt het experiment dus sneller leeg dan verwacht. Het gevolg is dat de kansrijkste deelnemers naar werk uitstromen en de klantmanagers te maken krijgen met deelnemers die moeilijker aan de bak komen. Dat maakt de begeleiding c.q. coaching lastiger. Bovendien 31 beoogt het experiment dat voor deze deelnemers een alternatieve aanpak en bejegening wordt ontwikkeld. Deze is anders maar wordt wel ervaren als vernieuwend en vormt als zodanig een uitdaging voor de klantmanagers/coaches. Die uitdaging betreft zeker ook de treatment van ‘eigen regie’ waarbij de klantmanagers een andere aanpak voorstaan en de filosofie erop gericht is om mensen zelfredzaam te maken en de deelnemer te leren de eigen verantwoordelijkheid te nemen en die ook waar te maken. De wereld om het experiment heen verandert uiteraard. Dat maakt het onderzoek lastiger want voor het onderzoek moeten de treatments zoveel mogelijk hetzelfde blijven. De verandering beïnvloedt immers de reguliere treatment waardoor een zuivere vergelijking tussen de reguliere en alternatieve treatments in het onderzoek wordt bemoeilijkt. De focusgroep gesprekken hebben geleerd dat de ‘nieuwe’ aanpak een leerproces is voor de klantmanagers/coaches en dat het veel van hen vraagt maar ook van de organisatie om hen in hun nieuwe rol daarbij te ondersteunen. Binnen de organisatie vindt mede door het experiment maar ook door ontwikkelingen in het denken over beleid een veranderingsproces plaats. In de filosofie en uitgangspunten van het experiment wordt het gangbare economische mensbeeld aangevuld met het sociale mensbeeld waardoor een nieuw perspectief ontstaat op beleid en uitvoering waarin vertrouwen, maatwerk, zelfredzaamheid, vraaggerichte begeleiding en integraliteit kernbegrippen zijn geworden. Het veranderingsproces dat daardoor ontstaat leidt tot veranderingen in de uitvoering waardoor het lastiger wordt een goed beeld te krijgen van de uitkomsten van het experiment in het onderzoek. Daar komt bij dat publicatie van uitkomsten tijdens het experiment de uitkomsten weer beïnvloedt waardoor een zuivere effectmeting wordt bemoeilijkt. In deze verslaglegging worden daarom geen effecten besproken maar wordt het proces van experimenteren gevolgd, wat het doet met de uitvoering en de deelnemers en hoe het bestand zich ontwikkelt van deelnemers als gevolg van uitstroom uit de uitkering naar werk, studie of anderszins. Centraal in het verslag staat de procesevaluatie waarin onderzocht is op welke wijze de klantmanager of (werk)coach in interactie met de deelnemer inhoud en vorm heeft gegeven aan de alternatieve bejegening gebaseerd op een intensieve vraaggerichte aanpak (intensieve begeleiding en maatwerk), zelf aan het stuur (eigen regie), verdienen loont (extra vrijlating) en vertrouwen. Daartoe zijn de beide longitudinale metingen van de online deelnemers enquête (in Qualtrix) geanalyseerd alsook de beide online metingen (in Qualtrix) van de procesevaluatie. Niet alle vragenlijsten zijn al ingevuld maar voldoende om er lessen voor het vervolg van het experiment uit te kunnen trekken. Er volgt voor het einde van het experiment nog een derde meting. Op deze manier wordt inzicht verkregen in het proces van verandering in de implementatie van de andere aanpak. Dat impliceert een leerproces zowel aan de kant van de deelnemer, die moet leren zelfredzaam te zijn, als aan de kant van de consulent die op basis van het opbouwen van een vertrouwensrelatie met de deelnemer, leert hoe deelnemers zelfredzaam gedrag kunnen ontwikkelen en hoe zij hen daarbij kunnen ondersteunen. 32 Deelnemersvragenlijsten In de vorige rapportage van 8 oktober 2018 is een profielbeschrijving opgenomen van de deelnemers aan het experiment die in de bijstand zitten (Muffels & Vos, 2018). Daartoe is een latente klassenanalyse uitgevoerd op de vragenlijstgegevens van de nulmeting. Deze liet zien dat de bijstandspopulatie een heterogene groep is waartoe mensen behoren met ernstige fysieke en mentale gezondheidsproblemen en mensen die morgen aan het werk kunnen en daarvoor de juiste kwalificaties hebben. Verder viel op dat een flink deel van de deelnemers in de bijstand het financieel moeilijk hebben, en naar eigen zeggen niet in staat zijn om drie van de vijf meest noodzakelijke levensbehoeften te vervullen (45%). Ook het niveau van vertrouwen, zelfredzaamheid en welbevinden is laag te noemen onder de verschillende groepen vergeleken met de gehele bevolking. Met behulp van de vervolgmeting een jaar later onder de deelnemers is meer inzicht verkregen in de ontwikkeling van deze welzijnsindicatoren sinds de start van het experiment. Hoewel geen effecten worden gerapporteerd is wel meer inzicht gegeven in de ontwikkeling over de tijd van deze parameters. De voorlopige resultaten laten zien dat voor de groep van deelnemers in totaliteit het niveau van welbevinden licht is toegenomen maar dat de ervaren keuzemogelijkheden en subjectieve gezondheid redelijk stabiel zijn gebleven. Dat laat onverlet dat in vergelijking met de reguliere aanpak de deelnemers profijt kunnen hebben van de andere bejegening maar daarover wordt aan het einde van het experiment gerapporteerd. De bevindingen laten een significant positief effect in de tijd zien in de mate waarin mensen volgens de klantmanagers zelfredzaam gedrag laten zien en zelf in actie komen. Of dat de verbeterde economische situatie weergeeft of een gevolg is van de andere bejegening moet nog blijken. Bijstand uitkeringsstatistiek (BUS) Tevens was in de eerste tussenrapportage een analyse gemaakt van de verwachte uitstroomkansen naar werk van de groep van deelnemers aan het experiment op basis van de aangeleverde BUS gegevens door de gemeenten. De meeste deelnemers hadden toen nog een uitkering. De theoretische uitstroomkansen bleken niet erg hoog toen, gemiddeld 11%, dat is 5,5 % per jaar. Vervolgens is gekeken naar de feitelijke uitstroomkansen over een jaar. Per 1 september 2018, dat was 11 maanden na de start per 1 oktober 2017, was 11% van de deelnemers uitgestroomd naar werk. Dit was meer dan de 5,5% die gebruikelijk is per jaar. Sinds de start zijn nu 13% van de deelnemers naar werk begeleid. Procesevaluatie: sociale stijging De gemeenten hanteren een participatieladder die de afstand tot de arbeidsmarkt weergeeft van de deelnemer. De klantmanagers is gevraagd in de verschillende procesevaluatie vragenlijsten aan te geven welke score de deelnemers volgens hen hebben en of deze in vergelijking met de vorige keer is verbeterd. Onder andere doordat meer mensen werk hebben gevonden is de score significant toegenomen. Niet minder dan 62% van de deelnemers heeft een stijging doorgemaakt waartegenover 26% die op hetzelfde niveau 33 bleven en slechts 12% een daling. De gemiddelde stijging op de ladder bedroeg 36%. Dat is een stijging van 1 tot 2 punten op de ladder die varieert tussen 1 en 6. Het aantal mensen dat de hoogste trede wist te bereiken (werk vinden) is toegenomen maar ook aan de onderkant van de participatieladder zien we dat deelnemers een stijging doormaken en stappen zetten in de richting van sociale participatie. Procesevaluatie vragenlijsten Voorts zijn de doelen en activiteiten die de klantmanagers hebben ondernomen onderzocht op basis van de beide vragenlijsten alsmede hun inschatting van het verloop in de motivatie van de deelnemer. Naast werk-gerelateerde doelen worden vooral ook niet-werk gerelateerde doelen vaak genoemd. In verband met de activiteiten die zijn ondernomen in de begeleiding blijkt dat activiteiten die te maken hebben met de psychosociale problematiek van de deelnemers of met zelfredzaamheid relatief vaak worden genoemd. De bemiddeling naar betaald werk blijkt erg succesvol in het afgelopen jaar. Niet minder dan 113% van de door de klantmanagers voorgenomen activiteiten gericht op betaald werk in de nulmeting zijn mede door de gunstige economische situatie na 1,5 jaar zo blijkt uit de vervolgmeting gerealiseerd. Men heeft dus meer activiteiten gerealiseerd dan voorgenomen. Ook de activiteiten ten aanzien van opleiding zijn voor een substantieel deel bereikt. Hoewel veel minder als activiteit gebruikt in de begeleiding geldt dat minder voor de werkstages, proefplaatsingen, leerwerkplaatsen of opleidingsplaatsen. Motivatie en leereffecten In het onderzoek is ook gekeken naar de motivatieaspecten en de leereffecten bij de deelnemer en de klantmanagers. Wat de motivatie van de deelnemers betreft wordt in termen van rapportcijfers een voldoende gescoord. Wel signaleren de klantmanagers een daling in de motivatie bij de deelnemer voor de eigen treatment. Dit kan te maken hebben met het feit dat de mensen met de beste arbeidsmarktpapieren eerst uitstromen en naarmate men langer in de treatment zit zonder succes het vertrouwen afneemt. Tevens is de beoordeling van de consulent gevraagd over vijf andere aspecten in de begeleiding zoals over het zelf doelen stellen, realistische eisen stellen, het verwacht effect van de treatment, het zelf in actie komen en de zelfredzaamheid. Hoewel ook hier in termen van rapportcijfers geen hoge scores volgen is volgens de klantmanagers op een van de vijf aspecten sprake van een betekenisvolle toename; dat is het ‘zelf in actie komen’ door de deelnemer. Dat betekent dat in de ogen van de klantmanagers de zelfredzaamheid van de deelnemer wat dit aspect betreft is toegenomen. Tot besluit Een groot deel van de vragenlijsten is momenteel binnen maar niet allemaal en ook niet alle informatie is geanalyseerd. Doordat tussentijdse effectrapportages een zuivere effectmeting bemoeilijken wordt in dit rapport niet ingegaan op de vraag of de treatments het beoogde effect hebben. Dat gebeurt aan het einde van het experiment. Niettemin bevat het rapport naar onze visie relevante informatie over het proces van experimenteren vanuit het directe 34 contact van de deelnemer met de klantmanagers die de nieuwe experimentele benadering moeten implementeren. Dat blijkt inderdaad een leerproces te zijn waarbij het adagium ‘al doende leert men’ zeker opgeld doet. Het vraagt veel van de klantmanagers om te wennen en te groeien in de nieuwe bejegening en aanpak. Professionele begeleiding, training en teamwerk blijken van wezenlijk belang om het proces van experimenteren goed te laten verlopen in de gesprekskamers waarin de begeleiding plaatsvindt. Maar het vraagt niet alleen veel van hen. Het vraagt ook veel van de organisatie en het management die nog moet wennen aan de nieuwe aanpak waarin vertrouwen uitgangspunt vormt. Kortom het experiment stelt de gemeentelijke uitvoeringsorganisatie voor belangrijke uitdagingen. Experimenteren vraagt veel van alle betrokkenen zo leert het onderzoek. Referenties Muffels, R. & J. Van der Klink (2017), Offerte Vertrouwensexperimenten Wageningen, Oss, Renkum, Epe en Mierlo-Geldrop: Onderzoekdesign en kostenraming onderzoek, Tilburg University, 10 mei 2017. Muffels, R. & S. Vos (2018), Voortgangsrapport Vertrouwensexperiment Wageningen: No. 1, 8 april 2018, Tilburg University, p. 1-18. Muffels, R. & S. Vos (2018), Voortgangsrapport Vertrouwensexperiment Wageningen: No. 2, 8 oktober 2018, Tilburg University, p. 1-29. 35