Hoe kunnen we geautomatiseerd en doorlopend de 690 cao’s in Nederland analyseren?

Challenge info

Dagen Uur Minuten

Deadline: 28 juli 2020 voor 12:00
Reward: Max. €25.000 | Programma | Kans op vervolgopdracht

Upload your pitch!

Share challenge

Max. €25.000 | Programma | Kans op vervolgopdracht

Nog 13 dagen

In Nederland zijn er 690 cao’s (collectieve arbeidsovereenkomsten) waar bijna 6 miljoen werknemers onder vallen. Het doel van een cao is de werknemer zekerheid geven over inkomen, rechtspositie, arbeidsduur en andere voorwaarden. Belangrijke afspraken dus!

Het ministerie van Sociale Zaken en Werkgelegenheid onderzoekt doorlopend wat er in de cao’s staat. Zowel als basis voor nieuw beleid, als om te achterhalen wat de impact is van eerder beleid. Deze onderzoeken worden uitgevoerd door de afdeling Cao Onderzoek en Beleidsinformatie (COB). Het onderzoeken van cao-afspraken is nu een arbeidsintensief proces. De medewerkers van COB doen dit handmatig. De meeste cao’s worden om de 1 à 2 jaar geüpdatet, dus het is een continu proces. Slechts 100 van de 690 cao’s kunnen nu onderzocht worden en het duurt lang voordat de rapportages opgeleverd kunnen worden, waardoor ze vaak deels verouderd zijn.

Daar willen we verandering in brengen! Wij zijn op zoek naar bedrijven die ons kunnen helpen om de kwalitatieve tekstanalyse van cao’s (grotendeels) te automatiseren, zodat we alle 690 cao’s kunnen analyseren én actuelere rapportages kunnen leveren. Hebben jullie hiervoor de oplossing en expertise? Dan ontvangen wij graag jullie pitch!

 

Waar zijn we naar op zoek?
Wij zijn op zoek naar een innovatief product/werkwijze waarmee het mogelijk is om compleet en actueel cao-onderzoek te realiseren. Wij willen zoveel mogelijk van het kwalitatieve tekstanalyse proces automatiseren, zodat onze onderzoekers zich kunnen richten op het onderzoeken van de bovenliggende trends en ontwikkelingen.

De oplossing moet flexibel te gebruiken zijn. COB voert veel herhalingsonderzoek uit (monitors) maar er zijn binnen deze onderzoeken vaak nieuwe thema’s en er worden regelmatig onderzoeken gestart naar nieuwe onderwerpen. Belangrijke randvoorwaarden is dat het proces en de uitkomsten ervan herleidbaar zijn. Wij moeten kunnen uitleggen waarom een bepaalde waarde of score aan een cao-(deel)tekst is toegekend. Zodat wij altijd kunnen toelichten hoe wij tot onze conclusies komen. 
 

Samengevat zijn wij op zoek naar oplossingen die zoveel mogelijk van het onderstaande mogelijk maken:

  • Compleet: Alle cao’s (690) van Nederland worden betrokken. Wij hebben toegang tot alle cao-teksten (pdf-format). Dit is dus geen onderdeel van de opdracht.
  • Actueel: De gekwantificeerde data is zo actueel mogelijk. 
  • Flexibel: Wij voeren veel herhalingsonderzoek uit maar er zijn binnen deze onderzoeken vaak nieuwe thema’s en er zijn ‘nieuwe’ (herhalings)onderzoeken. Bij een herhalingsonderzoek gaan wij na wat er is gewijzigd in de cao’s en wordt gebruik gemaakt van de tekstsegmenten die in vorige onderzoek al zijn gekoppeld aan de vragen/codes. Bij een nieuw onderzoek is dit logischerwijs niet mogelijk. Het te ontwikkelen product/werkwijze moet uit de voeten kunnen met zowel de herhalingsonderzoeken als de ‘nieuwe’ onderzoeken. 
  • Herleidbaar: Wij moeten kunnen uitleggen waarom een bepaalde waarde aan een cao-tekst is toegekend. Hier willen we uiteraard invloed op hebben, mocht de voorgestelde waarde niet kloppen. Waarden worden in cao-onderzoek niet willekeurig toegekend maar beredeneerd. Dit betekent ook dat alle data en onderliggende CAO teksten beschikbaar moeten blijven. Nieuwe waarden mogen oude waarden dus niet overschrijven. 
  • Data-export naar SPSS/Excel: Wij analyseren de data in SPSS en Excel. Het moet dus mogelijk zijn om een data-export te maken die je kan inlezen in deze programma’s. 
  • Data visualisatie: Wij willen n de toekomst een online dashboard ontwikkelen. De output data moet gebruikt kunnen worden voor het maken van een dashboard (op dit moment gebruiken wij Power BI).
Op dit moment werken wij met Max QDA als analysetool. Hierop aansluiten is handig, maar geen must. Ons hele huidige proces met uitgesplitste stappen en tooling is te hieronder beschreven. Als de oplossing (ook) een (nieuwe) applicatie omvat dan bij voorkeur een webapplicatie – dit vanwege de lange doorlooptijd om nieuwe applicaties goedgekeurd te krijgen in relatie tot de beoogde ontwikkelsnelheid in het SiR-programma. 

Wij willen in het SiR-programma als pilot aan de slag gaan met één van de herhalingsonderzoeken die COB uitvoert. Bij succes schalen we daarna graag op naar al onze onderzoeken! Wij zijn op zoek naar een partij die flexibel en creatief is en die nauw samen wil werken aan een oplossing voor ons probleem.

 

 

Waarom we dit als challenge uitzetten
Voor ons vraagstuk is een maatwerkoplossing nodig, die in de huidige markt (voor zover wij weten) nog niet bestaat. We zijn op zoek naar een innovatieve oplossing die de huidige denkprocessen doorbreekt en die flexibel is. Hieronder is dit uitgewerkt: 

  • Maatwerk: De te ontwikkelen toepassing moet ingepast worden in de huidige systemen en werkwijze van COB. De te ontwikkelen toepassing is daardoor dermate specifiek voor COB dat enkel een maatwerkoplossing (of standaardoplossing met ruime inregel mogelijkheden) voor de hand ligt. De oplossing moet in de praktijk vorm krijgen omdat het alleen op die manier mogelijk is om tot een oplossing te komen die daadwerkelijk past.
  • Doorbreken van denkprocessen over werkwijze: We hopen dat het partnerschap met een start-up leidt tot het doorbreken van bestaande gedachteprocessen over onze manier van werken. Door de wisselwerking tussen de startup en ons eigen team willen we komen tot een gezamenlijke uitwerking van een nieuwe manier van werken.
  • Flexibel en vrijblijvend: Tot slot kiezen wij voor samenwerking met een start-up via het Start-up in Residence programma omdat dit ons de mogelijkheid geeft om op kleine schaal en relatief vrijblijvend te experimenteren met innovatieve technieken. Aan het einde van het traject is er een beslissingsmoment of we onze ‘proof of concept’ verder willen uitwerken. Dit maakt dat het mogelijk is om voor een innovatieve maar mogelijk gewaagde oplossing te kiezen.
     

 

Wat is er te winnen?

  • Een innovatiebudget van maximaal €25,000.
  • De kans op een vervolgopdracht na het programma.
  • Een begeleidingstraject van 5 maanden waarin jullie zowel de oplossing als de onderneming naar een hoger niveau kunnen tillen. Meer informatie over het programma en de verschillende onderdelen, vind je op onze programma pagina.
  • Toegang tot het netwerk van de overheid.

Wij willen de ruimte en tijd investeren om samen te werken aan dit uitdagende probleem. Indien er een product/werkwijze tot stand komt waarmee het mogelijk is om compleet en actueel cao-onderzoek te doen kunnen we verder gaan met een vervolg samenwerking om deze te implementeren voor andere onderzoeken. In de verdere toekomst kan je een rol spelen bij het tot stand brengen van een dashboard en het toegankelijk maken van de data voor derden. Naast COB zijn er verschillende andere partijen die cao-onderzoek uitvoeren. Het gaat om werkgevers- en werknemerspartijen (AWVN en FNV), universiteiten (AIAS-HSI) en partijen gericht op het leveren van informatie aan HR-managers (ExpertHR en Cao-web). We zetten ons netwerk graag voor jullie in om jullie verder te helpen bij succes. 


Informatiebijeenkomst
We organiseerden voor deze challenge een online informatiebijeenkomst op 30 juni 2020 van 9.00-10.00. Lees hier de in de informatiebijeenkomst gestelde vragen en de antwoorden.

Vragen
Vragen over de inhoud van deze challenge kan je hier stellen op de discussion page. Vragen over het programma en de aanmeldingsprocedure zijn te stellen en te vinden bij de Frequently Asked Questions (FAQ).


Inschrijven en selectiecriteria
Inschrijven doe je door middel van het indienen van een Proposal (hier). Deze mag niet langer zijn dan vier pagina’s. Waar dit proposal verder aan moet voldoen en hoe hij wordt beoordeeld staat in de formele Selectieleidraad (pdf download). Lees die goed door!

Stuur met je proposal ook een ingevuld UEA in (Uniform Europees Aanbestedingsdocument (docx download)). Sla deze op als pdf.


De proposal mag in vrije vorm worden ingediend (presentatie/slide deck, briefvorm), maar moet als pdf-bestand (liggend of staand A4) worden geüpload (max. 30MB). Video’s, voorbeeldwebsites, etc. kunnen daarin worden opgenomen als link. 
Pitches in English are allowed.



Timeline

Een volledige timeline staat in de selectieleidraad. De belangrijkste momenten zijn als volgt:
  • Dinsdag 9 juni - Lancering challenge
  • Dinsdag 30 juni van 9.00-10.00 - Informatie meetup - Lees hier de in de informatiebijeenkomst gestelde vragen en de antwoorden
  • Dinsdag 14 juli, 12:00 - Deadline vragen stellen
  • Dinsdag 28 juli, 12:00 - Deadline insturen aanmelding
  • Maandag 10 augustus - Eerste selectiebesluit
  • 31 augustus - 4 september - Pitchronde
  • Maandag 5 oktober - Gunningsbesluit
 

Achtergrondinformatie
Maatschappelijke relevantie van cao-onderzoek
De cao is al bijna honderd jaar een van de belangrijkste instrumenten om arbeidsverhoudingen in Nederland te organiseren. De cao is het resultaat van een onderhandeling tussen werkgevers en werknemers, eventueel algemeen verbindend verklaard door de overheid. Daarmee is de cao het symbool van ons zowel gewaardeerde als bekritiseerde poldermodel. Het doel van een cao is de werknemer zekerheid geven over inkomen, rechtspositie, arbeidsduur en andere voorwaarden. 

Er is sprake van een wisselwerking tussen cao en overheidsbeleid; bij het maken van beleid kunnen cao-afspraken dienen als het uitgangspunt, tegelijkertijd vormen cao-afspraken een effectmaat van het beleid. Het ministerie van Sociale Zaken en Werkgelegenheid faciliteert deze wisselwerking door het onderzoeken en monitoren van cao-afspraken, uitgevoerd door de afdeling Cao Onderzoek en Beleidsinformatie (COB). 

Voorbeeld van deze wisselwerking is terug te vinden in het beleid rond individuele leer- en ontwikkelbudgetten. De overheid wil werknemers middels individuele leer- ontwikkelbudgetten meer regie geven bij het volgen van scholing. Bij het formuleren van het beleid rond deze budgetten zijn bestaande cao-afspraken op dit onderwerp in kaart gebracht, zodat beleid niet botst met deze afspraken en beleid en cao-afspraken elkaar versterken. Momenteel monitort COB de cao-afspraken om te zien of er meer en ruimere budgetten zijn afgesproken in cao’s, zoals het beleid onder andere beoogt.


Link naar voorbeelden van onze onderzoeken en publicaties
Onze onderzoeken worden gepubliceerd op de website van onze directie: www.uitvoeringarbeidsvoorwaardenwetgeving.nl. Informatie over het onderzoek dat onderwerp is van het SiR-programma vindt u hier. 

Werkproces COB
Het onderzoek van COB bestaat uit onderstaande stappen. Het te ontwikkelen product/werkwijze dient met name ter vervanging van stap 1. 

Stap 1: kwalitatieve data-analyse met behulp van Max QDA (zie bijlage print screen Max QDA)

Stap 1a Klaarzetten bestand
Bij de start van een onderzoek wordt het bestand klaargezet. In geval van een herhalingsonderzoek werken we verder in het ‘oude’ bestand. Dat biedt de mogelijkheid om de ‘oude’ cao’s te vergelijken met de ‘nieuwe’ cao’s (daarover meer in de volgende stap). In zowel een nieuw als een herhalingsonderzoek bestaat het klaar zetten van het bestand uit de volgende stappen:

  • Cao-teksten importeren (pdf) (zie de bijlagen voor een aantal voorbeelden van cao-teksten: ANWB, de Volksbank en Horeca). 
  • De vragenlijst/codelijst maken of in geval van een herhalingsonderzoek actualiseren. De vragenlijst/codelijst bevat alle onderwerpen waarop een tekst wordt doorzocht (zie bijlage vragenlijst 2019). Wij gebruiken de volgende typen vragen/codes: 
    • Dichotoom: ja/nee
    • Categoriaal: bijvoorbeeld geen bepaling, wettelijk, bovenwettelijk
    • Integer: bijvoorbeeld leeftijd in jaren of een bedrag
    • Tekst: bijvoorbeeld visie op flexibiliteit


Stap1b Toekennen van codes
Met Max QDA is het mogelijk om de informatie uit cao-teksten te kwantificeren. Dit doe je door aan (de relevante) stukken tekstcodes toe te kennen die de betekenis van het stuk tekst het beste weergeven (zie bijlage print screen Max QDA). Er zijn verschillende strategieën voor het toekennen van codes. Laatstgenoemde strategie werkt alleen in geval van herhalingsonderzoek: 

  • Lexical search: Max QDA bevat de functie ‘lexical search’, (zie bijlage print screen Max QDA). Met deze functie is het mogelijk om alle geïmporteerde cao’s te gelijk te doorzoeken op zoektermen. Dit werkt echter alleen wanneer er één of een aantal zeer specifieke woorden aan een vraag/code gekoppeld zijn. 
  • Doornemen van de tekst (op basis van de inhoudsopgave): Deze strategie wordt het meeste gebruikt. De strategie houdt in dat de cao gericht wordt doorgelezen opzoek naar teksten die te koppelen zijn aan vragen/codes. 
  • Vergelijken ‘oude’ en ‘nieuw’ cao: Indien het gaat om een herhalingsonderzoek is er veel houvast aan de ‘oude’ cao-teksten en toegekende codes. We openen daarvoor de ‘oude’ en ‘nieuwe’ cao-teksten naast elkaar. De tekst waaraan een code is gehangen in de ‘oude’ cao zoeken we met soort ‘ctr-f’ functie op in de nieuwe cao. Vergelijken doen we vervolgens op het niveau van de cao-tekst (Is er een verandering in de tekst?) en op het niveau van de codes (Indien er een wijziging van de tekst is heeft dit ook een wijziging van de code tot gevolg?). Meestal lijken de ‘oude’ en ‘nieuwe’ teksten op elkaar en werkt deze strategie Het komt echter ook regelmatig voor dat er veel is veranderd waardoor de ‘oude’ tekst geen houvast biedt bij het doorlopen van de ‘nieuwe’ tekst. In dat geval doorlopen we de cao-tekst alsnog volgens de eerste twee genoemde strategieën. 


Het komt regelmatig voor dat een tekst niet eenduidig aan een code toe te kennen is. In dat geval bespreken de collega’s van COB onderling welke code de betekenis van de cao-tekst het beste dekt. 
 
Stap 1c Van codes naar databestand
Nadat Stap 1b het voor de gehele groep cao’s is doorlopen kan het in Max QDA gecreëerde databestand geëxporteerd worden naar Excel.

Stap 2: kwantitatieve data-analyse (Excel en SPSS) (zie de bijlage Factsheet interne externe flexibiliteit)
Voor de kwantitatieve data-analyse gebruiken we Excel en SPSS. In deze stap koppelen we informatie over de aantallen werknemers en de sector aan het bestand dat uit Max QDA is geëxporteerd. Dit koppelen gebeurt aan de hand van het CAO-nummer. Vervolgens worden diverse kruistabellen gedraaid. Ook kijken we naar de ontwikkeling van de afspraken over de jaren heen. Zijn er meer/minder afspraken dan vorig jaar? 

Stap 3: Rapportage (zie de bijlage interne externe arbeidsflexibiliteit definitieve versie)
In de laatste stap worden de kruistabellen vertaald naar een onderzoeksrapport in word/pdf. Daarnaast maken we (steeds vaker) ook een interactieve rapportage in Power BI. 

De onderzoeksrapporten worden gepubliceerd op de website van UAW, het Kennisplatform Werk en Inkomen en de site van Nederlandse Vereniging voor Arbeidsverhoudingen. De databestanden worden beschikbaar gesteld via het Dataregister van de Nederlandse Overheid. 

Bijlagen

Wil je updates ontvangen van deze challenge?

De vragen worden beantwoord in twee rondes:
  • Alle vragen gesteld voor maandag 6 juli 12.00 worden beantwoord op (uiterlijk) donderdag 9 juli.
  • Alle vragen gesteld na 6 juli 12.00 en tot uiterlijk dinsdag 14 juli 12.00 worden beantwoord op (uiterlijk) vrijdag 17 juli.

Lees hier de in de informatiebijeenkomst gestelde vragen en de antwoorden.

Extra bijgevoegde bijlage met codes uit MAX-QDA (excel download)

anoniem 12-06-2020reageer
Ons bedrijf bestaat al meer dan 10 jaar dus je kunt ons geen start-up meer noemen. We zijn wel een innovatief MKB-bedrijf en we beschikken over de expertise om een passende oplossing te leveren. Mogen we dan wel meedoen?

Ministerie van SZW 08-07-2020reageer
Er wordt geen definitie van een start-up gehanteerd. We zoeken vooral jonge bedrijven in Nederland die voldoende affiniteit hebben met de challenge. De passendheid van de oplossing / kwaliteit van de ideeën is leidend in het selectieproces. Wel dient de Start-up geregistreerd te zijn bij de KvK.

Thomas Schijf 16-06-2020reageer
Er staat dat het Proposal niet meer langer dan 4 pagina's mag zijn. Er staat ook dat het Proposal mag in vrije vorm worden ingediend (presentatie/slide deck, briefvorm), betekend dan dat de slide deck ook niet meer dan 4 pagina's mag zijn?

Ministerie van SZW 08-07-2020reageer
Jouw verzoek tot deelneming beslaat totaal maximaal vier (4) (enkelvoudig beschreven/bedrukte) pagina’s A4. Tevens kan je een enkelvoudig beschreven bijlage van maximaal één A4 toevoegen voor een overzicht, afbeelding of een planning. Verzoeken met meer dan vier (4) pagina’s, plus eventueel een bijlage zoals omschreven, nemen we in beginsel niet in behandeling. Dit vereiste is onafhankelijk van de vorm waarin het verzoek wordt ingediend.

Menno Wouters 29-06-2020reageer
Is er al een link voor de informatiebijeenkomst morgen? Groet, Menno Wouters

anoniem 02-07-2020reageer
Krijgen de opdrachtnemer toegang tot alle oude factsheet, rapportages en CAO-teksten? Dat kan helpen met het trainen van het systeem.

Ministerie van SZW 08-07-2020reageer
Dit materiaal is beschikbaar en kan tijdens de Start-up in-residence periode gebruikt worden.

Richard Olyerhoek 14-07-2020reageer
Is het mogelijk om in de komende week twee of drie medewerkers van het ministerie, die betrokken zijn bij het huidige process en het gebruik van MaxQDA kort te interviewen?

Richard Olyerhoek 14-07-2020reageer
Is het mogelijk om de originele informatie te verstrekken van de paragrafen die in MaxQDA zijn geannoteerd (met de paragrafen als antwoorden op de vragen). Is deze informatie beschikbaar voor alle 100 CAO's die zijn geanalyseerd?

Richard Olyerhoek 14-07-2020reageer
Zijn in het verleden de verschillen tussen het toekennen van codes of de beoordeling van uitkomsten geëvalueerd? Zijn er CAO's die door twee of meer experts zijn geanalyseerd? Hoe worden eventuele inconsistenties of conflicten opgelost?

Richard Olyerhoek 14-07-2020reageer
Zijn er andere functionaliteiten van MaxQDA die worden gebruikt, of die u overweegt te gebruiken, naast het extraheren van de relevante content uit de alinea's? Zo niet, zou u een applicatie overwegen die de verwerking en analyse, end-to-end, met elkaar verbindt om het huidige gebruik van MaxQDA en PowerBI te vervangen?

Richard Olyerhoek 14-07-2020reageer
M.b.t. Het dashboard waarnaar in de documentatie wordt verwezen: kunt u ons een voorbeeld geven of ons naar een typisch dashboard van het ministerie verwijzen? Zijn de visualisaties in rapporten, zoals [https://intergov.startupinresidence.com/Content/battle/a001d99d-fcf9-48e4-900d-4849c3494b64/Bijlage%20A4f%20CAO%20onderz%20Arbeidsflex%20SZW.pdf], afkomstig van bestaande dashboards, of worden ze gemaakt als onderdeel van de rapportage?

Richard Olyerhoek 14-07-2020reageer
Heeft u een voorkeur voor een visualisatie tool? Wilt u bijvoorbeeld PowerBI blijven gebruiken of staat u open voor het gebruik van andere visualisatie tools?

Log in of registreer om je vraag te stellen.

Extra toegevoegde bijlage met MAX-QDA codes

10 juli 2020

Naar aanleiding van de vragen tijdens de informatie bijeenkomst is er een extra bijlage met codes uit MAX-QDA (excel download) beschikbaar gesteld.

Lees hier de in de informatiebijeenkomst gestelde vragen en de antwoorden.

 
Log in of registreer om je pitch te uploaden.

Andere challenges

Alle Challenges

Mis nooit een challenge!