Grootschalige datamigratie voor DUO

Gegevens van 4,7 miljoen personen overgezet met 99,997% nauwkeurigheid

Op 28 maart 2018 gingen de systemen van DUO op slot en konden er geen wijzigingen meer worden doorgevoerd via de online portal. Vanaf dat moment hadden projectmanager Michiel van Galen Last en zijn team precies een maand de tijd om de gegevens van 4,7 miljoen studenten, oud-studenten, ouders en overige gezinsleden over te zetten naar het nieuwe systeem.

DE ACHTERGROND

Uitvoeringsorganisatie DUO zorgt er onder meer voor dat studenten iedere maand hun studiefinanciering ontvangen en dat oud-studenten hun studieschuld afbetalen. De organisatie werkte met mainframesystemen van dertig jaar oud: ontzettend robuust, maar weinig flexibel. Bovendien moesten de medewerkers veel data handmatig invoeren. Deze situatie is de afgelopen jaren ingrijpend gemoderniseerd. Zo is er een nieuw systeem gebouwd met een online portal waar gebruikers zelf wijzigingen kunnen doorvoeren. De datamigratie naar het nieuwe systeem vormde de laatste stap van dit enorme en langlopende traject met de naam Programma Vernieuwing Studiefinanciering (PVS).

DE UITDAGING

Bij het overzetten mochten vanzelfsprekend geen cruciale gegevens verloren gaan. Maar dat is makkelijker gezegd dan gedaan, legt Michiel uit. ‘Om te beginnen is het nieuwe systeem kritischer dan het oude. De kwaliteit van de gegevens moest dus omhoog.’ Daarnaast waren de gegevens allemaal apart opgeslagen in de verschillende onderdelen van het oude systeem. ‘Het gevolg was dat de gegevens niet altijd consistent waren. Dan had iemand bijvoorbeeld meerdere geboortedatums.’ Het jaar voorafgaand aan de datamigratie hield een speciaal team zich bezig met het verbeteren van de kwaliteit en consistentie van de brongegevens, die tot twintig jaar teruggingen.

Het overzetten van de gegevens vormde eveneens een flinke uitdaging. Vanaf het najaar van 2017 werden daarom maandelijks proefconversies gedaan met alle brongegevens. ‘Hierbij wordt de data onttrokken aan het bronsysteem, waarna er bij DUO verschillende technische bewerkingen worden gedaan’, licht Michiel toe. ‘Dan gaat de data naar conversiepartner Sogeti, waar de gegevens worden geconverteerd naar de nieuwe indeling.’ Vervolgens ontvangt DUO de geconverteerde data en wordt dit ingelezen in het nieuwe systeem. ‘Daarna vinden de geautomatiseerde controles plaats, bijna 4,7 miljard records. Dat gebeurt trouwens ook bij de tussenstappen in het proces.’

Uit de controles bleek welk deel van de gegevens correct was overgezet. ‘Het eerste half jaar waren we voornamelijk bezig met de conversieregels, dus de vraag hoe je de data ombouwt naar het nieuwe systeem.’ Het laatste half jaar lag de focus op de afwijkingen: de fouten, de creatieve oplossingen enzovoort. ‘Toen werd het ingewikkeld’, benadrukt Michiel. Als voorbeeld noemt hij de invoering van de euro: ‘Een studieschuld bestaat uit twee delen: het aflossingsdeel en de rente. Die werden apart en als geheel omgezet naar de euro. Dan kun je kleine afrondingsverschillen krijgen die je tijdens de conversie moet corrigeren.’

En die zogenaamde creatieve oplossingen? Michiel: ‘Dan had iemand bijvoorbeeld een dispuut met DUO gewonnen terwijl die persoon volgens de regels van DUO ongelijk had. Dat zorgt ervoor dat de gegevens van die persoon niet overeenkomen met de regels in het systeem. Zulke zaken geven problemen bij het converteren. We markeren ze zodat dit tijdens de nazorg wordt opgelost.’

DE ONDERSCHEIDENDE FACTOR

Bij een project van deze omvang en complexiteit zijn experts uit verschillende vakgebieden betrokken. Michiel had specialisten van Sogeti in zijn team, van DUO en daarnaast verschillende externen. ‘Ik geloof zelf heel erg in het team in staat stellen om zijn werk goed te doen. Het is niet mijn taak als projectmanager om op de stoel van de specialist te gaan zitten.’ Dit betekent ook dat Michiel zich soms genoodzaakt zag om zijn team in bescherming te nemen. ‘Een bestuurlijke organisatie legt alles heel minutieus vast, tot drie cijfers achter de komma. Dat is belangrijk, maar je moet voorkomen dat dit je team afleidt van de kerntaak.’

DE UITKOMST

Op donderdag 29 maart 2018 gingen alle systemen dicht, waarna de medewerkers van DUO gedurende het weekend alle openstaande wijzigingen uitvoerden. Dit was nodig zodat DUO in april de studiefinanciering kon uitbetalen. ‘Op 1 mei gingen we officieel weer open, feitelijk al op 30 april om te oefenen.’ Over het resultaat kan Michiel kort zijn: ‘Het is beter gelopen dan verwacht.’

In het nieuwe systeem zit 26 miljard euro. Het verschil met het oude systeem bedroeg in eerste instantie 24 duizend euro en is tot op de laatste cent verklaard. ‘Dat was grotendeels het gevolg van een overlijdensgeval direct na het sluiten van het oude systeem. Hierdoor is een bedrag van ruim 20 duizend euro conform de regels kwijtgescholden’ En het eindresultaat? ‘Tijdens de laatste proefconversie wisten we een nauwkeurigheid van 99,91 procent te bereiken. Bij de echte conversie was dit zelfs 99,997 procent.’

DE CIJFERS

• Conversie gegevens van 4,7 miljoen personen binnen tijdsbestek van één maand.
• 1,2 miljoen actieve studenten, ruim 1 miljoen oud-studenten, 2,5 miljoen familieleden.
• Inkomensgegevens en rekeningnummers vanaf 2012, studiegegevens tot 20 jaar terug.
• 4,5 miljard te converteren records.
• Periode: januari 2016 tot mei 2018.
• Behaalde nauwkeurigheid conversie: 99,997 procent, slechts enkele duizenden euro’s verschil.

Meer weten over dit project? Neem contact op met Michiel van Galen Last