Naar de inhoud
← Publicaties

Blog

De Data Engineer over drie jaar: wie leert straks het moeilijke werk?

Eind vorig jaar onderzocht ik de toekomst van de data engineer. De aanleiding was een vraag van een van mijn kinderen, zelf data engineer. Hoe moet ik mij voorbereiden op mijn toekomst?

Mijn conclusie was dat het werk zou verschuiven naar architectuur, datakwaliteit en het beoordelen van wat AI maakt. Inmiddels zou ik delen van dat onderzoek anders opschrijven. Vooral de gedachte dat junioren dankzij AI vanzelf sneller doorgroeien, verdient meer voorzichtigheid.

De komende drie jaar wordt steeds meer bouwwerk geautomatiseerd. Daarmee veranderen ook de taakverdeling, de instroom en de manier waarop mensen het vak leren.

AI kan meer dan code voorstellen

Volgens de actuele documentatie van Databricks kan Genie Code gegevens verkennen, pipelines opbouwen, code uitvoeren en fouten herstellen. Binnen de toegangsrechten van de gebruiker kan het meerdere stappen achter elkaar uitvoeren. [1] Hoeveel tijd een team daarmee bespaart, moet in de praktijk blijken.

Dat raakt een herkenbaar deel van het dagelijkse werk. Een bron aansluiten, een SQL-transformatie schrijven, een foutmelding onderzoeken of documentatie bijwerken.

Als die werkzaamheden minder tijd vragen, wordt belangrijker wat een engineer vooraf vastlegt. Welke uitkomst is correct? Welke gegevens mogen worden gebruikt? Wat moet er gebeuren bij ontbrekende waarden? Wanneer moet een proces stoppen?

Een pipeline die zonder foutmelding draait, kan nog steeds verkeerde informatie opleveren. Denk aan omzet waarin retouren dubbel worden verwerkt. Of een klantbestand waarin verschillende mensen ten onrechte worden samengevoegd.

AI kan technisch werkende code maken terwijl de bedrijfsregel verkeerd is begrepen. Om dat te herkennen, moet je zowel de techniek als het bedrijfsproces begrijpen.

Sneller bouwen verandert nog niet de hele werkweek

Een engineer kan een transformatie sneller opleveren en vervolgens dagen wachten op toegang tot een bronsysteem. Of op overeenstemming tussen Finance en Sales over wat precies als omzet telt.

Onderzoek van Googles DORA-team naar softwareontwikkeling laat zien dat AI bestaande sterke en zwakke punten in organisaties versterkt. Meer ontwikkelsnelheid kan samengaan met instabiliteit wanneer testen en feedback onvoldoende zijn ingericht. [2] Ook datateams moeten daarom onderzoeken waar hun werk werkelijk vastloopt.

Meet de tijd vanaf een vraag tot betrouwbare informatie die iemand daadwerkelijk gebruikt. Neem overleg, controles, herstelwerk en beheer daarin mee.

Daar hoort een managementbesluit bij. Wat gebeurt er met de tijd die vrijkomt?

Je kunt achterstanden wegwerken, meer afdelingen ondersteunen of slechte databronnen eindelijk verbeteren. Je kunt ook besluiten minder mensen aan te nemen. De gevolgen voor werknemers hangen mede af van die keuze.

Meer verantwoordelijkheid voor ervaren engineers

Mijn verwachting tot eind 2029 is dat standaardtransformaties en eenvoudige koppelingen minder handwerk vragen. Tegelijk ontstaat extra werk rond het betrouwbaar beschikbaar maken van gegevens voor AI.

Daarbij gaat het om actualiteit, herkomst, toegangsrechten en betekenis. Mag een AI-assistent dezelfde documenten zien als iedere medewerker? Blijft verwijderde informatie ergens beschikbaar? Welke definitie van een klant gebruikt het systeem?

Ook de hoeveelheid te beoordelen werk kan toenemen. Als collega’s en agents sneller wijzigingen produceren, kan de senior engineer het knelpunt worden.

Dat gebeurt vooral wanneer de manier van controleren gelijk blijft. Goede automatische tests, duidelijke acceptatiecriteria en kleine, afgebakende wijzigingen kunnen veel handmatige controle voorkomen. Ervaren engineers krijgen daarmee meer werk aan het organiseren van betrouwbare uitvoering.

Bij hoogrisico-AI komt daar menselijk toezicht bij. De AI Act vraagt om toezicht dat past bij de risico’s en het gebruik van het systeem. De aangewezen mensen moeten de werking kunnen beoordelen en zo nodig ingrijpen. [3] Dat vraagt om kennis én bevoegdheden. Een controleknop toevoegen is onvoldoende.

Technische diepgang blijft dus nodig. Wie een systeem onvoldoende begrijpt, kan moeilijk beoordelen of een overtuigend AI-antwoord klopt.

Hoe leert een junior het vak?

In mijn eerdere onderzoek legde ik veel nadruk op versneld doorgroeien. AI helpt een starter immers werkzaamheden uitvoeren waarvoor eerder meer ervaring nodig was.

Maar een taak afronden en begrijpen wat je hebt gedaan, zijn verschillende prestaties.

Anthropic onderzocht dit begin 2026 bij 52, overwegend junior, software engineers die een nieuwe Python-bibliotheek leerden gebruiken. De groep met AI-hulp scoorde lager op een aansluitende kennistoets. De manier van gebruik maakte verschil. Vragen stellen en uitleg zoeken hielpen het begrip meer dan het werk uitbesteden. Het was een klein experiment, maar wel relevant voor de inrichting van opleidingen. [4]

Een junior die snel iets werkends oplevert, kan nog steeds moeite hebben om een onverwachte fout te vinden.

Tegelijk staat de instroom onder druk. Stanford signaleert in Amerikaanse gegevens dat jonge werknemers in sterk aan AI blootgestelde beroepen achterblijven, vooral doordat minder mensen worden aangenomen. [5] Dat bewijst geen causaal AI-effect en voorspelt geen Nederlands banenverlies. Het maakt de toegang tot het vak wel een belangrijk aandachtspunt.

Werkgevers moeten bewust leerwerk behouden. Laat starters kleine opdrachten volledig doorlopen. Een bron begrijpen, een oplossing bouwen, tests maken, fouten onderzoeken en de uitkomst uitleggen. AI kan daarbij helpen, zolang zichtbaar blijft wat iemand zelfstandig beheerst.

Begeleiding kost tijd. Die moet in de planning van ervaren medewerkers staan.

De medior verdient meer aandacht

Het gesprek gaat vaak over kwetsbare junioren en waardevolle senioren. Daartussen zit een grote groep engineers die zelfstandig veel uitvoerend werk verricht.

Wie vooral standaardpipelines bouwt, kan merken dat dit werk sneller en met minder mensen gebeurt. Een ontwikkelrichting is meer verantwoordelijkheid nemen voor de betrouwbaarheid en het gebruik van de gegevens.

Dat wordt concreet wanneer een medior met de bronhouder afspreekt hoe actueel en volledig gegevens moeten zijn. Wat gebeurt er als een kolom verandert? Welke afwijking geeft een waarschuwing en welke legt het proces stil? Zulke afspraken kunnen worden vastgelegd in een data contract en automatisch worden gecontroleerd.

Daar hoort bij dat iemand kan achterhalen waar een verkeerd cijfer vandaan komt en met gebruikers bespreekt wat de gevolgen zijn.

Dit zijn bestaande werkzaamheden die zwaarder kunnen gaan wegen. Hoeveel verantwoordelijkheid iemand krijgt, moet passen bij diens ervaring en het team.

Werven begint bij het werk dat er straks ligt

De komende drie jaar zullen de verschillen tussen organisaties groot blijven. Sommige teams krijgen met AI meer gedaan. Andere beperken de instroom. Weer andere besteden de gewonnen bouwtijd aan controle en herstel.

Onderzoek daarom bij een vacature welke werkzaamheden overblijven, veranderen en erbij komen. Bepaal vervolgens wat het bestaande team kan leren en waarvoor iemand nodig is.

Kijk bij een starter naar de beschikbare begeleiding. Bij een medior naar zelfstandige verantwoordelijkheid. Bij een senior naar technisch oordeel en het vermogen anderen verder te brengen.

Een bedrijf kan vandaag besluiten het eenvoudige werk te automatiseren. Het moet dan ook organiseren hoe iemand morgen het moeilijke werk leert.

Bronnen

1. Databricks, documentatie Genie Code. Bekijk bron

2. DORA / Google (2025), DORA 2025 State of AI-assisted Software Development Report. Bekijk bron

3. Europese Unie, Verordening (EU) 2024/1689 (AI Act), artikel 14: menselijk toezicht. Bekijk bron

4. Anthropic (29 januari 2026), How AI assistance impacts the formation of coding skills. Bekijk bron

5. Brynjolfsson, Chandar & Chen, Stanford Digital Economy Lab (2025, herzien 12 augustus 2026), Canaries in the Coal Mine? Six Facts about the Recent Employment Effects of Artificial Intelligence. Bekijk bron