Naar de inhoud

Wat is ETL? Datamigratie zonder VLOOKUP-hel

ETL staat voor extract, transform, load: gegevens uit een systeem halen, omzetten en in een ander systeem laden. Met een vaste aanpak wordt een foutgevoelige klus een herhaalbaar proces.

In het kort

Een nieuw systeem, een nieuwe klant inladen, twee administraties samenvoegen: steeds moeten gegevens van A naar B. ETL is de naam voor dat proces. Extract: de gegevens uit het bronsysteem halen. Transform: ze omzetten naar wat het doelsysteem verwacht. Load: ze inladen.

Hoe het vaak gaat

Een export naar Excel, daarna dagen werk met VLOOKUP's, zoeken en vervangen, en kopiƫren en plakken. Het werkt, maar:

  • elke keer opnieuw, met de hand;
  • fouten vallen pas op als het doelsysteem ze weigert, of erger, als ze er ongemerkt in staan;
  • niemand weet achteraf precies wat er is veranderd.

Hoe het beter kan

  1. Analyseren. De bronbestanden automatisch laten doorlichten: welke kolommen, welke soorten waarden, wat ontbreekt er.
  2. Mappen. Vastleggen welke bronkolom naar welk doelveld gaat, met de omzettingen ertussen, zoals statussen vertalen of namen opschonen.
  3. Transformeren. Die regels automatisch toepassen, ook verwijzingen tussen bestanden.
  4. Valideren. Controleren voordat er iets wordt ingeladen: verplichte velden, dubbele sleutels, ongeldige waarden.
  5. Laden en vastleggen. De importbestanden maken en bewaren wat er is gebeurd.

Voor een leverancier van industriƫle uitgifteautomaten bouwden wij zo een tool die duizenden regels producten, apparatuur, vakken en voorraad omzet naar het importformaat van het doelsysteem. Uren handwerk werden een proces van minuten, en het is bij de volgende klant gewoon opnieuw te gebruiken.

Waar let u op

  • Begin bij de kwaliteit van de brongegevens. Vervuilde gegevens worden door een migratie niet schoner.
  • Maak de regels herhaalbaar, zodat een proefmigratie en de echte migratie hetzelfde doen.
  • Laat een gebruiker die de gegevens kent de uitkomst steekproefsgewijs controleren.

Wilt u advies over datamigratie? Vraag een gratis adviesgesprek aan.

Bijgewerkt op

Dienstverlening

Wat is full stack?

Full stack betekent: alle lagen van een applicatie, van het scherm tot de database en de server. Een full-stackontwikkelaar of -team werkt over die lagen heen.

Dienstverlening

Wie houdt uw CIO een spiegel voor?

CIO's en IT-managers verdelen hun tijd over budgetten, leveranciers, projecten en mensen. Een sparringpartner met actuele technische kennis maakt hun beslissingen sterker, en geeft de directie vertrouwen.

Dienstverlening

Wat is de Definition of Done?

De Definition of Done legt vooraf vast wanneer iets echt klaar is. Zo weet iedereen vooraf waaraan het opgeleverde werk wordt getoetst.