Data profiling is een proces van het onderzoeken van gegevens uit een bestaande bron en het samenvatten van informatie over die gegevens. U profileert gegevens om de nauwkeurigheid, volledigheid en geldigheid van uw gegevens te bepalen. Data profiling kan om vele redenen worden uitgevoerd, maar meestal is het een onderdeel van een groter project om de datakwaliteit te helpen bepalen. Gewoonlijk wordt data profiling gecombineerd met een ETL (Extract, Transform, and Load) proces om data van het ene systeem naar het andere te verplaatsen. Indien goed uitgevoerd, kunnen ETL en data profiling worden gecombineerd om kwaliteitsdata op te schonen, te verrijken en te verplaatsen naar een doellocatie.
Bij voorbeeld, u wilt wellicht data profiling uitvoeren bij de migratie van een legacy systeem naar een nieuw systeem. Data profiling kan helpen bij het identificeren van datakwaliteitsproblemen die in de code moeten worden aangepakt wanneer u gegevens naar uw nieuwe systeem verplaatst. Of u wilt data profiling uitvoeren wanneer u gegevens verplaatst naar een data warehouse voor bedrijfsanalyses. Wanneer gegevens worden verplaatst naar een data warehouse, worden vaak ETL-tools gebruikt om de gegevens te verplaatsen. Data profiling kan nuttig zijn bij het identificeren van datakwaliteitsproblemen die in de bron moeten worden opgelost, en van datakwaliteitsproblemen die tijdens het ETL-proces kunnen worden opgelost.
Waarom data profiling?
Data profiling stelt u in staat de volgende vragen over uw data te beantwoorden:
- Zijn de data volledig? Zijn er lege of ongeldige waarden?
- Zijn de gegevens uniek? Hoeveel verschillende waarden zijn er? Zijn de gegevens dubbel?
- Zitten er afwijkende patronen in uw gegevens? Wat is de verdeling van patronen in uw gegevens?
- Zijn dit de patronen die u verwacht?
- Welk bereik van waarden bestaat er, en worden deze verwacht? Wat zijn de maximum-, minimum- en gemiddelde waarden voor de gegeven gegevens? Zijn dit de bereiken die u verwacht?
Het beantwoorden van deze vragen helpt u ervoor te zorgen dat u gegevens van hoge kwaliteit onderhoudt, wat – bedrijven realiseren zich dat steeds meer – de hoeksteen is van een bloeiend bedrijf. Zie voor meer informatie ons bericht over gegevenskwaliteit.
Hoe profileert u gegevens?
Dataprofilering kan op verschillende manieren worden uitgevoerd, maar er zijn ruwweg drie basismethoden die worden gebruikt om de gegevens te analyseren.
Kolomprofilering telt het aantal keren dat elke waarde in elke kolom in een tabel voorkomt. Deze methode helpt bij het blootleggen van patronen in uw gegevens.
Kolomoverschrijdende profilering kijkt over kolommen heen om sleutel- en afhankelijkheidsanalyses uit te voeren. Bij sleutelanalyse worden verzamelingen waarden in een tabel gescand om een potentiële primaire sleutel te vinden. Afhankelijkheidsanalyse bepaalt de afhankelijke relaties binnen een gegevensverzameling. Samen bepalen deze analyses de relaties en afhankelijkheden binnen een tabel.
Tabeloverschrijdende profilering kijkt over tabellen heen om potentiële foreign keys te identificeren. Het probeert ook de overeenkomsten en verschillen in syntaxis en gegevenstypen tussen tabellen te bepalen om te bepalen welke gegevens mogelijk overbodig zijn en welke aan elkaar zouden kunnen worden gekoppeld.
Regelvalidatie wordt soms beschouwd als de laatste stap in data profiling. Dit is een pro-actieve stap van het toevoegen van regels die controleren op de juistheid en integriteit van de gegevens die in het systeem worden ingevoerd.
Deze verschillende methoden kunnen handmatig worden uitgevoerd door een analist, of ze kunnen worden uitgevoerd door een dienst die deze query’s kan automatiseren.
Uitdagingen bij data profiling
Data profiling is vaak moeilijk vanwege de enorme hoeveelheid gegevens die u moet profileren. Dit is vooral het geval als het om een verouderd systeem gaat. Een legacysysteem kan jaren van oudere gegevens bevatten met duizenden fouten. Deskundigen raden u aan uw gegevens te segmenteren als onderdeel van uw data profiling proces, zodat u door de bomen het bos kunt zien.
Als u uw dataprofilering handmatig uitvoert, hebt u een expert nodig om talloze query’s uit te voeren en de resultaten te doorzoeken om zinvolle inzichten in uw gegevens te krijgen, wat kostbare resources kan opslokken. Bovendien zult u waarschijnlijk slechts een subset van uw totale gegevens kunnen controleren, omdat het te tijdrovend is om de hele dataset te doorlopen.
Hoe Alooma kan helpen
Als u data profiling uitvoert op een grote gegevensbron, overweeg dan om het te koppelen aan een tool als Alooma om het proces van het opschonen van uw gegevens te helpen stroomlijnen en automatiseren.
Alooma is een moderne ETL-tool die kan helpen bij het automatiseren van het opschonen en transformeren van gegevens voordat deze naar een doelopslag worden verplaatst. Als onderdeel van de beoordeling van uw gegevens, kunt u vaststellen welke fouten kunnen worden hersteld bij de bron, en welke fouten Alooma kan repareren terwijl de gegevens in de pijplijn zitten.
Alooma kan u helpen plannen. Zodra u hebt besloten welke gegevens u wilt profileren en verplaatsen, kunnen onze gegevensexperts u helpen bij het plannen, uitvoeren en onderhouden van uw gegevenspijplijn.
Alooma is veilig. Alooma is gespecialiseerd in het veilig verplaatsen van uw gegevens. Alooma versleutelt gegevens in beweging en in rust, en is trots 100% SOC 2 Type II, ISO27001, HIPAA en GDPR compliant.
Bent u klaar om te zien hoe Alooma u kan helpen uw gegevens te profileren en op te schonen? Neem vandaag nog contact met ons op!