Mi az adatvonalvezetés és miért fontos?
Az adatvonalvezetés az adatok útja a létrehozásuktól az időbeli átalakításokon keresztül. Egy adott adatkészlet eredetét, mozgását, jellemzőit és minőségét írja le.
Az adatok forrásának nyomon követése nehéz feladat.
Nagyon sok nagy szervezet a technológiai korszerűsítésre való törekvése során több különböző rendszert szerzett be különböző adatbeviteli pontokkal és az adatok transzformációs szabályaival, ahogy azok a szervezeten belül és azon keresztül mozognak.
Ezek az eszközök a vállalati szolgáltatási busz (ESB) termékek, az adatintegrációs eszközök; az ETL (extract, transform and load) eszközök, az eljárási kódok, az alkalmazásprogram-interfészek (API), az FTP (file transfer protocol) folyamatok, sőt az adatokat tovább aggregáló és átalakító üzleti intelligencia (BI) jelentések is.
Ezekkel a sokféle adatforrással, és ha a rendszerek integrálva vannak, nehéz megérteni az általuk alkotott bonyolult adathálót, nemhogy egyszerű vizuális áramlást kapni. Ezért kell nyomon követni az adatok vonalvezetését, és ezért olyan fontos szerepe van az üzleti működésben, amely lehetővé teszi annak megértését, hogy az adatok honnan származnak, hogyan alakulnak át, és hogyan mozognak az adott szervezeten belül, azon keresztül és kívül.
Adatok vonalvezetése felhasználási eset: A COVID-19 eredetének nyomon követésétől az adatvezérelt üzleti tevékenységig
A koronavírus eredetéről számos elmélet született. A University of California San Francisco (UCSF) közelmúltbeli tanulmánya a COVID-19 genetikai elemzését végezte el annak megállapítására, hogyan került a vírus kifejezetten a kaliforniai Bay Area-ba.
Februárban és március elején 29 betegnél legalább nyolc különböző vírusvonalat mutatott ki, ami arra utal, hogy nem regionális beteg-nulla, hanem inkább a kórokozó több, egymástól független behurcolása történt. A tanulmányt irányító professzor szerint “ez olyan, mintha Kaliforniába különböző forrásokból szikrák érkeznének, amelyek többszörös erdőtüzet okoznak.”
Mint ahogyan a vírusvonal megértése kulcsfontosságú ennek és más potenciális járványoknak a megállításához, úgy az adatok eredetének megértése is kulcsfontosságú a sikeres adatvezérelt vállalkozáshoz.
Top Five Data Lineage Benefits
A különböző méretű ügyfelekkel több iparágban végzett munkám során kialakult nézőpontomból öt adatvonal-előnyt szeretnék kiemelni:
Business Impact
Az adatok minden szervezet túléléséhez elengedhetetlenek. Ezért a vállalkozásoknak át kell gondolniuk a szervezeti döntéshozatalt tápláló, több rendszeren átívelő adatáramlást.
A marketingosztály például demográfiai adatokat és az ügyfelek viselkedését használja az eladások előrejelzéséhez. A vezérigazgató szintén a teljesítmény- és növekedési statisztikák alapján hoz döntéseket. Az adatok eredetének és történetének megértése segít megválaszolni a kulcsfontosságú teljesítménymutató (KPI) jelentésekben szereplő adatok eredetével kapcsolatos kérdéseket, többek között:
- Hogyan vannak definiálva a jelentés táblái és oszlopai a metaadatokban?
- Kik az adatok tulajdonosai?
- Melyek az átalakítási szabályok?
Adatok vonalvezetése nélkül ezek a funkciók lényegtelenek, ezért van értelme, hogy egy vállalkozásnak világos képet kapjon arról, honnan származnak az adatok, ki használja őket, és hogyan alakulnak át. Továbbá, ha a környezetben változás történik, értékes felmérni a vállalati alkalmazási környezetre gyakorolt hatásokat.
Az adatelvárások megváltozása esetén az adatvonalvezetés lehetőséget nyújt annak meghatározására, hogy a változás mely későbbi alkalmazásokat és folyamatokat érinti, és segít az alkalmazásfrissítések tervezésében.
Compliance & Auditálhatóság
Az üzleti feltételeket és adatpolitikákat szabványosított és dokumentált üzleti szabályokon keresztül kell megvalósítani. Az ezen üzleti szabályoknak való megfelelés nyomon követhető az adatvonalakon keresztül, beépítve az ellenőrizhetőséget és az érvényesítési ellenőrzéseket az adattranszformációkban és a csővezetékekben, hogy riasztásokat generáljanak, ha nem megfelelő adatpéldányok vannak.
A szabályozási megfelelés nagyobb átláthatósági követelményeket támaszt a cégekkel szemben, amikor az adatok nyomon követéséről és ellenőrzéséről van szó. A tőkepiaci kereskedő cégeknek például meg kell érteniük az adataik eredetét és előzményeit, hogy támogassák a kockázatkezelést, az adatkezelést és a jelentéstételt a különböző szabályozások, például a BCBS 239 és a MiFID II tekintetében.
A különböző szervezeti érdekelt feleknek (ügyfelek, alkalmazottak és könyvvizsgálók) is meg kell érteniük a jelentett adatokat, és meg kell bízniuk bennük. Az adatvonalvezetés bizonyítékot nyújt arra, hogy a szolgáltatott adatok pontosan tükröződnek.
Adatkormányzás
Az automatizált adatvonalvezetési megoldás összefűzi a metaadatokat az adatfelhasználás megértéséhez és érvényesítéséhez, valamint a kapcsolódó kockázatok mérsékléséhez.
Ez képes automatikusan dokumentálni az adatok végponttól végpontig tartó upstream és downstream adatvonalát, feltárva minden olyan módosítást, amelyet ki és mikor végzett.
Ez az adatok tulajdonjoga, elszámoltathatósága és nyomon követhetősége a megbízható adatkezelési program alapját képezi.
See: Az adatkezelés előnyei
Együttműködés
Az analitika és a jelentéstétel adatfüggő, így a különböző üzleti csoportok és/vagy részlegek közötti együttműködés kulcsfontosságú.
Az adatvonalak vizualizálása segíthet az üzleti felhasználóknak észrevenni az adatfolyamokban rejlő összefüggéseket, és ezáltal nagyobb átláthatóságot és ellenőrizhetőséget biztosít.
Az adatvezetékek és az információáramlás áttekintése tovább támogatja a megfelelőségi erőfeszítéseket.
Adatminőség
Az adatminőséget az adatok mozgása, átalakítása, értelmezése és kiválasztása befolyásolja az embereken, folyamatokon és technológiákon keresztül.
Az adatminőség javításának első lépése a kiváltó okok elemzése. Amint az adatfelügyelő meghatározza, hogy hol került be egy adathiba, meghatározható a hiba oka.
Az adatvonalkövetés és az adattérképezés segítségével az adatfelügyelő visszavezetheti az információáramlást, hogy megvizsgálja az alkalmazott szabványosításokat és átalakításokat, és megerősítse, hogy azokat helyesen hajtották-e végre.
Nézze meg az adatvonalkövetést működés közben
Az adatvonalkövetési eszközök dokumentálják az adatok áramlását a szervezet rendszereibe és rendszereiből. Megörökítik a végponttól végpontig tartó vonalvezetést, és biztosítják a megfelelő hatáselemzés elvégzését problémák vagy változások esetén az adatállományok csővezetékeken keresztüli mozgása során.
Az erwin Data Intelligence Suite (erwin DI) automatikusan generálja a végponttól végpontig tartó adatvonalvezetést, egészen oszlopszintig és a tárolók között. Megnézheti az adatfolyamatokat a forrásrendszerektől a jelentési rétegekig, beleértve a köztes átalakításokat és az üzleti logikát is.
Jöjjön el az erwin Data Intelligence (DI) következő élő bemutatójára, és nézze meg a metaadatvezérelt, automatizált adatvonalvezetést működés közben.
