Ce este linia de date și de ce este importantă?
Linia de date este călătoria pe care o parcurg datele de la crearea lor până la transformările lor în timp. Descrie originea, mișcarea, caracteristicile și calitatea unui anumit set de date.
Dezvăluirea sursei datelor este o sarcină dificilă.
Multe organizații mari, în dorința lor de a se moderniza cu ajutorul tehnologiei, au achiziționat mai multe sisteme diferite, cu diverse puncte de intrare a datelor și reguli de transformare a datelor pe măsură ce acestea se deplasează în și prin organizație.
Aceste instrumente variază de la produse enterprise service bus (ESB), instrumente de integrare a datelor; instrumente de extragere, transformare și încărcare (ETL), cod procedural, interfețe de program de aplicație (API), procese de protocol de transfer de fișiere (FTP) și chiar rapoarte de business intelligence (BI) care agregă și transformă în continuare datele.
Cu toate aceste surse de date diverse, și dacă sistemele sunt integrate, este dificil să înțelegi rețeaua complicată de date pe care acestea o formează și cu atât mai puțin să obții un flux vizual simplu. Acesta este motivul pentru care trebuie urmărit traseul datelor și de ce rolul său este atât de vital pentru operațiunile de afaceri, oferind capacitatea de a înțelege de unde provin datele, cum sunt transformate și cum se deplasează în interiorul, între și în afara unei anumite organizații.
Caz de utilizare a traseului datelor: From Tracing COVID-19’s Origines to Data-Driven Business
Au apărut o mulțime de teorii despre originea coronavirusului. Un studiu recent al Universității din California San Francisco (UCSF) a efectuat o analiză genetică a COVID-19 pentru a determina modul în care virusul a fost introdus în mod specific în zona Bay Area din California.
Acesta a detectat cel puțin opt linii virale diferite la 29 de pacienți în februarie și la începutul lunii martie, sugerând că nu există un zero regional de pacienți, ci mai degrabă mai multe introduceri independente ale agentului patogen. Profesorul care a condus studiul a spus: „este ca și cum scântei care intră în California din diferite surse, provocând mai multe incendii.”
La fel cum înțelegerea liniei virale este esențială pentru a opri această pandemie și alte potențiale pandemii, înțelegerea originii datelor, este esențială pentru o afacere de succes bazată pe date.
Top Five Data Lineage Benefits
Din perspectiva mea de a lucra cu clienți de diferite mărimi din mai multe industrii, aș dori să evidențiez cinci beneficii ale liniei de date:
Business Impact
Datele sunt cruciale pentru supraviețuirea fiecărei organizații. Din acest motiv, afacerile trebuie să se gândească la fluxul de date în mai multe sisteme care alimentează procesul decizional organizațional.
De exemplu, departamentul de marketing utilizează date demografice și comportamentul clienților pentru a prognoza vânzările. Directorul general ia, de asemenea, decizii pe baza statisticilor de performanță și de creștere. O înțelegere a originii și a istoricului datelor ajută la răspunsul la întrebările privind originea datelor din rapoartele unui indicator cheie de performanță (KPI), inclusiv:
- Cum sunt definite tabelele și coloanele raportului în metadate?
- Cine sunt proprietarii datelor?
- Ce sunt regulile de transformare?
Fără o linie de date, aceste funcții sunt irelevante, așa că este logic ca o afacere să aibă o înțelegere clară a provenienței datelor, a celor care le utilizează și a modului în care acestea se transformă. De asemenea, atunci când are loc o modificare a mediului, este valoros să se evalueze impactul asupra peisajului aplicațiilor întreprinderii.
În cazul unei modificări a așteptărilor privind datele, alinierea datelor oferă o modalitate de a determina ce aplicații și procese din aval sunt afectate de modificare și ajută la planificarea actualizărilor aplicațiilor.
Conformitate & Auditabilitate
Termenii de afaceri și politicile privind datele ar trebui să fie implementate prin reguli de afaceri standardizate și documentate. Conformitatea cu aceste reguli de afaceri poate fi urmărită prin intermediul liniei de date, încorporând controale de auditabilitate și validare în cadrul transformărilor și conductelor de date pentru a genera alerte atunci când există instanțe de date neconforme.
Conformitatea reglementară impune firmei cerințe mai mari de transparență atunci când vine vorba de urmărirea și auditarea datelor. De exemplu, firmele de tranzacționare pe piețele de capital trebuie să înțeleagă originile și istoricul datelor lor pentru a sprijini gestionarea riscurilor, guvernanța datelor și raportarea pentru diverse reglementări, cum ar fi BCBS 239 și MiFID II.
De asemenea, diferite părți interesate organizaționale (clienți, angajați și auditori) trebuie să poată înțelege și să aibă încredere în datele raportate. Liniajul datelor oferă dovada că datele furnizate sunt reflectate cu acuratețe.
Guvernanța datelor
O soluție automatizată de liniere a datelor coase împreună metadatele pentru înțelegerea și validarea utilizării datelor, precum și pentru atenuarea riscurilor asociate.
Este capabil să autodocumenteze de la un capăt la altul linia datelor în amonte și în aval, dezvăluind orice modificări care au fost făcute, de către cine și când.
Această proprietate, responsabilitate și trasabilitate a datelor este fundamentală pentru un program solid de guvernanță a datelor.
Vezi: Beneficiile guvernanței datelor
Colaborare
Analitica și raportarea sunt dependente de date, ceea ce face ca colaborarea între diferite grupuri de afaceri și/sau departamente să fie crucială.
Vizualizarea filierei datelor poate ajuta utilizatorii de afaceri să identifice conexiunile inerente ale fluxurilor de date și, astfel, să ofere o mai mare transparență și auditabilitate.
Vederea traseelor de date și a fluxurilor de informații sprijină și mai mult eforturile de conformitate.
Calitatea datelor
Calitatea datelor este afectată de mișcarea, transformarea, interpretarea și selecția datelor prin intermediul oamenilor, proceselor și tehnologiei.
Analiza cauzelor de bază este primul pas în repararea calității datelor. Odată ce un administrator de date determină unde a fost introdus un defect de date, se poate determina motivul erorii.
Cu ajutorul liniei și cartografierii datelor, administratorul de date poate urmări fluxul de informații înapoi pentru a examina standardizările și transformările aplicate pentru a confirma dacă acestea au fost efectuate corect.
Vezi Liniajul datelor în acțiune
Instrumentele de linie de date documentează fluxul de date care intră și ies din sistemele unei organizații. Ele capturează linearea de la un capăt la altul și asigură efectuarea unei analize de impact adecvate în cazul unor probleme sau modificări ale activelor de date pe măsură ce acestea se deplasează prin conducte.
Suită erwin Data Intelligence Suite (erwin DI) generează automat linearea datelor de la un capăt la altul, până la nivel de coloană și între depozite. Puteți vizualiza fluxurile de date de la sistemele sursă până la straturile de raportare, inclusiv transformările intermediare și logica de afaceri.
Veniți alături de noi la următoarea demonstrație live a erwin Data Intelligence (DI) pentru a vedea în acțiune linearea automată a datelor bazată pe metadate.
.