Mis vahe on andmearhitekti, andmebaasi arendaja, andmete inseneri ja ETL-i arendaja vahel?


Vastus 1:

Kõik tähistused ja rollid on määratletud individuaalse organisatsiooni poolt ja traditsioonilisel viisil. Lubage mul vastata nende rollide traditsioonilisele rollile ja vastutusele ning sellele, mis praegu toimub:

ETL-i arendaja - kes kirjutab ETL-i tööde kaardistamise ja teisendamise, töövoo ja protsessivoo, algas peamiselt sellistes tööriistades nagu Informatica, PL / SQL, Datastage, ODI, Ab Initio

Andmebaasi arendaja - kes kirjutab SQL, PL / SQL, salvestatud protseduurid, käivitajad konkreetse töö tegemiseks andmebaasi ja kesta skriptimisel ning ajakava või CRON-i tööde läbimiseks

Andmearhitekt - kes kujundab organisatsiooni andmemudeli, arhitektuuri, andmehaldusstrateegia; tavaliselt kogu tööstuses kasutatavate andmehaldusvahendite jaoks

Praegune termin on andmeinsener - kes on asjatundlik andmete hankimisel erinevatest allikatest (struktureeritud või struktureerimata), erinevat tüüpi andmevormingus, mahtudest ja kiirusest ning andmete salvestamisest Big Data Platform / Data Lake platvormile (Relatsioon- või Hadoopi platvorm) või muul viisil) teostage andmete integreerimine, kasutades ETL / avatud allikaid, tagage andmete kvaliteet ning reaalajas andmete haldamise ja jagamise ajastamine. See on 60–70% organisatsiooni analüütilise platvormi pingutustest.

Loodetavasti see kaob


Vastus 2:

andmearhitekt kavandab sõnumite voo otsast lõpuni voo allikast sihtkohta. millist protokolli kasutada, milliseid turvaelemente arvestada, kõiki NFR-e, nagu kõrge saadavus, DR jne - otsustab arhitekt.

andmebaasi arendaja tegeleb andmebaasi, tabelite, skeemide jms loomisega koos juurdepääsupiirangute, hoolduse jms.

andmete insener haldab andmevoogu allikast sihtkohta, kui andmed on suured. nad abistavad hajutatud arvutusfunktsioone (nt säde hasoopis), et käsitleda suurandmete sissevoolu koos puhastamise, teisendamise ja salvestamisega hdfs-is, andmebaasides.

ETL-i arendajad kasutavad keerukaid tööstusstandardi tööriistu (enamasti kaasas suured litsentsikulud), näiteks abinitio, datastage, et saada allikast andmeid -> muuta andmed soovitud struktuuriks -> laadida konkreetsesse sihtkohta.