Andmehaldus

Ettevõtte andmehalduse lahendus

Andmehaldus (ing k Data Management) on praktika, mis hõlmab andmete kogumist, töötlemist ja kasutamist turvaliselt ja tõhusalt, et saavutada paremaid tulemusi nii ärilisises kontekstis kui ka üksikisiku tasandil. See tähendab, et andmeid hallatakse viisil, mis tagab nende täpsuse, kättesaadavuse ja turvalisuse, võimaldades nii ettevõtetel kui ka üksikisikutel teha teadlikke otsuseid ja optimeerida oma tegevusi.

Andmehalduse peamine eesmärk on tagada andmete tõhus kasutamine ja kaitse. Andmete kasutamine on oluline, sest võimaldab nende haldamist. Samuti on tähtis kontrollida andmete taaskasutamist, et veenduda nende turvalisuses ja kaitstuses. Üksikisiku tasandil tähendab see näiteks isiklike failide ja dokumentide turvalist salvestamist, varundamist ja vajadusel kustutamist, et kaitsta privaatsust ja vältida andmete kadumist või väärkasutust.

Ajalugu

1950. aastatel muutus andmete haldamine oluliseks probleemiks, kuna tollased arvutid olid aeglased ja kohmakad ning nõudsid palju käsitsitööd. Ettevõtted kasutasid terveid ruume perfokaartide hoidmiseks ja haldamiseks ning teisi ruume sorteerijate, tabelarvutite ja perfokaardimasinate hooldamiseks.

Arvutite arenedes arenesid ka andmehalduse meetodid, mis viisid 1950. aastate lõpus teise põlvkonna programmeerimiskeelte väljatöötamiseni, mis omakorda muutis programmeerimise lihtsamaks.

Andmehaldus kui kontseptsioon sai alguse 1960. aastatel, kui ADAPSO (Association of Data Processing Service Organizations) hakkas edendama andmehalduse soovitusi, keskendudes professionaalsele koolitusele ja kvaliteedi tagamise meetmetele. Kõrgetasemeliste keelte (High-Level languages) kasutuselevõtt lihtsustas veelgi programmeerimist, võimaldades paremat andmete korraldamist ja haldamist.

1970. aastatel revolutsioneeris struktureeritud küsitluskeel (SQL) relatsiooniliste andmebaaside haldamist, võimaldades tõhusat andmete töötlemist ja vähendades andmete dubleerimist.

2000. aastatel tõusis esikohale pilvandmetöötlus, mis muutis andmehalduse konseptsiooni, pakkudes suurendatavaid salvestuslahendusi ja vähendades sisemisi hoolduskulusid.

Andmehalduse tähtsus kasvas peale Isikuandmete kaitse üldmääruse (GDPR) rakendamist 2016. aastal, rõhutades kvaliteetse andmejuurdepääsu ja vastavuse vajadust. Arenesid andmejärved ja andmevõrgud (data fabrics), mis on loodud struktureerimata andmete haldamiseks, et rahuldada arenenud analüütika ja masinõppe rakenduste nõudmisi.

Andmehaldus on alates 21. sajandist pidevalt arenenud, hõlmates laia valikut tehnoloogiaid ja tööriistu. Selle hulka kuulub ka andmebaaside haldustarkvara, mis on osa andmehaldussüsteemist. Andmebaaside haldussüsteem on kõige tavalisem andmehaldusplatvormide vorm ja toimib liidesena andmebaasi ja lõppkasutaja vahel.

Andmehalduse põhimõtted

Eesmärgid

• Andmehaldus on oluline valdkond, mis toetab põhiprotsesse ja juhtimist, toimides tugifunktsioonina. See on tihedalt seotud nii infohalduse kui ka infotehnoloogiaga, tagades andmete tõhusa kasutamise ja kaitse.
• Andmehalduse peamine ülesanne on tagada, et asutuse valduses olevad andmed oleksid hästi hallatud ja kaitstud. See hõlmab andmete ülevaate loomist, läbipaistva kasutamise tagamist ning selgituste andmise võimalust. Samuti on oluline kaitsta andmeid volitamata töötlemise eest ja arvestada isikuandmete kaitse nõuetega.
• Andmehalduse põhieesmärk on hõlbustada ja kiirendada andmetega töötamist, tagades nende leitavuse, usaldusväärsuse ja kasutatavuse. See muudab andmed väärtuslikuks varaks, võimaldades asutustel täita oma ülesandeid tõhusamalt.
• Andmete teisese kasutamise võimaldamine nõuab ülevaatlikku asutustevahelist andmevahetust, et tagada turvalisus ja üksikisiku õiguste kaitse.

Tegevused

• Organisatsioonis peab olema selgelt määratletud andmehalduse eest vastutamise kord. Vastutuse jagamine sõltub asutuse suurusest ja keerukusest ning võib varieeruda sõltuvalt organisatsiooni struktuurist, hõlmates rolle alates juhtkonnast kuni iga töötajani.
• Andmehaldus ei toimi isoleeritult, vaid on tihedalt seotud IT ja teabehaldusega. Teabehalduse korraldamisel peavad asutused arvestama andmehalduse põhimõtetega ning mõistma nende erinevusi üldisest teabehaldusest.

Andmehalduse põhimõisted

Andmete kogumine ja säilitamine

• Andmed (Data): faktide, numbrite, sõnade, tähelepanekute või muu kasuliku teabe kogum. Andmete töötlemise ja analüüsi kaudu muudavad organisatsioonid toorandmed väärtuslikeks teadmisteks, mis parandavad otsuste tegemist ja viivad paremate äriliste tulemusteni.
• Andmete hankimine (Data acquisition): andmete kogumine erinevatest sisemistest ja välistest allikatest, rõhuasetusega andmete täpsusele ja asjakohasusele.
• Andmete säilitamine (Data storage): andmete säilitamine andmebaasides, andmeladudes, pilvesalvestuses, andmejärvedes või nende kombinatsioonis.
• Andmeladu (Data warehouse): andmehaldussüsteem, mida kasutatakse peamiselt äriteabe ja analüüsi jaoks. Andmelaod salvestavad suures koguses ajaloolisi andmeid erinevatest allikatest ja teevad need päringuteks ja analüüsiks kättesaadavaks.
• Pilvtalletus (Cloud storage): pilvesalvestus on kaugplatvorm, mis kasutab kõrgelt virtuaalset, mitme rentnikuga infrastruktuuri, et pakkuda ulatuslikke salvestusressursse.
• Andmekogu (Data sets): korrastatud andmete kogum, mille pidamisel kasutatakse automatiseeritud andmetöötlust või mida peetakse käsitsi ja korrastatud vormidel, mis võimaldavad andmetega lihtsat tutvumist või nende mehhaanilist töötlemist.

• Andmete töötlemine

• Andmeanalüüs (Data analysis): andmete kasutamine, et saada teadmisi, teha teadlikke otsuseid ning tuvastada arengusuundi ja mustreid.
• Andmetehnika (Data engineering): suuremahuliste andmemassiivide kogumiseks, säilitamiseks ja analüüsiks mõeldud süsteemide projekteerimine ja ehitamine.
• Andmeobjekt (Data object): andmestruktuuri, näiteks faili, massiivi või toimetaja element, mida on vaja programmide täitmiseks.

Andmete haldamine

• Andmete haldamine (Data governance): põhimõtete, suuniste ja vastutuse kehtestamine, et hallata andmeid kogu nende elutsükli jooksul.
• Andmete elutsükli haldamine (Data lifecycle management): andmete nõuetekohane haldamine alates andmete loomisest kuni nende hävitamiseni, tagades kõigis etappides vastavuse õiguslikele ja regulatiivsetele nõuetele.
• Andmete kvaliteet (Data quality): andmete täpsuse ja järjepidevuse tagamine, tuvastades ja parandades vead.
• Andmekaitse (Data privacy): turvameetmete ja juurdepääsukontrolli rakendamine, et kaitsta andmeid volitamata juurdepääsu, rikkumiste eest.
• Metaandmete haldamine (Metadata management): põhjaliku dokumentatsiooni ja metaandmete säilitamine, et tagada andmete kontekst ja arusaadavus.

Andmete integreerimine ja kasutamine

• Andmete integreerimine (Data Integrations): erinevatest allikatest pärit andmete kombineerimine, et anda ühtne ülevaade ning toetada analüüsi ja aruandlust.
• Avaandmed (Open Data): krüpteerimata andmed, kõigile vabalt ja avalikult kasutamiseks antud masinloetaval kujul andmed, millel puuduvad kasutamist ning levitamist takistavad piirangud.
• Metaandmed (Metadata): andmed, mis kirjeldavad teisi andmeid.

Spetsiifilised terminid

• Andmeelement (Data element): andmeüksus, mis teatud kontekstis loetakse jagamatuks.
• Andmehaldur (Data manager/ Data steward): vastutab selle eest, et andmetega seotud töö toimuks vastavalt andmehalduse kaudu kehtestatud poliitikatele ja tavadele. Andmehaldur on Isik või organisatsioon, kellele on antud vastutus konkreetse andmekogumi haldamise eest.
• Andmebaas (Database): omavahel seotud ja süstematiseeritud andmete kogum mis lisaks andmetele sisaldab eneses ka nende andmete struktuuri kirjeldust.
• Dokumendihaldus (Document management): dokumentide haldamine asutuses või ettevõttes: nende loomine, registreerimine, süstematiseerimine, hoidmine, kasutamine ja edastamine.

Andmehalduse liigid

• Andmekonveier on tee, mille kaudu ettevõtted saavad automaatselt teavet edastada kahe või enama erineva süsteemi vahel. Näiteks kasutavad E-kaubanduse ettevõtted andmekonveiereid, et automaatselt edastada tellimuste ja laoseisu andmeid oma veebipoe ja lao vahel. See tagab, et laoseisud on alati ajakohased ja kliendid saavad täpset teavet toodete saadavuse kohta.
• ETL (extract, transform, load) on andmetorustiku tüüp, mis ekstraktib andmeid andmebaasist, vormindab neid ja laadib uude asukohta salvestamiseks. ETL-i eeliseks on see, et see suudab koguda andmeid mitmest allikast ja salvestada need ühte lahendusse. Näiteks kasutavad finantsasutused ETL-protsesse, et koguda andmeid erinevatest allikatest, näiteks pangakontodest ja krediitkaarditehingutest, ning laadida need andmelaosse, kus neid saab analüüsida ja aruandluseks kasutada.
• Andmearhitektuur on formaalne protsess, mis aitab hallata andmevoogu kindla andmestruktuuri kaudu. Andmearhitektuuri abil luuakse teabevood kogu süsteemis. Näiteks loovad suured tehnoloogiaettevõtted, nagu Google ja Amazon keerukaid andmearhitektuure, et hallata tohutuid andmevooge oma teenuste vahel.
• Andmemodelleerimine on visuaalsed diagrammid, mis näitavad, kuidas andmed süsteemis liiguvad. Need aitavad meeskonnal mõista andmevoogu süsteemi sees või erinevate süsteemide vahel. Ettevõtted loovad sageli mitu andmemudelit oma erinevate süsteemide jaoks. Näiteks loovad tervishoiuasutused andmemudeleid, et jälgida patsientide terviseandmeid ja ravi ajalugu.
• Andmekataloogiks nimetatakase üksikasjalikku loetelu kõigist organisatsiooni andmevaradest, mis on loodud selleks, et andmespetsialistid saaksid kiiresti leida kõige sobivamad andmed mis tahes analüütiliseks või äriliseks otstarbeks. Näiteks kasutavad suured ettevõtted, nagu Microsoft ja IBM andmekatalooge, et hallata ja leida kiiresti vajalikud andmed erinevate projektide ja analüüside jaoks.
• Andmetkaitse eesmärk on kaitsta organisatsiooni teavet rikkumiste, varguste ja volitamata juurdepääsu eest. Tavaliselt on see IT-funktsioon, mis loob poliitikad tarkvara, juurdepääsu, varukoopiate, salvestamise ja muu jaoks. Näiteks rakendavad pangad ja finantsasutused rangeid andmekaitsemeetmeid, et kaitsta klientide tundlikku teavet volitamata juurdepääsu ja küberrünnakute eest. See hõlmab krüpteerimist, juurdepääsukontrolli ja regulaarseid turvaauditeid.

Muud andmehalduse liigid

• Andmete elutsükli haldamine on ähenemisviis andmete haldamisele kogu nende elutsükli jooksul, alates andmete loomisest kuni andmete hävitamiseni.
• Andmete integreerimine hõlmab mitmest allikast pärit andmete ühendamist ja ühtlustamist ühtsesse, sidusasse vormingusse. Seda tehakse selleks, et andmeid saaks tõhusalt kasutada erinevatel analüütilistel, operatiivsetel ja otsuste tegemise eesmärkidel.
• Andmete migreerimine on protsess, mis hõlmab andmete valimist, ettevalmistamist, ekstraheerimist ja teisendamist ning nende püsivat ülekandmist ühest arvuti salvestussüsteemist teise.
• Andmesalvestus viitab magnetilistele, optilistele või mehaanilistele andmekandjatele, mis salvestavad ja säilitavad digitaalset teavet käimasolevate või tulevaste toimingute jaoks.

Andmehalduse tööriistad

Pilvandmetöötlusvahendid aitavad organisatsioonidel integreerida ja hallata andmeid mitmes pilvekeskkonnas, võimaldades suure andmemahuga ettevõtetel salvestada, sorteerida, analüüsida ja rutiinselt hallata oma andmeid tervikuna pilveteenuses. Näiteks: Panoply, Amazon Web Services, Microsoft Azure ja Google Cloud.

ETL-tööriistad erinevad suuresti selles, kuidas andmetega töötadakse. Mõned tööriistad pakuvad visuaalseid liideseid, teised pakuvad point-and-click integratsiooni, lisaks nõuavad mõned ETL-tööriistad põhjalikumat kodeerimisoskust. Näiteks Informatica PowerCenter, Stitch Data, Fivetran, Blendo ja Alooma.

Automatiseerimine võimaldab ettevõtetel muuta andmete vorminguid, mis on oluline samm andmete integreerimise protsessis. See hõlmab nii struktureeritud kui ka struktureerimata andmete migreerimist ja muutmist automaatselt erinevatest allikatest mõne minutiga. Näiteks Dataform, Airflow ja Luigi.

Põhiandmete haldamise tööriistad on loodud ettevõtte kesksete ja põhiliste andmete haldamiseks, nagu kliendi-, töötaja-, tegevus- ja regulatiivsed andmed. Need tööriistad aitavad andmete puhastamisel, tsentraliseerimisel, tehingute kontrollimisel, võtmete kaardistamisel ja mitme domeeni toetamisel. Lisaks hõlbustavad põhiandmete haldamise tööriistad teabe jagamist ja globaalset sünkroniseerimist erinevatest asukohtadest. Näiteks Dell Boomi, Profisee ja SAP NetWeaver.

Võrdlusandmete haldus on põhiandmete halduse osa, mida kasutatakse klassifitseerimiseks ja lubatud väärtuste määratlemiseks, mida teised valdkonnad nii sise- kui ka väliskeskkonnas kasutavad. Näiteks võivad need andmed hõlmata sihtnumbreid, riigikoode, mõõtühikuid, valuutasid, tooteid ja hindu. Tugevate tööriistade kasutamine võrdlusandmete haldamiseks on oluline, kuna need andmed toimivad paljude süsteemide jaoks viitepunktina. Kehv võrdlusandmete haldus võib põhjustada operatiivseid ebatõhususi, halba juhtimist ning ebaõigeid aruandeid ja analüüse.

Andmehalduse raskused ja tulevikusuunad

Andmete haldamise väljakutsed on mitmekesised ja keerulised. Organisatsioonid koguvad ja salvestavad andmeid üha suuremast hulgast ja mitmekesistest allikatest, sealhulgas sensoritest, nutiseadmetest, sotsiaalmeediast ja videokaameratest. Kuid need andmed ei ole kasulikud, kui organisatsioon ei tea, milliseid andmeid ta omab, kus need asuvad ja kuidas neid kasutada. Andmehalduslahendused vajavad õigeaegselt olulist teavet, et pakkuda õigeid ja olulisi teadmisi.

Organisatsioonid seisavad silmitsi raskustega andmete haldamise tulemuslikkuse taseme säilitamisel. Andmemaht kasvab pidevalt ja selleks, et säilitada tipptasemel vastamisaeg peavad organisatsioonid pidevalt jälgima, millist tüüpi päringutele andmebaas vastab ja muutma andmebaasi indekseid vastavalt päringute muutumisele, ilma et see mõjutaks jõudlust.

Nõuetele vastavuse eeskirjad on keerulised ja mitut pädevust hõlmavad ning need muutuvad pidevalt. Organisatsioonid peavad olema võimelised oma andmeid hõlpsasti üle vaatama ja tuvastama kõik, mis kuulub uute või muudetud nõuete alla. Eelkõige tuleb tuvastada ja jälgida isikuandmeid, et need vastaksid üha rangematele ülemaailmsetele eraelu puutumatust käsitlevatele regulatsioonidele.

Andmete kogumine ja tuvastamine ei too väärtust, kui organisatsioon ei töötle neid andmeid. Kui andmeteanalüüsiks vajalik teisendamiseks kulub liiga palju aega, siis jääb analüüs tegemata. Selle tulemusena läheb nende andmete potentsiaalne väärtus kaotsi. Andmeid hoitakse erinevates süsteemides, sealhulgas andmeladudes ja struktureerimata andmeparkides. Organisatsiooni andmetöötlejatel on vajavalik võimalusel kiiresti ja lihtsalt muuta andmed algsest vormingust sobivasse vormi, formaati või mudelisse, et neid saaks kasutada erinevates analüüsides.

Alates 2000. aastatest, mil pilveandmehaldussüsteemid muutusid kergesti kättesaadavaks, saavad organisatsioonid valida, kas hoida ja analüüsida andmeid kohapealses keskkonnas, pilves või nende kahe kombinatsioonis. IT-organisatsioonid peavad hindama kohapealsete ja pilvekeskkondade identsuse taset, et säilitada maksimaalne IT-alane tegevus ja vähendada kulusid.

Vaata ka

• Andmekaeve
• Andmeturve
• Andmete varundamine
• Andmekaitse
• Andmepüük
• Andmekaitse
• Andmekaitse Inspektsioon
• Teabehaldus
• Infokorraldus
• Infoarhitektuur
• Informatsioonidisain
• Andmehaldusplaan
• Mälu (arvuti)
• Digitaalarhiivindus
• Dokumendihaldus
• Identiteedivargus
• Isikuandmete kaitse üldmäärus