Se bomo izgubili v množici podatkov?

Kar 90 % vseh danes razpoložljivih podatkov je bilo ustvarjenih v zadnjih nekaj letih. Dnevno ustvarimo več 10.000 GB podatkov na sekundo in konca ni videti!

Prvi računalniki so imeli pomnilnike velikosti nekaj kilobajtov, medtem ko današnji pametni telefoni lahko shranjujejo več gigabajtov (GB) podatkov. prenosni računalniki s trdim diskom kapacitete 1 TB (1 terabajt = 1000 GB) pa več niso nič posebnega. Pomnilniške kapacitete danes ne predstavljajo nekega posebnega problema.

Vprašanje, s katerim se ukvarjamo danes, je, kako obvladati množice podatkov, ki jih človeštvo dnevno ustvari v nepredstavljivih obsegih. Podatki so namreč vredni in uporabni glede na informacije, ki jih je mogoče pridobiti z ustreznimi podatkovnimi obdelavami in analizami. Po podatkih IBM iz leta 2012 je takrat človeštvo ustvarjalo 2,5 eksabajta (2,5 milijarde GB) podatkov na dan.  Dnevno se pojavljajo nove digitalne naprave (pametni telefoni, ure, zapestnice, tablični računalniki, pametne zgradbe, pametni avtomobili …) , ki prispevajo nove in nove količine podatkov. Dejstvo je, da človeštvo danes generira podatke tako hitro in v takšnih obsegih, da tradicionalne metode in načini obvladovanj in analize le-teh niso več uporabni. Pred dobrima dvema desetletjema (1992) so takratni uporabniki interneta ustvarili 100 GB podatkov na dan, v današnjem času, po podatkih iz leta 2013, ustvarimo slabih 29.000 GB podatkov na sekundo. Projekcije kažejo, da bomo še pred letom 2018 presegli 50.000 GB novih podatkov na sekundo.

Obvladovanje teh danes razpoložljivih velikih količin podatkov, obravnavanih kar pod izrazom “veliki podatki” (big data), je izjemno uporabno in koristno za sprejemanje odločitev na vseh ravneh človeške družbe. Letalske družbe uporabljajo podatke za zagotavljanje čim boljšega udobja potnikov in izbire optimalnih letov. Zdravstvo je področje, kjer prihaja glede uporabe danes razpoložljivih tehnologij za generiranje, zbiranje in obdelavo podatkov do največjega napredka in največjih sprememb.

Vse to pa odpira vrsto novih vprašanj glede varnosti, zasebnosti, uporabe, zbiranja in učinkovite obdelave ter analize razpoložljivih podatkov.