Big Data

Entenem com Big Data les quantitats de dades a gran escala que sobrepassen la capacitat del programari convencional per ser capturades, processades i emmagatzemades en un temps raonable .

El concepte de Big Data també engloba les infraestructures, tecnologies i serveis que han estat creats per poder gestionar aquesta gran quantitat d'informació.

Segons IDC, la quantitat de dades emmagatzemades en el món s'està duplicant cada dos anys . L'explosió de dades a la qual estem assistint és una conseqüència de la revolució digital i de la gran adopció per part dels ciutadans i de les empreses d'eines i tecnologies com les xarxes socials, els dispositius mòbils, la geolocalització, i els objectes i sensors connectats a la Xarxa - IOT.

Així, entendre què és Big Data i per a què serveix implica conèixer també tot el context de la generació de dades de el qual som insignificants.

Perquè ens fem una idea, cada dia utilitzem molts dispositius mitjançant els quals s'emet una quantitat ingent d'informació: cada vegada que fem clic a una pàgina web, paguem amb targeta de crèdit, publiquem imatges a les xarxes socials, encenem el GPS, etc. Totes aquestes (i moltes més) accions produeixen dades massius que han de ser tractats.

Estem doncs davant d'una nova revolució que introdueix grans oportunitats i, a el mateix temps, importants reptes per a les nostres empreses. En aquest articles intentarem fer llum sobre el que és Big Data i per a què serveix.

En definitiva, quan parlem de Big Data no ens referim únicament a les dades, sinó sobretot a la capacitat de poder-los explotar per extreure informació i coneixement de valor per al nostre negoci. La finalitat del Big Data és poder dissenyar nous productes i serveis basant-se en les meta dates que adquirim sobre els nostres clients, sobre la nostra competència o el mercat en general. Un cop recollida i emmagatzemada la informació, s'han d'extreure indicadors que puguin ser útils per prendre decisions, fins i tot en temps real. Per tant, la veritat sobre què és Big Data i per a què serveix va molt més enllà de només pensar en «dades massius».

La primera pregunta que ens ve al cap a considerar què és Big Data i per a què serveix, està relacionada amb quant de "gran" han de ser les dades per ser considerats "Big". Finalment, l'enfocament correcte està en no establir una mida en absolut, sinó relatiu. El que ara pot semblar una gran grandària de dades, en dos o tres anys pot ser normal o fins irrellevant. Podem definir el Big Data amb les següents qualitats:

• Volum : com hem vist, la quantitat de dades es defineix "Big" no quan supera una mida definit, sinó quan el seu emmagatzematge, processament i explotació comença a ser un repte per a una organització. 
• Velocitat : la segona característica del Big Data està relacionada amb el ritme als quals les dades s'estan generant, que sol augmentar constantment i que necessita una resposta en temps real per part de les empreses.
• Varietat : però, el repte principal del Big Data resideix en la gran diferència de formats diferents en els quals trobem les dades i que poden anar des de text senzill, a imatges, vídeos, fulls de càlculs i senceres bases de dades.
• Veracitat : a més, les dades han de ser fiables i han de ser mantinguts nets. Una gran quantitat de dades no té valor si són incorrectes i pot ser altament perjudicial, sobretot en la presa de decisió automatitzada.
• Valor : finalment, les dades i la seva anàlisi han de generar un benefici per a les empreses

Tipus de Big Data 
A l'hora de classificar els "grans dades" podem fer-ho segons dos criteris: procedència i estructura . Així, segons la seva procedència, les dades poden arribar des de diferents fonts, entre d'altres:

• Web i Xarxes Socials: informació disponible a Internet com a contingut web, generada pels usuaris en la seva activitat a les xarxes socials o informació de recerques en cercadors.
• Machine-to-Machine (M2M): dades generades a partir de la comunicació entre sensors intel·ligents integrats en objectes d'ús quotidià.
• Transaccions : inclou registres de facturació, trucades o transaccions entre comptes. • Biomètrics: dades generades per tecnologia d'identificació de persones mitjançant reconeixement facial, d'empremtes dactilars o mitjançant informació genètica. 
• Generats per persones: a través de correus electrònics, serveis de missatgeria o gravacions de trucades.
• Generats per organitzacions tant públiques com privades: dades relacionades amb el medi ambient, estadístiques governamentals sobre població i economia, historials clínics electrònics, etc.

D'altra banda, segons la seva estructura, les dades pot ser:

• Estructurats: dades que tenen definits seu format, mida i longitud, com les base de dades relacionals o Data Warehouse. 
• Semiestructurats : dades emmagatzemades segons una certa estructura flexible i amb metadades definits, com XML i HTML, JSON, i els fulls de càlcul (CSV, Excel).
• No estructurats : dades sense format específic, com fitxers de text (Word, PDF, correus electrònics) o contingut multimèdia (àudio, vídeo, o imatges).

Com afavoreix el Big Data a la industria?
Un cop haguem acceptat que les dades han vingut per quedar-se, la següent pregunta és sobre els avantatges que poden representar per a la nostra organització. En aquest sentit, un estudi dut a terme per Bain & Company demostra de forma clara els avantatges competitius que poden obtenir les empreses “early adoptar” del Big Data .

Les empreses que han entès què és Big Data i per a què serveix tenen:

• Dues vegades més probabilitats d'obtenir un rendiment financer superior que la mitjana de les seves indústries.
• Cinc vegades més probabilitats de prendre decisions molt més ràpid que els seus competidors.
• Tres vegades més probabilitats de executar les decisions segons el previst .
• El doble de probabilitats de prendre decisions basades en dades . 

Els reptes del Big Data 

Avui en dia, cap empresa pot ignorar el tema de què és Big Data i per a què serveix, doncs les implicacions que aquesta tecnologia pot tenir sobre els negocis són moltes. No obstant això, es tracta d'un concepte relativament nou i en contínua evolució, i no són pocs els reptes als quals s'enfronten les organitzacions a l'hora de relacionar-se amb els grans dades. Entre ells:

• La tecnologia: les eines Big Data no son fàcils d'administrar i requereixen professionals de dades especialitzats a més d'importants recursos per al manteniment.
• L'escalabilitat: un projecte de Big Data pot créixer amb gran velocitat, per la qual una empresa ha de tenir-ho en compte a l'hora d'assignar els recursos perquè el projecte no pateixi interrupcions i l'anàlisi sigui continu.
• El talent: els perfils necessaris per al Big Data escassegen i les empreses es troben cara a el repte de trobar els professionals adequats i, a el mateix temps, de formar els seus empleats sobre aquest nou paradigma.
• Els “Actionable insights”: enfront de la quantitat de dades, el repte per a una empreses és identificar objectius de negoci clars i analitzar les dades apropiades per assolir-los.
• La qualitat de dades: com hem vist anteriorment cal mantenir les dades verídiques perquè la presa de decisió es basi en dades de qualitat.
• Els costos: les dades seguiran creixent, per la qual cosa és important dimensionar correctament els costos d'un projecte de Big Data, tenint en compte tant les instal·lacions i personal propi com la contractació de proveïdors.
• La seguretat: finalment, cal mantenir segur l'accés a les dades, el que s'aconsegueix amb autenticació d'usuaris, restriccions d'accés, xifrat de dades en trànsit o emmagatzemats i complint les principals normatives de protecció de dades.