Avez-vous remarqué que Google évitait d’utiliser le terme Big Data dans ses communications ?
Par exemple sur la page d’introduction de BigQuery pour les développeurs, aucune allusion au Big Data !
Idem, pas de notion sur le Big Data dans leurs communiqués de presse.

Antonio Regalado l’a remarqué. En écrivant un article sur le Big Data chez Google, il s’est vu opposé à certaines hésitations sur le fait d’associer le buzzword à Google.

Pourquoi ? Tout simplement parce que le terme « Big Data » est assimilé au « Big Brother » du 1984 d’Orwell dans l’esprit des gens.

Etonnant quand on sait que Google est un des pères fondateurs du Big Data avec l’implémentation de MapReduce qui a inspiré Hadoop !

Néanmoins Google ne semble plus si allergique au terme Big Data.
On le trouve dans les présentations officielles de BigQuery par exemple
Et ils ont même fait un apéro Big Data dans leurs bureaux à Paris !

Alors, réconciliés pour de bon ?

Ce mardi 1er octobre 2013 c’est Natacha Polony qui nous a donné une définition un peu rapide du Big Data dans sa revue de presse sur Europe 1.

Le Big Data, c’est quoi ? Facile, il s’agit juste d’après Natacha « des données sur Internet » …
Rien de très révolutionnaire dans le concept me direz-vous. Mais quid des capteurs, des données GPS, des logs etc. ? Des données non structurées, des Péta-octets, de la rapidité exacerbée des traitements mis en oeuvre ?

Bon, pour sa défense c’est vrai qu’il est difficile d’expliquer le Big Data dans une rubrique de cinq minutes, mais il aurait été bien de mentionner que ce n’est pas que les données sur internet loin de là ! Et puis elle a peut-être copié sur ses amis journalistes de France 2 …

Je reste quand même fidèle à ses succulentes chroniques matinales malgré ce léger couac !

On constate généralement quatre étapes lors d’un changement :

1. d’abord l’étape de choc et de déni, où les utilisateurs expriment leurs craintes ;
2. l’étape de révolte, où l’utilisateur cherche par tous les moyens à empêcher la mise en oeuvre de ce changement ;
3. l’étape d’exploration, où les acteurs découvrent de nouvelles possibilités ;
4. et enfin l’étape d’acceptation, où l’utilisateur maîtrise et motive son entourage.

Le schéma est certes un peu simple, mais il s’adapte bien aux cas réels en entreprise. Je n’en parlerai pas plus, d’autres le font beaucoup mieux que moi comme sur le site des échos …

Bien sûr on pourra facilement calquer ce schéma à l’adoption d’une solution Big Data en entreprise ; il suffit de parler de Big Data devant la machine à café pour légitimer ce cheminement, et sans aucun doute peut-on affirmer que la première étape est inévitable et risque d’être difficile …

Mais on peut aussi s’intéresser aux réactions dans le monde extérieur ; chez les éditeurs ou sur le net les émois sont nombreux.

Retour en arrière … Fin 2010 le big data arrive sur la toile (à en croire google trends ). Le phénomène prend de l’importance et certains s’en étonnent. Comme Oracle qui en mai 2011 s’interroge sur l’intérêt du big data en entreprise. En mai 2011 un document de 15 pages, Debunking the NoSQL Hype, est diffusé pour convaincre les entreprises qu’elles n’ont pas besoin de base NoSql. « Vous n’êtes pas Google » résonne comme une litanie ironique. Pourtant en octobre de la même année Oracle sort d’un carton poussiéreux une base NoSql fiérement montée sur son appliance… . Et depuis Oracle a sorti sa base estampillée 12c qui est parait-il taillée pour le Big Data !

Mais Oracle n’est pas le seul éditeur a retourner sa veste, Sybase aussi n’était pas prêt à mettre un kopek sur cette tendance. Dans un document intitulé « Le Décisionnel pour tous » on pouvait même lire que « le Big Data est un mensonge » ! . Et pourtant dans la 15.4 on peut trouver de l’Hadoop et une interface de programme MapReduce native utilisant SQL !

Il est légitime que les éditeurs s’affolent et défendent leurs solutions, mais on trouve aussi des traces de scepticisme dans les milieux « autorisés », comme le directeur de recherche à l’Inria Serge Abiteboul qui trouvait en avril 2012 que le big data était avant tout « un effet de mode« .
Même le grand analyste Philippe Nieuwbourg émettait des doutes sur l’intérêt du Big Data dans Decideo, en déclarant qu’on n’attirait pas les mouches avec du vinaigre … Et pourtant il allait trouver assez d’inspiration pour écrire un livre sur le sujet (qui n’est toujours pas sorti d’ailleurs à l’heure actuelle) !

Comme quoi vous concluerez facilement avec moi qu’on a abordé la dernière étape, celle de l’acceptation !

NB :

• Ca marche aussi avec le Hype Cycle du Gartner pour ceux qui connaissent
• Ok je concède un peu ma mauvaise foi et ma mauvaise interprétation des textes

C’est ce que propose une équipe de scientifiques de l’Université de Vermont et de Mitre Corporation via le site www.hedonometer.com, en référence au philosophe irlandais Francis Edgeworth qui décrit à la fin du 19e siècle « un instrument idéal pour mesurer en permanence le degré de plaisir d’un individu ».

Ces scientifiques ont recueilli et analysé chaque jour depuis 2008 10% des tweets émis sur le web. Ils identifient ensuite les tendances, et distinguent les jours heureux et les jours tristes.

L’analyse se fait sur le choix de certaines expressions, recensés dans un dictionnaire de 10.000 mots. Chaque mot a une note, comme « Amour » qui pointe à 8,42 et « Guerre » à 1,8. Le traitement de ces Big Data donne ensuite une note à chaque jour de l’année. Le travail est effectué en hadoop sur AWS, le cloud d’Amazon ; il faut 3 heures sur 1500 processeurs pour traiter 4 années de tweets.

Ainsi émergent des jours tristes, comme le 15 avril qui marque l’attentat à la bombe sur le marathon de Boston. Et aussi des jours heureux comme Noël ou le jour de l’an. Mais le modèle n’est pas parfait ; ainsi le jour de la mort d’Oussama Ben Laden est considéré plus triste que la moyenne …

Le sujet fait polémique ; peut-on vraiment quantifier le bonheur ? Si on vous disait de donner une note de bonheur sur vos journées, sauriez-vous la donner ? Et cela pose aussi la question de la définition du bonheur, c’est quoi exactement ? Et si vous êtes heureux, allez-vous le tweeter ? Et si vous êtes malheureux ? Allez vous le garder pour vous ou le crier sur les toits ?

L’intérêt du projet, tant sur le plan ethnique que sur le plan économique semble limité. En effet, nous n’avons pas besoin de machine pour nous dire que nous sommes heureux à Noël et tristes lors d’un attentat, c’est évident ! Un autre projet s’appuyant sur ce type de données semble plus pertinent, il s’agit de donner les villes où il fait bon vivre en fonction des tweets géolocalisés ; attention à la flambée des prix dans la vallée du bonheur !

On pourra s’inspirer du fonctionnement du programme dans le cadre d’un projet big data, tout étant expliqué sur la FAQ du site ; on a même accès au dictionnaire de mots et leurs notes. Cette technique est à rapprocher des moteurs d’analyse d’opinion que l’on peut retrouver chez certains éditeurs, outil très intéressant par exemple pour étudier le churn via les commentaires clients, mais qui a ses limites comme le montre l’exemple de la mort d’Oussama Ben Laden ressortant comme événement triste.

Bref, que du bonheur

C’est Philippe Nieuwbourg qui l’a déniché pour vous, même si comme lui je reste sceptique sur les potentiels taux de réussite de repartir en charmante compagnie.

Ah … A quand une publicité Big Data sur adopteunmec.com ?

Après le « cloud » c’est le nouveau terme à la mode, qu’on voit partout mais que personne ne semble connaître vraiment …

Voici une petite définition que j’ai essayé de faire la plus simple possible.

Comme on peut le deviner (si on a quelques notions d’anglais) la notion de Big Data représente une volumétrie très importante de données. Contrairement à la BI classique il s’agit de stocker et d’analyser toutes (mais vraiment toutes) les données de l’entreprise et même celles de l’extérieur, et notamment des blogs, des forums et des réseaux sociaux.

Quand on parle de données de l’entreprise savez-vous que seulement 10% des données sont stockées en base (le reste étant les documents, les mails, les logs … tout le reste de la production IT quoi) ? C’est là la limite de la BI classique : Elle ne traite que les données des bases classiques et 90% des données restantes ne sont pas exploitées. C’est un comble quand on y pense !

Le défi des Big Data c’est de pouvoir stocker ces 90% des données et de les analyser. Et c’est là aussi un challenge important des Big Data : On a beau avoir une volumétrie colossalle de données, il faut pouvoir les traiter vite, et même très vite, voire en temps réel.

Mais la plupart de ces nouvelles données sont ce qu’on appelle des données non structurées. Sous ce terme un peu complexe voire pompeux se cache en fait un concept très simple. En modélisation on a l’habitude de structurer les données, par exemple on va faire une table Ventes avec plusieurs infos que le concepteur connait à l’avance. Si on veut le chiffre d’affaires des ventes d’un produit on prendra la colonne « chiffre d’affaire » en filtrant sur une autre colonne « produit ». En gros les données sont rangées dans des cases, prêtes à l’emploi – elles sont dites structurées. Dans les documents et dans les messages qu’on trouve sur les sites webs on trouve généralement des phrases qui sont composées de mots ordonnés suivant l’envie et la culture de l’auteur. Ces données sont dites non structurées car on ne connait pas le contenu qui serait défini comme aléatoire pour un ordinateur, il faut une réflexion humaine pour déchiffrer la donnée et pouvoir en extraire des informations. Par exemple les phrases « Julie va passer le weekend à Paris, elle en a de la chance ! » et « A la fin de la semaine la miss va s’éclater à paname » sont compréhensibles et similaires pour nous alors que l’ordinateur ne sait les analyser et les comparer simplement. Pourtant en information on pourrait en déduire plusieurs axes d’analyse : une personne (Julie), un temps (samedi/dimanche qui arrivent), un lieu (Paris) et un fait (présence et une opinion satisfaisante).

Les Big Data révolutionnent la BI en stockant ces données non structurées et en remettant au goût du jour l’analyse sémantique. Cette dernière va permettre d’analyser un nombre important de données et d’en tirer des informations comme les opinions, avec des modules de datamining.

C’est pourquoi on définit généralement les Big Data par les 3 V : VVV = Volume x Vitesse x Variété (volumétrie importante de données hétérogènes traitée très rapidement).

La recette du Big Data

Pour faire du Big Data c’est simple. Il vous faut ;

• quelques Tera de base NoSQL (soit une grosse base qui n’est pas relationnelle comme celles qu’on connait mais qui peut tout stocker, même l’univers diront certains)
• quelques CPU de framework MapReduce (soit un traitement ultra rapide un peu comme ce que fait Google quand il indexe ses pages … Ah bin justement ils utilisent un tel framework, ça tombe bien)
• quelques Mo d’outils pour restituer les données (un peu classiques avec les bons connecteurs)
• quelques Mo d’outils pour analyser les données (si on veut faire un peu d’analyse sémantique)

Certains challengers sortent du lot, principalement en opensource comme :

• HBase, Cassandra pour les bases NoSQL
• Hadoop en framework MapReduce (adopté partout, même par les plus grands éditeurs)

Les technos citées ci-dessus sont matures et viennent des grands acteurs du web (Google, Yahoo!, etc).
En ce qui concerne la BI « pure » les éditeurs s’y mettent et nous promettent un futur resplendissant pour les Big Data.

Sans jeu de mots il est difficile de résumer les Big Data en quelques lignes, le sujet est vaste !

Quelques liens pour ceux qui voudraient aller plus loin :

• http://en.wikipedia.org/wiki/Big_data : la définition sur wikipedia
• http://www.decideo.fr/bigdata/ : le blog de Philippe Nieuwbourg qui écrit un livre sur le sujet
• http://bigdataparis.com/compte-rendu.php : les slides de la conférence Big Data Paris du 20 et 21 mars
• http://www.kimballgroup.com/html/articles.html : The Evolving Role of the Enterprise Data Warehouse in the Era of
  Big Data Analytics, un article de Ralph Kimball très complet sur le sujet