Qu'est-ce que le Big Data?

Comment

ParRyan Dube

Dernière mise à jour le26 mars 2020

Au fil des ans, de nombreux mots à la mode deviennent à la mode dans de nombreuses industries. Il y en a peu qui sont devenus si populaires, et aussi longtemps, que les mégadonnées. Mais qu'est-ce que le Big Data exactement?

Les mégadonnées font référence à un océan virtuel d'informations provenant de diverses sources, analysées et filtrées de manière à produire des résultats significatifs et exploitables.

Le processus de conversion des «big data» en résultats significatifs peut sembler compliqué et difficile. Cependant, une fois que vous comprenez ce qu'est le Big Data et comment il fonctionne, comprendre comment le rendre significatif ne semble pas si compliqué.

Qu'est-ce que le Big Data?

Lorsque vous entendez des gens parler de «mégadonnées», c'est généralement avec beaucoup de signes de la main et de grands mots. Mais lorsque vous réduisez toute l'hyperbole, les «données» réelles sont en réalité de nombreux flux d'entrée de données multiples.

Pour comprendre cela, un exemple peut vous aider. Supposons que vous dirigiez une entreprise de fabrication de parapluies. Votre service marketing recherche un moyen de mieux prévoir le moment où la demande du marché est sur le point d'augmenter.

Avant l'époque des mégadonnées, les spécialistes du marketing étudiaient les tendances du marché, envoyaient des enquêtes auprès des clients et de nombreuses autres activités.

Ils collecteraient toutes ces données et les stockeraient dans les bases de données internes de leur propre entreprise. Quelqu'un pourrait même être chargé de mettre à jour les données de recherche marketing sur une base annuelle ou trimestrielle.

Cependant, l'avènement des mégadonnées augmente la capacité de mener ce type de recherche. En particulier, les mégadonnées sont particulièrement efficaces pour identifier les tendances ou événements importants en temps quasi réel.

Les entrées de données pour ce type d'analyse de «big data» peuvent inclure des flux de données en temps réel en écrivant du code qui se connecte au Interface de programmation d'application (API) de nombreuses entreprises différentes qui ont rendu ces données publiques:

• Twitter et Facebook: Identifiez quand et pourquoi les gens discutent de l'achat de parapluies.
• Météo: Identifier conditions météorologiques ou des prévisions qui pourraient se transformer en ventes de parapluies plus élevées.
• Bourse: Changements saisonniers dans le coût des matières premières pour produire des parapluies.
• Utilisation du Web par le client: Utilisation des informations du cookies informatiques des personnes qui visitent le catalogue de l'entreprise pour comprendre les comportements d'achat.
• Historique d'achat client: Suivi de la géographie et des saisons des tendances des points de vente des détaillants.

Pour utiliser les mégadonnées, l'équipe marketing de cette entreprise devra, dans certains cas, installer de nouvelles technologies.

Big Data et Internet

Cela pourrait inclure la technologie Internet des objets (IoT) chez les détaillants qui suit et rend compte des comportements des consommateurs. Ou cela peut impliquer qu'un programmeur écrive le code requis pour s'interfacer avec l'API de Twitter pour filtrer tous les Tweets qui mentionnent des «parapluies» ou le nom de la société.

Chacune de ces technologies est désormais disponible grâce à Internet. Internet permet à quiconque de puiser dans des flux de données provenant du monde entier.

Voici comment la configuration dans notre propre exemple peut fonctionner dans ce cas.

Ce diagramme montre comment les données circulent dans le «lac de données» de l'entreprise à partir de nombreuses sources différentes. Les données entrantes peuvent être structurées différemment, mais l'important est de collecter autant de données que possible de toutes les sources.

Qu'est-ce qu'un Data Lake?

Contrairement à une base de données, qui contient des données structurées organisées en colonnes et lignes spécifiques, un lac de données est un référentiel massif pour de nombreuses formes de données différentes.

Les données stockées peuvent être structurées ou non structurées. Cela signifie qu'il peut avoir des lignes et des colonnes structurées, ou non. Les données peuvent être des chaînes qui utilisent une mise en forme spécifique pour séparer les données. Chaque source de données peut soumettre des données à un lac de données sous la forme qui lui convient.

Imaginez un lac de données comme une immense bibliothèque contenant de nombreuses formes de médias, comme des livres, des images sur microfiche et des vidéos sur DVD.

Imaginez un ingénieur en intelligence numérique et en analyse de données en tant que mécènes de cette bibliothèque. Ces clients peuvent extraire numériquement des données de livres, de microfiches et de DVD et trouver des moyens de mélanger et de combiner ces données et d'apprendre de la façon dont les données sont corrélées.

De ces apprentissages naissent une intelligence réelle et exploitable. Certains de ces exemples peuvent inclure:

• Chatter sur Twitter et Facebook indique une tempête qui approche à New York, avec des milliers de clients prévoyant d'acheter des parapluies.
• Les données d'achat de cookies informatiques et les caisses de vente au détail indiquent que les acheteurs en Californie sont prêts à payer plus pour des parapluies design que les habitants de Virginie.
• Un grand modèle de tempête approchant indique que la majeure partie de la côte est sera couverte d'une tempête de pluie pendant une semaine complète.

Tous ces apprentissages pourraient inciter l'équipe marketing à investir dans plus de publicité géographiquement là où la demande de vente globale est beaucoup plus forte. Les opérations de fabrication pourraient également déplacer leurs efforts de production vers les régions du monde plus proches de celles où les ventes sont plus susceptibles d'augmenter.

De cette façon, en utilisant les mégadonnées, toute entreprise peut rationaliser son marketing et ses opérations.

Qu'est-ce que Hadoop?

La question suivante est de savoir comment les entreprises traitent des volumes de données aussi élevés et identifient les tendances?

Ce type de compression de données nécessite des ressources informatiques massives. À tel point que les entreprises n'utilisent plus de gros ordinateurs centraux sur site comme auparavant. Bon nombre de ces services sont désormais des achats dans le cloud. Les services de cloud data intelligence comme Apache Hadoop offrent de nombreux nœuds informatiques sur un grand réseau cloud. Chacun de ces nœuds contribue à la puissance de traitement requise pour analyser des flux massifs de données provenant de plusieurs sources.

Ce type de puissance de traitement est au cœur de l'intelligence machine ou numérique et de l'analyse de données. Hadoop est le cadre logiciel qui permet à l'ensemble de ce réseau de puissance de calcul massive de fonctionner comme l'exigent les ingénieurs en intelligence numérique.

Une fois que le moteur de calcul produit des informations exploitables, celles-ci sont généralement fournies à l'entreprise sous forme de tableaux de bord ou de rapports.

Le Big Data n'est pas seulement un mot à la mode

La vérité est que le «big data» est plus que le simple jargon des entreprises. De nombreuses entreprises apprennent qu’en faisant un meilleur usage des données, elles peuvent accomplir de nombreuses réalisations.

• Les fabricants peuvent améliorer les mesures de production critiques comme le rendement, la qualité et l'efficacité.
• Les détaillants peuvent mieux aligner le marketing, la publicité et les investissements commerciaux en fonction des signaux du marché.
• Les distributeurs sont en mesure de prévoir les problèmes potentiels dans une chaîne d'approvisionnement pour élaborer de manière préventive des plans d'urgence.
• Les organisations de presse peuvent rapidement identifier les événements dignes d'intérêt en analysant les signaux publics sur Internet.
• Experts en cybersécurité utiliser des signaux sur Internet pour identifier les cyberattaques en cours.

Bien qu'une grande partie de ce que les mégadonnées ont accompli ces dernières années reste pratiquement invisible pour le public, les mégadonnées ont en fait eu un impact significatif sur la vie quotidienne des gens à travers le monde.