Retour aux actualités
Article suivant Article précédent

Revue 169 - Hub de données pour services intelligents

Articles Revue TELECOM

-

15/07/2013



Hub de données pour

services intelligents


 



par David THOUMAS dans la revue TELECOM n° 169


OpenDataSoft présente sa solution de gestion de données structurées appliquée au cas d’utilisation d’un de ses clients, veolia environnement, qui construit un dashboard métier réconciliant des données métiers issues de capteurs intelligents et des données exogènes issues du Web.


La solution OpenDataSoft

OpenDataSoft est une jeune startup Française, créée fin 2011, qui propose une plateforme sur le Cloud rendant accessible à tous les technologies du Big data. Ses clients disposent sur le Cloud, en mode « pay-as-you-use » de leur propre hub Big data qui rend possible la collecte, le stockage, le croisement et la diffusion de données.

La plateforme OpenDataSoft permet à ses clients de disposer d’un espace collaboratif permettant l’échange de données structurées entre toutes les parties prenantes de l’entreprise : 
✔ R&D produits et Innovation pour le développement de nouveaux services 
✔ Data Scientists pour l’application de modèles statistiques 
✔ Filiales, partenaires, clients en fonction de droits d’accès spécifiques


Les données peuvent provenir de sources variées : fichiers, bases de données, progiciels (systèmes d’information géographique, …), référentiels métiers, Open Data, logs d’usage, capteurs intelligents, … .

La plateforme OpenDataSoft permet la diffusion de ces données via une interface de consultation riche, simple et intuitive (affichage géographique, calculs analytiques simples, interface de recherche plein texte) ou via une API permettant d’alimenter en temps réel et simplement tout type d’application (Web, Mobile, …) .
 

Description du projet

Veolia Environnement souhaite disposer d’une plateforme lui permettant simplement, en exploitant les données propres qu’elle produit mais également des données collectées sur le Web, de développer de nouveaux types d’application, de favoriser de nouveaux usages.

Préparation et collecte des données

 

Les données traitées sont de natures différentes, toutes associées au domaine de l’eau. Tout d’abord, les données métiers produites par des capteurs intelligents ou des logs de sites industriels. Ces données sont récupérées en flux et pourront représenter à terme plusieurs dizaines de millions d’enregistrements quotidiens. Ensuite, les données de référentiel, permettant par exemple d’enrichir les données de mesure avec des informations qualitatives (positions géographiques, description des valeurs mesurées par les capteurs, …). Enfin, des données exogènes disponibles en Open Data ou mises à disposition sous forme d’API par des organismes gouvernementaux.

Les données sont collectées au plus près de leur lieu de production. Notamment, OpenDataSoft développe des connecteurs qui interrogent directement le concentrateur de données produites par les capteurs. Le chargement manuel de fichiers structurés est évidemment possible et permet aux utilisateurs métiers de charger les données de référentiels. L’interface d’administration du back-office OpenDataSoft permet aux utilisateurs de définir simplement les opérations de transformation à effectuer sur la donnée collectée (changement de systèmes de coordonnées géographiques, regroupement de valeurs, …). Les données sont ensuite stockées dans un moteur de recherche.


Ces fonctionnalités techniques sont servies par la plateforme générique OpenDataSoft qui offre donc au client une solution clef en main de gestion de son hub Big data. Les développements spécifiques correspondent à l’adaptation de connecteurs sur des sources métiers spécifiques (prise en compte de la sécurité, pré-traitement ...).

 


APIs et visualisation des données

Les données préparées, stockées et indexées sont automatiquement transformées en APIs par la plateforme OpenDataSoft de telle sorte qu’elles puissent immédiatement être consommées par des applications métiers (monitoring industriel, BI, modélisation statistique, portails web, applications mobiles ...). Les API produites permettent une interrogation très avancée des données (par valeur, catégorie, attribut de sécurité, zone géographique ...).

Les données sont également accessibles à travers des interfaces web d’exploration (moteur de recherche, carte interactive, graphiques) qui sont automatiquement proposées grâce à l’analyse des données disponibles (si des coordonnées géographiques sont identifiées, une vue cartographique est automatiquement disponible). Ces widgets de visualisation interactive permettent d’alimenter des portails ou dashboards, et de partager facilement une interprétation sur un jeu de données


Ces fonctionnalités ne nécessitent pas de développement spécifique et sont opérées indépendamment des volumétries grâce à la technologie de moteur de recherche combinée à une stratégie de stockage NoSQL. Leur combinaison permet de filtrer très efficacement de très grands volumes de données et de réaliser des opérations métiers (calculs statistiques, affichages cartographiques, …).


Infrastructure et exploitation

Pour garantir l’agilité de la plateforme permise par l’intégration pertinente de plusieurs briques technologiques (stockage NoQSL, moteur d’indexation) quel que soit la sollicitation en volumes de chargements, stockages et accès, la solution est opérée sur une infrastructure Cloud (hybride avec différentes stratégies selon les composants de la plateforme).

Cette approche permet une mise à disposition instantanée du hub et une très grande progressivité dans le coût d’exploitation.
 

Calendrier de déploiement

Une première version a été déployée pour le client mi-2012. L’industrialisation de cette première installation est en cours et vise notamment à introduire des sources de données supplémentaires, à enrichir les traitements effectués sur les données et à ouvrir le service à de nouveaux acteurs de l’entreprise.
 

Innovations

Deux types d’innovation sont illustrés au travers de ce projet. Tout d’abord les innovations liées à l’usage de la donnée dans des contextes métiers variés. La plateforme OpenDataSoft offre la capacité d’explorer la donnée sans nécessité de modélisation a priori. Elle permet de mettre à disposition des ré-utilisateurs sans contrainte de volume ni de temps de réponse des données issues de sources hétérogènes. Enfin, les innovations liées à la valorisation de la donnée. L’architecture technique et le modèle économique adoptés par OpenDataSoft permettent une réduction considérable du coup de l’infrastructure nécessaire et autorisent ainsi un retour sur l’investissement rapide pour le déploiement d’applications innovantes. 


L'Auteur


David Thoumas
est diplômé de l’Ecole des Mines de Nancy et de l’Institut Supérieur d’Informatique et d’Automatique (Ecole des Mines de Paris). Il débute sa carrière en 2003 chez Exalead (éditeur de moteurs de recherche). Après dix années consacrées au développement de la technologie et à son déploiement, il décide de créer avec Jean-Marc Lazard (ancien directeur de l’innovation d’Exalead) la société OpenDataSoft, qui développe une solution de gestion de données sur le Cloud.
OpenDataSoft – David Thoumas - 27, Rue du Chemin Vert 75011 Paris 

http://www.opendatasoft.com/fr/

 

 

 

 

264 vues Visites

J'aime

Commentaires0

Veuillez vous connecter pour lire ou ajouter un commentaire

Articles suggérés

Articles Revue TELECOM

Quels rôles jouent les technologies numériques dans l’évolution de la médecine du travail ? Groupe Santé#196

photo de profil d'un membre

Rédaction Revue TELECOM

01 avril

Articles Revue TELECOM

Le numérique au service de la décarbonisation #196

photo de profil d'un membre

Rédaction Revue TELECOM

01 avril

Articles Revue TELECOM

DC Brain nommé au prix de la croissance #196

photo de profil d'un membre

Rédaction Revue TELECOM

01 avril