Data

Data-server

Description

Permet d’agréger, indexer et normer les données de plusieurs sources différentes. Ces données peuvent ensuite être consommées par des clients au via OData

Bénéfices

Centralisation de données normalisées.Mise à jour de ces données simplifiées par API. Catalogage des données

Le but du service data-server est de fournir une API pour rajouter des sources d’acquisition de données en amont selon l’exposition d’un meta-modèle. Ces sources sont gérées dans le /catalog. Les données sont indexées et agrégées au format du méta-modèle. L’API /data permet de requêter de manière performante ces données. Son utilisation permet de mettre en œuvre très simplement les fonctionnalités suivantes (liste non exhaustive) :

* Collecte de données asynchrone : le service dataserver permet d’exposer des métamodèle (Catalogue) au format DCAT et d’y brancher des sources de données hétérogènes. Ce Service permet d’automatiser la mise à jour des données et de disposer de données en temps réel.

* Normalisation de la donnée stockée : le Catalogue assure la qualité et la complétude des données acquises depuis des sources hétérogènes par conformité au schéma de la source.

* Augmentation linéaire de la performance : le service dataserver permet de mettre en œuvre une architecture CQRS dans laquelle la centralisation des données n’a qu’un impact faible sur les performances en lecture, qui peuvent être augmentées par simple ajout de ressources distribuées.

* Agrégation de données de sources distantes : un des enjeux les plus complexes en analyse de données est le croisement des données de sources différentes. Dans des architectures orientées services, le problème est rendu encore plus difficile par le morcellement des bases de données. Le service dataserver expose des sources agrégées en temps réel, permettant des requêtes complexes sans sacrifier la performance ni la fraîcheur des données.

* Monitoring des données : un système de requêtage va permettre à l’exploitant du dataserver de s’assurer de la pertinence de la donnée (opérations de dédoublonnage, …)

* Branchement sur des outils externes d’analyse de données : le service dataserver expose des API d’accès aux données des sources agrégées, se branchant ainsi aisément sur tous les outils du marché comme Tableau, PowerBI, Excel, QlikView / QlikSense, etc. Le requêtage de ces données se fait au format Rest ou OData v2.

* Interopérabilité : comme pour tous les services MGDIS, l’ensemble des fonctionnalités est disponible sous forme d’API documentées et normalisées.

* Contrôle des accès : L’API /security permet d’associer des rôles à des utilisateurs. Les principaux accès sont regroupés dans les rôles suivants (RBAC) : Administrateur, lecteur, contributeur, importer

* Simplicité : Contrairement à tous les systèmes de MDM du marché, le dataserver fonctionne de manière autonome sans être dépendant d’ETL ou de BUS logiciel éditeur.

* Sécurité et indépendance des données Le dataserver est multitenant, il est donc possible d’avoir une mutualisation des ressources tout en répartissant les données sur différentes infrastructures.

* Multi Modèles de données L’export DCAT permet de classifier les sources (support des métamodèles) dans des ensembles métier cohérents. Une même source peut faire partie de plusieurs métamodèles.

* Data Catalog : Augmentation des méta-données des sources du catalogue : gestion des licences (droit d’utilisation) sur les données, classification des sources, … Administration des catalogues et de la liste des sources du catalogue

* Diffusion-UX : Import simplifié des données. Création automatique d’une nouvelle source dans le catalogue (détection de type par défaut, …) en fonction d’un fichier source et import des données. Outils de visualisation de la donnée.

* Ref-OpenData : Statistiques d’utilisation des données. Statistiques d’évaluation des sources par les utilisateurs

Cas d’usage principaux

* Vous souhaitez mettre à disposition de vos clients un MDM simple proposant des données de qualité.

* Vous souhaitez contrôler finement via une API REST de supervision les accès afin de coupler le dataserver avec divers systèmes de facturation.

* Vous souhaitez faire de l’émergence de nouveaux usages grâce à l’exposition de données (hackathon, partenariats…).

TOP