PROTOTYPAGE D'UN LIGNAGE DE DONNÉES TECHNIQUES

Auteurs :

Jérôme Besson

Associé

Contactez

2 minutes

Data Governance Distribution

Pour un leader mondial de la grande distribution, Sentelis a réalisé une preuve-de-concept d’une solution de lignage de données techniques. Une fondation indispensable vers l’automatisation du management et de la gouvernance de la donnée.

L’enjeu : garantir les chaînes de traitement de l’information aux acteurs métiers

.

Les nouveaux enjeux autour de la donnée et les lourdes pénalités financières en cas de non-respect de la réglementation (GDPR, KYC) imposent l’institutionnalisation d’une véritable gouvernance de la donnée et l’automatisation de son management opérationnel. Être capable de connaître le lignage des données les plus critiques (Data lineage), c’est-à-dire leurs généalogies, leurs voyages, depuis leur production jusqu’à leur consommation et y compris les différentes transformations subies est par nature complexe en regard de l’étendue et de l’hétérogénéité du système d’information.

Pour garantir la maîtrise de ses chaînes d’information au sein de sa plateforme ‘data-centric’ et ainsi assurer ses consommateurs de leur intégrité et de leur conformité pour les utiliser en toute confiance, ce géant de la distribution a fait confiance à Sentelis.

La solution : une solution ingéniérée autour d’un ligneur de méta-données 'zéro-gap' (Lignage des données)

.

Pour constituer une vision panoramique de bout en bout des données traitées au sein de la plateforme ‘data-centric’ (incluant données référentielles, opérationnelles & étendues), Sentelis a proposé une solution basée sur un ligneur de méta-données techniques ‘zéro-gap’ du marché intégré à une base de données graphe.

Cette solution ingéniérée automatise la récupération des méta-données techniques à partir de différentes sources 'on/off-premise' (SGBDR, base noSQL, cluster Big Data, script de traitement, flux...) et leur inférence. Elle limite ainsi l'effort de collecte manuelle pour produire un lignage des données 'sans trou'.

Elle autorise l’annotation et enrichissement à posteriori des méta-données collectées pour parfaire la connaissance sur les données ainsi constituées (consommateurs finaux, qualité, droit d'usage, responsables, politiques et normes applicables, métriques...) et offre une passerelle naturelle vers les solutions de catalogue de donnée (sémantique métier, profilage) et au-delà de gouvernance de la donnée (application de politiques).

Elle permet entre autre la localisation de données et de dépendances, la conduite d'analyses d'impact (réglementaire, ajout de donnée...), le lignage des données sensibles.

Elle sécurise la publication des 'APIs Data' en produisant par 'lignage arrière' une vue de bout en bout des données exposées à leur origine. Elle est également une aide à l'urbanisation, à la détection des différences entre environnements (developpement, pré-production, production), et à l'optimisation des chaînes de traitements.

Enfin, non des moindres, la solution est extensible à l'infini, en amont par l'ajout de nouveau parseur de méta-donnée, en aval par l'utilisation de solution avancée de visualisation de graphe de type lignage et en son cœur par l'ajout possible de tout type de méta-données dans la base graphe (noeuds, relations, attributs).

La méthode

.

En collaboration avec l’équipe ‘data’, l’intervention de Sentelis a porté sur :

  • La clarification du concept de lignage technique et métier
  • Le cadrage du besoin (cas d’usages, périmètre technique & données sensibles)
  • La modélisation de la chaîne de valeur du lignage des données
  • L’analyse des solutions candidates (open source, vertical, progiciel)
  • La proposition de différents scénarii d’implémentation (solution ingéniérée, spécialisée, progicialisée)
  • La réalisation d’une preuve-de-concept en mode agile mixant solution de lignage des données techniques, base de données graphe et outil de visualisation graphique
  • Le bilan et la formulation de recommandations stratégiques pour la suite

Découvrez une autre de nos références concernant notre approche de la gouvernance des données !

Sentelis est expert en Data Governance.

Intéressé(e) par les sujets de lignage des données (data lineage), de traçabilité des données, de gouvernance des données ? Rencontrons-nous !