PROTOTYPAGE D'UN LIGNAGE DE DONNEES TECHNIQUES

Auteurs :

Jérôme Besson

Associé

Contactez

2 minutes

Data Governance Distribution

Pour un leader mondial de la grande distribution, Sentelis a réalisé une preuve-de-concept d’une solution de lignage de données techniques. Une fondation indispensable vers l’automatisation du management et de la gouvernance de la donnée.

L’enjeu : garantir les chaînes de traitement de l’information aux acteurs métiers

Les nouveaux enjeux autour de la donnée et les lourdes pénalités financières en cas de non-respect de la réglementation (GDPR, KYC) imposent l’institutionnalisation d’une véritable gouvernance de la donnée et l’automatisation de son management opérationnel. Être capable de connaître le lignage des données les plus critiques, c’est-à-dire leurs généalogies, leurs voyages, depuis leur production jusqu’à leur consommation et y compris les différentes transformations subies est par nature complexe en regard de l’étendue et de l’hétérogénéité du système d’information. Pour garantir la maîtrise de ses chaînes d’information au sein de sa plateforme ‘data-centric’ et ainsi assurer ses consommateurs de leur intégrité et de leur conformité pour les utiliser en toute confiance, ce géant de la distribution a fait confiance à Sentelis.

La solution : une solution ingéniérée autour d’un ligneur de méta-données 'zéro-gap'

Pour constituer une vision panoramique de bout en bout des données traitées au sein de la plateforme ‘data-centric’ (incluant données référentielles, opérationnelles & étendues), Sentelis a proposé une solution basée sur un ligneur de méta-données techniques ‘zéro-gap’ du marché intégré à une base de données graphe. Cette solution ingéniérée automatise la récupération des méta-données techniques à partir de différentes sources 'on/off-premise' (SGBDR, base noSQL, cluster Big Data, script de traitement, flux...) et leur inférence. Elle limite ainsi l'effort de collecte manuelle pour produire un lignage 'sans trou'. Elle autorise l’annotation et enrichissement à posteriori des méta-données collectées pour parfaire la connaissance sur les données ainsi constituées (consommateurs finaux, qualité, droit d'usage, responsables, politiques et normes applicables, métriques...) et offre une passerelle naturelle vers les solutions de catalogue de donnée (sémantique métier, profilage) et au-delà de gouvernance de la donnée (application de politiques). Elle permet entre autre la localisation de données et de dépendances, la conduite d'analyses d'impact (réglementaire, ajout de donnée...), le lignage des données sensibles. Elle sécurise la publication des 'APIs Data' en produisant par 'lignage arrière' une vue de bout en bout des données exposées à leur origine. Elle est également une aide à l'urbanisation, à la détection des différences entre environnements (developpement, pré-production, production), et à l'optimisation des chaînes de traitements. Enfin, non des moindres, la solution est extensible à l'infini, en amont par l'ajout de nouveau parseur de méta-donnée, en aval par l'utilisation de solution avancée de visualisation de graphe de type lignage et en son cœur par l'ajout possible de tout type de méta-données dans la base graphe (noeuds, relations, attributs).

La méthode

En collaboration avec l’équipe ‘data’, l’intervention de Sentelis a porté sur :

  • La clarification du concept de lignage technique et métier
  • Le cadrage du besoin (cas d’usages, périmètre technique & données sensibles)
  • La modélisation de la chaîne de valeur du lignage de données
  • L’analyse des solutions candidates (open source, vertical, progiciel)
  • La proposition de différents scénarii d’implémentation (solution ingéniérée, spécialisée, progicialisée)
  • La réalisation d’une preuve-de-concept en mode agile mixant solution de lignage technique, base de données graphe et outil de visualisation graphique
  • Le bilan et la formulation de recommandations stratégiques pour la suite