Initialisation d’une nouvelle plateforme data

Data Platform

1 architecte data et 2 data engineers

Une plateforme

data observable et accessible

Un entrepôt

de données riche et documenté

Un modèle

de données robuste

CHALLENGES

Besoin de rationalisation de sa plateforme data à la suite d’une migration vers le cloud Google (GCP)
Décommissionnement des deux entrepôts de données « legacy» (sur Oracle et Snowflake), au profit d’un nouvel entrepôt sur BigQuery
Volonté de mettre en place un modèle de fonctionnement et un plan de montée en compétences permettant à une population étendue de data citizens de comprendre la donnée et de l’exploiter
Sur cette Phase 1, limitée au socle de données, réduire au maximum les impacts sur les outils de restitution (Tableau et SAP BI4)
Construire un socle robuste permettant de porter les ambitions de transformation du groupe

SOLUTION

Organisation d’une phase de cadrage pour identifier le périmètre de migration, définir le modèle cible et documenter les bonnes pratiques de développement autour de dbt et BigQuery
Initialisation d’un catalogue de données afin d’exposer la richesse métier au plus grand nombre
Réalisation d’un ensemble de modèles dbt alimentant les couches bronze, silver et gold du nouvel entrepôt
Réalisation d’accélérateurs en python pour produire automatiquement les modèles bronze et certains modèles silver à partir du catalogue de données
Mise en œuvre d’elementary pour accroître l’observabilité de la plateforme

BÉNÉFICES