Data Engineer's Toolkit

Avoir des données de qualité, mise à jour à la bonne fréquence et correctement présentées permet de prendre les bonnes décisions. Mais de nos jours, il y a de plus en plus de cloisons entre les différentes données au sein d’une entreprise pour différentes raisons. De ce fait, la donnée est en constant mouvement au sein du système d’information d’une entreprise. Un des rôles du data engineer est de s’assurer que les utilisateurs ne sentent pas ou très peu ce cloisonnement. Quand on est en charge de construire ces voies d’échange de données, on doit faire un choix entre les différentes options suivantes :

• Coder les flux d’intégration à la main ou avec un framework
• Utiliser un ETL
• Mettre en place une architecture orientée bus avec un ESB
• Utiliser les frameworks de data processing orientés Big Data (Spark, Kafka streams, etc).
  Cette présentation se focalisera sur les différents outils et approches d’échange de données. Il présentera chaque outil dans son contexte historique et ces différents cas d’utilisation. Cette présentation posera les bases des questions qu'on se doit de se poser pour un choix adéquat.