The conference for ethics and diversity in tech
with crêpes and love Mixit heart

#TALK

Data Engineer's Toolkit

Avoir des données de qualité, mise à jour à la bonne fréquence et correctement présentées permet de prendre les bonnes décisions. Mais de nos jours, il y a de plus en plus de cloisons entre les différentes données au sein d’une entreprise pour différentes raisons. De ce fait, la donnée est en constant mouvement au sein du système d’information d’une entreprise. Un des rôles du data engineer est de s’assurer que les utilisateurs ne sentent pas ou très peu ce cloisonnement. Quand on est en charge de construire ces voies d’échange de données, on doit faire un choix entre les différentes options suivantes :

  • Coder les flux d’intégration à la main ou avec un framework
  • Utiliser un ETL
  • Mettre en place une architecture orientée bus avec un ESB
  • Utiliser les frameworks de data processing orientés Big Data (Spark, Kafka streams, etc). Cette présentation se focalisera sur les différents outils et approches d’échange de données. Il présentera chaque outil dans son contexte historique et ces différents cas d’utilisation. Cette présentation posera les bases des questions qu'on se doit de se poser pour un choix adéquat.

Tech Tech

Horacio LASSEY-ASSIAKOLEY

Horacio est actuellement Data Engineer dans un ESN en France. Dans une autre vie, Horacio a travaillé dans plusieurs sociétés en Afrique comme développeur et aussi Administrateur Système. Multi-récidive dans les actions communautaires en Afrique, il a participé à la création d'un Java User Group et l'animation des activités communautaire au Togo.

Hosted and supported by