Broker de messages Kafka, retour d'expérience


Retour d'expérience sur Kafka, un broker de messages très performant, scalable, distribué et persistant


Cette session est l'occasion de découvrir Kafka : un broker de messages de nouvelle génération avec des performances impressionnantes, une garantie de persistance et de réplication des messages. Kafka est sorti de l'ombre ces deux dernières années et est désormais utilisé chez beaucoup de grands comme LinkedIn, Twitter, Loggly ou OVH.

On est pas forcément confronté tous les jours à des besoins nécessitant d'avoir des throughput dépassant les 10 000 messages par seconde et avec des latences de quelques millisecondes, mais les nouveaux usages liés au BigData, à la collecte de logs, ou autres nous y amènent vite.

Vous verrez :

  • quels sont les concepts de Kafka
  • quels sont les cas d'usages potentiels
  • l'architecture de Kafka
  • comment faire scaler horizontalement un cluster Kafka
  • quels sont les compromis à faire
  • quelles performances attendre, y compris sur du petit matériel
  • dans quel écosystème BigData Kafka s'inscrit (architecture Lambda, Storm, Hadoop, HBase, ...)

Bref, outre les points précédents, vous aurez un vrai retour d'expérience sur Kafka.


► Watch the video


#TALK in French

Vladislav Pernin

Enedis

Directeur technique d'un des pôles de la DSI chez Enedis, pôle d'environ 1000 personnes sur Lyon et Paris. En charge de l'écosystème Linky, son pendant sur les compteurs industriels, la partie poste source, de l'IOT et quelques plus petits projets. A l'origine expert technique, architecte (Java, système distribué, bigdata, messaging, ...) avec une grosse sensibilité ops et pas mal d'affinités sur les sujet de troubleshooting et performance.



Other talks from Vladislav