Broker de messages Kafka, retour d'expérience

Retour d'expérience sur Kafka, un broker de messages très performant, scalable, distribué et persistant

Cette session est l'occasion de découvrir Kafka : un broker de messages de nouvelle génération avec des performances impressionnantes, une garantie de persistance et de réplication des messages. Kafka est sorti de l'ombre ces deux dernières années et est désormais utilisé chez beaucoup de grands comme LinkedIn, Twitter, Loggly ou OVH. On est pas forcément confronté tous les jours à des besoins nécessitant d'avoir des throughput dépassant les 10 000 messages par seconde et avec des latences de quelques millisecondes, mais les nouveaux usages liés au BigData, à la collecte de logs, ou autres nous y amènent vite. Vous verrez :

• quels sont les concepts de Kafka
• quels sont les cas d'usages potentiels
• l'architecture de Kafka
• comment faire scaler horizontalement un cluster Kafka
• quels sont les compromis à faire
• quelles performances attendre, y compris sur du petit matériel
• dans quel écosystème BigData Kafka s'inscrit (architecture Lambda, Storm, Hadoop, HBase, ...) Bref, outre les points précédents, vous aurez un vrai retour d'expérience sur Kafka.