LLMs, toutes ces questions que vous n'avez jamais osé poser à leur sujet

Les grands modèles de langage (LLM) ont pris d'assaut le monde, alimentant des applications allant des chatbots à la génération de contenu. Pourtant, sous le capot, ces modèles restent énigmatiques. Cette présentation plongera dans les recoins cachés de la technologie des LLMs qui laissent souvent les développeurs perplexes. Il est temps de poser ces questions que vous n'avez jamais osé poser sur les mystères à la base des LLMs ! Voici quelques questions auxquelles nous répondrons :

• Vous vous demandez pourquoi les LLM crachent des tokens au lieu de mots ? D'où viennent ces tokens ?
• Pourquoi ne sont-ils pas toujours très intelligents en mathématiques ?
• Quelle est la différence entre un modèle "fondamental" / "pré-entraîné" et un modèle "fine-tuné" ?
• Comment un modèle sait-il quand il a fini de répondre à votre question ?
• Nous ajustons souvent des hyperparamètres comme la température, top-p, top-k, mais savez-vous vraiment comment ils affectent le choix des tokens ?
• La quantification rend les modèles plus petits, mais que sont tous ces encodages numériques comme fp32, bfloat16, int8, etc. ?
• Les LLM sont bons en traduction, n'est-ce pas ? Parlez-vous aussi le langage Base64 ? Nous réaliserons ensemble que les LLM sont loin d'être parfaits :
• Nous avons tous entendu parler d'hallucinations, ou devrions-nous dire de confabulations ?
• Avez vous entendu parler de la “reversal curse” qui fait que les LLM ignorent certains faits d'un point de vue différent ?
• On pourrait penser que les LLM sont déterministes à basse température, mais vous seriez également surpris de voir comment le contexte influence les réponses des LLM... Attachez vos ceintures, il est temps de dissiper la magie des LLM et de poser ces questions que nous n'avons jamais osé poser !