4. Fonctionnement des LLM

Les principes fondamentaux

Pour simplifier, un LLM fonctionne comme un système de prédiction de texte extrêmement sophistiqué :

• Il a été entraîné sur des milliards de textes issus d'internet, de livres, etc.
• À partir de cet apprentissage, il peut prédire quels mots devraient suivre logiquement une séquence donnée
• Cette prédiction se fait mot après mot (ou plus précisément, unité de texte après unité de texte)

L'architecture Transformer expliquée simplement

Les Transformers sont l'architecture qui a rendu possible les LLM modernes. Voici comment ils fonctionnent, en termes simples :

1. Tokenisation

Tout commence par découper le texte en petits morceaux appelés "tokens" :

• Un token peut être un mot, une partie de mot, ou même un caractère
• Par exemple, la phrase "Comment allez-vous ?" pourrait être découpée en ["Comment", "allez", "-", "vous", "?"]
• ChatGPT utilise environ 100,000 tokens différents dans son vocabulaire

2. Embeddings

Chaque token est ensuite transformé en une série de nombres (un vecteur) :

• Ces vecteurs capturent le sens et les relations entre les mots
• Des mots similaires auront des vecteurs proches mathématiquement
• C'est ainsi que le modèle "comprend" le langage

3. Mécanisme d'attention

C'est la grande innovation des Transformers :

• Le modèle peut "faire attention" à tous les mots d'une phrase en même temps
• Il détermine quels mots sont les plus importants pour comprendre le contexte
• Par exemple, dans "La voiture ne démarre pas car elle n'a plus d'essence", le modèle comprend que "elle" fait référence à "la voiture"

4. Génération de texte

Pour générer une réponse :

• Le modèle prédit le token le plus probable qui devrait suivre
• Puis il ajoute ce token à la séquence et recommence
• Ce processus se répète jusqu'à obtenir un texte complet
• Des paramètres comme la "température" contrôlent la créativité vs prévisibilité des réponses