Glossaire des Transformers

Mécanisme permettant au modèle de se concentrer sur les parties pertinentes de l'entrée lors du traitement. Il calcule des poids d'importance pour chaque élément en fonction de sa relation avec les autres éléments.

Quantization intelligente qui protège les poids importants (ceux avec fortes activations) de la compression agressive. Meilleur compromis qualité/vitesse que GPTQ sur certains modèles.

Algorithme d'apprentissage qui propage les erreurs du modèle depuis la sortie vers les couches précédentes pour ajuster les poids du réseau neuronal.

Modèle Transformer bidirectionnel développé par Google en 2018. Contrairement à GPT, BERT lit le texte dans les deux sens (gauche→droite et droite→gauche) simultanément.

Préjugés ou stéréotypes présents dans les données d'entraînement qui se retrouvent dans les prédictions du modèle. Peut concerner le genre, la race, la culture, etc.

Architecture de Google combinant attention locale (voisins proches), attention globale (tokens clés), et attention aléatoire pour traiter des séquences jusqu'à 8x plus longues qu'un Transformer standard.

Partie du Transformer qui génère la sortie séquence par séquence en utilisant l'attention masquée pour ne pas 'tricher' en regardant les mots futurs.

Représentation vectorielle dense d'un mot ou token dans un espace mathématique de haute dimension. Les mots similaires ont des embeddings proches.

Partie du Transformer qui traite l'entrée et crée une représentation contextuelle de chaque élément en utilisant le mécanisme d'attention bidirectionnelle.

Processus d'ajustement d'un modèle pré-entraîné sur des données spécifiques à une tâche particulière. Beaucoup plus rapide et économique que l'entraînement from scratch.

Algorithme optimisé de calcul de l'attention qui réduit les accès mémoire en fusionnant les opérations. Accélère l'entraînement et l'inférence de 2-4x sans perte de précision.

Méthode de quantization post-entraînement optimisée pour GPU NVIDIA. Utilise une calibration sur un petit dataset pour minimiser l'erreur de quantization, idéale pour l'inférence rapide.

Format de fichier optimisé pour l'inférence CPU/GPU de modèles quantizés. Successeur de GGML, utilisé par llama.cpp pour exécuter des LLM sur ordinateurs personnels et Mac.

Famille de modèles de langage développés par OpenAI, utilisant uniquement le décodeur du Transformer. GPT-4 est la version la plus avancée (2023).

Vecteur mathématique indiquant la direction et l'ampleur de modification des poids pour réduire l'erreur du modèle.

Phénomène où un LLM génère des informations fausses ou inventées avec confiance, comme si elles étaient vraies.

Paramètre de configuration défini avant l'entraînement (nombre de couches, taille des embeddings, taux d'apprentissage, etc.). À distinguer des paramètres appris automatiquement.

Phase d'utilisation du modèle entraîné pour faire des prédictions sur de nouvelles données. Opposé à l'entraînement.

Architecture hybride combinant Mamba (SSM), Transformers (attention), et MoE dans un seul modèle. Alterne entre couches Mamba pour l'efficacité et couches Transformer pour la qualité, avec MoE pour le scaling.

Dans le mécanisme d'attention, vecteur associé à chaque token qui sert à calculer sa pertinence par rapport à une Query.

Technique de fine-tuning efficace qui gèle les poids du modèle original et ajoute de petites matrices de rang faible. Réduit les paramètres entraînables de 10 000x tout en conservant 99% de la qualité.

Technique de normalisation appliquée après chaque sous-couche du Transformer pour stabiliser l'entraînement et accélérer la convergence.

Modèle de langage de grande taille (milliards de paramètres) entraîné sur d'énormes quantités de texte. Capable de comprendre et générer du langage naturel.

Type de réseau de neurones récurrent avec des mécanismes de mémoire pour gérer les dépendances à long terme. Prédécesseur des Transformers.

Transformer optimisé pour les longs contextes utilisant une attention 'sparse' (creuse). Combine attention locale (fenêtre glissante) et attention globale sur certains tokens clés pour réduire la complexité.

Variante de l'attention où les tokens futurs sont masqués pour empêcher le modèle de 'tricher' en regardant la suite lors de la génération.

Mécanisme d'attention appliqué en parallèle plusieurs fois (8, 12, ou 16 'têtes') pour capturer différents types de relations simultanément.

Architecture post-Transformer basée sur les State Space Models (SSM) sélectifs. Offre une complexité linéaire O(n) au lieu de quadratique O(n²), permettant de traiter des séquences très longues avec moins de mémoire et de calcul.

Architecture où le modèle est divisé en plusieurs 'experts' spécialisés. Pour chaque token, un routeur active seulement 1 ou 2 experts parmi tous, permettant d'avoir un modèle massif sans coût de calcul proportionnel.

Modèle de langage développé par Mistral AI utilisant l'architecture Mixture of Experts (MoE). Mixtral 8x7B active 2 experts sur 8 pour chaque token, combinant efficacité et performance.

Poids ou coefficient appris automatiquement par le modèle pendant l'entraînement. GPT-3 a 175 milliards de paramètres.

Information ajoutée aux embeddings pour indiquer la position d'un token dans la séquence, car les Transformers n'ont pas de notion d'ordre intrinsèque.

Phase initiale d'entraînement sur d'énormes quantités de texte brut pour apprendre les patterns du langage. Très coûteux en temps et en ressources.

Instruction ou question donnée à un LLM pour obtenir une réponse. L'art de formuler des prompts efficaces s'appelle le 'prompt engineering'.

Combinaison de quantization 4-bit et LoRA permettant de fine-tuner des modèles massifs sur GPU grand public. Charge le modèle en 4-bit puis applique LoRA en précision normale.

Technique de compression réduisant la précision des poids (de 32 bits à 8 ou 4 bits) pour diminuer la taille du modèle et accélérer l'inférence.

Dans le mécanisme d'attention, vecteur représentant ce qu'un token 'cherche' dans les autres tokens pour construire sa représentation contextuelle.

Technique d'alignement où des humains classent les réponses du modèle pour lui apprendre à générer des sorties plus utiles, sûres et alignées.

Architecture de réseau neuronal qui traite les séquences mot par mot, avec une mémoire interne. Remplacé par les Transformers pour la plupart des tâches.

Architecture hybride combinant les avantages des Transformers (parallélisation pendant l'entraînement) et des RNN (efficacité en inférence). Peut être formulé comme attention ou comme RNN selon le contexte.

Mécanisme d'attention où chaque token calcule son attention par rapport à tous les autres tokens de la même séquence.

Fonction mathématique transformant des scores bruts en probabilités (somme = 1). Utilisée dans l'attention et la génération de tokens.

Modèle mathématique qui représente les séquences comme des systèmes dynamiques. Au lieu de stocker tous les tokens précédents, maintient un état caché de taille fixe qui se met à jour à chaque nouveau token.

Premier modèle MoE à grande échelle de Google (1.6 trillion de paramètres). Chaque token est routé vers un seul expert, simplifiant l'architecture tout en permettant un scaling massif.

Hyperparamètre contrôlant le caractère aléatoire de la génération. Temperature basse = réponses déterministes, haute = créatives mais moins cohérentes.

Unité de base du texte pour le modèle. Peut être un mot, une partie de mot, ou un caractère selon la méthode de tokenisation.

Processus de découpage du texte en tokens. Méthodes courantes : BPE (Byte Pair Encoding), WordPiece, SentencePiece.

Architecture de réseau neuronal introduite en 2017 dans le paper 'Attention is All You Need'. Base de tous les LLM modernes (GPT, BERT, T5, etc.).

Dans le mécanisme d'attention, vecteur contenant l'information réelle d'un token qui sera agrégée selon les poids d'attention.

Adaptation des Transformers pour le traitement d'images. Divise l'image en patches et les traite comme des tokens.

Version modernisée des LSTM par leur inventeur Sepp Hochreiter. Intègre des portes exponentielles et des matrices de mémoire pour rivaliser avec les Transformers tout en conservant l'efficacité des RNN.

Capacité d'un modèle à effectuer une tâche sans avoir été spécifiquement entraîné dessus, uniquement grâce à sa compréhension générale du langage.