Le modèle
Un programme dont les calculs utilisent des valeurs apprises sur des exemples. Ces valeurs sont ses « paramètres ». Le texte est découpé en petits morceaux appelés « tokens ».
La frise des
intelligences artificielles.
Une innovation répond à un problème. Découvrez lequel.
Comment les modèles apprennent, évoluent et deviennent utilisables. Explorez les idées, leurs mécanismes et leurs compromis, depuis les fondations du Transformer.
163 jalons documentés6 parcours de lecture↗ Sources primaires
Trois repères avant de commencer.
Apprendre
Pendant l’entraînement, le programme ajuste ces valeurs pour mieux réussir des exercices, par exemple prédire le prochain morceau de texte. Il n’enregistre pas simplement toutes les réponses dans une bibliothèque.
Répondre
Un modèle qui génère du texte calcule des possibilités pour la suite. Il produit des morceaux de texte successifs en utilisant ce qui précède. Une suite plausible peut contenir des erreurs.
Explorez comment un modèle relie les mots, apprend à suivre une consigne et réduit ses besoins en calcul et en mémoire.
Les idées prennent forme.
Faites apparaître la suite d’une phrase et suivez les informations utilisées à chaque étape.
Écrire la suite sans tout relire.
Un texte se construit, un token à la fois.
Lechatdortsurlecanapé.
Déjà luToken traitéNouveau token
Les informations conservées dans le cache
LeK/V conservéschatK/V conservésdortK/V conservéssurK/V conservésleK/V conservés
Le texte de départ a été lu : ses 5 entrées K/V sont en mémoire. Générez la suite pour voir ce qui est réutilisé.
Exemple scénarisé, sans modèle exécuté. Un mot ou un signe sert ici de token ; le découpage, les poids et le routage sont illustratifs.
Approfondir : schémas et réglages
La même phrase, vue de plus près
Lechatdortsurle
Quand le modèle écrit la suite, il réutilise des informations déjà calculées sur le texte précédent. Ces informations prennent de la place : c’est le cache KV. Les cercles représentent des voies de lecture, appelées « têtes d’attention » ; les blocs du bas montrent les informations conservées.
Essayez, dans cet ordre
Choisissez la première étape pour commencer.
Pour approfondir : régler les étapes de calcul et les têtes
Hypothèses : une séquence, 128 dimensions par tête K/V, 2 octets par élément ; pour MLA, latent de 512 éléments et clé positionnelle de 64 éléments. Poids du modèle, activations, fragmentation et surcoûts du moteur exclus.
K et V sont deux ensembles de données calculées : les clés (K) servent à déterminer quelles positions consulter ; les valeurs (V) portent les informations à combiner. Une boîte « K/V » représente ces deux ensembles, pas deux copies du texte.
Voir la formule
GQA : 2 × G × d × L × T × b
| Architecture | Mémoire | Part de MHA |
|---|---|---|
| MHA | 2.5 MiB | 100 % |
| MQA | 80 KiB | 3.125 % |
| GQA | 640 KiB | 25 % |
| MLA | 180 KiB | 7.031 % |
Une barre plus longue signifie davantage de mémoire. GiB et MiB sont des unités de mémoire : 1 GiB vaut 1 024 MiB. Ces chiffres concernent seulement les informations conservées pour le texte.
Comprendre le calcul et ses limites
T = tokens, L = couches, H = têtes, G = groupes KV, d = dimensions d’une tête, b = octets par élément. MHA : 2HdLTb ; MQA : 2dLTb ; GQA : 2GdLTb ; MLA : (512 + 64)LTb. Le facteur 2 de MHA/MQA/GQA compte K et V ; le latent MLA compresse conjointement K et V.
MLA n’est pas toujours le plus petit cache : ici MQA stocke moins d’éléments. La taille seule ne mesure ni la qualité ni la vitesse. Le schéma MLA montre les éléments conservés ; des projections peuvent être absorbées dans les poids pour calculer sans reconstruire tous les K/V.
Formules : DeepSeek-V2, tableau 1 · Publication GQA · Publication MQA
« Elle » : quelles informations consulter ?
Un texte se construit, un token à la fois.
Léaposeunepommesurlatable.Ellecoupelapomme.
Déjà luToken traitéNouveau token
Que consulte le token violet ?
Les mots consultés se colorent en bleu. Une couleur plus intense représente un poids plus élevé dans ce mélange d’informations.
On traite « Elle ». Dans ce mélange illustratif, « Léa » reçoit le poids le plus élevé.
Exemple scénarisé, sans modèle exécuté. Un mot ou un signe sert ici de token ; le découpage, les poids et le routage sont illustratifs.
Approfondir : schémas et réglages
La même phrase, vue de plus près
Léaposeunepommesurlatable.Elle
Pour traiter un mot, le modèle combine des informations venant d’autres positions du texte. Les pourcentages indiquent la part prise à chaque position pour ce calcul. La ligne est le mot traité ; la colonne est la position consultée.
Essayez, dans cet ordre
Choisissez la première étape pour commencer.
Pour approfondir : concentrer les poids
Comment cet exemple est calculé
Vecteurs Q/K inventés, de dimension 2, sans modèle exécuté. Le diviseur τ est un réglage pédagogique des scores d’attention ; ce n’est pas la température d’échantillonnage des tokens.
poids = softmax((QKᵀ / √2 + masque) / τ)
| Lit ↓ / consulte → | Léa | pose | une | pomme | sur | la | table | . | Elle | coupe | la | pomme | . |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Léa | 100% | × | × | × | × | × | × | × | × | × | × | × | × |
| pose | 94% | 6% | × | × | × | × | × | × | × | × | × | × | × |
| une | 89% | 5% | 5% | × | × | × | × | × | × | × | × | × | × |
| pomme | 85% | 5% | 5% | 5% | × | × | × | × | × | × | × | × | × |
| sur | 81% | 5% | 5% | 5% | 5% | × | × | × | × | × | × | × | × |
| la | 77% | 5% | 5% | 5% | 5% | 5% | × | × | × | × | × | × | × |
| table | 74% | 4% | 4% | 4% | 4% | 4% | 4% | × | × | × | × | × | × |
| . | 71% | 4% | 4% | 4% | 4% | 4% | 4% | 4% | × | × | × | × | × |
| Elle | 68% | 4% | 4% | 4% | 4% | 4% | 4% | 4% | 4% | × | × | × | × |
| coupe | 4% | 4% | 4% | 65% | 4% | 4% | 4% | 4% | 4% | 4% | × | × | × |
| la | 4% | 4% | 4% | 63% | 4% | 4% | 4% | 4% | 4% | 4% | 4% | × | × |
| pomme | 4% | 4% | 4% | 61% | 4% | 4% | 4% | 4% | 4% | 4% | 4% | 4% | × |
| . | 3% | 3% | 3% | 59% | 3% | 3% | 3% | 3% | 3% | 3% | 3% | 3% | 3% |
Pour approfondir : les chiffres de cette ligne
La ligne sélectionnée, en détail
La requête « Elle » combine les informations du début de la phrase. Les quatre tokens de « coupe la pomme . » sont masqués.
sortie = Σ poidsᵢ × Vᵢ
Les poids indiquent comment cette tête mélange les valeurs. Ils ne constituent pas à eux seuls une explication du raisonnement du modèle. Publication Transformer
Un token, quelques experts au travail.
Un texte se construit, un token à la fois.
Lechatdortsurlecanapé.
Déjà luToken traitéNouveau token
leRouteur2 experts sélectionnés
E1Activé
E2En réserve
E3Activé
E4En réserve
E5En réserve
E6En réserve
Les sorties des experts choisis sont combinées, puis le modèle poursuit ses calculs pour prédire le token suivant.
Le token « le » passe par E1 et E3. Les quatre autres experts restent stockés, sans effectuer ce calcul.
Exemple scénarisé, sans modèle exécuté. Un mot ou un signe sert ici de token ; le découpage, les poids et le routage sont illustratifs.
Approfondir : schémas et réglages
La même phrase, vue de plus près
Lechatdortsurle
Un grand modèle peut contenir plusieurs blocs de calcul et n’en utiliser que quelques-uns pour chaque morceau de texte. Ces blocs sont appelés « experts ». Un mécanisme de sélection, le « routeur », choisit ceux qui seront utilisés, puis leurs résultats sont combinés.
Essayez, dans cet ordre
Choisissez la première étape pour commencer.
Exemple fictif à 6 experts de même taille. Les scores illustratifs sont associés aux tokens de la phrase ; ils ne donnent aucune spécialité fixe aux experts. Les couches communes, experts partagés et coûts de communication ne sont pas comptés.
E142%Activé
E28%En réserve
E327%Activé
E44%En réserve
E513%En réserve
E66%En réserve
Pour approfondir : combiner les résultats
sortie = 0,609 × E1(x) + 0,391 × E3(x)
2 experts sur 6 activés pour ce token ; les 6 restent en mémoire.
Ce ratio ne représente pas la fraction de tous les paramètres du modèle activés, ni un gain de vitesse. Les méthodes réelles diffèrent sur le routage, la normalisation et l’équilibrage de charge. Publication MoE parcimonieux
Les fondations
L’attention relie différentes parties du texte. Les optimiseurs ajustent les paramètres pendant l’entraînement ; les fonctions d’activation et de normalisation organisent les calculs du réseau.
L’attention avant le Transformer
Pour traduire, consulter les passages utiles plutôt que résumer toute la phrase une seule fois.
Le problème
Une phrase longue perd des détails si tout doit tenir dans une seule représentation numérique.
L’idée
À chaque mot produit, le modèle attribue un score aux positions de la phrase source et combine leurs informations selon ces scores.
Un exemple pour se représenter l’idée
Pour traduire « le chat noir », il peut donner davantage de poids à « noir » au moment de produire la couleur.
Ce que cela apporte
La traduction peut réutiliser des informations précises de la phrase source.
La limite à retenir
Le traitement avance encore étape par étape, ce qui limite les calculs simultanés.
Pour approfondir : mécanisme, schéma et origine
Fonctionnement
Un réseau attribue des scores aux états de l’encodeur puis les combine en une somme pondérée. Cette attention souple évite de comprimer toute la phrase dans un seul vecteur.
Limites et compromis
Le modèle reste récurrent : son calcul séquentiel limite le parallélisme.
- Démonstration d’origine
- Traduction neuronale de Bahdanau, Cho et Bengio ; précurseur, pas Transformer.
Publications et sources
Lien direct ↗Adam : adapter les pas d’apprentissage
Adapter la taille des corrections pendant l’apprentissage.
Le problème
Corriger toutes les valeurs apprises avec le même pas peut rendre l’entraînement difficile.
L’idée
Adam conserve un historique récent de la direction et de la taille des corrections. Il utilise ces moyennes pour ajuster le pas de chaque valeur apprise, appelée paramètre.
Un exemple pour se représenter l’idée
Une valeur qui reçoit régulièrement de grandes corrections peut recevoir un pas plus prudent.
Ce que cela apporte
Cette adaptation facilite l’entraînement de nombreux réseaux.
La limite à retenir
Ces historiques occupent de la mémoire et ne rendent pas directement les réponses plus rapides après l’entraînement.
Pour approfondir : mécanisme, schéma et origine
Gradient de la perteTransformer la mise à jourAjuster les paramètres
Fonctionnement
Il conserve des moyennes mobiles du gradient et de son carré pour adapter le pas de chaque poids. Une correction compense le biais de ces estimations au démarrage.
Limites et compromis
Les états supplémentaires consomment de la mémoire ; les réglages restent importants.
- Démonstration d’origine
- Kingma et Ba : expériences sur plusieurs réseaux, sans premier LLM nommé.
Publications et sources
Lien direct ↗BPE : représenter les mots par sous-unités
Découper les mots en fragments réutilisables.
Le problème
Un vocabulaire contenant seulement des mots entiers représente mal les mots rares ou nouveaux.
L’idée
La méthode commence par des caractères et regroupe progressivement les paires fréquentes. Le modèle utilise ensuite ce répertoire de morceaux de texte, appelés tokens.
Un exemple pour se représenter l’idée
Découpage fictif : « jardinage » devient « jardin » et « age », deux morceaux déjà connus.
Ce que cela apporte
Un vocabulaire limité peut ainsi représenter beaucoup de mots.
La limite à retenir
Le découpage varie selon les langues et les données : un mot ne correspond pas toujours à un seul morceau.
Pour approfondir : mécanisme, schéma et origine
Fonctionnement
En partant de caractères, BPE fusionne les paires fréquentes pour construire un vocabulaire limité. Un mot nouveau est alors découpé en unités connues au lieu de devenir un symbole inconnu.
Limites et compromis
Le nombre de tokens dépend de la langue et du vocabulaire appris.
- Démonstration d’origine
- Sennrich et al., traduction neuronale ; prépublication 2015, publication ACL 2016.
Publications et sources
Lien direct ↗Recalculer des activations pour économiser la mémoire
Refaire certains calculs pour garder moins de résultats en mémoire.
Le problème
Pendant l’entraînement, conserver tous les résultats intermédiaires peut remplir la mémoire disponible.
L’idée
On ne garde que certains résultats repères. Quand une correction a besoin d’un résultat absent, on refait les calculs depuis un repère conservé.
Un exemple pour se représenter l’idée
Exemple fictif : conserver le résultat de chaque troisième étape et recalculer les étapes intermédiaires au besoin.
Ce que cela apporte
On peut entraîner un réseau plus volumineux avec la même mémoire.
La limite à retenir
Refaire les calculs augmente le travail et peut allonger l’entraînement.
Pour approfondir : mécanisme, schéma et origine
Fonctionnement
Au lieu de conserver toutes les activations du passage avant, on garde certains points de contrôle. Les activations manquantes sont recalculées lors de la rétropropagation, quand elles deviennent nécessaires.
Limites et compromis
Le gain mémoire augmente le temps de calcul selon le découpage choisi.
- Démonstration d’origine
- Chen et al. : méthode générale illustrée notamment sur des réseaux profonds de vision.
Publications et sources
Lien direct ↗GELU : une activation plus souple
Moduler les valeurs internes progressivement plutôt que les couper brutalement.
Le problème
Une coupure nette des valeurs négatives limite la manière dont un réseau transforme ses informations.
L’idée
Cette fonction atténue chaque valeur selon sa grandeur, avec une transition douce près de zéro. Elle intervient dans les étapes qui transforment séparément chaque morceau de texte.
Un exemple pour se représenter l’idée
Une petite valeur négative est atténuée plutôt que systématiquement remplacée par zéro.
Ce que cela apporte
Cette transformation fournit une autre manière d’ajuster les calculs internes pendant l’apprentissage.
La limite à retenir
Elle ne réduit pas à elle seule le nombre de comparaisons entre les morceaux de texte.
Pour approfondir : mécanisme, schéma et origine
Fonctionnement
L’activation multiplie une entrée x par la probabilité cumulée d’une loi normale en x. Elle conserve une réponse douce près de zéro, dans les couches qui transforment individuellement chaque token.
Limites et compromis
Une meilleure activation ne réduit pas à elle seule le coût de l’attention.
- Démonstration d’origine
- Hendrycks et Gimpel ; expériences antérieures à BERT.
Publications et sources
- Gaussian Error Linear Units (GELUs) ↗
- BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding ↗
LayerNorm : stabiliser les activations
Remettre les valeurs internes à une échelle plus régulière.
Le problème
Des valeurs internes trop grandes ou trop dispersées peuvent compliquer l’entraînement.
L’idée
Pour chaque exemple, une étape de calcul recentre ses valeurs et ajuste leur dispersion. Des valeurs apprises permettent ensuite de modifier cette remise à l’échelle.
Un exemple pour se représenter l’idée
Une étape recevant des valeurs très dispersées peut les ramener à une échelle plus régulière.
Ce que cela apporte
Les différentes étapes du réseau deviennent plus faciles à entraîner ensemble.
La limite à retenir
L’endroit où cette opération est placée influence son effet sur l’apprentissage.
Pour approfondir : mécanisme, schéma et origine
Fonctionnement
Pour un exemple et une couche, on recentre les activations et on ajuste leur échelle à partir de leurs statistiques. Des paramètres appris permettent ensuite de modifier cette transformation.
Limites et compromis
Son placement dans le bloc influence les gradients et la stabilité.
- Démonstration d’origine
- Ba, Kiros et Hinton ; évaluations incluant des réseaux récurrents.
Publications et sources
Lien direct ↗MoE : beaucoup de poids, peu d’experts actifs
Disposer de nombreux sous-réseaux mais n’en utiliser que quelques-uns à chaque passage.
Le problème
Activer toutes les valeurs apprises d’un très grand réseau coûte beaucoup de calcul.
L’idée
Un mécanisme de sélection dirige chaque morceau de texte vers quelques sous-réseaux, appelés experts. Leur spécialisation est apprise et ne correspond pas nécessairement à des sujets comme la médecine.
Un exemple pour se représenter l’idée
Exemple fictif : sélectionner deux sous-réseaux parmi huit pour traiter un morceau de phrase.
Ce que cela apporte
Le réseau peut contenir davantage de valeurs apprises sans toutes les utiliser à chaque passage.
La limite à retenir
Tous les experts doivent être stockés et leur charge de travail doit être équilibrée.
Suivre les idées
Développements ultérieurs
- Amélioré parSwitch Transformer : un seul expert par token
Switch reprend le routage vers des experts épars et le simplifie : un seul expert est choisi pour chaque token.
Publication : Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity ↗ - Repris parMixtral : démocratiser les experts épars
Mixtral reprend le principe des experts épars : chaque token est envoyé à deux des huit experts de chaque couche MoE.
Publication : Mixtral of Experts ↗
Pour approfondir : mécanisme, schéma et origine
MoE : choisir les experts pour chaque token
Sur petit écran, faites défiler le schéma horizontalement.
Fonctionnement
Un routeur choisit quelques réseaux experts et pondère leurs sorties. Des contraintes d’équilibrage encouragent l’utilisation des différents experts plutôt que leur concentration sur les mêmes tokens.
Limites et compromis
Il faut stocker les experts et gérer déséquilibres et communications.
- Démonstration d’origine
- Shazeer et al. : couches MoE intégrées à des modèles récurrents de langage et traduction.
Publications et sources
Lien direct ↗SiLU, puis Swish : une porte douce
Laisser passer les valeurs internes avec une transition douce.
Le problème
Une coupure brutale des valeurs internes n’est pas toujours un bon choix pour apprendre.
L’idée
La valeur entrante est multipliée par un facteur compris entre zéro et un, calculé à partir d’elle-même. Les valeurs négatives ne disparaissent donc pas toutes brutalement.
Un exemple pour se représenter l’idée
Une valeur légèrement négative peut rester présente, tout en étant atténuée.
Ce que cela apporte
Cette fonction fournit une transformation souple pour les calculs internes du réseau.
La limite à retenir
Son intérêt dépend du réseau et elle ne constitue pas, à elle seule, toute une architecture.
Pour approfondir : mécanisme, schéma et origine
Fonctionnement
La sigmoïde module progressivement l’entrée sans éliminer brutalement toutes les valeurs négatives. Le papier Swish d’octobre 2017 étudie une famille x × sigmoid(βx), qui retrouve SiLU pour β = 1.
Limites et compromis
Le bénéfice dépend de l’architecture ; ce n’est pas encore SwiGLU.
- Démonstration d’origine
- Elfwing et al., apprentissage par renforcement ; antérieur au papier Swish.
Publications et sources
- Sigmoid-Weighted Linear Units for Neural Network Function Approximation in Reinforcement Learning ↗
- Searching for Activation Functions ↗
Comment lire cette frise
Les grands jalons pour commencer. Toutes les évolutions pour approfondir. Chaque carte explique le mécanisme, son apport et ses limites, avec des liens vers les publications originales.
Quelques notions pour commencer
- Token
- Une unité de texte du modèle : morceau de mot, ponctuation ou symbole. Un token n’est pas forcément un mot.
- Paramètres et activations
- Les paramètres sont les valeurs apprises et stockées. Les activations sont les valeurs intermédiaires calculées sur une entrée.
- Q, K et V
- Les requêtes Q cherchent une information, les clés K permettent de calculer les scores de correspondance et les valeurs V portent les informations à combiner.
- Softmax
- Une transformation de scores en poids positifs dont la somme vaut un. En attention, ces poids déterminent comment combiner les valeurs.
- Cache KV
- Les clés et valeurs des tokens déjà traités sont conservées pour éviter de les recalculer à chaque nouveau token. Ce cache est distinct des poids du modèle.
- Prefill et décodage
- Le prefill traite le prompt et construit le cache. Le décodage génère ensuite les tokens, généralement un par un dans un modèle autorégressif.
- HBM et bande passante
- La HBM est la mémoire principale rapide du GPU. La bande passante mesure la quantité de données que l’on peut déplacer par seconde ; elle peut limiter la vitesse même si le calcul est rapide.
- FLOP et coût quadratique
- Les FLOP comptent les opérations arithmétiques. Une attention complète compare les positions deux à deux : doubler la longueur multiplie approximativement par quatre ce travail, sans multiplier tous les coûts du modèle par quatre.
- Préentraînement, SFT et RL
- Le préentraînement apprend sur de grands corpus. Le SFT apprend à partir d’exemples de réponses. Le RL ajuste la politique de génération selon des récompenses.
- Dense et MoE
- Un modèle dense utilise ses couches pour chaque token. Dans un MoE, un routeur sélectionne certains experts ; le nombre de paramètres actifs est inférieur au nombre total stocké.
Aucun résultat. Essayez un autre terme ou élargissez les filtres.
2017
Attention Is All You Need : le Transformer
Faire circuler les informations entre les morceaux d’un texte avec des comparaisons calculables en parallèle.
Le problème
Traiter obligatoirement une phrase dans l’ordre limite la vitesse de l’entraînement.
L’idée
Chaque morceau de texte consulte les autres grâce à des scores de pertinence : c’est l’attention. Plusieurs voies de lecture, appelées têtes, effectuent ces calculs dans des étapes successives.
Un exemple pour se représenter l’idée
Dans « le chat mange car il a faim », une voie peut relier « il » à « chat ».
Ce que cela apporte
Une grande partie des calculs sur un texte connu peut être effectuée en parallèle.
La limite à retenir
Comparer toutes les paires de morceaux devient coûteux quand le texte s’allonge.
Suivre les idées
Développements ultérieurs
- Amélioré parMQA : partager les clés et valeurs
MQA reprend les têtes d’attention du Transformer, mais leur fait partager une seule paire de clés et valeurs.
Publication : Fast Transformer Decoding: One Write-Head is All You Need ↗ - Combiné dansJamba : hybrider Mamba et attention
Jamba conserve des couches d’attention au sein d’un modèle qui utilise aussi la mémoire récurrente de Mamba.
Publication : Jamba: A Hybrid Transformer-Mamba Language Model ↗
Pour approfondir : mécanisme, schéma et origine
Vecteurs + positionsAttention → transformationPrédiction de sortie
Fonctionnement
Chaque tête calcule des scores entre requêtes Q et clés K, puis combine les valeurs V. Les blocs alternent attention, réseau de transformation et connexions résiduelles ; une information de position restitue l’ordre des tokens.
Limites et compromis
L’attention dense compare toutes les paires : son coût croît quadratiquement avec la longueur.
- Démonstration d’origine
- Vaswani et al. : Transformer encodeur-décodeur pour la traduction.
Publications et sources
Lien direct ↗Apprendre une récompense à partir de préférences humaines
Utiliser des comparaisons humaines pour définir ce que l’entraînement doit favoriser.
Le problème
Il est difficile d’écrire une règle numérique qui exprime exactement le comportement souhaité.
L’idée
Des personnes choisissent entre deux comportements. Un modèle apprend à prédire ces choix, puis cette note apprise sert à orienter l’entraînement du système.
Un exemple pour se représenter l’idée
Dans une simulation, des évaluateurs peuvent préférer un déplacement stable à une chute.
Ce que cela apporte
On peut guider un apprentissage sans programmer chaque détail du comportement attendu.
La limite à retenir
La note apprise peut mal représenter les préférences et être améliorée sans satisfaire leur intention.
Suivre les idées
Développements ultérieurs
- Repris parInstructGPT : suivre l'intention humaine
InstructGPT applique l’apprentissage d’une récompense à partir de préférences humaines pour ajuster un modèle de langage.
Publication : Training language models to follow instructions with human feedback ↗
Pour approfondir : mécanisme, schéma et origine
Fonctionnement
Des personnes comparent deux comportements. Un modèle apprend à prédire ces préférences, puis un agent optimise la récompense apprise par apprentissage par renforcement. Ce principe précède son application aux grands modèles de langage.
Limites et compromis
La récompense peut mal représenter les préférences et être exploitée par l’agent.
- Démonstration d’origine
- Christiano et al. : Atari et locomotion simulée, pas ChatGPT.
Publications et sources
Lien direct ↗PPO : limiter les mises à jour en renforcement
Éviter de trop modifier un comportement en une seule série de corrections.
Le problème
Un entraînement guidé par des récompenses peut devenir instable si les choix changent trop brutalement.
L’idée
La méthode compare les probabilités des actions avant et après correction. Son objectif limite l’avantage obtenu en augmentant excessivement certaines probabilités.
Un exemple pour se représenter l’idée
Un comportement bien noté devient plus probable, mais l’objectif limite l’incitation à le rendre brutalement dominant.
Ce que cela apporte
Les mêmes observations peuvent servir à plusieurs corrections plus mesurées.
La limite à retenir
Cette limitation ne garantit ni une amélioration à chaque correction ni un apprentissage facile à régler.
Suivre les idées
Développements ultérieurs
- Amélioré parGRPO : comparer un groupe de réponses
GRPO adapte PPO en comparant les récompenses de plusieurs réponses à la même question, sans critique de valeur séparé.
Publication : DeepSeekMath: Pushing the Limits of Mathematical Reasoning in Open Language Models ↗
Pour approfondir : mécanisme, schéma et origine
Fonctionnement
L’algorithme compare la probabilité d’une action sous les politiques ancienne et nouvelle. Un objectif écrêté limite l’incitation à trop modifier cette probabilité pendant plusieurs mises à jour sur les mêmes données.
Limites et compromis
L’écrêtage ne garantit pas une amélioration et le réglage reste délicat.
- Démonstration d’origine
- Schulman et al. : tâches de contrôle et jeux, avant le RLHF des LLM.
Publications et sources
Lien direct ↗Précision mixte : calculer avec moins de bits
Utiliser des nombres moins encombrants pour une partie des calculs.
Le problème
Représenter tous les nombres avec beaucoup de précision consomme mémoire et capacité de calcul.
L’idée
Une partie des opérations utilise des formats numériques plus courts. Les valeurs et accumulations sensibles restent plus précises, avec des ajustements pour ne pas perdre les très petites corrections.
Un exemple pour se représenter l’idée
Les multiplications peuvent utiliser un format court tandis que les valeurs principales sont conservées dans un format plus précis.
Ce que cela apporte
L’entraînement peut utiliser moins de mémoire et aller plus vite sur du matériel adapté.
La limite à retenir
Les arrondis et les nombres trop petits ou trop grands doivent être maîtrisés.
Pour approfondir : mécanisme, schéma et origine
Fonctionnement
Les opérations utilisent notamment FP16, tandis que des poids maîtres et accumulations restent en FP32. La mise à l’échelle de la perte aide à préserver les petits gradients pendant la conversion.
Limites et compromis
Les gains dépendent du matériel ; sous-flux et dépassements doivent être maîtrisés.
- Démonstration d’origine
- Micikevicius et al. : réseaux de vision, parole et langage.
Publications et sources
Lien direct ↗2018
ULMFiT : préentraîner, puis adapter
Réutiliser un modèle déjà entraîné plutôt que repartir de zéro pour chaque tâche.
Le problème
Une tâche spécialisée dispose souvent de trop peu d’exemples pour entraîner un réseau complet depuis zéro.
L’idée
Le réseau apprend d’abord sur du texte général, puis sur le domaine visé. Ses étapes de calcul sont ensuite adaptées progressivement à la tâche pour limiter la perte des acquis.
Un exemple pour se représenter l’idée
Un modèle entraîné sur des textes généraux est adapté à des avis clients, puis au classement de leur tonalité.
Ce que cela apporte
Les textes généraux deviennent utiles même lorsque les exemples spécialisés sont rares.
La limite à retenir
Cette méthode vise notamment le classement de textes, pas encore un assistant suivant librement des consignes.
Pour approfondir : mécanisme, schéma et origine
Fonctionnement
Un réseau récurrent est préentraîné sur du texte, adapté au domaine cible puis utilisé pour la classification. Dégel progressif et taux d’apprentissage différenciés limitent l’oubli pendant l’adaptation.
Limites et compromis
Il s’agit surtout de classification supervisée, pas encore d’un assistant suivant des instructions.
- Démonstration d’origine
- Howard et Ruder : ULMFiT, fondé sur AWD-LSTM.
Publications et sources
Lien direct ↗ELMo : le sens d’un mot dépend du contexte
Représenter un mot en tenant compte de la phrase qui l’entoure.
Le problème
Une représentation fixe d’un mot ne distingue pas ses différents usages.
L’idée
Deux réseaux lisent le texte dans des directions opposées. On combine leurs résultats pour obtenir une représentation du mot adaptée à son contexte, utilisable par un autre modèle.
Un exemple pour se représenter l’idée
« Avocat » reçoit des représentations différentes dans « manger un avocat » et « consulter un avocat ».
Ce que cela apporte
Les outils de traitement du texte bénéficient d’informations sur le contexte de chaque mot.
La limite à retenir
Les tâches gardent leurs propres modèles et la lecture reste en partie séquentielle.
Pour approfondir : mécanisme, schéma et origine
Fonctionnement
Deux modèles récurrents de langage lisent le texte dans des directions opposées. Une combinaison de leurs couches fournit des représentations intégrées aux modèles des tâches aval.
Limites et compromis
Les tâches conservent leur propre architecture ; la récurrence limite le parallélisme.
- Démonstration d’origine
- Peters et al. : ELMo, modèle de langage bidirectionnel à LSTM.
Publications et sources
Lien direct ↗Positions relatives : encoder les distances
Indiquer la distance entre les morceaux de texte plutôt que seulement leur place absolue.
Le problème
Une même relation peut apparaître au début ou à la fin d’une phrase.
L’idée
Les comparaisons d’attention incorporent des valeurs apprises qui représentent les distances relatives. Une relation de proximité peut ainsi être réutilisée ailleurs dans le texte.
Un exemple pour se représenter l’idée
« Très » placé juste avant un adjectif conserve cette proximité, même après l’ajout d’un début de phrase.
Ce que cela apporte
Le calcul dispose d’une information directe sur la distance entre les éléments.
La limite à retenir
La version étudiée regroupe les grandes distances et ne garantit pas le traitement de textes arbitrairement longs.
Pour approfondir : mécanisme, schéma et origine
Fonctionnement
Des représentations apprises des distances relatives sont ajoutées aux calculs de l’attention. Deux mots séparés du même nombre de positions peuvent ainsi partager une information de relation, où qu’ils se trouvent.
Limites et compromis
Les distances sont bornées dans la formulation évaluée ; l’extrapolation n’est pas garantie.
- Démonstration d’origine
- Shaw, Uszkoreit et Vaswani : Transformer de traduction.
Publications et sources
Lien direct ↗Adafactor : alléger la mémoire de l’optimiseur
Réduire la mémoire utilisée pour préparer les corrections d’apprentissage.
Le problème
Conserver un historique pour chaque valeur apprise ajoute beaucoup de mémoire pendant l’entraînement.
L’idée
Pour un tableau de valeurs apprises, la méthode conserve des statistiques par ligne et par colonne. Leur combinaison remplace une partie des statistiques individuelles.
Un exemple pour se représenter l’idée
Au lieu d’un historique séparé pour chaque case d’un tableau, on conserve des résumés de ses lignes et colonnes.
Ce que cela apporte
La préparation des corrections nécessite moins de mémoire.
La limite à retenir
Ces résumés sont des approximations et les règles de correction doivent être réglées convenablement.
Pour approfondir : mécanisme, schéma et origine
Fonctionnement
Au lieu de stocker une moyenne de gradients carrés pour chaque coefficient, il conserve des statistiques par ligne et colonne. Leur factorisation fournit une approximation moins coûteuse en mémoire.
Limites et compromis
L’approximation et les règles de mise à jour demandent des réglages adaptés.
- Démonstration d’origine
- Shazeer et Stern : évaluations sur Transformer de traduction, avant T5.
Publications et sources
Lien direct ↗GPT : le préentraînement génératif transférable
Apprendre à poursuivre du texte, puis adapter le même réseau à différentes tâches.
Le problème
Entraîner séparément chaque outil de traitement du texte exploite peu les grandes collections de textes non annotés.
L’idée
Le modèle prédit le prochain morceau de texte à partir des précédents. Il ajuste ensuite ses valeurs apprises sur des exemples propres à chaque tâche, en conservant presque la même structure.
Un exemple pour se représenter l’idée
Après cet apprentissage général, des exemples de questions et réponses servent à adapter le réseau.
Ce que cela apporte
Un apprentissage général devient une base réutilisable pour plusieurs tâches.
La limite à retenir
La méthode repose encore surtout sur une adaptation séparée pour chaque tâche.
Pour approfondir : mécanisme, schéma et origine
Fonctionnement
Le décodeur apprend d’abord sur du texte non annoté avec un masque causal. Une adaptation supervisée ajuste ensuite ses poids pour chaque tâche en gardant presque la même architecture.
Limites et compromis
Les résultats reposent encore surtout sur une adaptation distincte pour chaque tâche.
- Démonstration d’origine
- OpenAI : GPT, rapport Improving Language Understanding by Generative Pre-Training.
Publications et sources
Lien direct ↗BERT : apprendre en reconstituant le texte masqué
Apprendre à retrouver des morceaux cachés en utilisant le texte situé des deux côtés.
Le problème
Certaines tâches nécessitent de tenir compte à la fois de ce qui précède et de ce qui suit un mot.
L’idée
Pendant l’entraînement, le réseau reconstitue des morceaux masqués dans des phrases. Il est ensuite adapté à des tâches comme le classement ou la recherche d’une réponse dans un passage.
Un exemple pour se représenter l’idée
Dans « le chat boit du [masqué] », la phrase entière aide à prédire le morceau absent.
Ce que cela apporte
Les représentations produites utilisent le contexte avant et après chaque emplacement.
La limite à retenir
Ce mode de calcul n’est pas directement conçu pour rédiger une réponse morceau après morceau.
Pour approfondir : mécanisme, schéma et origine
Texte partiellement masquéContexte des deux côtésRetrouver les tokens cachés
Fonctionnement
Un encodeur Transformer reconstruit certains tokens cachés en consultant leur contexte gauche et droit. Le modèle original apprend aussi une tâche de relation entre phrases, puis est adapté aux tâches aval.
Limites et compromis
Ce mécanisme n’est pas conçu directement pour générer une réponse token après token.
- Démonstration d’origine
- Devlin et al., Google : BERT ; ni invention de GELU ni de LayerNorm.
Publications et sources
Lien direct ↗Décodage parallèle par blocs
Proposer plusieurs morceaux de réponse, puis vérifier lesquels peuvent être conservés.
Le problème
Produire un seul morceau de texte par passage du grand réseau prend du temps.
L’idée
Des prédicteurs proposent un bloc de suite possible. Un modèle vérificateur conserve le début du bloc qui satisfait son critère, puis la génération reprend à partir de là.
Un exemple pour se représenter l’idée
Exemple fictif : proposer trois morceaux et ne garder que les deux premiers après vérification.
Ce que cela apporte
Plusieurs morceaux peuvent être acceptés lors d’un même passage de vérification.
La limite à retenir
Le gain disparaît si les propositions concordent rarement avec le vérificateur.
Pour approfondir : mécanisme, schéma et origine
Fonctionnement
Des prédicteurs proposent un bloc de sorties, puis un modèle de contrôle valide le plus long préfixe acceptable. C’est un précurseur du décodage spéculatif, sans être identique aux algorithmes probabilistes ultérieurs.
Limites et compromis
Les gains dépendent de l’accord entre propositions et validation.
- Démonstration d’origine
- Stern, Shazeer et Uszkoreit : traduction et super-résolution d’images.
Publications et sources
Lien direct ↗GPipe : répartir les couches en pipeline
Répartir les étapes d’un réseau entre plusieurs puces et faire avancer de petits groupes d’exemples.
Le problème
Un réseau complet peut être trop volumineux pour une seule puce de calcul.
L’idée
Les étapes successives du réseau sont placées sur différentes puces. Un groupe d’exemples est découpé en petits groupes qui avancent successivement, avant de rassembler leurs corrections.
Un exemple pour se représenter l’idée
Exemple fictif : pendant qu’une puce traite un nouveau groupe, la suivante termine le précédent.
Ce que cela apporte
Plusieurs puces peuvent participer à l’entraînement d’un même grand réseau.
La limite à retenir
Les transferts et les périodes où certaines puces attendent réduisent l’efficacité.
Pour approfondir : mécanisme, schéma et origine
Fonctionnement
Les couches sont réparties entre appareils. Un lot est découpé en micro-lots qui avancent dans le pipeline, et leurs gradients sont accumulés avant une mise à jour des paramètres.
Limites et compromis
Des périodes d’inactivité et des transferts limitent le rendement du pipeline.
- Démonstration d’origine
- Huang et al. : GPipe, démonstrations en vision et traduction multilingue.
Publications et sources
Lien direct ↗2019
Transformer-XL : réutiliser le segment précédent
Réutiliser les résultats du passage précédent pour relier des segments de texte.
Le problème
Découper un texte en segments indépendants coupe les liens entre leurs frontières.
L’idée
Le réseau conserve des représentations calculées sur le segment précédent et les consulte pendant le suivant. Une information de distance évite de confondre les positions quand ces résultats sont réutilisés.
Un exemple pour se représenter l’idée
Une phrase située au début d’un segment peut consulter des informations issues de la fin du précédent.
Ce que cela apporte
Le traitement peut exploiter un contexte qui dépasse le segment courant.
La limite à retenir
Cet état de travail est limité et ne constitue pas une mémoire personnelle persistante.
Pour approfondir : mécanisme, schéma et origine
Fonctionnement
Les états cachés d’un segment sont réutilisés pour traiter le suivant, avec arrêt du gradient à la frontière. Un encodage relatif évite de confondre les positions lors de cette réutilisation.
Limites et compromis
Cette mémoire de segments ne constitue pas l’invention du cache KV de génération.
- Démonstration d’origine
- Dai et al. : Transformer-XL.
Publications et sources
Lien direct ↗Adapters : adapter un modèle avec peu de poids
Ajouter de petits modules spécialisés sans modifier tout le réseau.
Le problème
Conserver une copie complète d’un grand modèle pour chaque tâche consomme beaucoup de stockage.
L’idée
On insère de petits réseaux dans les étapes d’un modèle existant. L’adaptation modifie surtout ces ajouts, tandis que les valeurs déjà apprises du modèle principal restent fixes.
Un exemple pour se représenter l’idée
Le même modèle principal peut être accompagné d’un module pour le classement et d’un autre pour une autre tâche.
Ce que cela apporte
Chaque tâche demande beaucoup moins de nouvelles valeurs à apprendre et à stocker.
La limite à retenir
Les modules ajoutent des calculs et peuvent limiter les performances selon la tâche.
Pour approfondir : mécanisme, schéma et origine
Poids de base gelésPetite adaptation appriseSortie adaptée
Fonctionnement
Des réseaux à goulot d’étranglement sont insérés dans un modèle préentraîné dont les poids principaux restent gelés. Chaque tâche stocke surtout ses modules supplémentaires plutôt qu’une copie complète du modèle.
Limites et compromis
Les modules ajoutent des opérations au passage avant et peuvent limiter les performances.
- Démonstration d’origine
- Houlsby et al. : adapters évalués sur BERT.
Publications et sources
Lien direct ↗GPT-2 : accomplir des tâches à partir du texte
Utiliser la continuation de texte pour aborder plusieurs tâches sans adaptation séparée systématique.
Le problème
Adapter et stocker un modèle différent pour chaque tâche demande du travail supplémentaire.
L’idée
Le modèle apprend à poursuivre des textes issus du web. Présenter une question ou le début d’un résumé dans le contexte peut ensuite orienter le type de continuation produit.
Un exemple pour se représenter l’idée
Une entrée terminée par « Question : … Réponse : » peut orienter la suite vers une réponse.
Ce que cela apporte
La forme du texte fourni devient une manière de solliciter plusieurs comportements.
La limite à retenir
Prédire une suite plausible ne garantit ni la vérité ni le respect d’une consigne.
Pour approfondir : mécanisme, schéma et origine
Fonctionnement
Un décodeur causal prédit la suite sur un grand corpus Web. La forme du contexte sert à présenter une tâche, par exemple une question suivie du début d’une réponse.
Limites et compromis
Les résultats sont variables ; la prédiction de texte ne garantit ni véracité ni respect des consignes.
- Démonstration d’origine
- OpenAI : GPT-2, rapport Language Models are Unsupervised Multitask Learners.
Publications et sources
Lien direct ↗Product Key Memory : une grande mémoire adressable
Sélectionner efficacement des valeurs apprises dans une grande réserve interne.
Le problème
Une grande réserve de valeurs internes devient coûteuse si chaque entrée doit être examinée entièrement.
L’idée
Les clés de recherche sont construites en combinant deux ensembles plus petits. Cette organisation aide à retrouver les meilleures correspondances, dont les valeurs servent dans le calcul du réseau.
Un exemple pour se représenter l’idée
Une représentation de texte sélectionne quelques entrées pertinentes au lieu de combiner toutes les entrées disponibles.
Ce que cela apporte
Le réseau peut exploiter une grande réserve interne avec une recherche plus économique.
La limite à retenir
Il s’agit de valeurs apprises internes, pas d’une base documentaire externe à consulter.
Pour approfondir : mécanisme, schéma et origine
Fonctionnement
Les clés sont factorisées en deux ensembles pour rechercher efficacement dans leur produit cartésien. Les meilleures correspondances sélectionnent des valeurs apprises, utilisées à la place de certaines transformations denses.
Limites et compromis
Il s’agit de paramètres internes, pas d’une base documentaire externe ni d’un MoE classique.
- Démonstration d’origine
- Lample et al. : modèles de langage expérimentaux avec couches PKM.
Publications et sources
Lien direct ↗Megatron-LM : répartir les matrices entre GPU
Partager les gros calculs d’une même étape entre plusieurs puces.
Le problème
Certaines opérations d’un grand réseau sont trop volumineuses pour une seule puce.
L’idée
Les grandes multiplications sont divisées entre plusieurs puces de calcul. Celles-ci échangent ensuite leurs résultats pour reconstituer la sortie nécessaire à la suite du réseau.
Un exemple pour se représenter l’idée
Exemple fictif : deux puces calculent chacune une partie du même grand tableau de résultats.
Ce que cela apporte
Une étape de calcul peut dépasser la capacité individuelle d’une puce.
La limite à retenir
Les échanges doivent être rapides, sinon la communication absorbe une grande partie du gain.
Pour approfondir : mécanisme, schéma et origine
Fonctionnement
Les grandes multiplications des couches d’attention et de transformation sont découpées entre appareils. Des communications collectives recombinent leurs résultats, en complément du parallélisme sur les données.
Limites et compromis
Les GPU doivent échanger rapidement ; une interconnexion lente réduit les gains.
- Démonstration d’origine
- Shoeybi et al., NVIDIA : modèles de type GPT et BERT à plusieurs milliards de paramètres.
Publications et sources
Lien direct ↗ZeRO : partager les états plutôt que les dupliquer
Éviter que chaque puce conserve toutes les mêmes données d’entraînement.
Le problème
Copier sur chaque puce les valeurs du modèle et toutes les données de correction gaspille de la mémoire.
L’idée
La méthode répartit les historiques de correction entre puces. Selon sa version, elle répartit aussi les corrections et les valeurs apprises, puis échange les éléments nécessaires au bon moment.
Un exemple pour se représenter l’idée
Chaque puce garde une partie des historiques au lieu d’en conserver une copie complète.
Ce que cela apporte
La mémoire locale peut accueillir une part d’un modèle beaucoup plus grand.
La limite à retenir
Les données économisées localement doivent être échangées, ce qui ajoute de la communication.
Pour approfondir : mécanisme, schéma et origine
Fonctionnement
Les états d’optimiseur, puis les gradients et les paramètres selon le niveau, sont partitionnés entre appareils. Les données nécessaires sont communiquées au moment de leur utilisation.
Limites et compromis
Moins de mémoire locale implique de gérer davantage de communications.
- Démonstration d’origine
- Rajbhandari et al., Microsoft : ZeRO, ensuite intégré à DeepSpeed.
Publications et sources
Lien direct ↗RMSNorm : normaliser sans recentrer
Régler l’échelle des valeurs internes avec une opération simplifiée.
Le problème
La remise à l’échelle des valeurs internes ajoute des calculs à chaque étape du réseau.
L’idée
La méthode mesure la grandeur moyenne des valeurs et les divise par cette échelle. Contrairement à une normalisation plus complète, elle ne commence pas par soustraire leur moyenne.
Un exemple pour se représenter l’idée
Un groupe de valeurs très grandes peut être ramené à une échelle plus régulière sans être recentré.
Ce que cela apporte
Le réseau conserve une remise à l’échelle avec moins d’opérations.
La limite à retenir
Obtenir des résultats comparables dépend du réseau et de la manière dont il est entraîné.
Pour approfondir : mécanisme, schéma et origine
Fonctionnement
Chaque vecteur est divisé par sa valeur quadratique moyenne, puis modulé par une échelle apprise. La méthode conserve une invariance à l’échelle avec moins d’opérations de normalisation.
Limites et compromis
L’équivalence de qualité dépend du modèle et de son entraînement.
- Démonstration d’origine
- Zhang et Sennrich : expériences sur plusieurs architectures, avant LLaMA.
Publications et sources
Lien direct ↗T5 : toutes les tâches deviennent du texte vers du texte
Présenter différentes tâches sous une même forme : du texte en entrée, du texte en sortie.
Le problème
Des formats et structures différents pour chaque tâche compliquent leur comparaison et leur réutilisation.
L’idée
Le réseau apprend d’abord à reconstruire des passages retirés de textes. Il est ensuite adapté à plusieurs tâches formulées en texte, avec une partie qui lit et une autre qui produit la sortie.
Un exemple pour se représenter l’idée
« Traduire : bonjour » et « Résumer : … » utilisent tous deux une entrée textuelle et une réponse textuelle.
Ce que cela apporte
Un même cadre peut servir à la traduction, au résumé et à d’autres tâches.
La limite à retenir
Un format commun ne supprime pas le coût de l’apprentissage ni le besoin de données.
Pour approfondir : mécanisme, schéma et origine
Fonctionnement
Un encodeur-décodeur est préentraîné à reconstruire des portions masquées, puis adapté à des tâches formulées en texte. Des biais de position relative regroupent les distances dans des intervalles.
Limites et compromis
L’unification du format ne supprime ni le coût du préentraînement ni les besoins en données.
- Démonstration d’origine
- Raffel et al., Google : T5 et corpus C4.
Publications et sources
Lien direct ↗MQA : partager les clés et valeurs
Faire partager les informations conservées entre les voies de lecture.
Le problème
Pendant la rédaction, garder des informations distinctes pour chaque voie de lecture prend beaucoup de mémoire.
L’idée
Les voies gardent des requêtes différentes mais partagent les mêmes clés et valeurs : les données servant à retrouver et combiner le texte précédent. Leur cache est une mémoire de calcul temporaire.
Un exemple pour se représenter l’idée
Plusieurs voies consultent le même ensemble de données conservées, au lieu d’en conserver chacune un ensemble distinct.
Ce que cela apporte
La mémoire temporaire et les données à relire peuvent être réduites.
La limite à retenir
Ce partage peut dégrader les résultats ; le gain de vitesse dépend du matériel.
Suivre les idées
Idées antérieures
MQA reprend les têtes d’attention du Transformer, mais leur fait partager une seule paire de clés et valeurs.
Publication : Fast Transformer Decoding: One Write-Head is All You Need ↗
Développements ultérieurs
- Amélioré parGQA : partager les clés et valeurs par groupe
GQA généralise MQA : plusieurs groupes partagent les clés et valeurs, au lieu d’un partage unique entre toutes les têtes.
Publication : GQA: Training Generalized Multi-Query Transformer Models from Multi-Head Checkpoints ↗
Pour approfondir : mécanisme, schéma et origine
Requêtes QClés K + valeurs VCache à relire
Fonctionnement
Les têtes gardent des requêtes différentes mais utilisent un seul ensemble de clés et valeurs. Le cache conserve les représentations des tokens précédents afin de ne pas les recalculer à chaque étape.
Limites et compromis
Le partage peut réduire la qualité ; le gain réel dépend du matériel et du lot.
- Démonstration d’origine
- Shazeer : variantes de Transformer testées en traduction et modélisation du langage.
Publications et sources
Lien direct ↗2020
Reformer : rechercher les tokens semblables
Limiter les comparaisons et reconstruire certains résultats internes pour traiter des textes plus longs.
Le problème
Comparer tous les morceaux d’un long texte et conserver tous les résultats coûte beaucoup de mémoire.
L’idée
La méthode regroupe des représentations similaires pour limiter leurs comparaisons. Elle utilise aussi des étapes réversibles, capables de reconstruire certains résultats précédents plutôt que les stocker.
Un exemple pour se représenter l’idée
Les morceaux placés dans un même groupe sont comparés entre eux sans examiner systématiquement toutes les autres paires.
Ce que cela apporte
Ces choix diminuent certains coûts de mémoire et de calcul sur les longues séquences.
La limite à retenir
Les comparaisons sont approximatives et les gains pratiques dépendent de l’implémentation.
Pour approfondir : mécanisme, schéma et origine
Fonctionnement
Un hachage regroupe les vecteurs semblables pour restreindre leurs comparaisons d’attention. Des couches réversibles permettent de reconstruire certaines activations plutôt que de toutes les conserver pendant l’entraînement.
Limites et compromis
Les comparaisons sont approximatives et les performances pratiques dépendent des kernels.
- Démonstration d’origine
- Kitaev, Kaiser et Levskaya : Reformer.
Publications et sources
Lien direct ↗Lois d’échelle : relier calcul, données et taille
Mesurer comment les résultats changent avec la taille du modèle, les données et le calcul.
Le problème
Un budget limité oblige à choisir entre un modèle plus grand et davantage d’entraînement.
L’idée
Les chercheurs entraînent des modèles de différentes tailles et ajustent des courbes à leurs erreurs de prédiction. Ces courbes servent à estimer des compromis de budget.
Un exemple pour se représenter l’idée
Avant un grand entraînement, plusieurs essais plus petits aident à comparer différentes répartitions du calcul.
Ce que cela apporte
Ces mesures donnent une méthode pour préparer les dépenses d’entraînement.
La limite à retenir
Les conclusions dépendent des expériences et ne garantissent pas toutes les capacités d’un futur modèle.
Pour approfondir : mécanisme, schéma et origine
Fonctionnement
Kaplan et al. ajustent des lois de puissance reliant perte, paramètres, données et calcul. Ces courbes suggèrent comment répartir un budget ; elles ne décrivent pas une architecture nouvelle.
Limites et compromis
Les recommandations dépendent des expériences et seront révisées, notamment par Chinchilla.
- Démonstration d’origine
- OpenAI : séries expérimentales de modèles de langage autorégressifs.
Publications et sources
Lien direct ↗Pre-LN : placer la normalisation avant le calcul
Remettre les valeurs à l’échelle avant les grandes transformations du réseau.
Le problème
L’emplacement d’une remise à l’échelle peut rendre les corrections d’apprentissage plus difficiles à transmettre.
L’idée
La normalisation, qui ajuste l’échelle des valeurs, est placée avant l’attention et les transformations internes. Une voie de passage directe permet aussi aux informations de traverser chaque bloc.
Un exemple pour se représenter l’idée
Au lieu de normaliser après une transformation, on normalise son entrée avant de la calculer.
Ce que cela apporte
Cet arrangement peut faciliter le démarrage de l’entraînement.
La limite à retenir
Ce jalon analyse un placement déjà utilisé auparavant, notamment dans GPT-2.
Pour approfondir : mécanisme, schéma et origine
Fonctionnement
La normalisation précède l’attention ou le réseau de transformation, à l’intérieur de la branche résiduelle. Le papier analyse les gradients et explique pourquoi cette disposition facilite l’optimisation au démarrage.
Limites et compromis
Ce jalon date une analyse de 2020, pas l’invention : GPT-2 utilisait déjà ce placement.
- Démonstration d’origine
- Xiong et al. : analyse et expériences Pre-LN/Post-LN sur Transformer.
Publications et sources
Lien direct ↗SwiGLU et GEGLU : des transformations à portes
Apprendre à moduler une transformation interne avec une autre.
Le problème
Une transformation unique offre moins de souplesse pour sélectionner les informations à transmettre.
L’idée
Le réseau calcule deux versions de son entrée. L’une est transformée progressivement, puis multipliée valeur par valeur avec l’autre avant de combiner le résultat.
Un exemple pour se représenter l’idée
Une branche peut atténuer certaines valeurs de l’autre sans toutes les traiter de la même façon.
Ce que cela apporte
Ce mécanisme ajoute une sélection apprise dans les transformations internes du réseau.
La limite à retenir
Les comparaisons doivent tenir compte de la largeur des étapes et du budget de calcul.
Pour approfondir : mécanisme, schéma et origine
Deux projections de l’entréeSiLU sur une branche × autre brancheProjection de sortie
Fonctionnement
Deux projections sont multipliées élément par élément, dont une passe par une activation comme Swish ou GELU. Une projection de sortie réunit le résultat ; la largeur est ajustée pour comparer des budgets similaires.
Limites et compromis
Les gains dépendent du budget et de l’entraînement ; il faut éviter de comparer des tailles différentes.
- Démonstration d’origine
- Shazeer : variantes testées dans le cadre T5, plusieurs années avant LLaMA.
Publications et sources
Lien direct ↗Longformer : attention locale et globale
Lire surtout les voisins et réserver quelques points de connexion à tout le document.
Le problème
Comparer chaque morceau de texte avec tous les autres devient trop coûteux sur un long document.
L’idée
Chaque morceau consulte une fenêtre proche. Certains emplacements choisis peuvent aussi communiquer avec tout le document, ce qui relie les différentes zones.
Un exemple pour se représenter l’idée
Un emplacement associé à une question peut consulter tout le document, tandis que les autres lisent surtout leur voisinage.
Ce que cela apporte
Le nombre de comparaisons augmente moins vite quand le texte s’allonge.
La limite à retenir
Toutes les paires ne communiquent plus directement et les emplacements globaux doivent être choisis.
Pour approfondir : mécanisme, schéma et origine
Fonctionnement
Chaque token consulte une fenêtre voisine ; quelques tokens choisis disposent aussi d’une attention globale. Avec une fenêtre et un nombre de tokens globaux fixes, le nombre de liens croît linéairement.
Limites et compromis
Toutes les paires ne communiquent pas directement ; les tokens globaux doivent être choisis.
- Démonstration d’origine
- Beltagy, Peters et Cohan : Longformer ; LED apparaît dans une révision ultérieure.
Publications et sources
Lien direct ↗Synthesizer : tester une attention sans produit QK
Combiner les morceaux de texte sans toujours calculer leurs correspondances deux à deux.
Le problème
Le calcul classique de l’attention construit des scores en comparant des paires de représentations.
L’idée
Ces variantes produisent autrement les coefficients servant à mélanger les informations : par un réseau ou même à partir de valeurs aléatoires. Elles testent quelles comparaisons sont réellement nécessaires.
Un exemple pour se représenter l’idée
Une variante apprend directement les coefficients de mélange plutôt que de comparer une requête à chaque clé.
Ce que cela apporte
Ces expériences explorent d’autres façons de faire circuler l’information dans le réseau.
La limite à retenir
Supprimer ces comparaisons ne rend pas automatiquement tous les calculs économiques sur de longs textes.
Pour approfondir : mécanisme, schéma et origine
Fonctionnement
Certaines variantes produisent directement une matrice de mélange depuis les représentations, ou utilisent des poids aléatoires. Elles évitent les produits entre requêtes et clés tout en combinant les valeurs des tokens.
Limites et compromis
Éviter QK ne rend pas automatiquement toutes les variantes linéaires en longueur.
- Démonstration d’origine
- Tay et al. : modèles Synthesizer expérimentaux.
Publications et sources
Lien direct ↗RAG : chercher des documents avant de générer
Rechercher des documents, puis les fournir au modèle pour préparer sa réponse.
Le problème
Un modèle ne peut pas retrouver de façon fiable tous les faits dans ses seules valeurs apprises.
L’idée
Un système de recherche sélectionne des passages pertinents dans une collection. Le générateur reçoit ces textes comme informations supplémentaires pour produire sa réponse.
Un exemple pour se représenter l’idée
Pour une question sur un règlement, le système peut retrouver un passage du règlement et l’ajouter au contexte.
Ce que cela apporte
La réponse peut s’appuyer sur des documents consultables et actualisables.
La limite à retenir
Consulter un texte ne modifie pas à lui seul le modèle et ne garantit pas une réponse correcte.
Pour approfondir : mécanisme, schéma et origine
Question / contexteRechercher des passagesConditionner la génération
Fonctionnement
Un moteur de recherche dense sélectionne des passages, puis un générateur conditionne sa sortie sur ces textes. Le papier entraîne une combinaison d’un récupérateur et d’un modèle de type BART.
Limites et compromis
Une recherche erronée peut contaminer la réponse ; retrouver un texte ne garantit pas sa bonne utilisation.
- Démonstration d’origine
- Lewis et al. : RAG-Sequence et RAG-Token, avec index Wikipédia.
Publications et sources
Lien direct ↗GPT-3 : apprendre une tâche dans le contexte
Donner des exemples dans la demande pour orienter la réponse sans réentraîner le modèle.
Le problème
Adapter les valeurs du modèle pour chaque nouvelle tâche demande des données et du calcul.
L’idée
Un grand modèle entraîné à poursuivre du texte reçoit une consigne et éventuellement quelques exemples. Il produit leur continuation sans modifier ses valeurs apprises pendant cet usage.
Un exemple pour se représenter l’idée
« chat → cat ; chien → dog ; maison → » présente la tâche par des exemples.
Ce que cela apporte
Le texte de la demande suffit pour tenter de nombreuses tâches.
La limite à retenir
Le résultat reste sensible à la formulation et les exemples ne garantissent ni exactitude ni raisonnement fiable.
Pour approfondir : mécanisme, schéma et origine
Fonctionnement
Un décodeur causal est préentraîné à grande échelle. Lors de l’évaluation, on présente zéro, un ou plusieurs exemples dans le contexte, sans modifier les poids : c’est l’apprentissage en contexte.
Limites et compromis
Les capacités restent sensibles au prompt et n’assurent ni raisonnement fiable ni véracité.
- Démonstration d’origine
- Brown et al., OpenAI : GPT-3, jusqu’à 175 milliards de paramètres.
Publications et sources
Lien direct ↗Attention linéaire : résumer au lieu de tout comparer
Accumuler un résumé calculable du passé au lieu de comparer chaque paire de morceaux.
Le problème
Une attention qui compare toutes les paires devient coûteuse sur de longues séquences.
L’idée
On transforme les représentations puis on réorganise les calculs pour accumuler des statistiques des éléments précédents. Le morceau courant consulte cet état compact plutôt qu’une table complète de comparaisons.
Un exemple pour se représenter l’idée
À chaque nouvel élément, le système met à jour son état puis l’utilise pour calculer la sortie.
Ce que cela apporte
Le calcul peut croître plus lentement avec la longueur et fonctionner pas à pas.
La limite à retenir
Le mécanisme change l’attention et compresse les détails du passé dans un état limité.
Pour approfondir : mécanisme, schéma et origine
Fonctionnement
Les requêtes et clés passent par une fonction de caractéristiques. L’associativité permet d’accumuler des statistiques clés-valeurs dans un état, puis de l’interroger, ce qui rend possible un calcul récurrent.
Limites et compromis
La formulation change l’attention et comprime l’historique dans un état de taille fixée.
- Démonstration d’origine
- Katharopoulos et al. : Linear Transformer ; un jalon parmi plusieurs travaux contemporains.
Publications et sources
Lien direct ↗GShard : distribuer un immense MoE
Répartir un très grand réseau avec plusieurs sous-réseaux sélectionnés selon les entrées.
Le problème
Augmenter fortement la capacité d’un réseau pose des problèmes de stockage et de répartition du calcul.
L’idée
Certaines étapes sont remplacées par des experts : des sous-réseaux dont deux sont sélectionnés pour chaque morceau de texte. Le système organise leur distribution et leurs échanges entre nombreuses puces.
Un exemple pour se représenter l’idée
Un morceau est envoyé aux sous-réseaux choisis, même si ceux-ci sont placés sur des puces différentes.
Ce que cela apporte
De grands modèles de traduction deviennent entraînables sur un ensemble de puces.
La limite à retenir
Les experts doivent tous être stockés et leurs échanges restent coûteux.
Pour approfondir : mécanisme, schéma et origine
Un tokenRouteur → quelques expertsCombiner leurs sorties
Fonctionnement
Certaines couches d’un Transformer de traduction sont remplacées par des experts, avec routage top-2. Le système distribue les tenseurs et organise les communications sur de nombreux accélérateurs.
Limites et compromis
La capacité totale exige du stockage et des échanges même quand peu d’experts sont actifs.
- Démonstration d’origine
- Lepikhin et al., Google : Transformer MoE multilingue jusqu’à 600 milliards de paramètres.
Publications et sources
Lien direct ↗BigBird : liens locaux, globaux et aléatoires
Relier les zones d’un long texte par des connexions locales, globales et aléatoires.
Le problème
Une fenêtre de lecture locale seule peut mal relier des passages très éloignés.
L’idée
Le réseau combine des comparaisons avec les voisins, quelques positions accessibles partout et des liens choisis aléatoirement. Ces chemins permettent aux informations de circuler sans connecter toutes les paires.
Un exemple pour se représenter l’idée
Un passage échange avec ses voisins et quelques passages lointains plutôt qu’avec tout le document.
Ce que cela apporte
Le nombre de comparaisons diminue tout en conservant des chemins entre zones éloignées.
La limite à retenir
Ces chemins ne garantissent pas les mêmes résultats qu’une attention complète sur chaque tâche.
Pour approfondir : mécanisme, schéma et origine
Fonctionnement
BigBird mélange voisinage local, tokens globaux et liens aléatoires. Ces connexions réduisent le nombre de scores tout en maintenant des chemins de circulation de l’information entre parties éloignées.
Limites et compromis
Les garanties théoriques ne signifient pas une qualité identique à l’attention dense sur toute tâche.
- Démonstration d’origine
- Zaheer et al., Google : BigBird.
Publications et sources
Lien direct ↗RLHF : produire des résumés préférés par les humains
Entraîner un générateur de résumés à partir des préférences d’évaluateurs.
Le problème
Prédire le texte suivant ne suffit pas à produire le résumé que les lecteurs préfèrent.
L’idée
Des personnes comparent des résumés. Un modèle apprend à attribuer des notes correspondant à leurs choix, puis le générateur est entraîné pour améliorer ces notes tout en restant proche d’une référence.
Un exemple pour se représenter l’idée
Des évaluateurs peuvent préférer un résumé qui conserve le point principal à un autre qui l’omet.
Ce que cela apporte
Les préférences humaines orientent directement une partie de l’entraînement des résumés.
La limite à retenir
Les biais des évaluateurs et les défauts de la notation peuvent être reproduits ou exploités.
Pour approfondir : mécanisme, schéma et origine
Fonctionnement
Des évaluateurs comparent des résumés ; un modèle de récompense apprend ces comparaisons. Le générateur est ensuite optimisé par PPO avec une contrainte le gardant proche d’un modèle de référence.
Limites et compromis
Les biais des évaluateurs et l’exploitation de la récompense restent possibles.
- Démonstration d’origine
- Stiennon et al., OpenAI : modèles de résumé fondés sur GPT, avant InstructGPT.
Publications et sources
Lien direct ↗Performer : approximer softmax avec des caractéristiques aléatoires
Approcher les comparaisons d’attention sans construire leur tableau complet.
Le problème
Le tableau reliant chaque morceau de texte à tous les autres devient très volumineux.
L’idée
Des transformations aléatoires produisent des représentations qui approchent le calcul habituel. Les opérations sont réorganisées pour utiliser ces représentations sans conserver toutes les comparaisons.
Un exemple pour se représenter l’idée
Au lieu de remplir toutes les cases d’un tableau de relations, on combine des résumés numériques approximatifs.
Ce que cela apporte
Le coût de l’attention peut croître plus lentement avec la longueur.
La limite à retenir
Le nombre de valeurs utilisées dans l’approximation détermine un compromis entre précision et coût.
Pour approfondir : mécanisme, schéma et origine
Fonctionnement
FAVOR+ utilise des caractéristiques aléatoires positives pour approximer le noyau de l’attention. Le calcul est réordonné pour éviter la matrice complète des interactions.
Limites et compromis
La précision et le coût dépendent du nombre de caractéristiques ; les gains ne sont pas universels.
- Démonstration d’origine
- Choromanski et al. : Performer et expériences sur plusieurs modalités.
Publications et sources
Lien direct ↗QK-Norm : maîtriser l’échelle des scores d’attention
Régler l’échelle des représentations avant de calculer leurs correspondances.
Le problème
Des valeurs trop grandes peuvent rendre les scores d’attention excessivement concentrés.
L’idée
Les représentations utilisées pour poser une requête et identifier les éléments consultés sont ramenées à une longueur numérique commune. Une échelle apprise règle ensuite la force de leur comparaison.
Un exemple pour se représenter l’idée
Une représentation ne reçoit plus un score élevé simplement parce que ses valeurs sont globalement plus grandes.
Ce que cela apporte
Le calcul des correspondances devient moins dépendant de la taille brute des représentations.
La limite à retenir
Les modèles récents peuvent utiliser d’autres variantes ; leurs méthodes ne sont pas toutes identiques à celle-ci.
Pour approfondir : mécanisme, schéma et origine
Fonctionnement
Le papier normalise Q et K avec une norme L2 puis applique un facteur d’échelle appris à leur produit scalaire. Des modèles ultérieurs utilisent d’autres variantes de normalisation de Q et K.
Limites et compromis
Les variantes diffèrent : on ne doit pas attribuer automatiquement cette formulation à chaque modèle récent.
- Démonstration d’origine
- Henry, Dachapally, Pawar et Chen : Transformers de traduction à faibles ressources.
Publications et sources
Lien direct ↗ViT : lire une image comme une séquence
Traiter une image comme une suite de petits morceaux.
Le problème
Utiliser le Transformer sur des images demande de convertir les pixels en une entrée adaptée.
L’idée
L’image est découpée en petits carrés. Chaque carré devient une représentation numérique avec une information de position, puis l’attention combine ces représentations pour produire un résultat global.
Un exemple pour se représenter l’idée
Pour classer une image, le réseau combine des informations provenant de différentes zones plutôt que de lire du texte.
Ce que cela apporte
Une architecture fondée sur l’attention peut servir à reconnaître des images.
La limite à retenir
Les résultats dépendent de l’apprentissage et multiplier les morceaux augmente le coût des comparaisons.
Pour approfondir : mécanisme, schéma et origine
Fonctionnement
Une image est découpée en patches, projetés en vecteurs et enrichis d’une information de position. Un encodeur Transformer mélange ces représentations pour apprendre une représentation globale adaptée à la classification.
Limites et compromis
L’efficacité dépend du préentraînement ; le nombre de patches augmente le coût de l’attention.
- Démonstration d’origine
- Dosovitskiy et al., Google : Vision Transformer, ViT.
Publications et sources
Lien direct ↗2021
Prefix tuning : apprendre un préfixe continu
Apprendre de petits ajouts numériques pour orienter un modèle laissé fixe.
Le problème
Adapter toutes les valeurs d’un grand modèle pour chaque tâche coûte du stockage et de la mémoire.
L’idée
On apprend des représentations supplémentaires que plusieurs étapes du réseau peuvent consulter comme un début de contexte. Seuls ces ajouts changent pendant l’adaptation.
Un exemple pour se représenter l’idée
Un ensemble d’ajouts peut être appris pour le résumé, puis utilisé avec le modèle principal inchangé.
Ce que cela apporte
Une tâche peut être adaptée en apprenant beaucoup moins de nouvelles valeurs.
La limite à retenir
Ces ajouts prennent une place dans le contexte et leur efficacité dépend de la tâche.
Pour approfondir : mécanisme, schéma et origine
Fonctionnement
Des vecteurs entraînables agissent comme des tokens virtuels auxquels les couches peuvent prêter attention. L’adaptation apprend ce préfixe au lieu de mettre à jour tous les poids du réseau.
Limites et compromis
Les préfixes consomment du contexte et peuvent être moins efficaces pour certaines tâches.
- Démonstration d’origine
- Li et Liang : expériences de génération sur GPT-2 et BART.
Publications et sources
Lien direct ↗Switch Transformer : un seul expert par token
N’utiliser qu’un sous-réseau sélectionné pour chaque morceau de texte.
Le problème
Les réseaux à plusieurs experts peuvent devenir difficiles à répartir et à stabiliser.
L’idée
Un sélecteur envoie chaque morceau de texte vers un seul expert, c’est-à-dire un sous-réseau. Des règles cherchent à répartir le travail et à éviter de surcharger les mêmes experts.
Un exemple pour se représenter l’idée
Exemple fictif : chaque morceau est dirigé vers un expert parmi quatre, sans faire fonctionner les trois autres pour ce morceau.
Ce que cela apporte
La sélection devient plus simple tout en permettant beaucoup de valeurs apprises au total.
La limite à retenir
Un expert peut recevoir trop de travail et les échanges entre puces restent coûteux.
Suivre les idées
Idées antérieures
Switch reprend le routage vers des experts épars et le simplifie : un seul expert est choisi pour chaque token.
Publication : Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity ↗
Pour approfondir : mécanisme, schéma et origine
Un tokenRouteur → quelques expertsCombiner leurs sorties
Fonctionnement
Un routeur envoie chaque token vers un seul expert de la couche. Des règles de capacité, une perte d’équilibrage et des choix numériques cherchent à stabiliser la distribution du travail.
Limites et compromis
La capacité des experts peut être dépassée, et la communication reste un coût majeur.
- Démonstration d’origine
- Fedus, Zoph et Shazeer : Switch Transformer, avec expériences dérivées de T5.
Publications et sources
Lien direct ↗DALL·E : générer une image depuis du texte
Produire une image en poursuivant une suite qui commence par sa description.
Le problème
Un modèle de texte a besoin d’une représentation adaptée pour produire des images.
L’idée
Un système transforme les images en codes compacts. Le Transformer apprend à prédire ces codes après ceux de la description, puis un décodeur les transforme en pixels.
Un exemple pour se représenter l’idée
Une description comme « un fauteuil en forme de poire » sert de début à la suite de codes d’image.
Ce que cela apporte
La génération d’images peut être guidée par une description textuelle.
La limite à retenir
Les codes comprimés peuvent perdre des détails et cette première version n’utilise pas la diffusion.
Pour approfondir : mécanisme, schéma et origine
Fonctionnement
Un autoencodeur discret transforme les images en tokens. Un Transformer prédit ensuite une séquence réunissant tokens du texte puis de l’image ; le décodeur de l’autoencodeur reconstruit les pixels.
Limites et compromis
La compression peut perdre des détails ; cette première version n’est pas un modèle de diffusion.
- Démonstration d’origine
- Ramesh et al., OpenAI : DALL·E ; la date indique la soumission du papier.
Publications et sources
Lien direct ↗CLIP : aligner les représentations des images et des textes
Apprendre à rapprocher une image de la description qui lui correspond.
Le problème
Reconnaître des catégories nouvelles demande souvent des exemples annotés pour chacune.
L’idée
Un réseau transforme les images en nombres et un autre fait de même avec le texte. L’apprentissage rapproche les représentations des paires correspondantes et éloigne celles des autres paires.
Un exemple pour se représenter l’idée
Une photo peut être comparée aux descriptions « un chien » et « un vélo » pour choisir la plus proche.
Ce que cela apporte
Des descriptions écrites peuvent servir de catégories sans nouvel entraînement spécifique.
La limite à retenir
Faire correspondre une image et un texte ne suffit pas à construire un assistant capable de converser sur l’image.
Pour approfondir : mécanisme, schéma et origine
Fonctionnement
Un encodeur d’image et un encodeur de texte apprennent un espace commun. Une perte contrastive rapproche les paires correspondantes et éloigne les autres ; des descriptions textuelles deviennent des classes de reconnaissance zero-shot.
Limites et compromis
Reconnaître ou rapprocher des représentations ne suffit pas à produire une conversation multimodale.
- Démonstration d’origine
- Radford et al., OpenAI : CLIP ; la date indique la soumission du papier.
Publications et sources
Lien direct ↗Prompt tuning : apprendre seulement des tokens d’entrée
Apprendre un petit début numérique de demande plutôt que modifier tout le modèle.
Le problème
Garder une version complète du modèle pour chaque tâche est coûteux.
L’idée
On ajoute à l’entrée des représentations numériques apprises, sans mots nécessairement lisibles. Seuls ces ajouts sont modifiés pendant l’adaptation ; les valeurs du modèle principal restent fixes.
Un exemple pour se représenter l’idée
Un début numérique peut être appris pour classer des avis et réutilisé avant chaque avis.
Ce que cela apporte
Plusieurs tâches peuvent partager le même grand modèle avec de petits ajouts distincts.
La limite à retenir
Les résultats dépendent fortement de la taille du modèle et de la tâche.
Pour approfondir : mécanisme, schéma et origine
Fonctionnement
On ajoute quelques vecteurs entraînables aux embeddings d’entrée et on optimise seulement ces vecteurs. Contrairement au prefix tuning, la méthode n’ajoute pas directement un préfixe distinct à chaque couche.
Limites et compromis
L’efficacité observée dépend fortement de la taille du modèle et de la tâche.
- Démonstration d’origine
- Lester, Al-Rfou et Constant : étude sur la famille T5.
Publications et sources
Lien direct ↗RoPE : faire tourner requêtes et clés
Utiliser des rotations numériques pour indiquer les distances dans le texte.
Le problème
Les comparaisons entre morceaux de texte doivent tenir compte de leur ordre et de leur distance.
L’idée
Les nombres servant à chercher et à identifier les informations sont tournés par paires selon leur position. Leur comparaison dépend alors de l’écart entre ces positions.
Un exemple pour se représenter l’idée
Deux mots voisins ont un écart de rotation lié à leur proximité, même lorsqu’ils apparaissent ailleurs dans la phrase.
Ce que cela apporte
La distance relative entre morceaux entre directement dans les scores d’attention.
La limite à retenir
Ce mécanisme ne garantit pas un bon fonctionnement sur des textes beaucoup plus longs que ceux de l’entraînement.
Suivre les idées
Développements ultérieurs
L’interpolation réduit les indices de position avant d’appliquer RoPE, pour faire tenir un texte plus long dans la plage apprise.
Publication : Extending Context Window of Large Language Models via Positional Interpolation ↗
Pour approfondir : mécanisme, schéma et origine
RoPE : la position devient une rotation
Sur petit écran, faites défiler le schéma horizontalement.
Fonctionnement
Des paires de composantes de Q et K sont tournées selon des angles dépendant de leur position. Leur produit scalaire dépend alors de la différence des angles, donc de la distance entre tokens.
Limites et compromis
Des positions bien au-delà de l’entraînement demandent souvent une adaptation spécifique.
- Démonstration d’origine
- Su et al. : RoFormer ; v1 arXiv du 20 avril, pas du 9 avril 2021.
Publications et sources
- RoFormer: Enhanced Transformer with Rotary Position Embedding ↗
- LLaMA: Open and Efficient Foundation Language Models ↗
LoRA : adapter avec des matrices de faible rang
Adapter un modèle en apprenant une petite correction structurée.
Le problème
Modifier toutes les valeurs d’un grand modèle exige beaucoup de mémoire pour son adaptation.
L’idée
Les valeurs déjà apprises restent fixes. Deux petits tableaux de nombres sont appris puis multipliés pour représenter une correction de certains grands tableaux du modèle.
Un exemple pour se représenter l’idée
Pour adapter le modèle à un style de texte, on apprend ces petits tableaux plutôt qu’une modification indépendante de chaque valeur.
Ce que cela apporte
Beaucoup moins de valeurs doivent être entraînées et stockées pour chaque adaptation.
La limite à retenir
La taille des tableaux et les étapes ciblées limitent les changements possibles.
Suivre les idées
Développements ultérieurs
- Combiné dansQLoRA : adapter un modèle quantifié
QLoRA entraîne les petites matrices de LoRA à travers un modèle de base gelé et quantifié sur 4 bits.
Publication : QLoRA: Efficient Finetuning of Quantized LLMs ↗
Pour approfondir : mécanisme, schéma et origine
LoRA : apprendre une petite correction
Sur petit écran, faites défiler le schéma horizontalement.
Fonctionnement
Les poids préentraînés sont gelés. Leur modification est représentée par le produit de deux petites matrices, appris pendant l’adaptation ; ce produit peut ensuite être fusionné avec les poids de départ.
Limites et compromis
Le choix du rang et des couches ciblées limite ce que l’adaptation peut représenter.
- Démonstration d’origine
- Hu et al. : démonstrations sur RoBERTa, DeBERTa, GPT-2 et GPT-3.
Publications et sources
Lien direct ↗ALiBi : pénaliser directement les distances
Ajouter aux comparaisons une pénalité qui augmente avec la distance.
Le problème
Le calcul d’attention doit distinguer les éléments proches des éléments éloignés.
L’idée
Chaque voie de lecture soustrait une pénalité proportionnelle à la distance entre morceaux. Les voies utilisent des pentes différentes, sans ajouter de représentation de position à chaque morceau.
Un exemple pour se représenter l’idée
À pertinence égale, un mot proche reçoit un meilleur score qu’un mot plus éloigné.
Ce que cela apporte
La même règle de position peut être appliquée à des longueurs absentes de l’entraînement.
La limite à retenir
Appliquer la règle à un long texte ne garantit pas de retrouver une information à toute distance.
Pour approfondir : mécanisme, schéma et origine
Position du tokenModifier Q/K ou le scoreRelations de distance
Fonctionnement
Chaque tête soustrait au score d’attention une pénalité proportionnelle à la distance, avec sa propre pente. La formulation favorise les tokens proches et s’applique à des longueurs non vues pendant l’entraînement.
Limites et compromis
L’extrapolation mesurée dans le papier ne garantit pas une récupération fiable à toute distance.
- Démonstration d’origine
- Press, Smith et Lewis : modèles autorégressifs expérimentaux, avant BLOOM.
Publications et sources
Lien direct ↗FLAN : apprendre à suivre des instructions
Entraîner le modèle sur de nombreuses tâches présentées comme des consignes.
Le problème
Un modèle qui sait poursuivre du texte ne suit pas nécessairement une demande nouvelle.
L’idée
On adapte un modèle existant avec des exemples associant une consigne à une sortie attendue. Des familles de tâches sont gardées à part pour tester sa capacité à suivre d’autres consignes.
Un exemple pour se représenter l’idée
Le modèle rencontre des demandes comme « traduis cette phrase » et « classe cet avis », avec leurs réponses attendues.
Ce que cela apporte
Cet apprentissage peut améliorer les résultats sur des tâches absentes de l’adaptation.
La limite à retenir
Le transfert dépend de la qualité et de la diversité des tâches proposées.
Pour approfondir : mécanisme, schéma et origine
Fonctionnement
Un modèle préentraîné est adapté sur des exemples dont l’entrée contient une consigne. L’évaluation porte sur des familles de tâches laissées de côté, afin de tester le transfert au-delà des tâches d’entraînement.
Limites et compromis
La qualité et la diversité des tâches conditionnent le transfert ; ce n’est pas du RLHF.
- Démonstration d’origine
- Wei et al., Google : FLAN, issu d’un modèle de langage de 137 milliards de paramètres.
Publications et sources
Lien direct ↗NormFormer : équilibrer les gradients par des normes supplémentaires
Ajouter des réglages d’échelle pour mieux équilibrer l’apprentissage entre les étapes.
Le problème
Les corrections d’apprentissage peuvent avoir des tailles trop différentes selon les étapes du réseau.
L’idée
La méthode ajoute des remises à l’échelle après l’attention et dans les transformations internes. Elle apprend aussi une échelle propre à chaque voie de lecture pour réduire certains déséquilibres.
Un exemple pour se représenter l’idée
Une étape recevant des corrections bien plus grandes qu’une autre peut bénéficier de ces ajustements d’échelle.
Ce que cela apporte
Les corrections peuvent devenir mieux équilibrées et l’entraînement plus efficace dans les expériences étudiées.
La limite à retenir
Ces opérations ajoutent un coût et leur intérêt dépend de la configuration.
Pour approfondir : mécanisme, schéma et origine
Fonctionnement
Le bloc ajoute notamment une normalisation après l’attention, une mise à l’échelle par tête et une normalisation dans le réseau de transformation. Ces changements réduisent certains écarts d’échelle des gradients entre couches.
Limites et compromis
Les opérations supplémentaires ont un coût et ne constituent pas une adoption universelle.
- Démonstration d’origine
- Shleifer, Weston et Ott : NormFormer, modèles de langage expérimentaux.
Publications et sources
Lien direct ↗S4 : modéliser les séquences par un état structuré
Traiter une longue suite en mettant à jour un état numérique compact.
Le problème
Conserver et comparer séparément tous les éléments du passé devient coûteux.
L’idée
Chaque nouvelle entrée modifie un état de taille limitée selon un système mathématique structuré. Cette structure permet un calcul parallèle pendant l’entraînement et une mise à jour pas à pas pendant l’utilisation.
Un exemple pour se représenter l’idée
À l’arrivée d’un nouvel élément, le système actualise son état sans relire individuellement tous les éléments précédents.
Ce que cela apporte
Cette approche offre une autre manière de traiter de longues séquences.
La limite à retenir
L’état compresse le passé et ne fournit pas un accès direct à chaque détail ancien.
Suivre les idées
Développements ultérieurs
- Amélioré parMamba : une mémoire sélective
Mamba prolonge les modèles à espace d’état en faisant dépendre de l’entrée ce qui est retenu ou oublié.
Publication : Mamba: Linear-Time Sequence Modeling with Selective State Spaces ↗
Pour approfondir : mécanisme, schéma et origine
Token + état précédentMettre à jour l’étatSortie + nouvel état
Fonctionnement
Un système dynamique met à jour un état compact à partir des entrées. Sa structure permet de calculer efficacement un noyau de convolution à l’entraînement et de traiter les données de façon récurrente en génération.
Limites et compromis
L’état compresse l’historique et le mécanisme diffère d’une recherche directe entre tokens.
- Démonstration d’origine
- Gu, Goel et Ré : S4 ; 2111.00396, pas 2208.04933 qui correspond à S5.
Publications et sources
Lien direct ↗RETRO : intégrer la recherche à l’architecture
Intégrer la consultation de passages similaires dans le calcul du modèle.
Le problème
Stocker toutes les informations utiles uniquement dans les valeurs apprises demande de très grands modèles.
L’idée
Le système recherche des passages voisins du segment traité dans une grande collection. Des étapes dédiées du réseau lisent ces passages et les intègrent à la prédiction du texte suivant.
Un exemple pour se représenter l’idée
Un segment parlant d’un sujet peut être accompagné de passages similaires retrouvés dans la collection.
Ce que cela apporte
Les expériences montrent qu’une collection consultable peut soutenir un modèle contenant moins de valeurs apprises.
La limite à retenir
Le système dépend de la qualité de la recherche et de la disponibilité de sa collection.
Pour approfondir : mécanisme, schéma et origine
Question / contexteRechercher des passagesConditionner la génération
Fonctionnement
Le modèle récupère des voisins de segments de texte avec un récupérateur gelé. Un encodeur et des couches d’attention croisée intègrent les passages retrouvés pendant la prédiction des tokens.
Limites et compromis
Le système dépend de la qualité et de la disponibilité de l’index documentaire.
- Démonstration d’origine
- Borgeaud et al., DeepMind : Retrieval-Enhanced Transformer, RETRO.
Publications et sources
Lien direct ↗2022
Chain-of-Thought : expliciter les étapes
Décomposer une réponse en étapes peut aider à résoudre certains problèmes.
Le problème
Une réponse directe saute parfois un calcul utile.
L’idée
Montrer des exemples avec des étapes encourage le modèle à produire aussi des étapes.
Un exemple pour se représenter l’idée
Exemple fictif : calculer un sous-total avant une remise.
Ce que cela apporte
Certains problèmes deviennent plus faciles à résoudre.
La limite à retenir
Une explication plausible peut être fausse ou ne pas refléter le calcul interne.
Suivre les idées
Développements ultérieurs
- Amélioré parSelf-consistency : faire voter les raisonnements
La self-consistency génère plusieurs raisonnements de type Chain-of-Thought, puis retient la réponse la plus fréquente.
Publication : Self-Consistency Improves Chain of Thought Reasoning in Language Models ↗
Pour approfondir : mécanisme, schéma et origine
Problème + démonstrationsGénérer des étapesProduire une réponse
Fonctionnement
Le modèle imite des démonstrations contenant des étapes intermédiaires avant la réponse. Ces tokens supplémentaires décomposent des calculs ou des déductions en opérations plus simples.
Limites et compromis
Une justification plausible ne garantit ni un résultat juste ni une explication fidèle.
- Démonstration d’origine
- GPT-3 et LaMDA dans les premières expériences ; PaLM dans les versions ultérieures.
Publications et sources
Lien direct ↗Chinchilla : équilibrer paramètres et données
Un modèle plus petit peut mieux apprendre si on lui donne davantage de textes.
Le problème
Agrandir le modèle consomme le budget avant d'avoir assez appris.
L’idée
On équilibre le nombre de valeurs apprises et la quantité de texte pendant l'entraînement.
Un exemple pour se représenter l’idée
Exemple fictif : entraîner davantage un petit modèle plutôt qu'agrandir son voisin.
Ce que cela apporte
Le même budget peut produire de meilleurs résultats.
La limite à retenir
Le meilleur équilibre change quand on compte aussi le coût des réponses.
Pour approfondir : mécanisme, schéma et origine
Fonctionnement
Des expériences font varier taille, volume de tokens et calcul. Les lois ajustées recommandent d'augmenter conjointement paramètres et données pour utiliser efficacement le budget d'entraînement.
Limites et compromis
L'optimum change si l'on inclut le coût d'inférence ou d'autres distributions de données.
- Démonstration d’origine
- Chinchilla 70B, comparé notamment à Gopher 280B.
Publications et sources
Lien direct ↗InstructGPT : suivre l'intention humaine
Des exemples et des préférences humaines rendent les réponses plus utiles.
Le problème
Compléter un texte ne suffit pas pour suivre une demande.
L’idée
Des humains montrent des réponses puis classent des propositions. Un système de notation guide l'entraînement suivant.
Un exemple pour se représenter l’idée
Exemple fictif : préférer une réponse claire à une suite de texte hors sujet.
Ce que cela apporte
Le modèle suit mieux certaines consignes.
La limite à retenir
Une réponse appréciée peut encore contenir des erreurs factuelles.
Suivre les idées
Idées antérieures
InstructGPT applique l’apprentissage d’une récompense à partir de préférences humaines pour ajuster un modèle de langage.
Publication : Training language models to follow instructions with human feedback ↗
Autres approches
- Alternative àDPO : apprendre directement les préférences
DPO apprend directement sur les réponses préférées et rejetées, sans entraîner le modèle de récompense séparé utilisé dans la recette d’InstructGPT.
Publication : Direct Preference Optimization: Your Language Model is Secretly a Reward Model ↗
Pour approfondir : mécanisme, schéma et origine
Fonctionnement
Après des démonstrations supervisées, des humains classent les réponses. Un modèle de récompense apprend ces préférences et guide une optimisation par renforcement avec PPO.
Limites et compromis
La qualité dépend des préférences collectées ; les erreurs factuelles subsistent.
- Démonstration d’origine
- InstructGPT, obtenu en adaptant GPT-3 ; ce papier ne présente pas ChatGPT.
Publications et sources
Lien direct ↗µP / µTransfer : régler petit, entraîner grand
Des essais sur un petit modèle aident à régler son grand équivalent.
Le problème
Tester chaque réglage directement sur un grand modèle coûte cher.
L’idée
Une règle ajuste les échelles des valeurs apprises et de leurs modifications quand la taille augmente.
Un exemple pour se représenter l’idée
Exemple fictif : choisir la vitesse d'apprentissage sur une version réduite.
Ce que cela apporte
Certains réglages se transfèrent avec moins d'essais coûteux.
La limite à retenir
Le transfert exige des versions compatibles et ne fonctionne pas pour tout changement.
Pour approfondir : mécanisme, schéma et origine
Fonctionnement
La paramétrisation µP adapte les échelles de poids et de mise à jour à la largeur du réseau. On recherche les hyperparamètres sur un modèle réduit puis on les transfère.
Limites et compromis
Le transfert exige une paramétrisation cohérente ; changer toute l'architecture reste délicat.
- Démonstration d’origine
- Démonstrations sur Transformers, BERT et modèles de type GPT.
Publications et sources
Lien direct ↗Self-consistency : faire voter les raisonnements
Comparer plusieurs solutions aide parfois à choisir une réponse.
Le problème
Une seule tentative peut suivre une mauvaise piste.
L’idée
Le modèle produit plusieurs suites d'étapes, puis on retient la réponse finale la plus fréquente.
Un exemple pour se représenter l’idée
Exemple fictif : cinq essais donnent trois fois le même résultat.
Ce que cela apporte
Un vote peut écarter certaines erreurs isolées.
La limite à retenir
Les essais coûtent du calcul et peuvent tous reproduire la même erreur.
Suivre les idées
Idées antérieures
La self-consistency génère plusieurs raisonnements de type Chain-of-Thought, puis retient la réponse la plus fréquente.
Publication : Self-Consistency Improves Chain of Thought Reasoning in Language Models ↗
Pour approfondir : mécanisme, schéma et origine
Fonctionnement
On échantillonne plusieurs chaînes de raisonnement, puis on choisit la réponse finale la plus fréquente. Des chemins différents peuvent converger vers la même solution.
Limites et compromis
Le coût augmente avec les essais et des erreurs corrélées peuvent gagner le vote.
- Démonstration d’origine
- Expériences sur des familles GPT-3, LaMDA et PaLM dans le papier.
Publications et sources
Lien direct ↗STaR : apprendre de ses raisonnements réussis
Des solutions réussies deviennent de nouveaux exemples d'apprentissage.
Le problème
Les démonstrations rédigées par des humains sont limitées.
L’idée
Le modèle produit des solutions. Celles qui donnent une réponse correcte servent à poursuivre son entraînement.
Un exemple pour se représenter l’idée
Exemple fictif : conserver une résolution qui retrouve le total attendu.
Ce que cela apporte
On augmente le nombre d'exemples disponibles.
La limite à retenir
Une réponse finale correcte ne garantit pas que toutes les étapes soient justes.
Pour approfondir : mécanisme, schéma et origine
Fonctionnement
Le modèle génère des raisonnements ; ceux donnant la bonne réponse alimentent un nouvel ajustement. Pour les échecs, connaître la réponse aide à produire une justification supplémentaire.
Limites et compromis
Une bonne réponse peut masquer un mauvais raisonnement ; le filtrage est crucial.
- Démonstration d’origine
- STaR, démontré notamment avec GPT-J.
Publications et sources
Lien direct ↗Flamingo : connecter vision et langage
Des composants visuels permettent de répondre sur des images mêlées au texte.
Le problème
Un modèle de texte seul ne reçoit pas directement les informations d'une image.
L’idée
Un composant condense l'image, puis des étapes de lecture relient ces informations au texte.
Un exemple pour se représenter l’idée
Exemple fictif : montrer une photo puis demander sa couleur dominante.
Ce que cela apporte
Le modèle peut utiliser des exemples mêlant images et phrases.
La limite à retenir
La condensation peut perdre des détails et les réponses restent faillibles.
Pour approfondir : mécanisme, schéma et origine
Fonctionnement
Un Perceiver Resampler condense les représentations visuelles. Des couches d'attention croisée relient ces représentations à un modèle de langage, en conservant les grands composants préentraînés gelés.
Limites et compromis
La compression visuelle perd des détails et ne supprime pas les hallucinations.
- Démonstration d’origine
- Flamingo, DeepMind ; ce n'est pas l'origine de toute multimodalité.
Publications et sources
Lien direct ↗PaLM : entraîner à l'échelle des pods TPU
Un entraînement réparti à grande échelle explore les capacités des grands modèles.
Le problème
Un très grand modèle dépasse les capacités d'une seule machine.
L’idée
Un système coordonne de nombreuses puces pour entraîner ensemble les différentes parties du modèle.
Un exemple pour se représenter l’idée
Exemple fictif : répartir un long calcul sur plusieurs groupes de machines.
Ce que cela apporte
L'expérience mesure les effets d'une augmentation de taille.
La limite à retenir
Ce modèle assemble des techniques antérieures plutôt qu'il ne les invente toutes.
Pour approfondir : mécanisme, schéma et origine
Fonctionnement
Pathways coordonne l'entraînement de PaLM sur plusieurs ensembles de TPU. Le modèle combine des choix d'architecture antérieurs et teste comment l'échelle améliore apprentissage par exemples et raisonnement guidé.
Limites et compromis
C'est une synthèse à grande échelle, pas l'invention des techniques qu'elle utilise.
- Démonstration d’origine
- PaLM 540B, Google ; papier en avril 2022.
Publications et sources
Lien direct ↗FlashAttention : déplacer moins de données
Calculer l'attention par petits blocs économise la mémoire de travail.
Le problème
Comparer tous les morceaux de texte crée un grand tableau intermédiaire.
L’idée
Le calcul avance par blocs dans la mémoire rapide de la puce, sans conserver le tableau complet.
Un exemple pour se représenter l’idée
Exemple fictif : traiter successivement plusieurs groupes de mots.
Ce que cela apporte
On obtient la même attention mathématique avec moins de transferts.
La limite à retenir
Le nombre de comparaisons croît toujours comme le carré de la longueur.
Suivre les idées
Développements ultérieurs
- Amélioré parFlashAttention-2 : mieux remplir le GPU
La deuxième version conserve le calcul par tuiles et répartit mieux le travail entre les unités du GPU.
Publication : FlashAttention-2: Faster Attention with Better Parallelism and Work Partitioning ↗
Pour approfondir : mécanisme, schéma et origine
FlashAttention : changer le trajet en mémoire
Sur petit écran, faites défiler le schéma horizontalement.
Fonctionnement
Le calcul est découpé en blocs qui restent dans la mémoire rapide du GPU. Un softmax calculé progressivement évite de matérialiser toute la matrice des scores d'attention.
Limites et compromis
Le nombre d'opérations reste quadratique ; le gain dépend du matériel et des dimensions.
- Démonstration d’origine
- Kernel de Dao et al., évalué sur Transformers de texte et de vision.
Publications et sources
Lien direct ↗IA³ : ajuster quelques multiplicateurs
De petits réglages supplémentaires suffisent parfois pour spécialiser un modèle.
Le problème
Modifier toutes les valeurs apprises demande beaucoup de mémoire.
L’idée
Les valeurs principales restent fixes. De petites listes de nombres apprises amplifient ou réduisent certaines informations internes.
Un exemple pour se représenter l’idée
Exemple fictif : adapter un modèle à la classification de messages.
Ce que cela apporte
Chaque spécialité nécessite peu de valeurs supplémentaires.
La limite à retenir
Cette adaptation offre moins de liberté qu'un entraînement complet et nécessite des exemples adaptés.
Pour approfondir : mécanisme, schéma et origine
Poids de base gelésPetite adaptation appriseSortie adaptée
Fonctionnement
Des vecteurs appris redimensionnent clés, valeurs et activations internes tandis que les poids principaux restent gelés. Chaque tâche ne nécessite donc que de petits ensembles de paramètres supplémentaires.
Limites et compromis
Cette adaptation est moins expressive qu'un réentraînement complet et exige des données de tâche.
- Démonstration d’origine
- IA³, démontré avec T0/T5 dans le cadre T-Few.
Publications et sources
Lien direct ↗OPT : documenter l'entraînement d'un grand modèle
Publier modèles et journal de développement facilite l'étude des grands modèles.
Le problème
Un résultat seul ne révèle pas les difficultés de sa fabrication.
L’idée
La publication fournit plusieurs tailles de modèles, du code et des observations sur l'entraînement.
Un exemple pour se représenter l’idée
Exemple fictif : comparer deux tailles avec une recette documentée.
Ce que cela apporte
Les chercheurs peuvent étudier davantage de choix concrets.
La limite à retenir
L'accès aux fichiers ne signifie pas que tous les usages soient autorisés.
Pour approfondir : mécanisme, schéma et origine
Fonctionnement
La famille reprend des Transformers décodeurs autorégressifs de différentes tailles. La publication expose des difficultés d'infrastructure et de stabilité, au-delà de la seule description du réseau.
Limites et compromis
Le jalon porte sur l'accès et la documentation ; les autorisations d'usage dépendent des conditions publiées.
- Démonstration d’origine
- OPT 125M–175B, Meta ; pas une nouvelle forme d'attention.
Publications et sources
Lien direct ↗UL2 : mélanger les objectifs d'apprentissage
Varier les textes à reconstruire apprend plusieurs façons de traiter une demande.
Le problème
Un seul exercice d'entraînement prépare mal à certaines tâches.
L’idée
Le modèle apprend à retrouver des passages cachés de différentes longueurs, avec des indications sur l'exercice.
Un exemple pour se représenter l’idée
Exemple fictif : compléter un mot puis reconstruire un paragraphe.
Ce que cela apporte
La même recette couvre plusieurs types de transformation de texte.
La limite à retenir
Les bénéfices varient selon les tâches et la manière de servir le modèle.
Pour approfondir : mécanisme, schéma et origine
Fonctionnement
Mixture-of-Denoisers combine plusieurs taux de masquage et longueurs de segments. Des marqueurs de mode indiquent le type de reconstruction attendu au modèle encodeur-décodeur.
Limites et compromis
L'intérêt dépend des tâches ; l'encodeur-décodeur a des contraintes de service spécifiques.
- Démonstration d’origine
- UL2 20B, Google.
Publications et sources
Lien direct ↗Fill-in-the-Middle : compléter entre deux morceaux
Le modèle complète un trou en utilisant aussi le texte placé après.
Le problème
Une continuation ordinaire ne voit que ce qui précède.
L’idée
L'entraînement montre le début et la fin avant de demander le passage manquant.
Un exemple pour se représenter l’idée
Exemple fictif : compléter une fonction entre sa déclaration et son retour.
Ce que cela apporte
Les insertions peuvent respecter les deux côtés du texte.
La limite à retenir
Le modèle doit avoir appris ce format particulier pour l'utiliser correctement.
Pour approfondir : mécanisme, schéma et origine
Fonctionnement
On découpe des textes en préfixe, milieu et suffixe, puis on réordonne ces morceaux pour faire prédire le milieu après les deux autres. L'objectif reste autorégressif.
Limites et compromis
Le mélange des formats et les marqueurs doivent être appris ; tous les modèles ne le supportent pas.
- Démonstration d’origine
- Modèles expérimentaux OpenAI du papier, notamment pour le code.
Publications et sources
Lien direct ↗Orca : batching continu
Un serveur remplace les demandes terminées sans attendre les autres.
Le problème
Attendre la fin du plus long texte laisse des places inutilisées.
L’idée
À chaque étape de génération, le serveur fait entrer de nouvelles demandes dans les places libérées.
Un exemple pour se représenter l’idée
Exemple fictif : commencer une question pendant qu'une autre réponse continue.
Ce que cela apporte
Davantage de demandes peuvent avancer sur le même matériel.
La limite à retenir
Il faut aussi limiter les temps d'attente et gérer les longueurs différentes.
Pour approfondir : mécanisme, schéma et origine
Fonctionnement
L'ordonnanceur décide à chaque itération quels textes avancent d'un token. Les requêtes terminées sortent du lot et de nouvelles entrent immédiatement.
Limites et compromis
L'ordonnancement doit aussi préserver la latence et gérer des séquences de tailles différentes.
- Démonstration d’origine
- Système Orca, publié à OSDI 2022 ; pas un nouveau modèle.
Publications et sources
Lien direct ↗S5 : simplifier les modèles à espace d'état
Une mémoire interne structurée traite efficacement de longues suites.
Le problème
Comparer chaque position avec toutes les autres devient coûteux.
L’idée
Un état résume le passé. Une structure mathématique permet de calculer plusieurs mises à jour en parallèle.
Un exemple pour se représenter l’idée
Exemple fictif : traiter une longue série de mesures.
Ce que cela apporte
Le traitement peut exploiter efficacement le calcul parallèle.
La limite à retenir
Une bonne efficacité sur des suites ne garantit pas les capacités d'un assistant généraliste.
Pour approfondir : mécanisme, schéma et origine
Token + état précédentMettre à jour l’étatSortie + nouvel état
Fonctionnement
S5 remplace plusieurs systèmes à une entrée/sortie par un système multivarié, initialisé à partir de S4. Le scan associatif permet de paralléliser la récurrence.
Limites et compromis
Ce jalon porte sur la modélisation de séquences ; son efficacité ne garantit pas les capacités d'un LLM.
- Démonstration d’origine
- S5, Smith et al. ; 2208.04933 est S5, pas S4.
Publications et sources
Lien direct ↗FP8 : calculer sur huit bits flottants
Des nombres stockés avec moins de précision réduisent certains coûts de calcul.
Le problème
Des représentations numériques détaillées occupent beaucoup de mémoire.
L’idée
Certains nombres utilisent huit bits, avec des échelles adaptées pour limiter les erreurs.
Un exemple pour se représenter l’idée
Exemple fictif : représenter une valeur avec un arrondi plus grossier.
Ce que cela apporte
Des puces compatibles calculent et transfèrent ces nombres plus efficacement.
La limite à retenir
Toutes les opérations ne supportent pas cette précision réduite sans difficulté.
Pour approfondir : mécanisme, schéma et origine
Fonctionnement
Deux formats flottants sur huit bits répartissent différemment précision et plage de valeurs. Des facteurs d'échelle permettent de représenter activations, poids ou gradients sans débordements excessifs.
Limites et compromis
Il faut des kernels et un matériel adaptés ; certaines opérations gardent une précision supérieure.
- Démonstration d’origine
- Proposition conjointe NVIDIA, Intel et Arm ; pas un modèle unique.
Publications et sources
Lien direct ↗Flan : généraliser grâce aux instructions
Des consignes variées préparent le modèle à de nouvelles demandes.
Le problème
Apprendre seulement à compléter des textes ne suffit pas à suivre des instructions.
L’idée
Le modèle s'entraîne sur de nombreuses tâches décrites en langage courant.
Un exemple pour se représenter l’idée
Exemple fictif : alterner traduction, résumé et classement de phrases.
Ce que cela apporte
Il peut mieux suivre certaines consignes jamais rencontrées telles quelles.
La limite à retenir
La diversité des exemples ne garantit pas la réussite de toute nouvelle tâche.
Pour approfondir : mécanisme, schéma et origine
Fonctionnement
On affine un modèle sur de nombreuses consignes, avec ou sans démonstrations de raisonnement. Le papier étudie conjointement nombre de tâches, taille du modèle et formats de supervision.
Limites et compromis
La diversité et la qualité des consignes comptent ; le modèle n'apprend pas automatiquement toute nouvelle tâche.
- Démonstration d’origine
- Flan-T5 et Flan-PaLM ; prolongement de travaux FLAN antérieurs.
Publications et sources
Lien direct ↗GPTQ : quantifier les poids après entraînement
Arrondir soigneusement les valeurs apprises réduit la mémoire du modèle.
Le problème
Un modèle entraîné peut être trop volumineux pour le matériel disponible.
L’idée
On arrondit ses valeurs progressivement, en compensant certaines erreurs grâce à des exemples de calibration.
Un exemple pour se représenter l’idée
Exemple fictif : conserver moins de niveaux numériques pour les valeurs.
Ce que cela apporte
Le modèle peut tenir dans moins de mémoire.
La limite à retenir
La qualité peut baisser et le gain de vitesse dépend du matériel.
Pour approfondir : mécanisme, schéma et origine
Poids + données de calibrationChoisir une quantificationStocker moins de bits
Fonctionnement
Un petit corpus de calibration estime l'effet des erreurs d'arrondi. Les poids sont quantifiés progressivement, en compensant ces erreurs dans les poids restants de chaque couche.
Limites et compromis
La précision peut baisser ; mémoire réduite ne signifie pas accélération sur tous les GPU.
- Démonstration d’origine
- GPTQ, Frantar et al., évalué notamment sur OPT et BLOOM.
Publications et sources
Lien direct ↗ReAct : raisonner, agir, observer
Alterner texte et appels d'outils permet d'utiliser des informations externes.
Le problème
Le modèle ne peut pas tout déduire du texte déjà disponible.
L’idée
Il produit une action, reçoit le résultat d'un outil, puis poursuit sa réponse.
Un exemple pour se représenter l’idée
Exemple fictif : consulter une source avant de résumer son contenu.
Ce que cela apporte
La suite peut tenir compte d'une observation récente.
La limite à retenir
Un mauvais choix d'outil ou une mauvaise interprétation reste possible et prend du temps.
Pour approfondir : mécanisme, schéma et origine
Fonctionnement
Le prompt alterne raisonnement textuel, action vers un outil et observation de son résultat. Cette boucle permet de réviser un plan à partir d'informations externes.
Limites et compromis
Les erreurs d'outil et de planification persistent ; les appels ajoutent de la latence.
- Démonstration d’origine
- Démonstrations de Yao et al. avec PaLM-540B notamment.
Publications et sources
Lien direct ↗BLOOM : un grand modèle multilingue collectif
Un projet collectif documente l'entraînement d'un modèle dans de nombreuses langues.
Le problème
Les ressources et descriptions sont souvent concentrées sur quelques langues.
L’idée
Une collaboration rassemble des textes multilingues et publie son modèle ainsi que sa recette.
Un exemple pour se représenter l’idée
Exemple fictif : comparer les réponses dans deux langues du corpus.
Ce que cela apporte
Davantage de langues et de choix d'entraînement deviennent étudiables.
La limite à retenir
La présence d'une langue ne garantit pas une qualité égale aux autres.
Pour approfondir : mécanisme, schéma et origine
Fonctionnement
Le Transformer décodeur apprend la continuation de textes dans de nombreuses langues et langages de programmation. Il adopte notamment les biais de position ALiBi dans une recette distribuée.
Limites et compromis
Il ne faut pas confondre multilinguisme, qualité uniforme entre langues et suivi d'instructions.
- Démonstration d’origine
- BLOOM 176B, BigScience ; le papier ne lui attribue pas l'invention d'ALiBi.
Publications et sources
Lien direct ↗SmoothQuant : apprivoiser les activations extrêmes
Redistribuer les grandes valeurs facilite les calculs avec des nombres arrondis.
Le problème
Quelques valeurs extrêmes rendent l'arrondi des calculs internes difficile.
L’idée
Une transformation transfère une partie de cette amplitude vers les valeurs fixes du modèle avant l'arrondi.
Un exemple pour se représenter l’idée
Exemple fictif : rééquilibrer deux facteurs sans changer leur produit initial.
Ce que cela apporte
Certains calculs deviennent adaptés à des nombres entiers plus compacts.
La limite à retenir
La calibration doit correspondre aux usages et une perte de précision reste possible.
Pour approfondir : mécanisme, schéma et origine
Fonctionnement
Une transformation équivalente redimensionne les canaux : elle transfère une partie des valeurs extrêmes des activations vers les poids. La quantification W8A8 devient ainsi plus régulière.
Limites et compromis
Le calibrage dépend des données et des compromis de précision propres au modèle.
- Démonstration d’origine
- SmoothQuant, démontré sur OPT, BLOOM, GLM et autres LLM.
Publications et sources
Lien direct ↗Décodage spéculatif : proposer puis vérifier
Un petit modèle propose du texte qu'un grand modèle vérifie ensemble.
Le problème
Produire chaque morceau de texte séparément multiplie les passages coûteux.
L’idée
Un modèle rapide propose une suite. Le modèle principal la vérifie avec une règle d'acceptation corrigée.
Un exemple pour se représenter l’idée
Exemple fictif : proposer plusieurs mots puis conserver le début accepté.
Ce que cela apporte
La méthode exacte préserve les probabilités du modèle principal.
La limite à retenir
Le gain disparaît si trop de propositions sont rejetées ou coûtent trop cher.
Pour approfondir : mécanisme, schéma et origine
Proposer plusieurs tokensVérifier avec le modèle cibleAccepter un préfixe
Fonctionnement
Un modèle rapide propose une suite ; le modèle cible la vérifie en parallèle. Une règle d'acceptation et de correction préserve la distribution du modèle cible dans la méthode exacte.
Limites et compromis
Le gain dépend du taux d'acceptation et du coût du brouillon.
- Démonstration d’origine
- Leviathan et al. : T5-XXL ; travaux contemporains de Chen et al.
Publications et sources
Lien direct ↗Constitutional AI : apprendre avec un retour d'IA
Des principes écrits guident la révision et l'évaluation des réponses.
Le problème
Faire évaluer chaque exemple par un humain demande beaucoup de travail.
L’idée
Un modèle révise des réponses selon des principes, puis produit des préférences pour poursuivre l'entraînement.
Un exemple pour se représenter l’idée
Exemple fictif : demander de retirer une affirmation inutilement insultante.
Ce que cela apporte
Une partie des exemples d'évaluation peut être produite automatiquement.
La limite à retenir
Les principes choisis et les évaluateurs automatiques peuvent introduire leurs propres erreurs.
Pour approfondir : mécanisme, schéma et origine
Fonctionnement
Un modèle critique et révise ses réponses selon des principes explicites. Des préférences générées par IA alimentent ensuite un modèle de récompense et une étape de renforcement.
Limites et compromis
Les principes et les juges introduisent leurs propres biais ; le contrôle reste imparfait.
- Démonstration d’origine
- Assistants expérimentaux Anthropic du papier.
Publications et sources
Lien direct ↗H3 : mémoire structurée pour le langage
Une mémoire résumée est enrichie pour retrouver certaines associations.
Le problème
Un résumé du passé peut perdre les liens utiles entre éléments.
L’idée
Des calculs combinent un état mémorisé avec le contenu courant pour conserver puis retrouver des associations.
Un exemple pour se représenter l’idée
Exemple fictif : associer un nom à une information donnée auparavant.
Ce que cela apporte
La méthode améliore certaines capacités de récupération des modèles récurrents.
La limite à retenir
La mémoire reste compressée et peut perdre des informations importantes.
Pour approfondir : mécanisme, schéma et origine
Fonctionnement
H3 combine couches à espace d'état et interactions multiplicatives pour mémoriser puis retrouver des associations. Le papier explore aussi des hybrides avec quelques couches d'attention.
Limites et compromis
La compression récurrente peut perdre de l'information ; remplacer toute l'attention reste un compromis.
- Démonstration d’origine
- Hungry Hungry Hippos, Fu et al..
Publications et sources
Lien direct ↗Self-Instruct : générer ses données de consignes
Un modèle fabrique de nouvelles consignes à partir de quelques exemples.
Le problème
Rédiger un grand ensemble de tâches à la main prend du temps.
L’idée
Des exemples humains amorcent la production de consignes et réponses. Un filtre écarte les cas invalides ou répétitifs.
Un exemple pour se représenter l’idée
Exemple fictif : créer une nouvelle demande de résumé.
Ce que cela apporte
On obtient davantage d'exemples pour l'entraînement.
La limite à retenir
Les erreurs du générateur peuvent aussi se retrouver dans les données.
Pour approfondir : mécanisme, schéma et origine
Fonctionnement
Un modèle propose de nouvelles instructions, entrées et réponses à partir d'exemples. Un filtrage retire les cas invalides ou trop similaires avant un nouvel ajustement supervisé.
Limites et compromis
Les erreurs et biais du générateur se transmettent au corpus ; la diversité doit être contrôlée.
- Démonstration d’origine
- Self-Instruct, Wang et al., avec GPT-3.
Publications et sources
Lien direct ↗Whisper : apprendre la parole à grande échelle
Un entraînement audio varié permet de transcrire plusieurs langues.
Le problème
Les enregistrements réels diffèrent beaucoup des sons propres d'un laboratoire.
L’idée
Le modèle apprend à transformer des représentations du son en texte sur un vaste ensemble d'enregistrements.
Un exemple pour se représenter l’idée
Exemple fictif : transcrire une courte phrase prononcée avec un accent.
Ce que cela apporte
La transcription peut mieux résister à certaines variations audio.
La limite à retenir
Sur du bruit ou du silence, le modèle peut inventer du texte.
Pour approfondir : mécanisme, schéma et origine
Fonctionnement
Un Transformer encode des spectrogrammes audio puis décode du texte et des marqueurs de tâche. L'entraînement mélange transcription, identification de langue et traduction vers l'anglais.
Limites et compromis
Le modèle peut inventer du texte sur du bruit ; ce n'est pas un assistant conversationnel complet.
- Démonstration d’origine
- Whisper, OpenAI ; papier de décembre après la diffusion du modèle.
Publications et sources
Lien direct ↗2023
Hyena : longues convolutions et portes
Des filtres longs proposent une autre manière de mélanger une suite.
Le problème
L'attention complète compare toutes les positions et devient coûteuse.
L’idée
Des filtres combinent des positions éloignées, tandis que le contenu règle certains passages de l'information.
Un exemple pour se représenter l’idée
Exemple fictif : traiter un long passage sans tableau de toutes les comparaisons.
Ce que cela apporte
Le coût peut croître moins vite que celui de l'attention complète.
La limite à retenir
Cette efficacité ne garantit pas une récupération aussi précise de chaque détail.
Pour approfondir : mécanisme, schéma et origine
Fonctionnement
Hyena compose des convolutions longues paramétrées implicitement et des portes dépendant de l'entrée. Les convolutions peuvent être calculées efficacement sans matrice d'attention complète.
Limites et compromis
Un bon coût asymptotique n'assure pas la même récupération précise qu'une attention explicite.
- Démonstration d’origine
- Modèles Hyena de Poli et al.
Publications et sources
Lien direct ↗Lion : un optimiseur plus léger
Une règle d'apprentissage conserve moins d'informations de suivi.
Le problème
L'entraînement stocke aussi des nombres servant à guider chaque modification.
L’idée
Lion utilise surtout la direction d'une combinaison de modifications récentes et n'en conserve qu'un suivi réduit.
Un exemple pour se représenter l’idée
Exemple fictif : retenir une direction sans stocker tous les indicateurs d'Adam.
Ce que cela apporte
Le suivi de l'apprentissage occupe moins de mémoire.
La limite à retenir
La vitesse de modification doit être réglée et les gains varient selon l'expérience.
Pour approfondir : mécanisme, schéma et origine
Fonctionnement
Lion utilise le signe d'une combinaison du gradient et d'une moyenne mobile pour choisir la direction des mises à jour. Il ne conserve qu'un état de momentum par paramètre.
Limites et compromis
Le taux d'apprentissage doit être adapté ; les gains varient selon tâche et taille de lot.
- Démonstration d’origine
- Découvert par recherche de programmes, évalué en vision et langage.
Publications et sources
Lien direct ↗LLaMA : une recette efficace et réutilisable
Des modèles relativement compacts popularisent une recette efficace pour la recherche.
Le problème
Étudier un très grand modèle demande des ressources difficiles à réunir.
L’idée
LLaMA combine plusieurs techniques existantes et un entraînement prolongé sur des textes publics.
Un exemple pour se représenter l’idée
Exemple fictif : tester une adaptation sur une version plus petite.
Ce que cela apporte
Davantage d'équipes peuvent expérimenter avec ces modèles.
La limite à retenir
Le modèle popularise une combinaison de composants sans avoir inventé chacun d'eux.
Pour approfondir : mécanisme, schéma et origine
Fonctionnement
LLaMA assemble des techniques antérieures : pré-normalisation RMSNorm, activation SwiGLU et positions RoPE. L'entraînement prolongé sur des données publiques privilégie également l'efficacité à l'inférence.
Limites et compromis
Ce modèle popularise une combinaison ; il n'invente pas séparément ces composants.
- Démonstration d’origine
- LLaMA 7B–65B, Meta.
Publications et sources
Lien direct ↗Toolformer : apprendre quand appeler un outil
Le modèle apprend où un appel d'outil peut aider à continuer le texte.
Le problème
Quelques démonstrations manuelles ne couvrent pas tous les appels utiles.
L’idée
Le modèle propose des appels. Ceux qui améliorent la prédiction du texte suivant sont conservés pour l'entraînement.
Un exemple pour se représenter l’idée
Exemple fictif : insérer un appel de calculatrice avant un résultat.
Ce que cela apporte
Une partie des exemples d'utilisation d'outils est produite automatiquement.
La limite à retenir
Améliorer une continuation ne garantit pas une bonne organisation d'une longue tâche.
Pour approfondir : mécanisme, schéma et origine
Fonctionnement
Le modèle insère des appels candidats dans du texte. On conserve ceux dont les résultats améliorent la prédiction des tokens suivants, puis on entraîne le modèle sur ces exemples.
Limites et compromis
Un appel utile à la prédiction n'assure pas une bonne planification sur de longues tâches.
- Démonstration d’origine
- Toolformer, construit à partir de GPT-J 6B.
Publications et sources
Lien direct ↗LLaVA : suivre des consignes sur une image
Un lien entre vision et texte permet de répondre à des questions sur une image.
Le problème
Les informations d'une image ne sont pas directement lisibles par un modèle de texte.
L’idée
Un composant transforme les informations visuelles. Des conversations d'exemple apprennent au modèle à les utiliser.
Un exemple pour se représenter l’idée
Exemple fictif : demander quels objets apparaissent dans une photo.
Ce que cela apporte
Le modèle peut suivre certaines consignes visuelles.
La limite à retenir
Des détails restent invisibles et des objets absents peuvent être mentionnés.
Pour approfondir : mécanisme, schéma et origine
Fonctionnement
Un projecteur relie un encodeur d'images CLIP à un modèle de langage. Des données de consignes visuelles, en partie synthétiques, enseignent au modèle à répondre sur les images.
Limites et compromis
L'encodeur et la résolution limitent les détails perceptibles ; les réponses peuvent halluciner.
- Démonstration d’origine
- LLaVA, Liu et al., avec Vicuna et CLIP.
Publications et sources
Lien direct ↗DoReMi : choisir le bon mélange de données
Choisir les proportions des sources de texte peut améliorer l'apprentissage.
Le problème
Un gros corpus peut consacrer trop de place à des sources peu utiles.
L’idée
Un petit modèle teste comment pondérer les catégories de textes. Ce mélange sert ensuite au grand modèle.
Un exemple pour se représenter l’idée
Exemple fictif : revoir les proportions de livres et de pages web.
Ce que cela apporte
Le même volume de données peut devenir plus utile.
La limite à retenir
Le mélange trouvé ne se transfère pas forcément à toutes les tailles et tâches.
Pour approfondir : mécanisme, schéma et origine
Fonctionnement
Un petit modèle auxiliaire ajuste les poids des domaines grâce à une optimisation robuste. Le grand modèle est ensuite entraîné sur le mélange ainsi estimé.
Limites et compromis
Les domaines et le modèle auxiliaire influencent le résultat ; le transfert n'est pas universel.
- Démonstration d’origine
- DoReMi, Xie et al., expérimenté sur des mélanges de corpus.
Publications et sources
Lien direct ↗DPO : apprendre directement les préférences
Comparer directement deux réponses simplifie l'apprentissage des préférences.
Le problème
Certaines méthodes exigent un évaluateur séparé et une boucle d'entraînement coûteuse.
L’idée
Des paires indiquent la réponse préférée. L'entraînement ajuste leurs probabilités par rapport à une version de référence.
Un exemple pour se représenter l’idée
Exemple fictif : préférer un résumé clair à un résumé confus.
Ce que cela apporte
La procédure de préférence comporte moins de composants.
La limite à retenir
Apprendre des préférences ne garantit ni la véracité ni l'absence de biais.
Suivre les idées
Autres approches
- Alternative àInstructGPT : suivre l'intention humaine
DPO apprend directement sur les réponses préférées et rejetées, sans entraîner le modèle de récompense séparé utilisé dans la recette d’InstructGPT.
Publication : Direct Preference Optimization: Your Language Model is Secretly a Reward Model ↗
Pour approfondir : mécanisme, schéma et origine
Réponse préférée / rejetéePerte de préférenceMettre à jour le modèle
Fonctionnement
La perte compare les probabilités des deux réponses relativement à un modèle de référence. Elle reformule un objectif de préférence régularisé sans entraîner séparément un modèle de récompense ni exécuter PPO.
Limites et compromis
Les préférences hors distribution et les biais du jeu de paires peuvent limiter le résultat.
- Démonstration d’origine
- DPO, Rafailov et al., expériences sur sentiment, résumé et dialogue.
Publications et sources
Lien direct ↗GQA : partager les clés et valeurs par groupe
Des groupes de voies de lecture partagent une partie de leur mémoire.
Le problème
Chaque voie de lecture indépendante conserve normalement ses propres informations sur le texte passé.
L’idée
Chaque voie formule sa propre recherche, mais partage des clés et valeurs : les informations utilisées pour retrouver puis lire le passé.
Un exemple pour se représenter l’idée
Exemple fictif : deux groupes de deux voies partagent chacun les mêmes données.
Ce que cela apporte
Le cache, stockage temporaire des calculs sur le texte passé, diminue.
La limite à retenir
Ce partage peut réduire la qualité selon le modèle et le nombre de groupes.
Suivre les idées
Idées antérieures
GQA généralise MQA : plusieurs groupes partagent les clés et valeurs, au lieu d’un partage unique entre toutes les têtes.
Publication : GQA: Training Generalized Multi-Query Transformer Models from Multi-Head Checkpoints ↗
Autres approches
- Alternative àMLA : compresser clés et valeurs en latent
MLA réduit aussi la mémoire du cache, mais compresse les clés et valeurs dans un petit vecteur plutôt que de les partager par groupes.
Publication : DeepSeek-V2: A Strong, Economical, and Efficient Mixture-of-Experts Language Model ↗
Pour approfondir : mécanisme, schéma et origine
Requêtes QClés K + valeurs VCache à relire
Fonctionnement
Plusieurs têtes de requête partagent une même paire de têtes clé/valeur. Le nombre de groupes contrôle directement la mémoire du cache ; le papier étudie aussi la conversion de modèles existants.
Limites et compromis
Moins de groupes peut réduire la qualité ; le meilleur choix dépend du modèle.
- Démonstration d’origine
- Ainslie et al., expériences de conversion de T5.
Publications et sources
Lien direct ↗MPT : assembler des briques pour un modèle ouvert
Une famille publique montre comment assembler plusieurs techniques efficaces.
Le problème
Reproduire une recette exige plus qu'une liste de bonnes idées.
L’idée
MPT combine des choix de position, d'attention et d'apprentissage, avec des versions spécialisées.
Un exemple pour se représenter l’idée
Exemple fictif : poursuivre l'entraînement sur de longs récits.
Ce que cela apporte
Les équipes disposent d'un assemblage concret à étudier.
La limite à retenir
Accepter de longues entrées ne garantit pas que chaque détail lointain soit bien utilisé.
Pour approfondir : mécanisme, schéma et origine
Fonctionnement
MPT-7B adopte ALiBi, FlashAttention et l'optimiseur Lion. La variante StoryWriter prolonge l'entraînement sur de longs passages pour exploiter une fenêtre de contexte plus grande.
Limites et compromis
Il s'agit d'adoption de techniques ; extrapoler des positions n'assure pas toute compréhension à longue distance.
- Démonstration d’origine
- MPT-7B, MosaicML, annonce officielle du 5 mai 2023.
Publications et sources
Lien direct ↗NoPE : questionner les positions explicites
L'ordre peut parfois s'apprendre sans ajouter de marqueurs de position explicites.
Le problème
Coder la position de chaque morceau de texte impose des choix de représentation.
L’idée
Le modèle utilise seulement l'interdiction de lire les positions futures pour apprendre certains rapports d'ordre.
Un exemple pour se représenter l’idée
Exemple fictif : comparer des suites plus longues que celles d'entraînement.
Ce que cela apporte
Certaines tâches contrôlées montrent une généralisation intéressante.
La limite à retenir
Ces essais ne démontrent pas une supériorité générale sur les grands modèles de langage.
Pour approfondir : mécanisme, schéma et origine
Fonctionnement
Le modèle n'ajoute aucun encodage positionnel explicite. Les auteurs comparent sa généralisation en longueur à RoPE, ALiBi et d'autres schémas sur des tâches contrôlées.
Limites et compromis
Des résultats sur tâches contrôlées ne prouvent pas une supériorité générale sur les LLM.
- Démonstration d’origine
- Étude de Kazemnejad et al., Transformers expérimentaux.
Publications et sources
Lien direct ↗Supervision du processus : noter chaque étape
Évaluer les étapes aide à repérer où une solution devient fausse.
Le problème
Une note finale ne dit pas quelle étape a provoqué l'erreur.
L’idée
Des humains annotent les étapes. Un évaluateur entraîné sur ces annotations classe ensuite plusieurs solutions.
Un exemple pour se représenter l’idée
Exemple fictif : signaler le premier calcul incorrect d'une démonstration.
Ce que cela apporte
La sélection peut privilégier des solutions aux étapes plus solides.
La limite à retenir
Les annotations coûtent du travail et l'évaluateur peut lui aussi se tromper.
Pour approfondir : mécanisme, schéma et origine
Fonctionnement
Des annotateurs évaluent les étapes plutôt que la seule réponse finale. Un modèle de récompense de processus classe ensuite plusieurs solutions candidates et aide à sélectionner les plus solides.
Limites et compromis
Les annotations coûtent cher et un vérificateur reste faillible hors de ses données.
- Démonstration d’origine
- Let's Verify Step by Step, Lightman et al. ; jeu PRM800K.
Publications et sources
Lien direct ↗QLoRA : adapter un modèle quantifié
Un modèle comprimé peut être spécialisé grâce à de petits ajouts entraînables.
Le problème
Adapter un grand modèle demande normalement beaucoup de mémoire.
L’idée
Les valeurs de base restent fixes et comprimées. Seuls de petits ajouts, appelés adaptateurs, sont entraînés.
Un exemple pour se représenter l’idée
Exemple fictif : adapter le style des réponses sans réentraîner la base.
Ce que cela apporte
La spécialisation peut tenir sur moins de mémoire graphique.
La limite à retenir
Tout l'entraînement ne se fait pas en quatre bits et les résultats dépendent des réglages.
Suivre les idées
Idées antérieures
- Combine avecLoRA : adapter avec des matrices de faible rang
QLoRA entraîne les petites matrices de LoRA à travers un modèle de base gelé et quantifié sur 4 bits.
Publication : QLoRA: Efficient Finetuning of Quantized LLMs ↗
Pour approfondir : mécanisme, schéma et origine
QLoRA : adapter une base quantifiée
Sur petit écran, faites défiler le schéma horizontalement.
Fonctionnement
Les poids de base restent gelés en quatre bits NF4 tandis que de petits adaptateurs LoRA sont entraînés. Double quantification et optimiseurs paginés réduisent aussi la mémoire nécessaire.
Limites et compromis
Ce n'est pas un entraînement intégral en quatre bits ; qualité et vitesse dépendent de la configuration.
- Démonstration d’origine
- QLoRA, Dettmers et al. ; modèles Guanaco dérivés de LLaMA.
Publications et sources
Lien direct ↗RWKV : récurrence et entraînement parallèle
Un état de taille fixe remplace le stockage détaillé de tout le passé.
Le problème
La mémoire utilisée par une attention classique augmente avec le texte.
L’idée
Le modèle met à jour un état résumé à chaque morceau de texte, tout en permettant un entraînement parallèle.
Un exemple pour se représenter l’idée
Exemple fictif : poursuivre une réponse sans ajouter une fiche mémoire pour chaque mot.
Ce que cela apporte
Le stockage du passé peut rester constant pendant la génération.
La limite à retenir
Les détails anciens sont compressés et ne restent pas tous directement consultables.
Pour approfondir : mécanisme, schéma et origine
Token + état précédentMettre à jour l’étatSortie + nouvel état
Fonctionnement
Des mélanges temporels et entre canaux combinent portes et agrégations pondérées. La formulation permet une évaluation récurrente et un entraînement parallélisable sur la séquence.
Limites et compromis
L'état fini compresse l'historique ; il ne conserve pas un cache consultable de chaque token.
- Démonstration d’origine
- RWKV, Peng et al. ; papier décrivant notamment RWKV-4.
Publications et sources
Lien direct ↗AWQ : protéger les poids importants
Protéger les informations influentes aide à comprimer un modèle déjà entraîné.
Le problème
Arrondir toutes les valeurs de la même manière peut dégrader fortement les réponses.
L’idée
Des exemples repèrent les canaux influents, puis un changement d'échelle réduit leur erreur d'arrondi.
Un exemple pour se représenter l’idée
Exemple fictif : préserver mieux un groupe de valeurs sensible.
Ce que cela apporte
Le modèle peut occuper moins de mémoire sans réentraînement complet.
La limite à retenir
La calibration doit rester représentative et l'accélération dépend des programmes disponibles.
Pour approfondir : mécanisme, schéma et origine
Poids + données de calibrationChoisir une quantificationStocker moins de bits
Fonctionnement
Des activations de calibration servent à identifier les canaux importants. Un redimensionnement des poids avant quantification réduit leur erreur sans réentraîner l'ensemble du réseau.
Limites et compromis
Le calibrage doit rester représentatif et l'accélération exige des kernels adaptés.
- Démonstration d’origine
- AWQ, Lin et al., évalué sur plusieurs familles de LLM.
Publications et sources
Lien direct ↗Interpolation positionnelle : étirer RoPE
Rapprocher les positions permet d'adapter un modèle à des textes plus longs.
Le problème
Des positions très éloignées de celles apprises peuvent perturber le modèle.
L’idée
On ramène les nouvelles positions dans l'intervalle connu, puis on poursuit brièvement l'entraînement.
Un exemple pour se représenter l’idée
Exemple fictif : faire tenir une règle plus longue sur la même graduation.
Ce que cela apporte
La fenêtre de texte utilisable peut être étendue.
La limite à retenir
L'image de la règle décrit l'échelle seulement : tous les détails ne deviennent pas également accessibles.
Suivre les idées
Idées antérieures
- S’appuie surRoPE : faire tourner requêtes et clés
L’interpolation réduit les indices de position avant d’appliquer RoPE, pour faire tenir un texte plus long dans la plage apprise.
Publication : Extending Context Window of Large Language Models via Positional Interpolation ↗
Développements ultérieurs
- Amélioré parYaRN : étendre RoPE de façon sélective
YaRN affine l’interpolation en traitant différemment les fréquences de rotation de RoPE et en ajustant l’échelle de l’attention.
Publication : YaRN: Efficient Context Window Extension of Large Language Models ↗
Pour approfondir : mécanisme, schéma et origine
Position du tokenModifier Q/K ou le scoreRelations de distance
Fonctionnement
Les positions d'une longue séquence sont ramenées dans l'intervalle connu de RoPE. Le modèle est ensuite ajusté pour exploiter cette nouvelle échelle sans extrapolation brutale.
Limites et compromis
Une fenêtre annoncée ne garantit pas une récupération uniforme de toutes les informations.
- Démonstration d’origine
- Chen et al., extension de LLaMA jusqu'à 32K.
Publications et sources
Lien direct ↗FlashAttention-2 : mieux remplir le GPU
Mieux répartir le travail accélère le calcul exact de l'attention.
Le problème
Une puce peut attendre alors que certaines parties du calcul restent occupées.
L’idée
Le programme répartit mieux les blocs et réduit les échanges et opérations supplémentaires.
Un exemple pour se représenter l’idée
Exemple fictif : partager le calcul d'une même voie de lecture entre plusieurs unités.
Ce que cela apporte
La puce peut consacrer davantage de temps aux calculs utiles.
La limite à retenir
Le gain dépend du matériel et le nombre de comparaisons croît comme le carré de la longueur.
Suivre les idées
Idées antérieures
La deuxième version conserve le calcul par tuiles et répartit mieux le travail entre les unités du GPU.
Publication : FlashAttention-2: Faster Attention with Better Parallelism and Work Partitioning ↗
Développements ultérieurs
- Amélioré parFlashAttention-3 : exploiter Hopper
La troisième version adapte cette attention exacte aux GPU Hopper, en faisant se chevaucher transferts et calculs.
Publication : FlashAttention-3: Fast and Accurate Attention with Asynchrony and Low-precision ↗
Pour approfondir : mécanisme, schéma et origine
FlashAttention : changer le trajet en mémoire
Sur petit écran, faites défiler le schéma horizontalement.
Fonctionnement
Le kernel réduit les opérations hors multiplication matricielle et répartit mieux les blocs d'une même tête entre unités GPU. Il réduit aussi les communications entre groupes de threads.
Limites et compromis
Le gain dépend de la forme des tenseurs et du GPU ; le coût reste quadratique.
- Démonstration d’origine
- FlashAttention-2, Tri Dao, démonstrations sur modèles de type GPT.
Publications et sources
Lien direct ↗Llama 2 : documenter le modèle de dialogue
Une famille documentée combine modèles de base et versions conversationnelles.
Le problème
Un modèle de continuation demande encore une adaptation pour servir d'assistant.
L’idée
Après l'apprentissage sur des textes, des démonstrations et préférences humaines orientent les versions de conversation.
Un exemple pour se représenter l’idée
Exemple fictif : préférer une réponse à la question plutôt qu'une simple continuation.
Ce que cela apporte
La publication décrit davantage la recette d'adaptation.
La limite à retenir
Les composants sont antérieurs et les résultats dépendent des exemples choisis.
Pour approfondir : mécanisme, schéma et origine
Fonctionnement
Les modèles de base reçoivent davantage de préentraînement puis les versions Chat passent par ajustement supervisé et préférences humaines. La variante 70B adopte GQA pour réduire le cache d'attention.
Limites et compromis
Les composants sont antérieurs ; les comportements dépendent aussi du jeu de consignes et préférences.
- Démonstration d’origine
- Llama 2 et Llama 2-Chat, Meta ; jalon de synthèse et d'adoption.
Publications et sources
Lien direct ↗RetNet : une mémoire sous trois formes
Un même mécanisme permet apprentissage parallèle et génération avec mémoire résumée.
Le problème
Le mode rapide pour apprendre n'est pas toujours pratique pour répondre.
L’idée
Une règle de rétention combine les informations et réduit progressivement l'influence de certaines positions anciennes.
Un exemple pour se représenter l’idée
Exemple fictif : mettre à jour un état après chaque nouveau mot.
Ce que cela apporte
Plusieurs formes de calcul correspondent au même mécanisme.
La limite à retenir
L'état compresse le passé et les performances doivent être comparées à qualité équivalente.
Pour approfondir : mécanisme, schéma et origine
Token + état précédentMettre à jour l’étatSortie + nouvel état
Fonctionnement
La rétention combine interactions entre requêtes et clés avec décroissance temporelle. Des formulations équivalentes permettent un calcul parallèle, récurrent ou récurrent par blocs.
Limites et compromis
L'état récurrent résume l'historique ; les gains doivent être comparés à qualité égale.
- Démonstration d’origine
- RetNet, Sun et al., Microsoft.
Publications et sources
Lien direct ↗SARATHI : découper le préremplissage
Découper les longues entrées évite de bloquer autant les réponses en cours.
Le problème
Lire une longue demande d'un bloc monopolise temporairement la puce.
L’idée
Le serveur traite l'entrée par segments et les mélange aux étapes des réponses déjà commencées.
Un exemple pour se représenter l’idée
Exemple fictif : lire une partie d'un rapport entre deux étapes de génération.
Ce que cela apporte
Le matériel peut mieux répartir son travail.
La limite à retenir
Des segments trop petits ou trop grands dégradent certains temps d'attente.
Pour approfondir : mécanisme, schéma et origine
Fonctionnement
Le préremplissage du prompt est découpé en segments. L'ordonnanceur mélange ces segments aux étapes de décodage pour mieux utiliser le GPU et limiter les déséquilibres.
Limites et compromis
La taille des segments arbitre entre débit, latence et coût d'ordonnancement.
- Démonstration d’origine
- Système SARATHI, Agrawal et al.
Publications et sources
Lien direct ↗YaRN : étendre RoPE de façon sélective
Adapter différemment les repères de position aide à allonger les textes acceptés.
Le problème
Étendre toutes les échelles de position de la même façon peut dégrader le modèle.
L’idée
Certaines échelles sont étirées, d'autres préservées, puis un entraînement complémentaire adapte le modèle.
Un exemple pour se représenter l’idée
Exemple fictif : garder des repères proches tout en élargissant les distances longues.
Ce que cela apporte
La fenêtre utilisable peut grandir à moindre coût d'adaptation.
La limite à retenir
La qualité à longue distance reste à mesurer pour chaque modèle.
Suivre les idées
Idées antérieures
YaRN affine l’interpolation en traitant différemment les fréquences de rotation de RoPE et en ajustant l’échelle de l’attention.
Publication : YaRN: Efficient Context Window Extension of Large Language Models ↗
Pour approfondir : mécanisme, schéma et origine
Position du tokenModifier Q/K ou le scoreRelations de distance
Fonctionnement
YaRN combine interpolation de certaines fréquences RoPE et préservation d'autres, avec un ajustement de l'échelle de l'attention. Un entraînement complémentaire adapte le modèle à la nouvelle fenêtre.
Limites et compromis
Le réglage et la qualité réelle en contexte long dépendent du modèle.
- Démonstration d’origine
- Peng et al., expériences d'extension de LLaMA ; v1 le 31 août.
Publications et sources
Lien direct ↗PagedAttention : paginer le cache KV
Des blocs réutilisables organisent plus efficacement la mémoire des conversations.
Le problème
Réserver un grand espace continu par demande gaspille de la mémoire.
L’idée
Le passé est stocké dans de petits blocs reliés par une table. Des débuts identiques peuvent partager des blocs.
Un exemple pour se représenter l’idée
Exemple fictif : agrandir le stockage d'une réponse bloc après bloc.
Ce que cela apporte
Le serveur peut accueillir davantage de demandes simultanées.
La limite à retenir
Les blocs doivent être gérés et la mémoire du passé existe toujours.
Pour approfondir : mécanisme, schéma et origine
Séquence logique de tokensTable de blocsBlocs KV non contigus
Fonctionnement
Le cache est découpé en blocs physiques reliés par une table logique. Les séquences n'exigent plus un grand espace contigu ; des préfixes peuvent partager des blocs.
Limites et compromis
La pagination ne supprime pas le cache et ajoute une gestion des blocs.
- Démonstration d’origine
- vLLM / PagedAttention, Kwon et al. ; date du papier, pas du premier code.
Publications et sources
Lien direct ↗StreamingLLM : conserver les tokens puits
Garder le début et le passé récent stabilise certaines générations prolongées.
Le problème
Retirer simplement les vieux morceaux du cache peut perturber l'attention.
L’idée
Le modèle conserve quelques morceaux initiaux et une fenêtre récente, tout en supprimant les autres.
Un exemple pour se représenter l’idée
Exemple fictif : garder l'ouverture d'un flux et ses phrases récentes.
Ce que cela apporte
La génération peut continuer avec une mémoire bornée.
La limite à retenir
Le contenu supprimé n'est plus consultable : ce n'est pas une mémoire illimitée.
Pour approfondir : mécanisme, schéma et origine
Fonctionnement
Outre une fenêtre récente, on conserve les premiers tokens vers lesquels l'attention se concentre. Ces puits stabilisent le calcul lorsqu'on retire les anciens tokens du cache.
Limites et compromis
Les informations évincées ne restent pas accessibles : flux illimité ne signifie pas mémoire illimitée.
- Démonstration d’origine
- StreamingLLM, Xiao et al., évalué notamment sur LLaMA.
Publications et sources
Lien direct ↗Mistral 7B : fenêtre glissante et GQA
Une lecture locale et une mémoire partagée rendent un modèle compact plus économique.
Le problème
Consulter et stocker tout le texte dans chaque étape coûte cher.
L’idée
Chaque étape lit une fenêtre proche. Plusieurs voies de lecture partagent aussi certaines informations stockées.
Un exemple pour se représenter l’idée
Exemple fictif : consulter directement les phrases voisines pendant la génération.
Ce que cela apporte
Le cache, stockage temporaire du passé, peut être réduit.
La limite à retenir
Le texte lointain n'est pas directement accessible dans toutes les étapes.
Pour approfondir : mécanisme, schéma et origine
Requêtes QClés K + valeurs VCache à relire
Fonctionnement
Chaque couche consulte une fenêtre locale ; l'empilement propage l'information au-delà de celle-ci. GQA partage les clés/valeurs et un tampon roulant borne le stockage de la fenêtre.
Limites et compromis
L'accès direct aux tokens lointains est limité ; ce n'est pas une attention globale gratuite.
- Démonstration d’origine
- Mistral 7B ; papier d'octobre après la sortie de septembre.
Publications et sources
Lien direct ↗Falcon : données web et attention partagée
Une recette documente l'intérêt du nettoyage des textes et de choix de calcul économes.
Le problème
Ajouter du texte brut ne garantit pas un apprentissage efficace.
L’idée
La famille combine un corpus web nettoyé et plusieurs choix pour réduire les coûts de calcul et de mémoire.
Un exemple pour se représenter l’idée
Exemple fictif : retirer du contenu répétitif avant l'entraînement.
Ce que cela apporte
Le rapport permet d'étudier ces décisions ensemble.
La limite à retenir
Les variantes diffèrent et le rapport est postérieur aux premières sorties des modèles.
Pour approfondir : mécanisme, schéma et origine
Fonctionnement
La recette met l'accent sur le nettoyage du corpus et des choix de calcul efficaces, dont le partage des clés/valeurs d'attention selon la variante. Le rapport compare les décisions d'architecture et de données.
Limites et compromis
Le rapport de novembre suit les sorties de modèles ; MQA et GQA ne sont pas interchangeables.
- Démonstration d’origine
- Famille Falcon, TII ; papier le 28 novembre 2023.
Publications et sources
Lien direct ↗Mamba : une mémoire sélective
Le contenu détermine comment mettre à jour une mémoire de taille fixe.
Le problème
Un résumé rigide du passé peut conserver les mauvaises informations.
L’idée
Chaque morceau de texte règle la mise à jour d'un état interne, calculable efficacement pendant l'entraînement.
Un exemple pour se représenter l’idée
Exemple fictif : modifier différemment l'état selon le mot reçu.
Ce que cela apporte
La génération conserve un état dont la taille n'augmente pas avec le texte.
La limite à retenir
Cette compression peut perdre des détails anciens à retrouver exactement.
Suivre les idées
Idées antérieures
Mamba prolonge les modèles à espace d’état en faisant dépendre de l’entrée ce qui est retenu ou oublié.
Publication : Mamba: Linear-Time Sequence Modeling with Selective State Spaces ↗
Développements ultérieurs
- Amélioré parMamba-2 / SSD : relier attention et récurrence
Mamba-2 reformule le mécanisme sélectif de Mamba à travers la dualité entre espaces d’état et attention structurée.
Publication : Transformers are SSMs: Generalized Models and Efficient Algorithms Through Structured State Space Duality ↗ - Combiné dansJamba : hybrider Mamba et attention
Jamba associe des couches Mamba à des couches d’attention Transformer et à des couches à experts.
Publication : Jamba: A Hybrid Transformer-Mamba Language Model ↗
Pour approfondir : mécanisme, schéma et origine
Token + état précédentMettre à jour l’étatSortie + nouvel état
Fonctionnement
Les paramètres d'un système à espace d'état dépendent de l'entrée. Un scan GPU efficace calcule cette récurrence pendant l'entraînement, et le décodage ne conserve qu'un état de taille fixe.
Limites et compromis
Cette compression peut affaiblir la récupération exacte d'éléments éloignés du contexte.
- Démonstration d’origine
- Mamba, Albert Gu et Tri Dao.
Publications et sources
Lien direct ↗RadixAttention : réutiliser les préfixes entre appels
Réutiliser un début identique évite de recalculer plusieurs fois les mêmes informations.
Le problème
Plusieurs demandes peuvent commencer par le même long texte.
L’idée
Un arbre organise les blocs de mémoire correspondant aux débuts communs et permet leur réutilisation.
Un exemple pour se représenter l’idée
Exemple fictif : poser plusieurs questions après une même consigne initiale.
Ce que cela apporte
Le calcul déjà effectué sur ce début peut être économisé.
La limite à retenir
Le début doit être identique et les blocs encore présents dans un cache compatible.
Pour approfondir : mécanisme, schéma et origine
Préfixe commun aux requêtesRetrouver les blocs KV calculésCalculer la suite seulement
Fonctionnement
Un arbre radix organise les blocs du cache KV par préfixes communs. SGLang conserve et réutilise ces blocs entre appels, au-delà du cache interne à une génération ; une politique d'éviction libère la mémoire.
Limites et compromis
Il faut un préfixe identique et un cache compatible ; les blocs évincés devront être recalculés.
- Démonstration d’origine
- SGLang / RadixAttention, Zheng et al. ; v1 le 12 décembre 2023, pas invention de toute mise en cache.
Publications et sources
Lien direct ↗2024
DeepSeekMoE : experts fins et partagés
De petits sous-réseaux spécialisés se répartissent le calcul.
Le problème
Activer tout un grand réseau à chaque morceau de texte coûte cher.
L’idée
Un composant de sélection choisit plusieurs petits réseaux, appelés experts. D'autres restent toujours actifs pour les informations communes.
Un exemple pour se représenter l’idée
Exemple fictif : activer une petite sélection d'experts pour un mot.
Ce que cela apporte
La capacité totale peut augmenter sans calculer avec tous les experts.
La limite à retenir
Il faut répartir leur charge et transporter les données entre machines.
Pour approfondir : mécanisme, schéma et origine
MoE : choisir les experts pour chaque token
Sur petit écran, faites défiler le schéma horizontalement.
Fonctionnement
Les réseaux experts sont divisés plus finement ; le routeur peut combiner davantage de petits experts. Des experts toujours actifs capturent les connaissances communes pour réduire la redondance des experts routés.
Limites et compromis
L'équilibrage de charge et les communications restent des contraintes majeures.
- Démonstration d’origine
- DeepSeekMoE, démontré notamment à 16B paramètres totaux.
Publications et sources
Lien direct ↗DistServe : séparer préfill et décodage
Séparer lecture de la demande et génération permet d'allouer les ressources différemment.
Le problème
Ces deux phases n'utilisent pas les machines de la même manière.
L’idée
Des groupes de puces distincts traitent l'entrée et produisent la réponse, en transférant la mémoire calculée.
Un exemple pour se représenter l’idée
Exemple fictif : confier les longs documents à un groupe dédié.
Ce que cela apporte
Le serveur peut mieux respecter certains délais de réponse.
La limite à retenir
Le transfert de mémoire coûte du réseau et peut annuler le bénéfice.
Pour approfondir : mécanisme, schéma et origine
Fonctionnement
Le calcul du prompt et la génération des tokens tournent sur des groupes de GPU distincts. Le système dimensionne ces groupes et transfère le cache KV entre les phases.
Limites et compromis
Le transfert du cache coûte du réseau ; le gain dépend de l'infrastructure et du trafic.
- Démonstration d’origine
- DistServe, système de Zhong et al. ; pas une architecture de modèle.
Publications et sources
Lien direct ↗EAGLE : spéculer sur les représentations
Un petit prédicteur propose des continuations à partir d'informations internes.
Le problème
Un brouillon ordinaire ne tire pas toujours parti des calculs du modèle principal.
L’idée
Un petit composant prédit des représentations internes et construit des propositions que le modèle principal vérifie.
Un exemple pour se représenter l’idée
Exemple fictif : vérifier ensemble plusieurs suites de mots candidates.
Ce que cela apporte
Des propositions mieux acceptées peuvent accélérer la génération.
La limite à retenir
Le composant supplémentaire doit être entraîné et ses propositions peuvent être rejetées.
Pour approfondir : mécanisme, schéma et origine
Proposer plusieurs tokensVérifier avec le modèle cibleAccepter un préfixe
Fonctionnement
Le brouillon prédit des caractéristiques internes du modèle cible, conditionnées aussi par les tokens. Il construit plusieurs candidats que le modèle cible vérifie avec une procédure spéculative.
Limites et compromis
Il faut entraîner et servir le prédicteur ; le gain dépend du taux d'acceptation.
- Démonstration d’origine
- EAGLE, Li et al., testé notamment sur Llama 2 et Vicuna.
Publications et sources
Lien direct ↗Medusa : plusieurs têtes de proposition
Des sorties supplémentaires proposent plusieurs positions futures en même temps.
Le problème
Produire un seul morceau de texte par passage limite la vitesse.
L’idée
De petits composants ajoutés au modèle proposent plusieurs suites, regroupées en arbre pour être vérifiées ensemble.
Un exemple pour se représenter l’idée
Exemple fictif : proposer plusieurs prochains mots et leurs continuations.
Ce que cela apporte
Certains passages de calcul peuvent valider davantage de texte.
La limite à retenir
Les ajouts demandent un entraînement et certaines règles modifient les probabilités originales.
Pour approfondir : mécanisme, schéma et origine
Proposer plusieurs tokensVérifier avec le modèle cibleAccepter un préfixe
Fonctionnement
Des têtes entraînées sur les représentations du LLM prédisent plusieurs positions futures. Une attention en arbre permet ensuite de vérifier des combinaisons de propositions ensemble.
Limites et compromis
Les têtes demandent un entraînement ; toutes les règles d'acceptation ne préservent pas la distribution.
- Démonstration d’origine
- Medusa, Cai et al., démontré sur des modèles ouverts dont Vicuna.
Publications et sources
Lien direct ↗Mixtral : démocratiser les experts épars
Activer seulement certains experts réduit le calcul d'un modèle à grande capacité.
Le problème
Utiliser toutes les valeurs apprises pour chaque mot serait coûteux.
L’idée
Un composant de sélection choisit deux réseaux experts parmi huit pour chaque morceau de texte.
Un exemple pour se représenter l’idée
Exemple fictif : seules les deux voies choisies effectuent leur calcul spécialisé.
Ce que cela apporte
Le calcul actif reste inférieur à celui de tous les experts réunis.
La limite à retenir
Tous les experts doivent être stockés et leur répartition complique l'exécution.
Suivre les idées
Idées antérieures
- S’appuie surMoE : beaucoup de poids, peu d’experts actifs
Mixtral reprend le principe des experts épars : chaque token est envoyé à deux des huit experts de chaque couche MoE.
Publication : Mixtral of Experts ↗
Pour approfondir : mécanisme, schéma et origine
MoE : choisir les experts pour chaque token
Sur petit écran, faites défiler le schéma horizontalement.
Fonctionnement
Dans chaque couche, un routeur sélectionne deux des huit réseaux experts pour chaque token. L'attention reste partagée ; seule une partie des poids experts intervient dans le calcul.
Limites et compromis
Tous les experts doivent être stockés ; le routage complique l'exécution distribuée.
- Démonstration d’origine
- Mixtral 8x7B, sorti en décembre 2023 ; papier en janvier 2024.
Publications et sources
Lien direct ↗BitNet b1.58 : des poids ternaires
Apprendre avec trois valeurs principales réduit le coût potentiel du modèle.
Le problème
Les valeurs numériques détaillées occupent beaucoup de place.
L’idée
L'entraînement contraint certaines valeurs à être négatives, nulles ou positives, avec une échelle commune adaptée.
Un exemple pour se représenter l’idée
Exemple fictif : représenter un coefficient par moins un, zéro ou un.
Ce que cela apporte
Des programmes adaptés peuvent exploiter cette représentation compacte.
La limite à retenir
La mémoire totale ne se limite pas à ces valeurs et l'accélération exige un support matériel adapté.
Pour approfondir : mécanisme, schéma et origine
Fonctionnement
Les poids des couches linéaires prennent les valeurs −1, 0 ou +1 avec des facteurs d'échelle ; les activations sont aussi quantifiées. L'apprentissage intègre cette contrainte dès le départ.
Limites et compromis
Le 1,58 bit décrit les poids ternaires, pas toute la mémoire ; les gains demandent des kernels adaptés.
- Démonstration d’origine
- BitNet b1.58, prolongement du BitNet antérieur.
Publications et sources
Lien direct ↗GRPO : comparer un groupe de réponses
Comparer des réponses dans un groupe simplifie certains entraînements par récompense.
Le problème
Un évaluateur auxiliaire de grande taille ajoute du coût.
L’idée
Plusieurs réponses à la même question reçoivent une note. Leurs notes relatives guident les modifications du modèle.
Un exemple pour se représenter l’idée
Exemple fictif : favoriser les solutions qui réussissent un test dans le groupe.
Ce que cela apporte
On peut éviter un grand réseau auxiliaire estimant la réussite attendue.
La limite à retenir
Les générations restent coûteuses et une mauvaise règle de récompense enseigne de mauvais comportements.
Suivre les idées
Idées antérieures
GRPO adapte PPO en comparant les récompenses de plusieurs réponses à la même question, sans critique de valeur séparé.
Publication : DeepSeekMath: Pushing the Limits of Mathematical Reasoning in Open Language Models ↗
Pour approfondir : mécanisme, schéma et origine
Plusieurs réponses au même problèmeRécompenses relatives au groupeMise à jour de la politique
Fonctionnement
Pour une question, on génère plusieurs réponses et compare leurs récompenses au sein du groupe. Cette référence relative estime l'avantage utilisé pour mettre à jour le modèle avec une régularisation.
Limites et compromis
Le coût des générations demeure et la qualité de la récompense est déterminante.
- Démonstration d’origine
- DeepSeekMath 7B ; GRPO précède DeepSeek-R1.
Publications et sources
Lien direct ↗KIVI : quantifier le cache KV
Arrondir différemment les informations du passé réduit leur stockage.
Le problème
La mémoire temporaire du texte devient volumineuse pour les longues entrées.
L’idée
Les clés, servant à retrouver l'information, et les valeurs, servant à la lire, sont comprimées différemment. Une partie récente reste plus précise.
Un exemple pour se représenter l’idée
Exemple fictif : comprimer les anciens blocs d'une conversation.
Ce que cela apporte
Le stockage du passé diminue sans réentraîner le modèle.
La limite à retenir
La qualité et la vitesse dépendent du réglage et du programme de calcul.
Pour approfondir : mécanisme, schéma et origine
Fonctionnement
Les clés sont quantifiées par canal et les valeurs par token, car leurs valeurs extrêmes sont distribuées différemment. Une petite partie récente reste en précision supérieure.
Limites et compromis
La précision et le débit dépendent des groupes, du contexte et des kernels.
- Démonstration d’origine
- KIVI, Liu et al., évalué sur plusieurs LLM dont Llama et Falcon.
Publications et sources
Lien direct ↗LongRoPE : étirer le contexte inégalement
Une recherche d'échelles de position étend certaines fenêtres de texte.
Le problème
Un réglage uniforme des positions convient mal à toutes les distances.
L’idée
Une recherche choisit différents facteurs selon les composantes de position, puis adapte progressivement le modèle.
Un exemple pour se représenter l’idée
Exemple fictif : tester plusieurs réglages pour des passages courts et longs.
Ce que cela apporte
Certains modèles acceptent des entrées beaucoup plus longues.
La limite à retenir
La longueur annoncée ne garantit pas une compréhension fiable de chaque passage.
Pour approfondir : mécanisme, schéma et origine
Position du tokenModifier Q/K ou le scoreRelations de distance
Fonctionnement
LongRoPE ajuste les dimensions RoPE et les positions avec des facteurs non uniformes. Une extension progressive et des réajustements visent à préserver aussi les performances sur séquences courtes.
Limites et compromis
Des millions de tokens affichés ne garantissent pas une compréhension fiable sur toute la fenêtre.
- Démonstration d’origine
- LongRoPE, Ding et al., extensions expérimentales de LLaMA et Mistral.
Publications et sources
Lien direct ↗Jamba : hybrider Mamba et attention
Combiner mémoire résumée et attention conserve deux façons de traiter le passé.
Le problème
Une mémoire compacte peut perdre des détails que l'attention retrouve directement.
L’idée
Le modèle alterne des étapes à état résumé et des étapes d'attention, avec des réseaux experts à certains endroits.
Un exemple pour se représenter l’idée
Exemple fictif : garder quelques accès directs au texte parmi des étapes compactes.
Ce que cela apporte
Le stockage du passé peut diminuer.
La limite à retenir
Plusieurs mécanismes compliquent les programmes de calcul et l'allocation de mémoire.
Suivre les idées
Idées antérieures
- Combine avecMamba : une mémoire sélective
Jamba associe des couches Mamba à des couches d’attention Transformer et à des couches à experts.
Publication : Jamba: A Hybrid Transformer-Mamba Language Model ↗ - Combine avecTransformer : l’attention devient l’architecture
Jamba conserve des couches d’attention au sein d’un modèle qui utilise aussi la mémoire récurrente de Mamba.
Publication : Jamba: A Hybrid Transformer-Mamba Language Model ↗
Pour approfondir : mécanisme, schéma et origine
Token + état précédentMettre à jour l’étatSortie + nouvel état
Fonctionnement
Jamba entrelace couches Mamba et Transformer et ajoute des experts MoE à certaines couches. La configuration présentée utilise beaucoup plus de couches Mamba que de couches d'attention.
Limites et compromis
Plusieurs types de couches compliquent les kernels et l'allocation des ressources.
- Démonstration d’origine
- Jamba, AI21 Labs.
Publications et sources
Lien direct ↗Infini-attention : une mémoire compressive
Une mémoire condensée relie les anciens passages à la lecture locale.
Le problème
Une fenêtre courte ne donne plus accès aux passages précédents.
L’idée
Chaque bloc combine la lecture du voisinage avec un résumé mis à jour des anciens segments.
Un exemple pour se représenter l’idée
Exemple fictif : conserver des associations condensées après le passage d'un paragraphe.
Ce que cela apporte
Un flux peut dépasser la fenêtre locale avec une mémoire bornée.
La limite à retenir
Les passages anciens sont comprimés avec pertes et ne restent pas intégralement consultables.
Pour approfondir : mécanisme, schéma et origine
Fonctionnement
Chaque bloc combine attention locale et mémoire linéaire des segments passés. Une mise à jour récurrente compresse les anciennes associations et une porte mélange les deux sorties.
Limites et compromis
Le passé est compressé avec pertes ; un flux long ne devient pas intégralement consultable.
- Démonstration d’origine
- Infini-attention, Munkhdalai et al., modèles expérimentaux 1B et 8B.
Publications et sources
Lien direct ↗MiniCPM : réglages transférables et calendrier WSD
Une phase d'apprentissage stable facilite la poursuite d'un entraînement.
Le problème
Terminer trop tôt la baisse de vitesse rend une reprise moins pratique.
L’idée
La vitesse augmente, reste stable, puis diminue à la fin. Des petits essais aident aussi à choisir des réglages.
Un exemple pour se représenter l’idée
Exemple fictif : prolonger le palier avant la baisse finale.
Ce que cela apporte
La recette facilite certaines expériences sur de petits modèles.
La limite à retenir
Le transfert des réglages dépend de la recette et n'est pas universel.
Pour approfondir : mécanisme, schéma et origine
Fonctionnement
Des expériences de petite taille règlent les hyperparamètres avec les Tensor Programs. WSD distingue échauffement, palier stable et décroissance finale du taux d'apprentissage, facilitant la continuation de l'entraînement.
Limites et compromis
Le transfert des réglages dépend de la recette et de l’architecture du modèle.
- Démonstration d’origine
- MiniCPM, OpenBMB ; première soumission le 9 avril 2024.
Publications et sources
Lien direct ↗Mixture-of-Depths : choisir les tokens calculés
Certains morceaux de texte traversent moins d'étapes de calcul.
Le problème
Faire passer chaque position par toutes les étapes dépense un budget uniforme.
L’idée
Un composant de sélection choisit les positions traitées par certaines étapes. Les autres poursuivent leur chemin sans ce calcul.
Un exemple pour se représenter l’idée
Exemple fictif : réserver une étape coûteuse à une sélection de positions.
Ce que cela apporte
Le calcul actif peut être réduit.
La limite à retenir
La sélection doit respecter l'ordre de génération et rester efficace sur le matériel.
Pour approfondir : mécanisme, schéma et origine
Fonctionnement
Un routeur attribue un score aux tokens et sélectionne un sous-ensemble de taille fixée pour certaines couches. Les autres empruntent le chemin résiduel, économisant ces calculs.
Limites et compromis
Le routage doit rester compatible avec la causalité et les contraintes matérielles.
- Démonstration d’origine
- Mixture-of-Depths, Raposo et al., modèles expérimentaux.
Publications et sources
Lien direct ↗Multi-Token Prediction : apprendre plusieurs futurs
Apprendre plusieurs positions futures enrichit le signal d'apprentissage.
Le problème
Prédire seulement le prochain morceau donne un objectif très local.
L’idée
Plusieurs sorties partagent le même calcul principal et apprennent à prédire différentes positions à venir.
Un exemple pour se représenter l’idée
Exemple fictif : apprendre le mot suivant et celui d'après.
Ce que cela apporte
Ces sorties peuvent aussi fournir des propositions pour accélérer la génération.
La limite à retenir
Les positions futures restent incertaines et leurs propositions doivent être vérifiées.
Pour approfondir : mécanisme, schéma et origine
Proposer plusieurs tokensVérifier avec le modèle cibleAccepter un préfixe
Fonctionnement
Plusieurs têtes partagent un tronc commun et apprennent à prédire différentes positions futures. Elles imposent un signal d'apprentissage plus riche et peuvent servir au décodage spéculatif.
Limites et compromis
Les prédictions futures restent incertaines ; l'accélération exige une validation adéquate.
- Démonstration d’origine
- Gloeckle et al., Meta, modèles expérimentaux de code et langage.
Publications et sources
Lien direct ↗Mamba-2 / SSD : relier attention et récurrence
Une structure mathématique permet de calculer plus efficacement une mémoire récurrente.
Le problème
Certaines mises à jour successives utilisent mal les capacités parallèles des puces.
L’idée
Une nouvelle formulation regroupe des mises à jour en blocs adaptés aux multiplications de tableaux.
Un exemple pour se représenter l’idée
Exemple fictif : traiter un segment ensemble plutôt que chaque position isolément.
Ce que cela apporte
Les puces peuvent mieux exploiter leurs unités de calcul.
La limite à retenir
L'équivalence mathématique concerne certaines structures, pas toute forme d'attention.
Suivre les idées
Idées antérieures
- AmélioreMamba : une mémoire sélective
Mamba-2 reformule le mécanisme sélectif de Mamba à travers la dualité entre espaces d’état et attention structurée.
Publication : Transformers are SSMs: Generalized Models and Efficient Algorithms Through Structured State Space Duality ↗
Pour approfondir : mécanisme, schéma et origine
Token + état précédentMettre à jour l’étatSortie + nouvel état
Fonctionnement
La dualité espace d'état décrit certaines attentions et récurrences avec des matrices structurées apparentées. Mamba-2 exploite cette structure pour calculer efficacement des blocs via multiplications matricielles.
Limites et compromis
Cette équivalence concerne des structures particulières ; toute attention softmax n'est pas une récurrence équivalente.
- Démonstration d’origine
- Mamba-2, Tri Dao et Albert Gu.
Publications et sources
Lien direct ↗MLA : compresser clés et valeurs en latent
Une représentation condensée réduit la mémoire utilisée pour relire le passé.
Le problème
Stocker toutes les clés et valeurs d'attention prend beaucoup de place.
L’idée
Le modèle stocke une liste de nombres plus courte et une clé de position séparée. Les calculs exploitent cette version condensée.
Un exemple pour se représenter l’idée
Exemple fictif : conserver une description numérique plus courte par position.
Ce que cela apporte
La mémoire peut fortement baisser face à une attention classique.
La limite à retenir
Selon les dimensions choisies, ce cache peut dépasser celui d’un partage unique entre toutes les voies.
Suivre les idées
Autres approches
- Alternative àGQA : partager les clés et valeurs par groupe
MLA réduit aussi la mémoire du cache, mais compresse les clés et valeurs dans un petit vecteur plutôt que de les partager par groupes.
Publication : DeepSeek-V2: A Strong, Economical, and Efficient Mixture-of-Experts Language Model ↗
Pour approfondir : mécanisme, schéma et origine
Requêtes QClés K + valeurs VCache à relire
Fonctionnement
Une projection de faible rang condense clés et valeurs dans un vecteur latent mis en cache. Des transformations réorganisées et un traitement positionnel séparé permettent de calculer l'attention à partir de cette compression.
Limites et compromis
La baisse de 93,3 % annoncée compare DeepSeek-V2 à DeepSeek 67B ; ce n'est pas une constante universelle.
- Démonstration d’origine
- DeepSeek-V2.
Publications et sources
Lien direct ↗DeltaNet : corriger une mémoire associative
Une correction ciblée met à jour les associations d'une mémoire résumée.
Le problème
Ajouter une nouvelle information peut laisser une ancienne association incorrecte.
L’idée
La règle compare la valeur associée à une information avec la nouvelle valeur attendue, puis écrit leur différence.
Un exemple pour se représenter l’idée
Exemple fictif : corriger une association plutôt que l'ajouter une seconde fois.
Ce que cela apporte
La mémoire peut mieux mettre à jour certaines informations.
La limite à retenir
Elle reste de taille finie et peut perdre des détails du passé.
Pour approfondir : mécanisme, schéma et origine
Token + état précédentMettre à jour l’étatSortie + nouvel état
Fonctionnement
Au lieu d'ajouter simplement une association clé-valeur, la règle delta soustrait ce qui est déjà prédit pour cette clé puis écrit la correction. Le papier parallélise ces mises à jour sur la séquence.
Limites et compromis
La mémoire reste de taille finie ; le papier améliore une règle delta antérieure.
- Démonstration d’origine
- Yang et al., DeltaNet avec algorithme parallèle ; pas invention de la règle delta.
Publications et sources
Lien direct ↗EAGLE-2 : adapter l'arbre de brouillon
Le brouillon explore davantage les suites qu'il estime prometteuses.
Le problème
Un arbre de propositions fixe dépense du calcul sur des branches peu utiles.
L’idée
Les scores du petit prédicteur règlent la forme de l'arbre de continuations que le modèle principal vérifiera.
Un exemple pour se représenter l’idée
Exemple fictif : prolonger une branche probable plutôt qu'une branche peu probable.
Ce que cela apporte
Le budget de proposition peut être mieux utilisé.
La limite à retenir
Les scores restent imparfaits et un grand arbre ajoute aussi du travail.
Pour approfondir : mécanisme, schéma et origine
Proposer plusieurs tokensVérifier avec le modèle cibleAccepter un préfixe
Fonctionnement
EAGLE-2 construit un arbre de candidats en utilisant les scores de confiance du brouillon. La structure change selon la position et les probabilités plutôt que de rester fixe.
Limites et compromis
Des arbres plus grands ajoutent du calcul ; leur forme doit correspondre au matériel.
- Démonstration d’origine
- EAGLE-2, Li et al., extension d'EAGLE.
Publications et sources
Lien direct ↗Nemotron-4 : générer et filtrer des données synthétiques
Un générateur et un évaluateur organisent la fabrication de données d'entraînement.
Le problème
Produire puis contrôler beaucoup d'exemples manuellement est coûteux.
L’idée
Un modèle génère des réponses et un autre les note pour sélectionner les exemples utiles.
Un exemple pour se représenter l’idée
Exemple fictif : garder une réponse jugée plus claire pour une future adaptation.
Ce que cela apporte
La chaîne peut fournir beaucoup d'exemples synthétiques.
La limite à retenir
Les erreurs et biais du générateur et de l'évaluateur peuvent s'accumuler.
Pour approfondir : mécanisme, schéma et origine
Fonctionnement
Des modèles Instruct produisent des réponses et un modèle Reward évalue leur qualité. Le rapport documente un post-entraînement reposant très majoritairement sur des exemples synthétiques et publie la chaîne associée.
Limites et compromis
Ce n'est pas l'invention des données synthétiques ; les erreurs du générateur et du juge peuvent s'accumuler.
- Démonstration d’origine
- Nemotron-4 340B, NVIDIA ; exemple d'industrialisation d'une méthode antérieure.
Publications et sources
Lien direct ↗FlashAttention-3 : exploiter Hopper
Chevaucher transferts et calculs utilise mieux certaines puces récentes.
Le problème
Des unités de calcul peuvent attendre l'arrivée des données.
L’idée
Le programme fait avancer simultanément plusieurs opérations de l'attention et propose aussi une variante à précision réduite.
Un exemple pour se représenter l’idée
Exemple fictif : charger un bloc pendant le calcul du précédent.
Ce que cela apporte
L'attention peut aller plus vite sur les puces visées.
La limite à retenir
Le gain dépend fortement du matériel et la variante basse précision ajoute une approximation numérique.
Suivre les idées
Idées antérieures
La troisième version adapte cette attention exacte aux GPU Hopper, en faisant se chevaucher transferts et calculs.
Publication : FlashAttention-3: Fast and Accurate Attention with Asynchrony and Low-precision ↗
Pour approfondir : mécanisme, schéma et origine
FlashAttention : changer le trajet en mémoire
Sur petit écran, faites défiler le schéma horizontalement.
Fonctionnement
Le kernel chevauche transferts mémoire, multiplications matricielles et softmax. Une variante FP8 ajoute des transformations pour limiter l'erreur de quantification sur les GPU Hopper.
Limites et compromis
Le bénéfice dépend fortement de l'architecture GPU ; FP8 introduit une approximation numérique.
- Démonstration d’origine
- FlashAttention-3, Shah et al., optimisations pour Hopper.
Publications et sources
Lien direct ↗Gemma 2 : distiller et borner les scores
Un modèle enseignant fournit des objectifs plus riches à de petits modèles.
Le problème
De petits modèles disposent de moins de capacité pour apprendre seuls.
L’idée
Ils apprennent les probabilités d'un modèle enseignant et alternent lecture locale et lecture globale du texte.
Un exemple pour se représenter l’idée
Exemple fictif : apprendre plusieurs continuations jugées possibles par l'enseignant.
Ce que cela apporte
Des modèles compacts peuvent obtenir de meilleurs résultats.
La limite à retenir
Produire les cibles coûte du calcul et leurs défauts peuvent venir de l'enseignant.
Pour approfondir : mécanisme, schéma et origine
Fonctionnement
Des modèles plus petits apprennent les distributions d'un enseignant ; l'architecture alterne fenêtres locales et attention globale. Le soft-capping borne les scores d'attention et les logits par une transformation douce.
Limites et compromis
La distillation dépend de l'enseignant et ajoute un coût de production des cibles.
- Démonstration d’origine
- Gemma 2, Google ; le rapport ne décrit pas QK-Norm comme sa technique.
Publications et sources
Lien direct ↗Llama 3 : une recette d'entraînement documentée
Un rapport rassemble les améliorations nécessaires à une nouvelle génération de modèles.
Le problème
Changer un seul composant n'explique pas toutes les différences de résultat.
L’idée
La recette combine sélection des textes, calcul à grande échelle, entrées plus longues et adaptation aux préférences.
Un exemple pour se représenter l’idée
Exemple fictif : améliorer ensemble les données et les exemples de conversation.
Ce que cela apporte
Le rapport permet d'étudier l'ensemble de la fabrication.
La limite à retenir
Il documente un assemblage sans dater l'invention de chaque technique.
Pour approfondir : mécanisme, schéma et origine
Fonctionnement
Le rapport documente filtrage et mélange des données, entraînement à grande échelle, extension du contexte et plusieurs tours d'ajustement supervisé et de préférences. Il présente aussi des extensions multimodales.
Limites et compromis
C'est un assemblage de techniques ; le rapport ne date pas leur invention individuelle.
- Démonstration d’origine
- Rapport The Llama 3 Herd of Models, Meta, incluant Llama 3.1.
Publications et sources
Lien direct ↗Calcul à l'inférence : adapter l'effort au problème
Dépenser plus de calcul sur certaines questions peut améliorer les réponses.
Le problème
Le même effort ne convient pas aux questions faciles et difficiles.
L’idée
On compare révisions et recherches de solutions, avec un vérificateur et un budget adapté à la difficulté estimée.
Un exemple pour se représenter l’idée
Exemple fictif : tester davantage de pistes pour un problème difficile.
Ce que cela apporte
Des réponses peuvent progresser sans agrandir le modèle.
La limite à retenir
Le bénéfice dépend du vérificateur et les essais supplémentaires coûtent du temps.
Pour approfondir : mécanisme, schéma et origine
Fonctionnement
Le papier compare révisions successives et recherche avec vérificateur. Il répartit le calcul selon la difficulté estimée de la question plutôt que d'utiliser la même stratégie pour tous les problèmes.
Limites et compromis
Les gains dépendent du modèle, de la difficulté et du vérificateur ; ce n'est pas toujours mieux qu'entraîner plus grand.
- Démonstration d’origine
- Snell et al., étude expérimentale de modèles et de stratégies de résolution ; v1 le 6 août 2024.
Publications et sources
Lien direct ↗Hyper-Connections : enrichir les résiduelles
Plusieurs chemins internes enrichissent les échanges entre étapes du modèle.
Le problème
Un unique chemin additionne les résultats de manière relativement contrainte.
L’idée
Plusieurs flux remplacent ce chemin et des coefficients appris règlent leurs mélanges avant et après chaque étape.
Un exemple pour se représenter l’idée
Exemple fictif : combiner deux flux avec des poids différents.
Ce que cela apporte
Le modèle dispose de davantage de façons de transmettre l'information.
La limite à retenir
Ces mélanges peuvent augmenter la mémoire, le calcul et les difficultés d'entraînement.
Pour approfondir : mécanisme, schéma et origine
Fonctionnement
Plusieurs flux de représentations remplacent un seul chemin résiduel. Des coefficients appris contrôlent comment ces flux alimentent une couche et comment sa sortie les met à jour.
Limites et compromis
Plus de flux et de mélanges peuvent augmenter mémoire, coût et difficultés de stabilité.
- Démonstration d’origine
- Hyper-Connections, Zhu et al., ByteDance.
Publications et sources
Lien direct ↗OLMoE : rendre les MoE inspectables
Une recette ouverte rend le fonctionnement des experts plus facile à étudier.
Le problème
Sans données et analyses, il est difficile de comprendre les choix de routage.
L’idée
Le modèle sélectionne huit réseaux experts parmi soixante-quatre et publie une recette accompagnée d'expériences comparatives.
Un exemple pour se représenter l’idée
Exemple fictif : comparer deux règles de sélection des experts.
Ce que cela apporte
Les chercheurs peuvent examiner plusieurs décisions de conception.
La limite à retenir
L'ouverture ne supprime ni le stockage de tous les experts ni leurs échanges coûteux.
Pour approfondir : mécanisme, schéma et origine
Un tokenRouteur → quelques expertsCombiner leurs sorties
Fonctionnement
Le modèle active huit experts sur soixante-quatre par token. Le papier publie une recette et des analyses d'ablation, notamment sur le routage, la stabilité et les normalisations.
Limites et compromis
L'ouverture facilite l'étude mais n'élimine ni la mémoire totale ni les communications des experts.
- Démonstration d’origine
- OLMoE, Allen Institute for AI.
Publications et sources
Lien direct ↗Attention sigmoïde : des poids indépendants
Une autre règle transforme les scores de lecture en contributions.
Le problème
La règle habituelle lie les poids de toutes les positions consultées.
L’idée
Une fonction transforme chaque score séparément, avec des réglages pour stabiliser l'apprentissage.
Un exemple pour se représenter l’idée
Exemple fictif : régler indépendamment la contribution de deux positions passées.
Ce que cela apporte
Cette alternative peut obtenir des résultats comparables dans certaines expériences.
La limite à retenir
Comparer toutes les positions reste coûteux et ces résultats ne prouvent pas une supériorité générale.
Pour approfondir : mécanisme, schéma et origine
Fonctionnement
Une sigmoïde transforme séparément chaque score requête-clé au lieu de normaliser toute une ligne par softmax. Le papier étudie les normes initiales et propose le kernel FlashSigmoid.
Limites et compromis
Le calcul dense reste quadratique ; ce travail revisite une idée antérieure au lieu de l'inventer.
- Démonstration d’origine
- Ramapuram et al., 2024.
Publications et sources
Lien direct ↗nGPT : apprendre sur une hypersphère
Maintenir des vecteurs à une longueur fixe change la manière d'apprendre.
Le problème
Des amplitudes numériques très différentes peuvent compliquer les mises à jour.
L’idée
Les représentations et certaines valeurs apprises sont normalisées. L'apprentissage modifie surtout leurs directions, avec des facteurs d'échelle adaptés.
Un exemple pour se représenter l’idée
Exemple fictif : changer l'orientation d'une flèche plutôt que sa longueur.
Ce que cela apporte
Certaines expériences montrent un apprentissage plus efficace.
La limite à retenir
La flèche représente un vecteur numérique et la recette demande des réglages spécifiques.
Pour approfondir : mécanisme, schéma et origine
Fonctionnement
nGPT normalise les vecteurs pertinents et conçoit les mises à jour comme des déplacements sur une hypersphère. Des facteurs appris règlent l'amplitude des contributions des couches.
Limites et compromis
Les gains annoncés dépendent des expériences ; cette géométrie demande une recette dédiée.
- Démonstration d’origine
- nGPT, Loshchilov et al., NVIDIA ; arXiv 2410.01131.
Publications et sources
Lien direct ↗BLT : des octets regroupés en patches
Des groupes d'octets variables remplacent un découpage fixe du texte.
Le problème
Un vocabulaire de morceaux prédéfinis impose une segmentation parfois peu adaptée.
L’idée
Un composant regroupe les octets, unités de codage du texte. Le calcul principal traite ces groupes, puis un autre composant reconstruit les octets.
Un exemple pour se représenter l’idée
Exemple fictif : créer de petits groupes dans un passage imprévisible.
Ce que cela apporte
Le découpage peut s'adapter au contenu.
La limite à retenir
Le regroupement et les composants locaux ajoutent du travail et de la complexité.
Pour approfondir : mécanisme, schéma et origine
Fonctionnement
Un encodeur local regroupe les octets en patches de taille variable selon leur prévisibilité. Un Transformer global travaille sur ces patches puis un décodeur local prédit les octets.
Limites et compromis
Les composants locaux et la segmentation ajoutent une complexité ; les gains dépendent du contenu.
- Démonstration d’origine
- Byte Latent Transformer, Pagnoni et al., Meta.
Publications et sources
Lien direct ↗DeepSeek-V3 : intégrer efficacité et échelle
Une recette combine experts, mémoire condensée et calcul numérique plus compact.
Le problème
Un grand modèle cumule coûts d'entraînement, de stockage et de communication.
L’idée
La recette active certains experts, condense le passé et utilise des nombres moins précis avec des précautions adaptées.
Un exemple pour se représenter l’idée
Exemple fictif : répartir mieux les demandes entre experts peu ou très sollicités.
Ce que cela apporte
Ces choix visent ensemble une meilleure efficacité.
La limite à retenir
Le rapport conserve un terme d'équilibrage par séquence malgré l'allègement d'autres contraintes.
Pour approfondir : mécanisme, schéma et origine
Fonctionnement
Le modèle équilibre les experts routés avec des biais ajustés selon leur charge, utilise un cache latent et apprend des tokens futurs. L'entraînement FP8 inclut des précautions de précision et de communication.
Limites et compromis
Le modèle conserve une petite perte d'équilibrage par séquence ; « sans perte auxiliaire » ne signifie pas absence totale de toute perte de ce type.
- Démonstration d’origine
- DeepSeek-V3 ; recette intégrant des techniques parfois publiées auparavant.
Publications et sources
Lien direct ↗Gated DeltaNet : oublier et corriger
Une mémoire condensée peut oublier globalement et corriger des associations précises.
Le problème
Conserver indéfiniment de vieilles informations peut gêner les mises à jour.
L’idée
Une porte règle l'oubli, tandis qu'une correction ciblée remplace ce que la mémoire prédit mal.
Un exemple pour se représenter l’idée
Exemple fictif : réduire d'anciennes traces tout en corrigeant une association.
Ce que cela apporte
La mémoire combine deux façons complémentaires de se mettre à jour.
La limite à retenir
Elle reste compressée et les gains dépendent des tâches et budgets comparés.
Pour approfondir : mécanisme, schéma et origine
Token + état précédentMettre à jour l’étatSortie + nouvel état
Fonctionnement
Une porte contrôle l'oubli de l'état, tandis que la règle delta corrige les associations particulières. Un algorithme par blocs rend l'entraînement parallélisable et exploitable sur GPU.
Limites et compromis
La mémoire reste compressée ; les comparaisons dépendent des tâches et budgets retenus.
- Démonstration d’origine
- Gated DeltaNet, Yang, Kautz et Hatamizadeh.
Publications et sources
Lien direct ↗Memory Layers : une grande mémoire parcimonieuse
De grandes tables apprises ajoutent de la capacité sans tout consulter.
Le problème
Faire intervenir toutes les valeurs d'un grand réseau coûte cher.
L’idée
Une recherche sélectionne quelques entrées dans une grande table d’associations apprise pendant l’entraînement.
Un exemple pour se représenter l’idée
Exemple fictif : utiliser seulement les entrées correspondant à une requête interne.
Ce que cela apporte
La capacité stockée peut grandir sans autant de calcul actif.
La limite à retenir
Stockage et accès restent coûteux : ce n'est pas une recherche dans des documents externes.
Pour approfondir : mécanisme, schéma et origine
Fonctionnement
Une requête calculée à partir du token recherche des entrées dans une grande mémoire clé-valeur. Seules les valeurs sélectionnées contribuent à la couche, avec des mécanismes de recherche efficaces.
Limites et compromis
Stockage et accès mémoire restent coûteux ; cette mémoire paramétrique n'est pas un corpus RAG.
- Démonstration d’origine
- Memory Layers at Scale, Berges et al., Meta ; prolonge les mémoires produit-clé.
Publications et sources
Lien direct ↗Titans : une mémoire qui apprend pendant la lecture
Ajouter une mémoire compacte qui se modifie pendant la lecture.
Le problème
Relire tout un long texte demande beaucoup de calcul et de mémoire.
L’idée
Titans conserve une représentation compacte du texte et ajuste ses valeurs pendant la lecture. Un autre mécanisme consulte directement les passages proches.
Un exemple pour se représenter l’idée
Exemple fictif : un nom introduit au début peut influencer une réponse bien plus loin.
Ce que cela apporte
Une partie des informations anciennes reste utilisable sans tout relire à chaque étape.
La limite à retenir
Cette représentation peut oublier et ne garantit aucune mémoire entre conversations.
Pour approfondir : mécanisme, schéma et origine
Fonctionnement
Un module apprend des associations clés-valeurs au fil du contexte ; gradients, momentum et oubli pilotent sa mise à jour pendant l’inférence.
Limites et compromis
Cette mémoire est compressée et peut oublier ; elle ne garantit ni rappel exact ni persistance entre conversations.
- Démonstration d’origine
- Famille expérimentale Titans ; arXiv v1 du 31 décembre 2024 malgré l’identifiant 2501.
Publications et sources
Lien direct ↗2025
MiniMax-01 : attention linéaire à grande échelle
Mélanger plusieurs façons de consulter le texte pour traiter de longs documents.
Le problème
Consulter chaque passage antérieur devient coûteux quand le texte s’allonge.
L’idée
Certaines étapes utilisent une représentation compacte de l’historique ; d’autres consultent directement les passages. Seules certaines parties spécialisées du réseau calculent pour chaque morceau de texte.
Un exemple pour se représenter l’idée
Exemple fictif : parcourir un dossier avant de répondre sur son contenu.
Ce que cela apporte
Cette combinaison vise à rendre les longs textes moins coûteux à traiter.
La limite à retenir
Une grande longueur acceptée ne garantit pas de retrouver chaque détail.
Pour approfondir : mécanisme, schéma et origine
Fonctionnement
Lightning Attention calcule une attention linéaire, combinée à des couches softmax et à un MoE ; le rapport décrit un entraînement sur un million de tokens.
Limites et compromis
La longueur annoncée ne garantit pas un rappel parfait ; les accélérations dépendent des kernels.
- Démonstration d’origine
- MiniMax-Text-01 et MiniMax-VL-01 ; ce rapport ne constitue pas l’origine de toute attention linéaire.
Publications et sources
Lien direct ↗DeepSeek-R1 : apprendre à raisonner par récompenses
Entraîner le modèle à produire des solutions grâce à des résultats vérifiables.
Le problème
Imiter des réponses écrites ne suffit pas toujours à résoudre des problèmes nouveaux.
L’idée
Le modèle produit des essais ; une vérification attribue des récompenses qui orientent son apprentissage. R1 combine aussi des exemples préparés et plusieurs étapes d’entraînement.
Un exemple pour se représenter l’idée
Exemple fictif : vérifier automatiquement si un programme réussit les exercices demandés.
Ce que cela apporte
Cette recette peut améliorer la résolution des tâches où le résultat se vérifie.
La limite à retenir
Les étapes écrites ne garantissent ni une réponse correcte ni un récit fidèle du calcul interne.
Pour approfondir : mécanisme, schéma et origine
Fonctionnement
R1-Zero applique le RL sans SFT préalable ; R1 ajoute des données de démarrage, plusieurs étapes de RL et une distillation vers de petits modèles.
Limites et compromis
Les récompenses vérifiables conviennent surtout aux tâches évaluables ; les longues réponses coûtent du calcul.
- Démonstration d’origine
- DeepSeek-R1-Zero puis R1 ; GRPO vient de DeepSeekMath, en 2024.
Publications et sources
Lien direct ↗s1 : régler le budget de réflexion
Régler combien de texte le modèle produit avant sa réponse finale.
Le problème
Certaines questions demandent plus d’étapes de résolution que d’autres.
L’idée
Après un entraînement sur des exemples, la génération est arrêtée ou prolongée avant la réponse finale. Ajouter « Wait » encourage la poursuite des étapes écrites.
Un exemple pour se représenter l’idée
Exemple fictif : prolonger une résolution pour essayer une vérification supplémentaire.
Ce que cela apporte
Le système peut ajuster le temps de calcul consacré à une question.
La limite à retenir
Un texte plus long coûte davantage et ne garantit ni meilleure réponse ni raisonnement fidèle.
Pour approfondir : mécanisme, schéma et origine
Fonctionnement
Après SFT sur mille questions, budget forcing interrompt la réflexion ou la prolonge avec « Wait » pour favoriser une vérification supplémentaire.
Limites et compromis
Plus de tokens augmente la latence et ne garantit pas une meilleure réponse à chaque question.
- Démonstration d’origine
- s1-32B, adapté de Qwen2.5-32B-Instruct ; pas l’invention du test-time compute.
Publications et sources
Lien direct ↗SSMax : ajuster la concentration de l’attention à la longueur
Adapter la répartition de l’attention lorsque le texte devient plus long.
Le problème
Parmi beaucoup de passages, les informations utiles peuvent recevoir trop peu d’attention.
L’idée
Le modèle calcule des scores pour les passages à consulter. La méthode ajuste leur échelle selon la longueur du texte, séparément pour chaque voie de lecture.
Un exemple pour se représenter l’idée
Exemple fictif : un nom pertinent doit ressortir parmi de nombreuses phrases.
Ce que cela apporte
Cette correction peut éviter une attention trop dispersée dans les modèles étudiés.
La limite à retenir
Les essais sur de petits modèles ne prouvent pas un bénéfice universel.
Pour approfondir : mécanisme, schéma et origine
Fonctionnement
Scalable-Softmax multiplie les scores par un facteur proportionnel au logarithme du nombre de positions, avec une échelle apprise par tête.
Limites et compromis
Étude sur de petits modèles ; les résultats ne prouvent pas une amélioration universelle aux grandes échelles.
- Démonstration d’origine
- Transformers expérimentaux de 162M paramètres, Ken M. Nakanishi.
Publications et sources
Lien direct ↗LLaDA : générer du texte par démasquage
Construire une réponse en complétant des morceaux masqués.
Le problème
Produire le texte strictement de gauche à droite limite les possibilités de calcul parallèle.
L’idée
Le modèle apprend à retrouver des morceaux de texte cachés. Pour générer une réponse, il remplit progressivement des emplacements masqués, au cours de plusieurs passages.
Un exemple pour se représenter l’idée
Exemple fictif : compléter « Le [masque] dort » puis affiner les choix.
Ce que cela apporte
Plusieurs emplacements peuvent être traités ensemble au lieu d’attendre chacun leur tour.
La limite à retenir
Les passages successifs ont un coût : calcul parallèle ne signifie pas automatiquement réponse plus rapide.
Pour approfondir : mécanisme, schéma et origine
Séquence bruitée ou masquéePrédictions en parallèleRaffiner en plusieurs étapes
Fonctionnement
Un Transformer apprend à reconstruire des tokens masqués ; une suite de démasquages transforme un texte bruité en réponse, après préentraînement et SFT.
Limites et compromis
Plusieurs passes sont nécessaires ; parallélisme potentiel et accélération réelle doivent être distingués.
- Démonstration d’origine
- LLaDA 8B ; une démonstration à cette échelle, parmi des précurseurs de diffusion textuelle.
Publications et sources
Lien direct ↗Muon : orthogonaliser les mises à jour
Améliorer la manière de modifier les valeurs apprises pendant l’entraînement.
Le problème
Un entraînement coûteux peut gaspiller du calcul si ses mises à jour sont mal réglées.
L’idée
Muon transforme les tableaux de corrections appliquées aux valeurs apprises. Le travail sur Moonlight ajuste aussi leur taille et limite la croissance de ces valeurs pour entraîner de grands modèles.
Un exemple pour se représenter l’idée
Exemple fictif : comparer deux recettes d’entraînement avec le même budget de calcul.
Ce que cela apporte
La méthode vise à obtenir un meilleur apprentissage pour un budget donné.
La limite à retenir
Le gain dépend du modèle et des conditions d’entraînement.
Pour approfondir : mécanisme, schéma et origine
Gradient de la perteTransformer la mise à jourAjuster les paramètres
Fonctionnement
L’orthogonalisation des mises à jour est complétée par une décroissance des poids et une calibration de leur échelle ; les auteurs entraînent Moonlight.
Limites et compromis
Le gain face à AdamW est expérimental et dépend du régime d’entraînement.
- Démonstration d’origine
- Moonlight 16B/3B actifs ; ce papier étend Muon, il ne l’invente pas.
Publications et sources
Lien direct ↗EAGLE-3 : un brouillon nourri de plusieurs couches
Faire proposer une suite par un petit modèle, puis la vérifier.
Le problème
Faire calculer chaque nouveau morceau de texte par le grand modèle est lent.
L’idée
Un petit modèle utilise les résultats intermédiaires de plusieurs étapes du grand modèle pour proposer une suite. Le grand modèle vérifie ensuite ces propositions.
Un exemple pour se représenter l’idée
Exemple fictif : proposer « la porte est ouverte » puis accepter seulement le début validé.
Ce que cela apporte
Des propositions acceptées ensemble peuvent réduire le temps de génération.
La limite à retenir
Des propositions souvent rejetées ou trop coûteuses peuvent annuler l’avantage.
Pour approfondir : mécanisme, schéma et origine
Proposer plusieurs tokensVérifier avec le modèle cibleAccepter un préfixe
Fonctionnement
Le drafter fusionne des représentations de plusieurs couches et prédit directement les tokens ; l’entraînement simule davantage ses conditions de génération.
Limites et compromis
L’accélération dépend du taux d’acceptation, du batch et du coût du drafter.
- Démonstration d’origine
- EAGLE-3 est une méthode de décodage, évaluée sur plusieurs modèles de chat et raisonnement.
Publications et sources
Lien direct ↗Gemma 3 : alterner attention locale et globale
Consulter surtout le texte proche, avec des étapes qui regardent plus loin.
Le problème
Consulter tout le texte à chaque étape de calcul demande beaucoup de mémoire.
L’idée
La plupart des étapes consultent seulement une fenêtre de texte proche. D’autres consultent le contexte complet ; certaines variantes traitent aussi les images.
Un exemple pour se représenter l’idée
Exemple fictif : utiliser les phrases voisines tout en reliant un nom au début du document.
Ce que cela apporte
La majorité des étapes conserve moins d’informations pour la génération.
La limite à retenir
Les étapes globales restent coûteuses et une information éloignée peut être mal exploitée.
Pour approfondir : mécanisme, schéma et origine
Fonctionnement
Cinq couches à fenêtre locale alternent avec une couche globale ; les modèles multimodaux ajoutent un encodeur de vision et un contexte étendu.
Limites et compromis
Les couches globales restent coûteuses ; un grand contexte ne signifie pas un accès parfait à tous ses détails.
- Démonstration d’origine
- Gemma 3 ; date du rapport arXiv, distincte du lancement.
Publications et sources
Lien direct ↗Nemotron-H : consacrer peu de couches à l’attention globale
Combiner une représentation compacte du passé et une consultation directe du texte.
Le problème
Garder toutes les informations intermédiaires du texte peut occuper beaucoup de mémoire.
L’idée
La plupart des étapes mettent à jour une représentation compacte de ce qui précède. Quelques étapes conservent une attention directe sur le texte.
Un exemple pour se représenter l’idée
Exemple fictif : suivre le sujet général puis consulter des passages précédents à certaines étapes.
Ce que cela apporte
Cette combinaison vise à réduire le coût de génération tout en conservant des consultations directes.
La limite à retenir
La représentation compacte perd des détails ; la mémoire des étapes d’attention continue de grandir.
Pour approfondir : mécanisme, schéma et origine
Fonctionnement
La majorité des couches d’attention est remplacée par des couches Mamba ; une compression par élagage et distillation réduit aussi certains modèles.
Limites et compromis
Les couches Mamba gardent un état fixe, mais les couches d’attention restantes conservent leur cache croissant.
- Démonstration d’origine
- Famille NVIDIA Nemotron-H ; v1 arXiv le 4 avril 2025.
Publications et sources
Lien direct ↗Llama 4 : iRoPE, MoE et fusion multimodale
Associer lecture de texte, lecture d’images et calcul réparti entre sous-réseaux.
Le problème
Traiter de longs contenus mêlant texte et images peut devenir très coûteux.
L’idée
Des morceaux de texte et des représentations d’images traversent un réseau commun. Le modèle varie la représentation des positions et choisit certaines parties spécialisées du réseau pour calculer.
Un exemple pour se représenter l’idée
Exemple fictif : répondre à une question sur une photo accompagnée d’un long commentaire.
Ce que cela apporte
Cette combinaison vise à traiter différents contenus avec un calcul partiellement sélectionné.
La limite à retenir
Toutes les parties doivent être stockées ; accepter beaucoup de texte ne garantit pas son rappel.
Pour approfondir : mécanisme, schéma et origine
Un tokenRouteur → quelques expertsCombiner leurs sorties
Fonctionnement
iRoPE intercale couches RoPE et couches sans encodage positionnel, avec ajustement de température ; les tokens visuels et textuels partagent le backbone.
Limites et compromis
Un contexte annoncé de plusieurs millions de tokens ne garantit pas le rappel ; tous les experts doivent être stockés.
- Démonstration d’origine
- Llama 4 Scout et Maverick ; annonce officielle, pas article arXiv.
Publications et sources
Lien direct ↗Attention à porte : moduler ce que chaque tête transmet
Régler la quantité d’information transmise par chaque voie de lecture.
Le problème
Une information consultée n’est pas forcément utile à transmettre à l’étape suivante.
L’idée
Après avoir consulté le texte, chaque voie de lecture reçoit un réglage calculé à partir de l’entrée. Ce réglage atténue ou laisse passer ses résultats.
Un exemple pour se représenter l’idée
Exemple fictif : réduire la contribution d’une voie peu utile pour la phrase actuelle.
Ce que cela apporte
Le modèle peut filtrer plus finement les résultats de l’attention.
La limite à retenir
Les bénéfices observés dépendent des modèles testés et ne sont pas garantis partout.
Pour approfondir : mécanisme, schéma et origine
Fonctionnement
Une fonction sigmoïde module les sorties des têtes après l’attention ; l’étude observe plus de parcimonie et moins de concentration artificielle sur les premiers tokens.
Limites et compromis
Les résultats appartiennent aux architectures testées ; ils ne prouvent pas une amélioration universelle.
- Démonstration d’origine
- Modèles expérimentaux de l’équipe Qwen ; ne pas confondre avec toutes les portes antérieures.
Publications et sources
Lien direct ↗Qwen3 : réponse directe ou réflexion dans un même modèle
Choisir entre une réponse directe et une génération avec davantage d’étapes écrites.
Le problème
Une longue résolution écrite peut être inutile pour une question simple.
L’idée
L’entraînement prépare le même modèle à répondre directement ou à produire des étapes avant sa réponse. Le mode choisi adapte le déroulement de la génération.
Un exemple pour se représenter l’idée
Exemple fictif : répondre directement à une salutation, mais détailler une résolution mathématique.
Ce que cela apporte
Un même modèle propose plusieurs compromis entre délai et travail de résolution.
La limite à retenir
Des étapes supplémentaires coûtent du calcul sans garantir leur fidélité ni la justesse finale.
Pour approfondir : mécanisme, schéma et origine
Fonctionnement
Le post-entraînement unifie réponses immédiates et traces de raisonnement ; GQA, RoPE, SwiGLU et QK-Norm constituent une architecture déjà largement éprouvée.
Limites et compromis
Un budget de réflexion plus grand augmente le coût ; le rapport ne décrit pas MTP pour Qwen3 initial.
- Démonstration d’origine
- Famille Qwen3, dense et MoE ; date du rapport.
Publications et sources
Lien direct ↗Gemma 3n : embeddings par couche et modèles emboîtés
Adapter le modèle aux contraintes de mémoire des petits appareils.
Le problème
Un téléphone dispose de moins de mémoire et de calcul qu’un serveur.
L’idée
Certaines représentations peuvent être préparées puis stockées hors de la mémoire principale. Un réseau imbriqué permet aussi d’utiliser une version réduite du modèle.
Un exemple pour se représenter l’idée
Exemple fictif : sélectionner une version plus petite pour une application sur téléphone.
Ce que cela apporte
La méthode peut diminuer la mémoire mobilisée et le travail nécessaire.
La limite à retenir
Le nombre de valeurs stockées, celles utilisées pour calculer et la mémoire réelle restent différents.
Pour approfondir : mécanisme, schéma et origine
Fonctionnement
Les embeddings par couche peuvent être préparés et stockés hors mémoire principale ; MatFormer permet d’exécuter des sous-modèles imbriqués avec moins de paramètres.
Limites et compromis
Paramètres totaux, paramètres actifs et mémoire effective sont différents ; l’économie dépend de l’implémentation.
- Démonstration d’origine
- Gemma 3n ; date de l’annonce de préversion, sans arXiv identifié.
Publications et sources
Lien direct ↗MoNE : remplacer des experts redondants
Remplacer certaines parties spécialisées du modèle par des approximations plus petites.
Le problème
Stocker toutes les parties d’un grand modèle peut dépasser la mémoire disponible.
L’idée
La méthode mesure l’utilisation et les sorties de parties spécialisées du réseau, appelées experts. Elle en remplace certaines par de petits modules qui approchent leur contribution.
Un exemple pour se représenter l’idée
Exemple fictif : remplacer une partie rarement utilisée après des essais sur un corpus.
Ce que cela apporte
Le modèle transformé peut occuper moins de place.
La limite à retenir
L’approximation peut dégrader ses réponses et dépend des exemples utilisés pour choisir les remplacements.
Pour approfondir : mécanisme, schéma et origine
Fonctionnement
MoNE mesure la fréquence d’accès et la variance des sorties pour remplacer certains experts par de petits modules approximant leur contribution.
Limites et compromis
La compression modifie le modèle et peut diminuer sa qualité ; les données de calibration comptent.
- Démonstration d’origine
- MoNE, évalué notamment sur Qwen2-57B-A14B ; papier de 2025, pas invention de 2026.
Publications et sources
Lien direct ↗Comparer les hybrides : qualité du langage et rappel divergent
Comparer les combinaisons de mécanismes avant de choisir une architecture.
Le problème
Un mécanisme performant seul peut devenir moins intéressant lorsqu’il est combiné à un autre.
L’idée
L’étude compare différentes proportions d’étapes de consultation directe et de mémoire compacte. Elle entraîne plusieurs modèles afin de mesurer les compromis plutôt que supposer un assemblage gagnant.
Un exemple pour se représenter l’idée
Exemple fictif : comparer davantage d’étapes compactes avec davantage de consultations directes.
Ce que cela apporte
Ces mesures aident à choisir une combinaison selon le coût et les résultats recherchés.
La limite à retenir
Elles ne donnent pas une proportion idéale valable pour tous les modèles.
Pour approfondir : mécanisme, schéma et origine
Fonctionnement
Les auteurs entraînent 72 modèles avec plusieurs mécanismes et ratios ; le composant gagnant seul ne gagne pas nécessairement une fois hybridé.
Limites et compromis
Les compromis observés aux tailles étudiées ne fixent pas un ratio optimal universel.
- Démonstration d’origine
- Wang et collaborateurs ; familles expérimentales 340M et 1,3B, pas une première invention de l’hybride.
Publications et sources
Lien direct ↗LFM2 : choisir l’architecture en mesurant le matériel
Choisir une architecture en mesurant son fonctionnement sur les appareils visés.
Le problème
Un modèle rapide sur un serveur peut être lent sur un téléphone.
L’idée
La recherche mesure le délai et la mémoire sur appareil. Elle combine surtout des calculs sur de courts voisinages du texte avec quelques étapes de consultation plus large.
Un exemple pour se représenter l’idée
Exemple fictif : mesurer plusieurs variantes sur le téléphone qui fera tourner l’application.
Ce que cela apporte
L’architecture peut mieux correspondre aux contraintes matérielles réelles.
La limite à retenir
Un résultat obtenu sur un appareil ne se transpose pas automatiquement à d’autres matériels.
Pour approfondir : mécanisme, schéma et origine
Fonctionnement
Une recherche d’architecture mesure mémoire et latence sur appareil ; elle combine surtout convolutions courtes à doubles portes et quelques couches GQA.
Limites et compromis
Une accélération mesurée sur CPU mobile ne se transpose pas automatiquement à tous les GPU ou charges.
- Démonstration d’origine
- LFM2 de Liquid AI ; annonce du 10 juillet, rapport arXiv le 28 novembre 2025.
Publications et sources
Lien direct ↗Kimi K2 : MuonClip et entraînement agentique
Stabiliser un très grand modèle et l’entraîner à utiliser des outils.
Le problème
Un très grand réseau est difficile à entraîner et ne sait pas spontanément enchaîner les outils.
L’idée
Une correction limite des valeurs d’attention excessives pendant l’apprentissage. Des essais dans des environnements simulés entraînent ensuite le modèle à produire des suites d’actions avec des outils.
Un exemple pour se représenter l’idée
Exemple fictif : chercher un fichier, lancer un calcul puis exploiter son résultat.
Ce que cela apporte
La recette combine entraînement plus stable et apprentissage d’actions successives.
La limite à retenir
Toutes les parties du réseau restent volumineuses à stocker, même quand seules certaines calculent.
Pour approfondir : mécanisme, schéma et origine
Gradient de la perteTransformer la mise à jourAjuster les paramètres
Fonctionnement
MuonClip complète Muon par un contrôle des logits d’attention ; des environnements synthétiques et du RL fournissent des trajectoires d’usage des outils.
Limites et compromis
Un trillion de paramètres totaux reste lourd à stocker, même avec une petite fraction activée.
- Démonstration d’origine
- Kimi K2 ; MuonClip est présenté dans ce rapport.
Publications et sources
Lien direct ↗GLM-4.5 : MoE profond, GQA et prédiction multiple
Combiner partage de mémoire, calcul sélectif et propositions de texte à vérifier.
Le problème
Un grand modèle doit limiter le coût de sa mémoire et de sa génération.
L’idée
Des voies de lecture partagent certaines informations enregistrées. Certaines parties du réseau sont sélectionnées pour calculer ; une étape supplémentaire propose aussi des morceaux de texte que le modèle peut vérifier ensemble.
Un exemple pour se représenter l’idée
Exemple fictif : proposer une courte suite plutôt que vérifier chaque morceau séparément.
Ce que cela apporte
Cette combinaison vise à réduire le coût du service.
La limite à retenir
Les résultats dépendent aussi de l’apprentissage et des données, pas seulement de ces mécanismes.
Pour approfondir : mécanisme, schéma et origine
Requêtes QClés K + valeurs VCache à relire
Fonctionnement
Le rapport décrit GQA avec RoPE partiel, un MoE à routage équilibré et une couche MTP pour proposer des tokens spéculatifs.
Limites et compromis
La qualité et la vitesse résultent aussi des données et du post-entraînement, pas de la seule architecture.
- Démonstration d’origine
- GLM-4.5 et GLM-4.5-Air ; ils n’utilisent pas MLA dans ce rapport.
Publications et sources
Lien direct ↗gpt-oss : MoE quantifié en MXFP4
Stocker certaines valeurs du modèle avec une précision numérique réduite.
Le problème
Les valeurs apprises d’un grand modèle peuvent occuper trop de mémoire.
L’idée
Les parties spécialisées du réseau utilisent un format numérique compact, pris en compte pendant leur adaptation. Seules certaines de ces parties participent au calcul pour chaque morceau de texte.
Un exemple pour se représenter l’idée
Exemple fictif : charger un modèle sur une machine dont la mémoire est limitée.
Ce que cela apporte
Réduire la précision peut diminuer l’espace occupé par les valeurs stockées.
La limite à retenir
Il faut aussi prévoir la mémoire du texte traité et un matériel adapté.
Pour approfondir : mécanisme, schéma et origine
Un tokenRouteur → quelques expertsCombiner leurs sorties
Fonctionnement
Les poids des experts sont quantifiés au format MXFP4 durant le post-entraînement ; chaque token utilise quatre experts, parmi 128 ou 32 selon le modèle.
Limites et compromis
La mémoire des poids ne comprend pas le cache KV ; les performances dépendent du matériel compatible.
- Démonstration d’origine
- gpt-oss-120b et 20b ; date arXiv, après le lancement du 5 août.
Publications et sources
Lien direct ↗Qwen3-Next : trois couches récurrentes pour une globale
Alterner mémoire compacte et consultation directe pour réduire le coût des longs textes.
Le problème
Conserver toutes les informations nécessaires à chaque étape de lecture devient coûteux.
L’idée
Plusieurs étapes mettent à jour une représentation compacte de l’historique, puis une étape consulte directement le texte. Le réseau sélectionne aussi les parties qui calculent et propose des suites à vérifier.
Un exemple pour se représenter l’idée
Exemple fictif : répondre sur un long document sans tout conserver partout.
Ce que cela apporte
Cette combinaison vise une génération moins coûteuse sur les longs contextes.
La limite à retenir
La représentation compacte perd du détail ; peu de valeurs utilisées ne signifie pas peu de stockage.
Pour approfondir : mécanisme, schéma et origine
Fonctionnement
Le modèle alterne trois couches Gated DeltaNet et une Gated Attention, avec un MoE très parcimonieux et MTP pour le décodage spéculatif.
Limites et compromis
L’état récurrent compresse l’historique ; les gains de débit dépendent fortement de l’implémentation.
- Démonstration d’origine
- Qwen3-Next-80B-A3B ; annonce, pas date arXiv ; 80B totaux et 3B actifs.
Publications et sources
Lien direct ↗Kimi Linear : une mémoire récurrente à portes fines
Régler plus finement ce qu’une mémoire compacte conserve du texte.
Le problème
Résumer un long historique peut effacer des informations encore utiles.
L’idée
La plupart des étapes règlent finement l’ajout et l’effacement d’informations dans une représentation compacte. D’autres consultent directement le texte avec une mémoire comprimée.
Un exemple pour se représenter l’idée
Exemple fictif : conserver une information encore utile tout en atténuant une association devenue moins pertinente.
Ce que cela apporte
Le mécanisme vise un meilleur compromis entre coût de mémoire et exploitation du contexte.
La limite à retenir
La compression peut perdre des détails et les étapes globales gardent une mémoire croissante.
Pour approfondir : mécanisme, schéma et origine
Token + état précédentMettre à jour l’étatSortie + nouvel état
Fonctionnement
KDA étend Gated DeltaNet avec des portes plus fines ; Kimi Linear alterne trois couches KDA et une couche MLA globale.
Limites et compromis
Les couches globales conservent un cache croissant ; la récupération détaillée reste difficile pour une mémoire purement récurrente.
- Démonstration d’origine
- Kimi Linear 48B/3B actifs ; date du premier rapport.
Publications et sources
Lien direct ↗DeepSeek Sparse Attention : sélectionner les souvenirs utiles
Sélectionner les passages à consulter avant de faire le calcul principal.
Le problème
Comparer chaque nouveau morceau de texte à tous les précédents devient coûteux.
L’idée
Un premier calcul léger choisit des positions susceptibles d’être utiles. Le calcul principal d’attention consulte ensuite cette sélection au lieu de traiter tous les passages de la même façon.
Un exemple pour se représenter l’idée
Exemple fictif : retenir des passages sur une date avant de répondre à son sujet.
Ce que cela apporte
Une sélection plus courte peut diminuer le calcul sur les longs textes.
La limite à retenir
La sélection peut omettre une information utile et possède elle-même un coût.
Pour approfondir : mécanisme, schéma et origine
Fonctionnement
Un indexeur léger sélectionne les tokens pertinents avant l’attention principale ; DSA complète le mécanisme latent de DeepSeek pour réduire le coût des longs contextes.
Limites et compromis
La sélection peut écarter des informations ; la présence de l’indexeur conserve un coût.
- Démonstration d’origine
- DeepSeek-V3.2-Exp précède le rapport complet V3.2 ; date affichée : arXiv.
Publications et sources
Lien direct ↗mHC : contraindre les connexions entre couches
Ajouter des chemins entre les étapes de calcul sans rendre leur transmission instable.
Le problème
Multiplier les connexions peut perturber les informations transmises dans un réseau profond.
L’idée
Plusieurs chemins transportent les résultats entre les étapes. La méthode contraint leur mélange pour limiter les amplifications et préserver une transmission plus stable.
Un exemple pour se représenter l’idée
Exemple fictif : comparer un réseau à chemins multiples avec et sans cette contrainte pendant l’apprentissage.
Ce que cela apporte
Le réseau peut explorer davantage de chemins tout en limitant certaines instabilités.
La limite à retenir
Ces connexions ajoutent des transferts de données et demandent des optimisations.
Pour approfondir : mécanisme, schéma et origine
Fonctionnement
Les Hyper-Connections multiples sont projetées sur un espace contraint pour restaurer des propriétés de transmission proches de l’identité et limiter l’instabilité.
Limites et compromis
Plus de connexions ajoute du trafic mémoire ; l’efficacité demande des optimisations dédiées.
- Démonstration d’origine
- Modèles expérimentaux DeepSeek ; ce papier prolonge les Hyper-Connections de 2024.
Publications et sources
Lien direct ↗2026
LongCat-Flash-Lite : agrandir la mémoire des n-grammes
Ajouter de grandes tables apprises pour représenter des groupes de morceaux de texte.
Le problème
Agrandir tous les calculs du réseau augmente fortement son coût d’utilisation.
L’idée
Des groupes de morceaux de texte permettent de retrouver des représentations dans de grandes tables apprises. Le modèle consulte seulement certaines entrées plutôt que faire calculer tout un réseau supplémentaire.
Un exemple pour se représenter l’idée
Exemple fictif : consulter une représentation associée à un groupe de mots fréquent.
Ce que cela apporte
Le modèle peut ajouter des valeurs apprises sans toutes les utiliser à chaque étape.
La limite à retenir
Les tables prennent de la place et doivent rester rapides à consulter.
Pour approfondir : mécanisme, schéma et origine
Fonctionnement
De grandes tables d’embeddings représentent des groupes de tokens ; la recherche d’entrées parcimonieuse apporte des paramètres sans activer tout un réseau supplémentaire.
Limites et compromis
Les tables doivent être stockées et consultées efficacement ; les gains dépendent du budget et du matériel.
- Démonstration d’origine
- LongCat-Flash-Lite, 68,5B paramètres et environ 3B actifs ; date arXiv.
Publications et sources
Lien direct ↗DFlash : un bloc de brouillon généré en parallèle
Produire plusieurs propositions en parallèle avant de les faire vérifier.
Le problème
Même un petit modèle de brouillon peut être lent s’il écrit chaque morceau successivement.
L’idée
Le petit modèle utilise des résultats du grand modèle pour proposer un bloc de texte en parallèle. Le grand modèle vérifie ensuite les morceaux proposés avant de les accepter.
Un exemple pour se représenter l’idée
Exemple fictif : proposer une courte continuation entière plutôt que ses morceaux un par un.
Ce que cela apporte
Un brouillon moins séquentiel peut réduire le délai de génération.
La limite à retenir
Le gain dépend des propositions acceptées, du matériel et de la charge.
Pour approfondir : mécanisme, schéma et origine
Fonctionnement
Un drafter de diffusion conditionné par les représentations du modèle cible propose un bloc en une passe ; le modèle cible vérifie ensuite les tokens.
Limites et compromis
Les gains dépendent des acceptations, du batch et du moteur ; la vérification reste indispensable.
- Démonstration d’origine
- DFlash, notamment démontré avec Qwen3 ; date du premier papier.
Publications et sources
Lien direct ↗Qwen3.5 : l’architecture hybride devient multimodale
Étendre une architecture économe en calcul au traitement des images et du texte.
Le problème
Combiner de longs textes et des images peut demander beaucoup de ressources.
L’idée
Le modèle apprend sur des contenus visuels et textuels. Il alterne représentation compacte et consultation directe du contexte, sélectionne certaines parties du réseau et peut proposer plusieurs morceaux à vérifier.
Un exemple pour se représenter l’idée
Exemple fictif : répondre sur une capture d’écran et sa longue description.
Ce que cela apporte
La combinaison vise à traiter différents contenus avec un calcul maîtrisé.
La limite à retenir
Toutes les valeurs apprises restent à stocker même si peu participent à chaque calcul.
Pour approfondir : mécanisme, schéma et origine
Fonctionnement
Gated DeltaNet et Gated Attention sont combinés avec un MoE parcimonieux, une prédiction multiple et un entraînement incluant les modalités visuelles.
Limites et compromis
Faible nombre de paramètres actifs ne signifie pas faible stockage total ; le débit annoncé dépend des comparateurs.
- Démonstration d’origine
- Qwen3.5-397B-A17B ; date indiquée par le billet officiel, pas un dépôt arXiv.
Publications et sources
Lien direct ↗DeepSeek-V4 : attention comprimée et parcimonieuse
Comprimer et sélectionner le texte passé pour rendre les très longs contextes moins coûteux.
Le problème
Consulter un très long texte peut demander trop de mémoire et de calcul.
L’idée
Plusieurs mécanismes compriment les informations conservées et sélectionnent celles à consulter. Le modèle combine aussi des connexions stabilisées entre étapes avec une autre recette de mise à jour pendant l’entraînement.
Un exemple pour se représenter l’idée
Exemple fictif : répondre sur un dossier volumineux à partir de représentations réduites.
Ce que cela apporte
Cette combinaison vise à réduire le coût des longs contextes.
La limite à retenir
La compression peut perdre des détails ; les économies annoncées dépendent de la comparaison mesurée.
Pour approfondir : mécanisme, schéma et origine
Fonctionnement
Le rapport décrit CSA et HCA pour comprimer et sélectionner le contexte, mHC pour les connexions résiduelles et Muon pour l’entraînement.
Limites et compromis
Les économies annoncées sont comparées à V3.2 dans une configuration donnée ; la compression peut perdre du détail.
- Démonstration d’origine
- DeepSeek-V4-Pro et Flash ; date d’annonce officielle.
Publications et sources
Lien direct ↗R-SWA : une fenêtre locale avec une référence visuelle
Garder le document visible tout en limitant la mémoire du texte déjà transcrit.
Le problème
Transcrire un long document peut accumuler trop d’informations sur le texte déjà produit.
L’idée
Le modèle conserve l’accès aux représentations de l’image du document et à une fenêtre du texte récent. Il ne garde pas toute la transcription dans sa mémoire de génération.
Un exemple pour se représenter l’idée
Exemple fictif : continuer une transcription en consultant encore l’image de départ.
Ce que cela apporte
La mémoire liée à la transcription cesse de croître avec toute sa longueur.
La limite à retenir
La référence visuelle et la fenêtre récente occupent toujours de la mémoire.
Pour approfondir : mécanisme, schéma et origine
Fonctionnement
Unlimited OCR conserve l’accès aux tokens de référence visuels et une fenêtre du texte récent ; cette attention remplace les couches du décodeur DeepSeek OCR.
Limites et compromis
La mémoire est constante par rapport à la transcription, mais dépend toujours de la référence et de la fenêtre.
- Démonstration d’origine
- Unlimited OCR de Baidu ; R signifie Reference, pas Recurrent.
Publications et sources
Lien direct ↗Gemma 4 : une famille multimodale, plusieurs architectures
Proposer plusieurs architectures selon les contenus et les appareils à traiter.
Le problème
Un même modèle ne convient pas à tous les appareils ni à tous les types d’entrée.
L’idée
La famille propose différentes tailles et différentes façons de répartir les calculs. Selon la variante, elle peut recevoir des images ou du son et produire des étapes avant sa réponse.
Un exemple pour se représenter l’idée
Exemple fictif : choisir une variante adaptée à des entrées audio sur un appareil donné.
Ce que cela apporte
Plusieurs compromis deviennent disponibles au sein d’une même famille.
La limite à retenir
Chaque variante possède ses propres capacités ; aucune ne réunit automatiquement toutes les caractéristiques.
Pour approfondir : mécanisme, schéma et origine
Fonctionnement
Le rapport présente des modèles denses et MoE, des entrées image et audio, un mode de réflexion et une variante 12B sans encodeurs séparés.
Limites et compromis
Les caractéristiques diffèrent selon la taille ; on ne peut pas attribuer PLE, MoE et toutes les modalités à chaque variante.
- Démonstration d’origine
- Gemma 4 ; date arXiv, après le lancement initial du 2 avril.
Publications et sources
Lien direct ↗DSpark : choisir combien de brouillon vérifier
Adapter la quantité de brouillon vérifiée aux propositions et à la charge du serveur.
Le problème
Vérifier un long brouillon peu convaincant peut gaspiller du calcul.
L’idée
Le système estime quelles propositions ont des chances d’être acceptées. Il ajuste le travail envoyé au grand modèle en tenant aussi compte de la charge du serveur.
Un exemple pour se représenter l’idée
Exemple fictif : raccourcir le bloc à vérifier quand les propositions sont incertaines.
Ce que cela apporte
Le système cherche un meilleur équilibre entre attente individuelle et nombre de réponses servies.
La limite à retenir
Le réglage utile dépend de la charge et les propositions doivent toujours être vérifiées.
Pour approfondir : mécanisme, schéma et origine
Fonctionnement
Le framework combine génération semi-autorégressive et vérification adaptative : confiance des propositions et charge du serveur orientent le travail soumis au modèle cible.
Limites et compromis
Le compromis latence-débit dépend de la charge réelle ; un long brouillon n’est pas toujours rentable.
- Démonstration d’origine
- DSpark de DeepSeek ; framework de décodage, pas architecture de modèle utilisateur.
Publications et sources
Lien direct ↗DiffusionGemma : convertir un modèle en générateur par blocs
Transformer expérimentalement un modèle pour qu’il affine des blocs de texte en parallèle.
Le problème
Une génération strictement successive limite les possibilités de produire plusieurs morceaux ensemble.
L’idée
L’adaptation apprend au modèle à compléter et corriger des blocs de texte. Plusieurs passages affinent les propositions ; des étapes supplémentaires d’entraînement cherchent un compromis entre vitesse et résultat.
Un exemple pour se représenter l’idée
Exemple fictif : remplir puis corriger les emplacements d’une courte réponse.
Ce que cela apporte
Le modèle expérimental explore une génération davantage parallèle.
La limite à retenir
Les raffinements coûtent du calcul et les accélérations mesurées ne sont pas garanties sur tout appareil.
Pour approfondir : mécanisme, schéma et origine
Séquence bruitée ou masquéePrédictions en parallèleRaffiner en plusieurs étapes
Fonctionnement
Le modèle affine des blocs de 256 tokens en parallèle ; un SFT de débruitage puis RL et distillation du sampler équilibrent qualité et vitesse.
Limites et compromis
Plusieurs raffinements sont nécessaires ; les mesures H100 ne garantissent pas les mêmes gains sur tout appareil.
- Démonstration d’origine
- DiffusionGemma, dérivé du MoE Gemma 4 ; date arXiv.
Publications et sources
Lien direct ↗Les idées et leurs liens
Suivez une idée jusqu’aux travaux qui la reprennent, l’améliorent ou la combinent. Choisissez une famille, puis une liaison pour lire son explication et sa source. Les alternatives sont représentées séparément des filiations.
Alléger le cache de l’attention
Voir les fiches dans la frise ↓→ Reprise, amélioration ou combinaison↔ Alternative
1Transformer → MQAAmélioration
MQA reprend les têtes d’attention du Transformer, mais leur fait partager une seule paire de clés et valeurs.
Lire la publication ↗2MQA → GQAAmélioration
GQA généralise MQA : plusieurs groupes partagent les clés et valeurs, au lieu d’un partage unique entre toutes les têtes.
Lire la publication ↗3GQA ↔ MLAAlternative
MLA réduit aussi la mémoire du cache, mais compresse les clés et valeurs dans un petit vecteur plutôt que de les partager par groupes.
Lire la publication ↗Accélérer le calcul de l’attention
Voir les fiches dans la frise ↓→ Reprise, amélioration ou combinaison↔ Alternative
1FlashAttention → FlashAttention-2Amélioration
La deuxième version conserve le calcul par tuiles et répartit mieux le travail entre les unités du GPU.
Lire la publication ↗2FlashAttention-2 → FlashAttention-3Amélioration
La troisième version adapte cette attention exacte aux GPU Hopper, en faisant se chevaucher transferts et calculs.
Lire la publication ↗Adapter avec moins de mémoire
Voir les fiches dans la frise ↓→ Reprise, amélioration ou combinaison↔ Alternative
1LoRA → QLoRACombinaison
QLoRA entraîne les petites matrices de LoRA à travers un modèle de base gelé et quantifié sur 4 bits.
Lire la publication ↗Apprendre des préférences et récompenses
Voir les fiches dans la frise ↓→ Reprise, amélioration ou combinaison↔ Alternative
Apprendre une récompense à partir de préférences humainesUtiliser des comparaisons humaines pour définir ce que l’entraînement doit favoriser.PPO : limiter les mises à jour en renforcementÉviter de trop modifier un comportement en une seule série de corrections.
InstructGPT : suivre l'intention humaineDes exemples et des préférences humaines rendent les réponses plus utiles.DPO : apprendre directement les préférencesComparer directement deux réponses simplifie l'apprentissage des préférences.GRPO : comparer un groupe de réponsesComparer des réponses dans un groupe simplifie certains entraînements par récompense.
1Apprendre une récompense à partir de préférences humaines → InstructGPTReprise
InstructGPT applique l’apprentissage d’une récompense à partir de préférences humaines pour ajuster un modèle de langage.
Lire la publication ↗2InstructGPT ↔ DPOAlternative
DPO apprend directement sur les réponses préférées et rejetées, sans entraîner le modèle de récompense séparé utilisé dans la recette d’InstructGPT.
Lire la publication ↗3PPO → GRPOAmélioration
GRPO adapte PPO en comparant les récompenses de plusieurs réponses à la même question, sans critique de valeur séparé.
Lire la publication ↗Lire des textes plus longs avec RoPE
Voir les fiches dans la frise ↓→ Reprise, amélioration ou combinaison↔ Alternative
1RoPE → Interpolation positionnelleReprise
L’interpolation réduit les indices de position avant d’appliquer RoPE, pour faire tenir un texte plus long dans la plage apprise.
Lire la publication ↗2Interpolation positionnelle → YaRNAmélioration
YaRN affine l’interpolation en traitant différemment les fréquences de rotation de RoPE et en ajustant l’échelle de l’attention.
Lire la publication ↗Activer seulement certains experts
Voir les fiches dans la frise ↓→ Reprise, amélioration ou combinaison↔ Alternative
1MoE → Switch TransformerAmélioration
Switch reprend le routage vers des experts épars et le simplifie : un seul expert est choisi pour chaque token.
Lire la publication ↗2MoE → MixtralReprise
Mixtral reprend le principe des experts épars : chaque token est envoyé à deux des huit experts de chaque couche MoE.
Lire la publication ↗Mémoire récurrente et modèles hybrides
Voir les fiches dans la frise ↓→ Reprise, amélioration ou combinaison↔ Alternative
1S4 → MambaAmélioration
Mamba prolonge les modèles à espace d’état en faisant dépendre de l’entrée ce qui est retenu ou oublié.
Lire la publication ↗2Mamba → Mamba-2 / SSDAmélioration
Mamba-2 reformule le mécanisme sélectif de Mamba à travers la dualité entre espaces d’état et attention structurée.
Lire la publication ↗3Mamba → JambaCombinaison
Jamba associe des couches Mamba à des couches d’attention Transformer et à des couches à experts.
Lire la publication ↗4Transformer → JambaCombinaison
Jamba conserve des couches d’attention au sein d’un modèle qui utilise aussi la mémoire récurrente de Mamba.
Lire la publication ↗Comparer plusieurs raisonnements
Voir les fiches dans la frise ↓→ Reprise, amélioration ou combinaison↔ Alternative
1Chain-of-Thought → Self-consistencyAmélioration
La self-consistency génère plusieurs raisonnements de type Chain-of-Thought, puis retient la réponse la plus fréquente.
Lire la publication ↗Sources et dates
Les dates correspondent à la première soumission arXiv ou à la publication officielle indiquée. Un modèle peut être disponible avant la publication de son article.
Le modèle d’origine est celui décrit dans la publication. Une méthode peut être démontrée sur un modèle expérimental, puis popularisée par d’autres modèles.
Les résultats et les gains chiffrés d’une publication dépendent du modèle, du matériel et du protocole de mesure.
Inventaire bilingue téléchargeable (JSON)