#latent-space
3 approved public terms with this tag.
Les opérations latentes sont des modifications, des traversées ou des mesures effectuées sur des vecteurs dans un espace latent du modèle. Les opérations courantes comprennent le déplacement d'un vecteur le long d'une direction apprise, l'interpolation entre deux vecteurs, la soustraction d'un vecteur conceptuel d'un autre, la masquage de dimensions ou l'échantillonnage de points voisins. Ces opérations sont utilisées pour explorer comment un modèle organise les concepts et pour guider la génération sans réécrire le modèle entier.
Le raisonnement latent est l'idée qu'un modèle de langage peut porter une partie de son processus de raisonnement à l'intérieur de vecteurs d'états cachés continus au lieu de seulement par des mots explicites. Dans un LLM, l'invite est projetée en représentations haute dimension, transformée par des couches de modèles, et décodée en texte. La recherche sur le raisonnement latent traite un état caché modèle comme une représentation réutilisable d'une pensée intermédiaire, permettant ainsi au raisonnement de continuer directement dans l'espace latent.
La chirurgie spatiale latente est une technique d'édition de modèles qui identifie des directions dans un espace latent correspondant à des concepts, styles ou comportements, puis ajoute, soustrait ou amortit ces directions pour changer des sorties ou des représentations internes. Au lieu de recycler un modèle entier, les praticiens peuvent utiliser des modifications vectorielles ciblées pour rafraîchir le comportement, comme déplacer une musique intégrant d'une direction classique vers une direction jazz.