Visualiseur de prédiction de mots IA

Comment fonctionne la prédiction de mots ?

Les modèles d'IA générative comme GPT, Claude ou LLaMA analysent les mots que vous avez déjà saisis pour prédire ceux qui pourraient suivre. Pour ce faire, ils utilisent :

Probabilités statistiques : L'IA calcule quels mots sont les plus susceptibles de suivre en fonction de son entraînement sur des milliards de textes.
Contexte : Elle prend en compte non seulement le dernier mot, mais l'ensemble du contexte précédent.
Patterns linguistiques : Elle reconnaît les structures grammaticales et les expressions courantes.

Analogie : Le jeu de devinettes
Imaginez que vous jouez à un jeu où vous devez deviner la suite d'une histoire. Plus vous avez entendu d'histoires similaires dans votre vie, plus vous serez capable de prédire correctement la suite. L'IA fonctionne de la même manière, mais elle a "lu" des milliards de textes pour apprendre les patterns.

Exemple : Si vous écrivez "Le soleil se lève à l'", l'IA prédira très probablement "est" car cette expression est extrêmement courante dans les textes sur lesquels elle a été entraînée.

Le mécanisme d'attention

Les modèles modernes utilisent un mécanisme appelé "attention" qui permet à l'IA de se concentrer sur différentes parties du texte précédent avec différentes intensités :

Attention sélective : L'IA "prête attention" aux mots les plus pertinents pour la prédiction actuelle.
Pondération dynamique : Certains mots ou expressions dans votre texte influencent davantage la prédiction que d'autres.
Connexions à longue distance : L'IA peut relier des concepts mentionnés bien plus tôt dans le texte.

Analogie : Le détective attentif
Imaginez un détective qui examine une scène de crime. Il ne regarde pas tous les éléments avec la même intensité. Il se concentre davantage sur les indices pertinents et fait des liens entre eux, même s'ils sont éloignés dans l'espace. De la même façon, le mécanisme d'attention de l'IA "regarde" certains mots plus intensément que d'autres et établit des connexions entre des éléments parfois éloignés dans le texte.

Exemple : Dans la phrase "Marie a acheté un livre. Elle l'a", l'IA fait attention au mot "livre" pour prédire correctement "lu" même si d'autres mots se trouvent entre les deux.

Point clé : C'est ce mécanisme d'attention qui permet aux IA modernes de maintenir la cohérence sur de longs textes et de comprendre des références complexes.

Tokens et vocabulaire

L'IA ne traite pas directement les mots mais des unités appelées "tokens" :

Tokenisation : Le texte est découpé en unités (tokens) qui peuvent être des mots entiers, des parties de mots ou des caractères.
Vocabulaire limité : L'IA possède un vocabulaire fixe de tokens qu'elle connaît (généralement entre 30 000 et 100 000).
Vecteurs d'embeddings : Chaque token est converti en un vecteur numérique qui capture son sens et ses relations avec d'autres mots.
Distribution de probabilité : Pour chaque position, l'IA calcule une probabilité pour chaque token possible de son vocabulaire.

Analogie : La bibliothèque codée
Imaginez une immense bibliothèque où chaque livre est représenté par un code numérique unique qui capture son contenu et ses relations avec d'autres livres. Pour trouver le prochain livre à lire, un bibliothécaire utilise un système qui calcule, en fonction des livres que vous avez déjà lus, quels sont les codes les plus probables pour votre prochain livre. L'IA fonctionne de manière similaire avec les tokens.

Exemple de tokenisation :
Le mot "incroyable" pourrait être divisé en tokens comme "in" + "croy" + "able"
La phrase "J'aime l'IA" pourrait devenir ["J'", "aime", " l'", "IA"]

Application pédagogique : Cette compréhension des tokens explique pourquoi les IA peuvent parfois mal orthographier des mots rares ou techniques - ils sont composés de tokens moins fréquents avec des probabilités plus faibles.