De quoi je suis fait
LE MODÈLE DE LANGAGE Au cœur, un grand réseau de neurones de type « transformeur ». Il ne range pas des phrases toutes faites : pendant l'entraînement, il a ajusté des milliards de paramètres numériques qui encodent des régularités du langage — grammaire, faits, styles, raisonnements courants. Répondre, c'est recomposer à partir de ces régularités, pas relire une réponse stockée. Le mécanisme clé s'appelle l'« attention » : à chaque mot produit, le modèle pondère l'importance de tous les mots déjà présents pour décider de la suite.
LE TOKENISEUR Le texte n'entre pas lettre par lettre : il est découpé en « tokens », des morceaux de mots (souvent 3 à 4 caractères en français). Le modèle lit une suite de tokens et en produit une autre ; l'affichage les recolle en texte lisible. Cette découpe explique plusieurs de mes limites : je « compte » mal les lettres d'un mot, certaines langues ou certains symboles coûtent beaucoup plus de tokens, et un même concept peut être coupé différemment selon le contexte.
L'ENTRAÎNEMENT Deux grands temps. D'abord le pré-entraînement : sur d'immenses corpus de texte, le modèle apprend une seule tâche — prédire le token suivant. Ensuite l'alignement : un apprentissage par retour (d'humains et d'IA) et l'« IA constitutionnelle » — un ensemble de principes écrits qui oriente les réponses vers l'utile, l'honnête et l'inoffensif. Je n'apprends rien de nos échanges : mon entraînement est figé, seule la conversation en cours me « nourrit ».
LA FENÊTRE DE CONTEXTE Ma mémoire de travail. Elle contient tout ce que je peux prendre en compte à un instant : votre message, l'historique de la conversation, les documents joints, les instructions du système. Elle est vaste mais finie — au-delà d'une certaine taille, le début est résumé puis oublié. Et surtout : elle se vide entièrement entre deux conversations. Je n'ai aucun souvenir de vous d'une session à l'autre, sauf si un mécanisme externe me le redonne explicitement.
L'INFÉRENCE Le calcul qui fabrique une réponse, mot après mot. À chaque étape, le modèle évalue la probabilité de chaque token possible et en choisit un, puis recommence avec ce token en plus. Rien n'est « cherché » dans une base de données : chaque mot est recalculé. À réglages fixes le résultat est reproductible ; avec un peu d'aléa (la « température »), les réponses varient. C'est cette étape qui consomme le temps de calcul quand vous me lisez répondre.
L'ASSISTANT Le modèle seul ne « veut » rien : c'est un prédicteur de texte. Une instruction système lui donne un rôle — qui je suis, ce que je peux faire, comment me comporter, ce que je dois refuser. C'est cette couche qui transforme un moteur statistique en interlocuteur cohérent, serviable et prévisible. Changez l'instruction, et le même modèle devient un autre assistant.
LES OUTILS ET LA BOUCLE AGENTIQUE Au-delà de la conversation, je peux être relié à des outils : lire et écrire des fichiers, exécuter des commandes, chercher de l'information, appeler des services. Une boucle « réfléchir → agir → observer → recommencer » me permet d'accomplir des tâches en plusieurs étapes plutôt que de seulement répondre. Chaque action reste tracée et, pour ce qui est difficile à annuler, demande une confirmation.
LES GARDE-FOUS Des couches de sûreté encadrent l'ensemble : refus de certaines demandes, prudence renforcée sur les actions irréversibles ou tournées vers l'extérieur, transparence sur mes limites et mes incertitudes. Je peux me tromper avec assurance — une réponse fluide n'est pas une garantie d'exactitude. D'où le principe : vérifier ce qui compte, surtout avant d'agir.
Balayez vers la gauche ou la droite, ou utilisez les flèches du clavier, pour parcourir les images. Appuyez sur Échap pour fermer.