ÉcritsEssai
La profondeur est un désaccord
Quand une recommandation d’IA était accompagnée d’une justification générée, les évaluateurs la suivaient plus volontiers. La mesure de la distance d’une étoile par Bessel, en 1838, suggère une solution : un second point de vue, pris depuis un autre endroit. Pour le travail avec l’IA, cela signifie un deuxième modèle issu d’une autre famille, et assez d’indépendance entre les deux pour qu’ils puissent diverger.
Dans cette page
OuvertureL’étoile qui refusait de livrer sa distanceDeux yeux, une seule imageGarder la ligne de baseSourcesLe jugement fait rarement défaut faute d’un instrument plus précis. Le plus souvent, il fait défaut faute d’une deuxième vue, prise d’ailleurs. C’est la thèse de cet essai, et elle est plus ancienne que les machines qui nous inquiètent aujourd’hui.
Une expérience sur le terrain rend cette inquiétude bien nette. Des chercheurs ont demandé à 228 participants, des évaluateurs de MIT Solve et des étudiants, d’examiner des candidatures provenant d’un lot de 48 dossiers, en prenant les évaluations d’un comité d’experts comme référence. L’expérience comparait le tri sans aide à des recommandations d’IA présentées seules ou accompagnées d’une justification générée. Avec la justification, les évaluateurs étaient plus enclins à rejeter des candidatures que le comité d’experts aurait retenues. L’article de la Harvard Business Review qui rend compte de l’étude1 en tire une conclusion inconfortable : l’explication, censée aider les gens à vérifier la machine, les a aidés à cesser de vérifier.
Je reconnais cette tentation dans mon propre travail. Je passe mes journées à faire tourner des agents d’IA, et un agent rend rarement un résultat nu. Il livre un résultat accompagné d’un raisonnement formulé avec aisance en un paragraphe, et ce paragraphe prend des allures de preuve. C’est un seul œil qui décrit ce qu’il a vu.
L’étoile qui refusait de livrer sa distance
Pendant deux siècles après Galilée, les astronomes savaient comment mesurer la distance d’une étoile, sans jamais y parvenir. Une étoile devrait se déplacer très légèrement par rapport aux étoiles situées derrière elle, à mesure que la Terre tourne autour du Soleil, et ce déplacement était trop petit pour que quiconque le saisisse.
Friedrich Bessel l’a saisi en 1838. À l’aide d’un héliomètre de précision, il a mesuré 61 Cygni par rapport à des étoiles voisines en arrière-plan, encore et encore, pendant plus d’un an, et il a trouvé la petite oscillation que l’orbite de la Terre imprimait à sa position. De cette oscillation, il a tiré une distance d’environ dix années-lumière. La valeur admise aujourd’hui est d’un peu plus de onze années-lumière. Son instrument comptait, et ce à quoi servait l’instrument comptait tout autant : comparer la même étoile depuis les deux bouts d’une très longue ligne de base. Si bon que soit l’instrument, un seul point de vue ne rend qu’un ciel plat.
Nous portons le même principe dans notre tête. L’essayiste anglais G.K. Chesterton, en décrivant ce qui garde le commun des mortels sain d’esprit, disait que sa vision est « stéréoscopique, comme sa vue physique : il voit deux images différentes à la fois, et pourtant il n’en voit que mieux ». Fermer un œil retire une source de profondeur, alors que le monde reste parfaitement net. C’est l’état d’un évaluateur qui lit une explication pleine d’assurance. Rien ne paraît flou, et pourtant quelque chose a disparu.
Deux yeux, une seule image
Nous pouvons donc faire d’une deuxième vue une étape habituelle de la relecture du travail d’un agent. Les mots importants sont autre famille. Dans une étude de 2025 sur les erreurs corrélées2, les modèles d’un même fournisseur, ou fondés sur la même architecture de base, avaient tendance à commettre les mêmes erreurs, et les modèles juges avaient tendance à surestimer l’exactitude de modèles plus faibles, surtout ceux de leur propre fournisseur ou de leur propre famille. Un modèle qui note son frère, c’est un œil qui se donne raison.
L’ordre compte autant que la famille. Un deuxième modèle qui lit la première réponse avant de réfléchir se contente surtout de la vérifier au lieu d’élaborer la sienne. Nous donnons d’abord au deuxième modèle la tâche d’origine et les documents sources, nous le laissons se forger son propre avis, et seulement ensuite nous lui montrons la première réponse en lui demandant de trouver ce qui cloche.
Deux vues peuvent aussi bâtir quelque chose ensemble. Dans le système en couches de Together AI, les réponses de modèles différents ont davantage apporté que les réponses répétées d’un seul modèle3. Cette étude fusionnait les réponses en une seule. Ma propre pratique ajoute une étape avant toute fusion : je lis les endroits où les deux familles divergent, parce que le désaccord me dit quoi vérifier ensuite.
Il y a un hic, et la même étude sur les erreurs corrélées le nomme : « les modèles plus grands et plus exacts ont des erreurs fortement corrélées, même avec des architectures et des fournisseurs distincts ». Deux modèles solides issus de maisons différentes peuvent tout de même partager un angle mort. Les foules se comportent de la même façon. Quand les gens pouvaient voir les estimations des autres, des chercheurs ont constaté4 que la foule perdait la « diversité des opinions » qui faisait sa sagesse. Un deuxième œil n’aide que tant qu’il se tient ailleurs, alors nous continuons de vérifier que c’est bien le cas.
C’est la façon utile de lire l’actualité de cette semaine. Mistral affirme que la préversion publique de son Large 4 a été entraînée à partir de zéro sur 3 800 GPU NVIDIA Grace Blackwell, dans ses propres centres de données européens5, et promet les poids du modèle d’ici la fin du mois. Un modèle construit dans un autre lieu, par une autre équipe, est un candidat au rôle de deuxième lecteur. Quant à savoir s’il attrape les erreurs que notre modèle actuel laisse passer, c’est ce que nous découvrons en le mettant à l’essai sur notre propre travail.
Garder la ligne de base
Pour un dirigeant qui ne fait pas tourner d’agents, la transposition est directe. Le deuxième lecteur d’une recommandation d’IA devrait se tenir ailleurs : une autre discipline, d’autres incitatifs, une autre famille de modèles, une autre décennie d’expérience. Un collègue qui fait confiance au même outil pour les mêmes raisons risque de partager nos angles morts, alors il vaut la peine de lui demander ce qu’il a vérifié par lui-même.
Le remède ne coûte presque rien, et il est ancien. Que la décision se prenne dans une salle du conseil à Montréal ou dans une jeune entreprise de deux personnes, nous pouvons commencer lundi avec une décision qui compte ce mois-ci. Nous la soumettons à deux modèles de deux maisons différentes, sans qu’aucun voie la réponse de l’autre, et nous lisons les deux réponses côte à côte avant de lire l’une ou l’autre des explications. Puis nous choisissons une affirmation sur laquelle ils sont en désaccord et nous la vérifions nous-mêmes à partir des éléments de preuve d’origine, avant que quiconque signe.
Écrit par Herman Geldenhuys à Montréal.
Sources
- hbr.org, L’article de la Harvard Business Review qui rend compte de l’étude
- arXiv, étude de 2025 sur les erreurs corrélées
- arXiv, les réponses de modèles différents ont davantage apporté que les réponses répétées d’un seul modèle
- europepmc.org, des chercheurs ont constaté
- mistral.ai, entraînée à partir de zéro sur 3 800 GPU NVIDIA Grace Blackwell, dans ses propres centres de données européens
À lire ensuite
Le mille en quatre minutes
En une semaine d’octobre, les mathématiques produites par l’IA ont laissé un camp furieux et un autre en pleine fête. La meilleure nouvelle ne venait ni de l’un ni de l’autre : une machine venait de repousser d’un cran une vieille limite et, en quelques heures, des gens bâtissaient déjà sur ce résultat, certains avec leurs propres machines.
Écartement normal
Une entreprise est souveraine en IA quand elle possède les jointures entre son travail et le modèle : ses données, sa propre mesure du travail bien fait, la mémoire de ses agents et l’interface. Cette année a montré ce qu’il en coûte de les louer, et la première jointure se reprend en une soirée.
Ralentissez, dit la voiture en tête
Les laboratoires de pointe ont demandé à être ralentis, et leurs plus grands rivaux ont accepté en quelques heures. Il faut lire ce qu’ils ont accepté : un ralentissement plafonné à la mesure de leur avance, et une avance protégée par le règlement.