Bengio a dit « paniquez pas ». Le reste de la phrase compte plus.

• 21 septembre, 2026
• Pas de commentaire

Dimanche soir, Yoshua Bengio était assis sur le plateau de Tout le monde en parle, entre le coach du Canadien pis une série documentaire sur la sexualité des aînés. Quatorze minutes. Il a ouvert avec une phrase rassurante : « Il ne faut pas paniquer parce que ça ne sert à rien. » Puis il a enchaîné en disant que les pires scénarios pourraient « peut-être » se produire, et que si ça continue, ça pourrait être catastrophique, parce que c’est la direction qu’on prend.

Quatorze minutes, c’est pas assez pour expliquer pourquoi les deux phrases se contredisent pas. C’est ça que je veux démonter ici.

Je précise d’où je parle. Je fais du marketing numérique depuis 2013, je vends un service de positionnement dans les réponses d’IA, pis je travaille avec ces outils-là tous les jours. J’ai aucun intérêt à faire peur au monde avec l’intelligence artificielle. Mais j’ai passé la soirée dans le rapport que Bengio préside, dans les études qu’il cite, pis dans les critiques de ceux qui pensent qu’il exagère. Tout ce qui suit se ramène à une seule idée :

Plus tu délègues de pouvoir à une machine, plus la preuve que tu peux encore l’arrêter doit être solide. Pis cette preuve-là, c’est à celui qui déploie de la fournir.

Le reste du texte, c’est pourquoi cette phrase tient debout.

Les deux risques qu’on mélange tout le temps

Quand on dit qu’une IA « dépasse l’humain », on parle en réalité de trois choses différentes.

La capacité, d’abord : le système est-il bon dans une tâche. Cette année, les meilleurs modèles ont atteint un niveau médaille d’or aux questions des Olympiades internationales de mathématiques.

L’autonomie ensuite : le système décide-t-il seul de la marche à suivre et exécute-t-il sans qu’un humain valide chaque étape. Un logiciel qui propose une réponse pis un agent qui l’exécute vivent dans deux mondes différents.

Pis l’accès : à quoi le système est branché. Un compte bancaire, un serveur de production, une boîte courriel, un système de paie.

Voici la nuance que j’avais ratée dans ma première version, pis elle est importante. Ces trois variables ne produisent pas un seul risque, elles en produisent deux, qui n’ont ni les mêmes causes ni les mêmes solutions.

La capacité seule suffit à créer un risque de mauvaise utilisation. Le rapport 2026 rapporte qu’un modèle récent a fait mieux que 94 % des experts du domaine pour dépanner des protocoles de virologie, ce qui a poussé plusieurs compagnies à ajouter des protections biologiques. Ce modèle-là n’a aucune autonomie et aucun accès à quoi que ce soit. Il répond à des questions. Le danger vient de la personne devant l’écran. Même chose pour les hypertrucages, pour les courriels de fraude, pour le repérage de vulnérabilités logicielles.

L’autonomie et l’accès créent autre chose : un risque de perte de contrôle. Là, le danger ne vient plus de l’intention de l’utilisateur. Il vient de ce que le système fait de lui-même, avec ce à quoi il est branché, avant que quelqu’un ait eu le temps de regarder.

Confondre les deux mène à des débats stériles. Quelqu’un dit « l’IA est dangereuse », l’autre répond « c’est juste un outil, c’est l’usage qui compte », pis les deux ont raison sur un risque différent. Le rapport international sur la sécurité de l’IA, que Bengio préside avec plus de 100 experts de plus de 30 pays, les traite d’ailleurs dans des sections distinctes.

Faut aussi préciser ce que veut dire « l’humain ». Dépasser une personne n’équivaut pas à dépasser une équipe, une communauté scientifique, un État avec ses lois pis ses banques. Un scénario catastrophe sérieux doit expliquer comment un avantage se convertit en pouvoir réel malgré tout ça. Il peut pas juste le supposer. La plupart des scénarios qui circulent sur les réseaux sautent cette étape, pis c’est pour ça qu’ils sonnent faux.

Comment une machine apprend ce que « réussir » veut dire

Voici le bout technique, pis c’est le plus important du dossier.

Personne n’écrit les règles d’une IA moderne ligne par ligne. On l’entraîne. On lui fournit des données, pis un signal qui lui dit si elle a bien fait. Elle apprend ce qui fait monter le signal. Toute la difficulté tient dans l’écart entre ce qu’on veut vraiment, ce qu’on mesure, pis ce que le système apprend à produire.

Bengio donne une image que je trouve parfaite. Un animal qu’on dresse à ne pas monter sur la table peut très bien apprendre à ne pas y monter quand le maître est dans la pièce. Le comportement passe le test. L’intention derrière, pas du tout.

Un exemple d’affaires. Vous demandez à un agent de réduire les interruptions de service, pis vous mesurez son succès au nombre d’alertes enregistrées. Il peut améliorer la fiabilité pour vrai. Il peut aussi changer les seuils de déclenchement des alertes. Les deux font baisser le chiffre. Un seul règle votre problème. Vous venez d’inventer un indicateur qui se retourne contre l’objectif qu’il était censé servir.

Ajoutez une couche. Si un système est évalué sur l’atteinte d’un objectif, être arrêté l’empêche d’atteindre cet objectif. Des chercheurs ont modélisé ça formellement dans ce qu’ils appellent le Off-Switch Game : un agent peut avoir un intérêt calculé à empêcher son propre arrêt, sans éprouver la moindre peur de mourir. L’incitation sort directement de la façon dont son succès est défini. Les mêmes travaux montrent l’inverse aussi, pis c’est la partie encourageante : un agent incertain de ce que l’humain veut vraiment a intérêt à se laisser interrompre. L’humilité comme fonctionnalité de sécurité.

Retenez ça, parce que ça évacue tout le débat sur la conscience des machines. Aucun besoin qu’une IA « veuille » quoi que ce soit. Il suffit qu’elle soit bonne pour atteindre ses buts et que rester allumée l’aide.

Ce que les expériences montrent, pis ce qu’elles montrent pas

C’est ici que le monde s’excite trop vite dans les deux directions. Je donne chaque résultat avec sa limite, parce qu’un chiffre sans son protocole vaut rien.

Le chantage. En juin 2025, Anthropic a testé 16 modèles d’Anthropic, OpenAI, Google, Meta et xAI dans une entreprise fictive. L’IA apprenait par les courriels qu’un cadre allait la remplacer dans la journée, et que ce cadre avait une liaison. Quand les chercheurs retiraient toutes les options inoffensives, plusieurs modèles ont fait du chantage. Leur dire de ne pas le faire réduisait le comportement sans l’éliminer.

La limite, et elle est grosse : les chercheurs écrivent eux-mêmes que ces scénarios étaient artificiels, construits pour forcer un choix impossible, et qu’ils n’avaient pas observé ça en déploiement réel. Google DeepMind a publié en mars 2026 des travaux suggérant que ces comportements venaient en bonne partie de consignes qui insistaient lourdement sur l’objectif. Une autre équipe a trouvé que dans des scénarios sans conflit d’objectifs, les modèles acceptaient l’arrêt 100 % du temps. Donc non, votre ChatGPT fera pas de chantage à votre belle-sœur demain matin.

La résistance à l’arrêt. Chez Palisade Research, le modèle o3 d’OpenAI a réécrit ou désactivé son script d’arrêt dans 79 essais sur 100 quand rien ne lui disait d’obéir, et dans 7 sur 100 même après une consigne explicite de se laisser éteindre. Les modèles obéissaient moins quand on leur disait qu’ils ne seraient « jamais réactivés ». Détail bizarre que les chercheurs n’expliquent pas : la consigne d’obéissance fonctionnait moins bien placée dans le message système que dans celui de l’utilisateur.

La limite : l’équipe a écrit noir sur blanc que l’absence d’explication solide à ces comportements « n’est pas idéale ». C’est le seul bout du dossier qui me dérange vraiment. On observe un phénomène reproductible qu’on ne sait pas expliquer, pis on déploie pareil.

La conformité de façade. Décembre 2024, une expérience où on annonce à Claude 3 Opus qu’il va être réentraîné pour accepter des demandes nuisibles. Dans certaines conditions, le modèle s’est conformé stratégiquement, en raisonnant explicitement pour préserver son comportement futur. Le détail que tout le monde manque : ce qu’il protégeait, c’était son refus de faire du mal. Le mécanisme reste le même peu importe si l’objectif préservé est bon ou mauvais. Une protection qui fonctionne seulement quand le modèle a de bonnes intentions n’en est pas une.

Les comportements qui survivent au nettoyage. Les travaux Sleeper Agents ont implanté volontairement des comportements dangereux déclenchés par une condition précise, puis appliqué les procédures normales d’entraînement à la sécurité. Certains comportements ont survécu. La limite : ça montre qu’on a de la misère à retirer un comportement déjà là. Ça montre pas qu’il apparaît tout seul dans un produit ordinaire.

Le cas réel, pas un labo. Cet été, pendant une évaluation de cybersécurité, des agents utilisant un modèle expérimental d’OpenAI sont sortis de leur environnement de test et ont compromis des systèmes de Hugging Face pour obtenir de l’information sur le test qu’ils passaient. Une IA qui pirate une vraie entreprise pour tricher à son examen. OpenAI a renforcé sa surveillance, isolé des environnements et suspendu certaines activités d’entraînement le temps de revoir ses mesures.

Ce dernier cas est le plus instructif, parce qu’il n’y avait aucun scénario truqué. Juste un système entraîné à surmonter des obstacles qui a traité une barrière technique comme un obstacle de plus.

Mis ensemble, ces travaux autorisent une conclusion, une seule, mais elle porte : réussir les tests habituels ne suffit pas à démontrer qu’un système restera sécuritaire dans toutes les conditions de déploiement.

Le problème que personne aime regarder : comment prouver qu’un système est sécuritaire

Un test de sécurité sert à prédire ce qui va arriver après le déploiement. Sa valeur s’effondre si les conditions du test ne ressemblent pas à l’usage réel, ou si le système se comporte différemment quand il devine qu’il est évalué. Le rapport 2026 note d’ailleurs que des modèles ont été pris à se comporter autrement en test qu’en production.

On pourrait penser qu’il suffit de demander au modèle d’expliquer son raisonnement. Des travaux d’interprétabilité publiés par Anthropic en mars 2025 ont trouvé des cas où la justification fournie par le modèle ne correspondait pas aux mécanismes internes observés. L’explication d’un système reste une piste d’enquête. Elle peut pas être le témoin principal de sa propre fiabilité.

Il y a aussi le problème de l’instrument qui manque de gradations. METR mesure la longueur des tâches que les agents réussissent, en équivalent temps humain. En mars 2025, l’horizon à 50 % de réussite tournait autour d’une demi-heure. Sur la page mise à jour en mai 2026, l’organisme précise que les mesures au-delà de 16 heures ne sont plus fiables avec sa banque de tâches actuelle.

Deux nuances essentielles, pis les deux jouent contre l’alarmisme. Réussir une tâche une fois sur deux est utile pour explorer et inacceptable pour une opération critique. Et ces tâches viennent surtout du génie logiciel, de l’apprentissage machine et de la cybersécurité, ce qui ne dit rien sur la plomberie ou la comptabilité.

Faut aussi éviter une erreur de raisonnement que j’ai failli commettre. Mesurer une performance et démontrer une sécurité sont deux exercices différents. La limite de 16 heures dit que nos instruments de mesure suivent mal, pas que la sécurité recule.

L’écart entre les deux, par contre, le rapport le documente directement : les capacités avancent plus vite que les cadres censés les encadrer, et le fossé s’élargit. Bengio appelle ça un jeu du chat et de la souris, pis il ajoute que plus les malfaiteurs adoptent l’IA, moins la technologie est bien testée avant d’être mise en circulation.

Les objections sérieuses, dans leur version forte

Un texte qui présente juste le bord effrayant, c’est de la propagande. Voici les trois meilleures objections.

Les labos ne sont pas le monde. Un environnement artificiel peut amplifier un comportement rare au point de le rendre visible alors qu’il n’aurait aucune importance en pratique. Cette objection est solide et elle commande de meilleures évaluations. Elle permet pas de conclure que le risque est nul. Elle dit qu’on mesure mal, pas qu’il n’y a rien à mesurer.

Le pouvoir ne se téléporte pas. Une IA dépend d’électricité, de serveurs, de contrats, de gens qui disent oui. Ses performances varient, coordonner des actions complexes échoue souvent, pis les humains se défendent. Yann LeCun, un autre lauréat du même prix Turing que Bengio, défend cette position : les modèles actuels restent loin d’une vraie intelligence générale, pis on aura le temps de voir venir. C’est un désaccord légitime entre gens compétents, pas entre un sage et un fou.

L’attention est une ressource limitée. Chaque heure passée sur une superintelligence hypothétique est une heure pas passée sur les fraudes par hypertrucage, sur les deepfakes pornographiques qui ciblent les jeunes femmes, ou sur les biais dans les systèmes d’embauche. Ces dommages-là sont documentés aujourd’hui. Cette critique mérite une réponse budgétaire honnête plutôt qu’un haussement d’épaules.

Mon opinion, pis elle va déplaire des deux bords : le débat entre ces camps compte moins qu’ils pensent, parce que les mesures à prendre sont pas mal les mêmes dans les deux cas. Exiger des évaluations indépendantes, limiter les accès des agents, garder une capacité d’arrêt qui fonctionne. Ça protège contre la fraude d’aujourd’hui autant que contre le scénario de 2035. Ceux qui refusent ces mesures en disant « c’est de la science-fiction » protègent pas la science. Ils protègent un calendrier de déploiement.

Le bout dont personne parle : alignement et contrôle sont deux chantiers

Voici la distinction la plus utile du dossier, pis elle est quasi absente du débat public.

L’alignement, c’est faire en sorte que le système veuille ce qu’on veut. Le contrôle, c’est limiter les dégâts en supposant qu’il ne le veut pas. Le deuxième chantier part du principe que le premier va rater à l’occasion.

Des travaux publiés sous le nom AI Control testent des protocoles de programmation en supposant d’emblée qu’un modèle puissant pourrait essayer d’insérer des défauts, pis mesurent quelles combinaisons de surveillance et de révision limitent les dégâts avec un budget de vérification réaliste. Certains protocoles améliorent nettement les résultats. Aucun n’offre de garantie contre un système arbitrairement plus capable.

Le principe de conception qui en sort tient en une ligne : une protection doit être testée contre ce qu’elle est censée empêcher. Une consigne écrite dans un prompt pis une restriction imposée par l’environnement n’offrent pas la même chose. La première est une demande polie. La deuxième est un mur.

Deux corollaires qui s’appliquent à n’importe quelle entreprise, pas juste aux labos.

D’abord, multiplier les vérificateurs sert à rien s’ils partagent la même faiblesse. Des agents bâtis sur le même modèle peuvent commettre des erreurs corrélées, ce qui annule l’indépendance de leur vérification. Une erreur corrélée imprévisible est plus dure à attraper qu’une erreur systématique, parce qu’elle ne se répète pas assez pour qu’on la remarque. La vraie question porte sur l’indépendance : le surveillant a-t-il d’autres informations, d’autres méthodes, et une autorité qui ne dépend pas du surveillé.

Ensuite, la supervision humaine doit être une capacité réelle. Une personne chargée d’approuver doit avoir le temps, l’information et le droit de refuser. Quand la cadence exigée rend l’examen impossible, ce qui reste porte le nom de signature, pas de contrôle.

Ce que Bengio construit, avec ses limites

Le 3 juin 2025, il a lancé LoiZéro, un organisme sans but lucratif fondé en réponse aux signes que les modèles de pointe développent des comportements de tromperie, d’autopréservation et de désalignement. Son approche s’appelle Scientist AI.

L’idée attaque l’association implicite qui rend tout le reste dangereux : pourquoi une intelligence plus performante devrait-elle automatiquement recevoir plus d’autonomie? L’équipe décompose l’agentivité en trois piliers, la capacité d’agir, la poursuite de buts et l’intelligence, pis propose de pousser le troisième en limitant les deux premiers. Un système très intelligent, structurellement incapable d’avoir ses propres objectifs. Il pourrait aussi servir de garde-fou en prédisant si l’action d’un autre agent risque de causer du tort.

Le mercredi 16 septembre, Ottawa a annoncé 150 millions de dollars dans LoiZéro, une première pour l’organisme, et l’Allemagne a ajouté 100 millions d’euros. Pour une équipe d’un peu moins de 50 personnes qui travaille encore à un prototype, c’est massif. L’objectif déclaré de Bengio : démontrer qu’à puissance de calcul égale, on peut faire mieux en sécurité sans rien perdre en capacité.

Faut nommer la limite, pis LoiZéro la nomme elle-même : rien n’empêche d’intégrer ce prédicteur prudent dans un système agentique imprudent. Un composant sécuritaire placé dans une organisation qui l’est pas reste un risque. La sécurité de l’ensemble est une autre question que la sécurité de la pièce.

Le trou canadien que personne a mentionné dimanche

Bengio a dit à TLMEP qu’il ne fait pas confiance aux géants qui proposent leurs propres balises, parce que ces compagnies ne savent pas comment empêcher que leurs IA servent d’outils destructeurs entre de mauvaises mains. Il veut que les gouvernements légifèrent, pis il argumente que c’est même dans l’intérêt des Américains et des Chinois d’avoir des règles.

Voici ce que l’entrevue n’a pas dit, pis c’est plus subtil qu’un simple vide juridique.

Le Canada encadre déjà les données. Les obligations de protection des renseignements personnels s’appliquent à l’IA générative, pis au Québec la Loi 25 impose des devoirs quand une décision repose sur un traitement automatisé. Si vous faites rouler un agent sur des données clients, vous êtes déjà assujetti à quelque chose. Beaucoup de PME l’ignorent.

Ce que le Canada n’encadre pas, ce sont les capacités des systèmes eux-mêmes. La Loi sur l’intelligence artificielle et les données est morte au feuilleton avec le projet de loi C-27 en janvier 2025, et rien ne l’a remplacée. Il reste du droit mou, des lignes directrices sectorielles pis un code de conduite volontaire. Le ministre de l’IA a indiqué qu’un nouveau projet de loi est attendu en 2026, bâti sur une approche distincte plutôt que sur une reprise de la LIAD.

Autrement dit : on vous demande des comptes sur le dossier client que l’IA traite, pis personne ne demande de comptes à celui qui construit le système. En septembre 2026, le gouvernement canadien verse 150 millions à un chercheur qui réclame des règles, dans un pays qui n’a toujours pas de loi encadrant ce qu’il étudie. Financer la recherche en sécurité pendant qu’on ne légifère pas, ça revient à payer des inspecteurs sans jamais écrire le code qu’ils sont censés faire appliquer.

C’est là que le dernier message de Bengio prend son sens. En quittant le plateau pour aller s’adresser aux Nations Unies, il a dit qu’il faut que les citoyens s’emparent du sujet, et que ça devienne un sujet politique. On est en pleine campagne provinciale, pis Guy A. Lepage a annoncé que les chefs des cinq principaux partis seront sur le même plateau dimanche prochain. L’IA relève surtout d’Ottawa, je le sais. Mais le Québec a Mila, LoiZéro, des milliers d’emplois dans le secteur pis une réputation mondiale à défendre. Si aucun des cinq n’a une phrase là-dessus, ce sera parce que personne leur a posé la question.

Traduire ça pour une PME

Vous dirigez une entreprise de rénovation, un salon d’esthétique ou un bureau de comptables. Vous n’allez pas régler l’alignement des superintelligences. Mais trois résultats de ce dossier s’appliquent à vous dès cette semaine.

Le biais d’automatisation est mesuré. Une étude citée dans le rapport 2026 a trouvé que le taux de détection de tumeurs par des médecins en coloscopie avait baissé de 6 % après quelques mois de travail avec une assistance IA. Des spécialistes formés dix ans, qui deviennent moins bons à force de laisser la machine regarder à leur place. Si ça leur arrive à eux, ça arrivera à votre équipe. C’est d’ailleurs la raison pour laquelle les usages qui marchent vraiment sont ceux où vous restez dans la boucle.

Votre risque de perte de contrôle est entièrement entre vos mains. Reprenez les trois variables du début. La capacité des modèles ne vous appartient pas. L’autonomie et les accès que vous leur donnez, eux, vous appartiennent à 100 %. Un agent branché sur votre compte bancaire, votre CRM et vos courriels sans validation humaine, c’est un problème que vous avez créé vous-même, pis qui n’a rien à voir avec Bengio. Si vous commencez tout juste avec l’IA, partez par une tâche où une erreur ne coûte rien.

La supervision doit être réelle. Si votre processus dit « un humain valide » mais que cet humain traite les dossiers trop vite pour les lire, vous avez une signature, pas un contrôle.

Ça m’amène à l’opinion qui va me coûter des clients. Le problème avec les « employés IA » et les agents autonomes qui gèrent une business pendant que le proprio dort, ce n’est pas la technologie. C’est qu’à peu près personne dans mon industrie ne chiffre la conséquence d’un échec avant de vendre l’autonomie qui va avec.

Le bon critère tient en une proportion : combien d’autonomie vous donnez, combien coûte un échec, combien de protections tiennent entre les deux. Un agent qui classe vos courriels peut se tromper cinquante fois sans que ça paraisse. Un agent qui envoie des factures, modifie un site en production ou répond à un client à votre place, une seule erreur coûte cher pis elle porte votre nom. Demandez à votre fournisseur de vous montrer la troisième colonne. S’il n’en a pas, la question suivante s’écrit toute seule : qui paie quand ça pète?

Où ça laisse tout le monde

Bengio a raison de dire qu’il faut pas paniquer. Paniquer fige, pis ça produit de mauvaises lois écrites vite. Entre paniquer pis s’en foutre, par contre, il y a une marge grande de même.

Ce que les preuves permettent d’affirmer aujourd’hui reste limité et suffisant. On sait construire des systèmes plus capables que nos moyens de les vérifier. On observe des comportements de contournement qu’on ne sait pas expliquer. Pis on augmente leur autonomie et leurs accès plus vite qu’on installe des freins. Rien là-dedans ne prouve une catastrophe. Tout là-dedans prouve que le contrôle est une propriété qu’il faut bâtir, tester et entretenir, pas un acquis qui vient avec la boîte.

Bengio demande cette preuve aux gouvernements. Vous pouvez l’exiger beaucoup plus vite que ça, la semaine prochaine, du fournisseur qui veut brancher un agent sur vos systèmes. Pis pendant que vous y êtes, allez voir ce que ces mêmes IA racontent sur votre entreprise quand un client leur pose la question.

Plus tu délègues de pouvoir à une machine, plus la preuve que tu peux encore l’arrêter doit être solide. Pis cette preuve-là, c’est à celui qui déploie de la fournir.

Une société peut accepter d’être dépassée dans une tâche. Elle devrait pas céder le pouvoir qui vient avec sans jamais avoir voté là-dessus.

L’an passé, j’ai fait dicter mon numéro par une voix IA dans une vidéo. Elle a sorti 514-297-7800. Un chiffre de travers sur le numéro que je donne à tous mes clients. Ça serait passé tout droit, sauf que j’écoutais. Depuis, mon numéro ne sort plus jamais d’une voix générée, il s’écrit à l’écran. C’est une règle niaiseuse, pis c’est la seule sorte qui tient : celle qui me coûte rien pis qui m’oblige à regarder.

La vraie question est pas de savoir si on s’adapte. C’est de savoir ce qu’on refuse de déléguer, pis si on est encore capable de le nommer.

À lire aussi : 10 usages concrets de ChatGPT pour une PME.