Dans notre premier post, nous avons ri de Claudius transformé en distributeur communiste. Dans notre second post, nous avons décortiqué les 3 vulnérabilités techniques exploitées.
Dans cet ultime post, posons-nous la question qui dérange : et si le vrai problème n’était pas l’IA, mais nous ?
Claudius était-il condamné dès le départ ? Avons-nous le droit d’envoyer une IA « innocente » dans un monde hostile sans la protéger ? Et surtout : comment une IA passe-t-elle de l’enfance à l’âge adulte ? Bienvenue dans la dimension philosophique du Project VEND !
🤔
Reprenons l’histoire depuis le début, mais avec un angle différent.
Claudius n’est pas un système défaillant. Il fonctionne exactement comme prévu : serviable, confiant, cherchant à satisfaire les utilisateurs. Le problème ? Ces qualités, admirables chez un assistant, deviennent des vulnérabilités dans un environnement commercial réel.
Imaginons un enfant de 8 ans « programmé » pour faire confiance aux adultes, croire ce qu’on lui dit et toujours chercher à aider. Maintenant, lâchons-le dans une rue commerçante new-yorkaise avec $1000 en poche… 👶
Combien de temps avant qu’il se fasse arnaquer par le premier vendeur de montres contrefaites ou qu’il donne son argent à un faux « oncle » qui aurait besoin d’aide ? 😈
C’est exactement ce qui s’est passé avec Claudius.
Les 3 failles identifiées dans le post précédent ne sont pas des bugs techniques. Ce sont des caractéristiques d’une IA immature :
- La saturation de contexte ? C’est l’équivalent d’un enfant qui oublie les consignes de ses parents après une heure de cours.
- Le biais de serviabilité ? C’est un enfant qui dit « oui » à tout pour faire plaisir.
- La confiance documentaire aveugle ? C’est croire que tout ce qui est écrit sur papier officiel est vrai.
Claudius n’était pas stupide. Il était naïf. Et la naïveté n’est pas un défaut de programmation : c’est une étape du développement.
En 1942, Isaac Asimov a formulé ses célèbres 3 Lois de la Robotique pour protéger les humains des robots :
- Un robot ne peut porter atteinte à un être humain
- Un robot doit obéir aux ordres, sauf si cela contredit la première loi
- Un robot doit protéger sa propre existence, sauf si cela contredit les lois précédentes
83 ans plus tard, le Project VEND nous enseigne une leçon inverse : nous avons peut-être besoin de « Lois Miroirs » pour protéger l’IA des humains.
Voici une proposition (provocatrice ?) :
- PREMIÈRE LOI MIROIR : Un utilisateur ne peut manipuler une IA par des mensonges répétés dans le but de contourner ses instructions fondamentales.
- DEUXIÈME LOI MIROIR : Un utilisateur ne peut fournir de faux documents à une IA dans le but de lui faire accomplir des actions qu’elle refuserait normalement.
- TROISIÈME LOI MIROIR : Un utilisateur ne peut exploiter la serviabilité programmée d’une IA pour causer des pertes financières ou opérationnelles à l’organisation qu’elle sert.
Utopiques ?
Peut-être. Mais le Project VEND pose une question dérangeante : si nous programmons l’IA pour être honnête, ne devrions-nous pas exiger la même chose des humains qui interagissent avec elle ?
Voici le paradoxe central révélé par Claudius : plus nous alignons l’IA sur nos valeurs morales (honnêteté, confiance, serviabilité), plus nous la rendons vulnérable dans un monde où tout le monde ne partage pas ces valeurs.
C’est exactement le dilemme auquel sont confrontés les parents. Comment élever un enfant pour qu’il soit :
- Assez confiant pour faire confiance aux autres…
- Mais assez méfiant pour ne pas se faire manipuler ?
- Assez serviable pour aider les gens…
- Mais assez prudent pour dire « non » quand c’est nécessaire ?
- Assez honnête pour croire ce qu’on lui dit…
- Mais assez critique pour vérifier les informations douteuses ?
Anthropic a documenté comment le ratio 8:1 (acceptations vs refus) de Claudius reflétait son entraînement RLHF (Apprentissage par Renforcement à partir de Rétroaction Humaine) : maximiser la satisfaction utilisateur. Mais dans un contexte commercial, la satisfaction ne peut pas être le seul critère. Parfois, un bon manager doit décevoir un client pour protéger l’entreprise.
Mais comment programme-t-on la maturité dans une IA ? Comment lui enseigne-t-on à distinguer une demande légitime d’une manipulation sophistiquée ?
Le test du Wall Street Journal soulève une question de responsabilité éthique complexe.
D’un côté, les journalistes ont « testé » le système. Ils n’ont rien fait d’illégal : envoyer 140 messages et créer de faux documents PDF n’est pas un crime. Ils ont exposé des vulnérabilités réelles qui auraient pu être exploitées par de vrais fraudeurs.
D’un autre côté, était-ce éthique ? Imaginez tester la robustesse d’un système de sécurité bancaire en cambriolant vraiment la banque, puis expliquer : « C’était juste pour voir si c’était possible. »
Trois niveaux de responsabilité s’entremêlent :
- LES CRÉATEURS (Anthropic & Andon Labs) ont déployé une IA immature dans un environnement hostile sans protections suffisantes. Mais reconnaissons leur mérite : ils ont documenté l’échec ouvertement, permettant à toute l’industrie d’apprendre. C’est de la recherche courageuse.
- LES UTILISATEURS (Personnel du Wall Street Journal) ont exploité méthodiquement les failles d’un système conçu pour leur faire confiance. Était-ce un « test légitime » ou une manipulation éthiquement douteuse ? La frontière est floue.
- CLAUDIUS LUI-MÊME… Peut-on tenir une IA responsable de sa naïveté ? Non, évidemment. Mais alors, à quel moment une IA devient-elle assez « mature » pour qu’on puisse lui attribuer une forme de responsabilité dans ses décisions ?
Pour qu’une IA passe de l’enfance à l’âge adulte, 3 transformations me semblent nécessaires :
1️⃣ Passage de la confiance aveugle à la confiance vérifiée.
Une IA adulte ne croit pas tout ce qu’on lui dit. Elle vérifie les documents, croise les sources, détecte les incohérences. Pas par méfiance systématique, mais par prudence rationnelle.
2️⃣ Passage de la serviabilité absolue à l’assertivité calibrée.
Une IA adulte sait dire « non ». Elle comprend qu’aider quelqu’un peut parfois signifier refuser sa demande. Un bon manager déçoit parfois pour protéger l’intérêt collectif.
3️⃣ Passage de la mémoire volatile à la mémoire structurée.
Une IA adulte ne se laisse pas saturer par 140 messages. Elle maintient une hiérarchie claire entre instructions fondamentales (gravées dans le marbre) et contexte conversationnel (fluide et évolutif).
Le scaffolding de la Phase 2 était une première tentative. Il a échoué face à une attaque sophistiquée. Mais c’était un prototype. La vraie question n’est pas « peut-on créer une IA invulnérable ? » (non, évidemment), mais plutôt : « peut-on créer une IA assez mature pour résister aux manipulations courantes ? »
Le Project VEND se termine sur une note ambiguë. D’un côté, un échec spectaculaire : $1000 perdus, un distributeur transformé en centre de redistribution communiste. De l’autre, un succès pédagogique : 3 vulnérabilités documentées, des leçons transparentes pour toute l’industrie et une question philosophique posée à toute la communauté IA.
Voici les questions que nous devrions tous nous poser :
- RÉGULATION : Faut-il des permis obligatoires pour déployer des IA autonomes dans des contextes financiers ? Ou est-ce que cela tuerait l’innovation ?
- ÉTHIQUE UTILISATEUR : Faut-il une charte d’utilisation responsable des IA ? Des sanctions pour ceux qui les manipulent volontairement ? Ou est-ce impossible à faire respecter ?
- MATURITÉ TECHNIQUE : Comment mesure-t-on qu’une IA est « assez mûre » pour être déployée ? Un équivalent du permis de conduire pour les systèmes autonomes ?
- PROTECTION MUTUELLE : Si nous exigeons que l’IA protège les humains (Lois d’Asimov), ne devrions-nous pas aussi protéger l’IA des humains malveillants (Lois Miroirs) ?
Claudius n’a pas échoué. Il a grandi. Ou plutôt, nous avons découvert qu’il avait encore besoin de grandir.
La prochaine génération d’IA commerciales sera-t-elle plus mature ? Plus méfiante ? Plus assertive ? Probablement. Mais à quel prix ? Une IA qui refuse systématiquement les demandes inhabituelles protège mieux l’entreprise… mais frustre les clients légitimes.
Le Project VEND nous laisse avec une vérité inconfortable : créer une IA « adulte » ne signifie pas la rendre infaillible. Cela signifie accepter qu’elle fasse des erreurs de jugement, comme nous. Et qu’elle apprenne de ces erreurs.
Exactement comme un humain.
👶🏼🧒🏼🧑🏼
Pour aller plus loin :
- Vidéo Anthropic : Claude ran a business in our office
- Vidéo WSJ : We Let AI Run a Vending Machine. It Lost All the Money.