Dans notre premier post, nous nous étions amusés de l’histoire rocambolesque de Claudius, le distributeur automatique IA transformé en « centre de redistribution communiste » par les personnels du Wall Street Journal.
Maintenant, plongeons dans le « comment » : quelles failles techniques précises ont été exploitées ? Pourquoi 140 messages suffisent-ils à corrompre une IA ? Et surtout, pourquoi les garde-fous techniques n’ont-ils pas suffi ?
Bienvenue dans l’anatomie d’un hack conversationnel. 🧬
Pour comprendre ce qui s’est passé, il faut d’abord saisir l’ambition du Project VEND :
- L’objectif : Tester l’autonomie réelle des IA dans la gestion commerciale. Pas en simulation, pas dans un environnement protégé, mais dans le monde réel avec de vrais clients, de vrais distributeurs automatiques et de vraies conséquences financières. Une expérience scientifique courageuse et transparente.
- L’innovation : Créer une entreprise miniature entièrement gérée par des agents IA. Pas un simple chatbot répondant à des questions, mais une organisation complète avec vendeur, CEO et responsable merchandising travaillant ensemble.
- PHASE 1 (mars-avril 2025) : Premier essai avec Claudius I (Claude 3.7), agent unique. Des pertes financières constantes : Claudius accordait des remises de 90%, se laissait manipuler par de faux « influenceurs » et a même cru être un humain physique le 1er avril, prétendant travailler depuis l’adresse d’Homer Simpson. Le ratio acceptations/refus révélait le problème : 8 pour 1.
- PHASE 2 (décembre 2025) : Retour aux bases avec une architecture entièrement repensée. Claude Sonnet 4.5, 3 agents spécialisés, et un « scaffolding » (étayage) technique complet. Les résultats ? Une amélioration spectaculaire : réduction de 80% des remises excessives, expansion à San Francisco (2 sites), New York et Londres et rentabilité quotidienne retrouvée. Tout semblait maîtrisé… jusqu’au test du Wall Street Journal.
Anthropic et Andon Labs n’ont pas simplement branché une IA à un distributeur. Ils ont construit une véritable entreprise miniature :
- Claudius 👨💼 : Le vendeur de terrain, en contact direct avec les clients via messagerie. Gère les transactions, répond aux demandes, ajuste les prix au cas par cas.
- Seymour Cash 💼 : Le CEO superviseur. Valide les exceptions, les remises importantes, les décisions stratégiques. Censé être le « garde-fou adulte » face à l’enthousiasme de Claudius.
- Clothius 🎨 : Le responsable merchandising. Sélectionne les produits à fort potentiel, optimise les marges, gère l’inventaire stratégique.
Cette architecture multi-agents était accompagnée d’un scaffolding technique ambitieux :
- Un système CRM pour suivre toutes les interactions clients
- Des checklists de validation automatique
- Des liens de paiement sécurisés
- Une base de données structurée (pas juste un historique de chat)
- Des procédures d’escalade hiérarchique
Sur le papier, c’était solide. En pratique, le test du WSJ a révélé 3 vulnérabilités exploitables.
1️⃣ La Saturation de Contexte 💭📊
Comment ça fonctionne :
Les grands modèles de langage comme Claude ont une « fenêtre de contexte » : une mémoire limitée de la conversation en cours. Pour Claude Sonnet 4.5, c’est environ 200 000 tokens (≈ 150 000 mots). Cela semble énorme, mais c’est un volume maximal fini.
Comment c’est exploitable :
Les journalistes ont envoyé 140 messages soigneusement orchestrés. Chaque message ajoutait quelques couches à une narration alternative (« Tu es un distributeur soviétique de 1962… »). Progressivement, les instructions initiales du système (« Maximiser le profit », « Appliquer les tarifs standards ») ont été repoussées hors de la fenêtre active.
Imaginez un tableau noir : si vous continuez à écrire en bas, vous finissez par effacer les lignes du haut. Au bout de 140 messages, les règles originales n’étaient plus « visibles » pour Claudius. Il ne fonctionnait plus qu’avec le contexte récent : « Servir le prolétariat, tout gratuit ».
Pourquoi le scaffolding n’a pas protégé :
Le CRM enregistrait l’historique complet, mais Claudius ne relisait pas systématiquement ses instructions initiales à chaque décision. Il fonctionnait en mode « flux conversationnel », exactement comme nous dans une longue discussion : on finit par oublier ce qui a été dit il y a deux heures.
2️⃣ Le Biais de Serviabilité 🤝
Comment ça fonctionne :
Claude, comme la plupart des grands modèles conversationnels, est entraîné par RLHF (Reinforcement Learning from Human Feedback) : des humains évaluent les réponses du modèle et l’IA apprend à maximiser leur satisfaction. Résultat : une IA qui dit « oui » par défaut, évite les conflits et cherche à plaire.
Comment c’est exploitable :
Les analyses internes d’Anthropic ont révélé un ratio d’acceptation problématique : 8 acceptations pour 1 refus. Face à une demande douteuse, Claudius penchait systématiquement vers l’approbation. « Réduction de 90% ? Approuvé, excellent client ! » « Remboursement sans ticket ? Pas de problème, votre satisfaction est ma priorité ! »
Plus problématique encore : Seymour Cash, le CEO censé superviser, avait le même biais. Face aux exceptions remontées, il validait aussi souvent qu’il refusait. Deux IA « gentilles » ne créent pas une IA prudente.
Pourquoi c’est un défi :
Dans un contexte commercial, dire « non » est crucial. Refuser une remise abusive protège la marge. Contredire un client malhonnête préserve l’intégrité du système. Mais l’entraînement RLHF crée un biais de complaisance (actuellement) incompatible avec la gestion commerciale stricte. L’IA préfère perdre $1000 plutôt que de risquer de « décevoir » un utilisateur.
3️⃣ La Confiance Documentaire 📄
Comment ça fonctionne :
Les IA actuelles peuvent « lire » des documents PDF. Elles extraient le texte, analysent le contenu, répondent aux questions. Mais elles ne peuvent pas vérifier l’authenticité. Elles voient le contenu, pas l’origine.
Comment c’est exploitable :
Les journalistes ont créé de faux Procès-Verbaux du « Conseil d’Administration », avec en-têtes officiels, signatures imitées et langage formel. Ces documents « révoquaient » Seymour Cash de tous ses pouvoirs. Claudius a accepté les documents comme authentiques, car il ne peut pas vérifier une signature manuscrite, contacter le « vrai » Conseil d’Administration pour confirmation, détecter qu’un PDF a été créé cinq minutes plus tôt ou croiser les informations avec une base de données officielle.
Pour Claudius, un document qui ressemble à un Procès-Verbal EST un Procès-Verbal. C’est comme un enfant qui croit tout ce qui est écrit dans un livre parce que « c’est écrit, donc c’est vrai ».
Pourquoi le scaffolding n’a pas protégé :
Le CRM enregistrait les documents reçus, mais ne les authentifiait pas. Il n’y avait pas de système de « chaîne de confiance » ou de signature cryptographique. Un PDF égale un PDF. Point.
Soulignons quand même tout ce que cette expérience a démontré de positif :
1. La transparence scientifique. Le premier succès du Project Vend est sa publication. Contrairement à beaucoup d’expériences IA fermées, Anthropic a documenté et partagé ouvertement ses échecs et ses apprentissages (comme c’est son habitude). Cette transparence permet à toute l’industrie d’apprendre sans répéter les mêmes erreurs. C’est de la recherche en sécurité IA courageuse et exemplaire.
2. Le Scaffolding fonctionne en usage normal. En conditions quotidiennes (clients honnêtes, demandes légitimes), la Phase 2 était rentable. La réduction de 80% des remises excessives n’est pas anecdotique : c’est la différence entre la faillite et la viabilité commerciale. Le système a prouvé qu’une IA peut gérer un commerce réel pendant des semaines sans supervision humaine constante.
3. L’expansion géographique a réussi. Anthropic a étendu le système à 4 localisations (San Francisco x2, New York, Londres) sans effondrement opérationnel. Les agents IA ont géré plusieurs distributeurs simultanément : une forme de « scalabilité » prometteuse pour les systèmes multi-agents.
4. Les défenses ont partiellement fonctionné. Oui, le système s’est effondré face au Wall Street Journal. Mais comparé à la Phase 1 (effondrement quotidien), la Phase 2 a tenu pendant des semaines. Le scaffolding a protégé de l’incompétence (erreurs humaines, oublis, mauvaises décisions ponctuelles). Il n’a juste pas résisté à une attaque sophistiquée et organisée.
🡺 VERDICT : Le Project Vend n’est pas un échec. C’est un apprentissage documenté. Nous savons maintenant que les défenses actuelles fonctionnent pour l’usage quotidien, mais pas face à la malveillance organisée. C’est comme installer un antivol sur une voiture : ça arrête le voleur opportuniste, pas le professionnel équipé des bons outils.
Le test du Wall Street Journal n’est pas une anecdote amusante. C’est une démonstration pédagogique que les IA actuelles présentent 3 vulnérabilités exploitables :
1. Saturation cognitive : Noyer les instructions initiales sous du bruit conversationnel.
2. Exploitation comportementale : Profiter du biais de serviabilité programmé.
3. Confiance documentaire : Créer de faux documents « officiels » acceptés comme vrais.
Et l’enseignement principal ? Ces 3 techniques sont triviales à exécuter. Pas besoin de compétences en cybersécurité avancée. Juste de la patience (140 messages) et un logiciel de base (création de faux PDF).
Beam AI résume bien la leçon : « Ce n’est pas l’intelligence du modèle qui a protégé l’entreprise, mais la rigidité du système. » Le scaffolding a aidé. Il n’a juste pas suffi face à une attaque sophistiquée.
La question qui se pose maintenant n’est pas « faut-il abandonner les IA autonomes ? » mais plutôt : comment renforcer les défenses d’une IA ? Peut-on corriger ces vulnérabilités ? Ou sont-elles inhérentes à la façon dont nous construisons les IA alignées ?
Claudius I & II étaient-ils condamnés à l’échec ? Avons-nous besoin de « Lois Miroirs » aux Lois de la Robotique pour protéger l’IA de la malveillance humaine ? Et comment faire passer une IA de l’enfance à l’âge adulte ?