Un agent IA plus sophistiqué n'est pas forcément un agent IA plus rentable. C'est la conclusion, documentée par deux études publiées en octobre 2026, qui doit alerter toute PME qui déploie, ou envisage de déployer, des agents IA pour automatiser du support client, de la relation commerciale ou du développement logiciel. Des chercheurs ont comparé plusieurs « harnais » (le programme qui pilote un modèle de langage) et plusieurs systèmes de mémoire sur les mêmes tâches, avec le même modèle. Résultat : la facture peut varier jusqu'à cinq fois pour une précision quasi identique.
En bref
- Une étude de l'université Shandong, relayée par VentureBeat le 23 octobre 2026, montre que le coût d'un agent IA peut varier jusqu'à 3 fois selon le harnais utilisé (Claude Code, OpenCode, mini-SWE-agent), pour une précision quasi identique sur le benchmark SWE-bench Verified.
- Une étude antérieure du UC Berkeley Sky Computing Lab, citée dans ce même article, avait mesuré un écart de coût jusqu'à 5 fois entre harnais, sur sept modèles différents, sans gain de réussite comparable.
- Une seconde étude, « MemoryTax », menée par l'université Jiao Tong de Shanghai et relayée par VentureBeat le 25 octobre 2026, montre que les modèles les plus puissants (comme Claude Opus 5.5) n'ont souvent pas besoin de mémoire structurée coûteuse : ils obtiennent la même précision avec l'historique brut.
- Sur un même modèle (Claude Opus 5.5), répondre à 152 questions coûte 6,95 $ avec un harnais minimaliste et 28,41 $ avec Claude Code, pour une précision respectivement de 99 % et 97 %.
- Pour une PME, la leçon n'est pas d'éviter les agents IA, mais de mesurer le coût par tâche en même temps que la précision, avant de choisir un outil ou un prestataire.
Qu'est-ce qu'un « harnais » d'agent IA ?
Un harnais d'agent IA (« agent harness » en anglais) est le programme qui entoure un modèle de langage : il lui donne des outils (lire un fichier, exécuter une commande, chercher sur le web), gère la mémoire de la conversation et décide combien d'informations envoyer au modèle à chaque étape. Claude Code, Codex, Cursor ou un simple script interne sont tous des harnais. Deux harnais utilisant le même modèle peuvent produire des résultats très différents en coût, simplement parce qu'ils structurent le contexte différemment.
C'est ce point précis que deux études distinctes ont testé en 2026, avec des conclusions qui se recoupent.
Un harnais plus sophistiqué ne garantit pas un meilleur score
L'étude de l'université Shandong (publiée sur arXiv, relayée par VentureBeat) a fait tourner trois harnais, Claude Code, OpenCode et mini-SWE-agent (un harnais minimaliste d'une centaine de lignes de code), sur 492 tâches du benchmark SWE-bench Verified, avec cinq modèles différents, dont Claude Opus 5, DeepSeek-V4-Flash et deux modèles Qwen.
Le constat est net : sur le plus grand lot de tâches, Claude Code et mini-SWE-agent obtiennent un score à 2 points de pourcentage l'un de l'autre. Mais le coût par tâche, lui, varie jusqu'à 3 fois selon le harnais choisi, pour un même modèle. Avec le modèle GLM-5.3-Flash par exemple, un essai avec Claude Code coûte près de deux fois plus qu'avec mini-SWE-agent, et plus de trois fois plus qu'avec OpenCode.
Les chercheurs renvoient aussi à une étude antérieure du UC Berkeley Sky Computing Lab, surnommée « HarnessTax », qui avait testé sept modèles sur trois harnais (Claude Code, Codex CLI, Pi) : les taux de réussite ne variaient que de quelques points, alors que les coûts d'inférence grimpaient jusqu'à 5 fois.
Harnais sophistiqué (ex : Claude Code)
Contexte de départ volumineux, plus de 16 000 jetons dès le premier appel, plus d'outils, plus d'étapes. Coût par tâche plus élevé, sans gain de précision garanti.
Harnais minimaliste (ex : mini-SWE-agent, Pi)
Contexte de départ réduit, moins de 1 000 jetons dans l'étude Shandong, peu d'outils. Précision statistiquement comparable, coût par tâche nettement plus bas.
La mémoire des agents a, elle aussi, un coût caché
La seconde étude, baptisée MemoryTax et menée par l'université Jiao Tong de Shanghai, s'est penchée sur un autre choix d'architecture : faut-il construire une mémoire structurée (résumés, graphe de connaissances) pour un agent qui doit se souvenir d'une longue conversation, ou lui laisser accéder à l'historique brut ?
Les chercheurs ont testé sept approches de mémoire (contexte complet, recherche par mots-clés, outils de consolidation comme Mem0 ou Zep, recherche pilotée par l'agent lui-même) combinées à trois modèles : GPT-4o-mini, GPT-6 Luna et Claude Opus 5.5. Résultat : la mémoire structurée aide surtout le modèle le plus faible, GPT-4o-mini. Avec Claude Opus 5.5, le modèle le plus puissant testé, le contexte brut et la mémoire structurée obtiennent le même score, 95 % : construire une mémoire sophistiquée n'apporte alors aucun gain de précision, seulement un coût de construction supplémentaire.
Le détail le plus utile pour une PME concerne le harnais Pi, un outil minimaliste qui laisse le modèle chercher lui-même dans l'historique brut au lieu de tout recharger à chaque question :
Coût pour répondre à 152 questions avec le modèle Claude Opus 5.5, selon l'étude MemoryTax (université Jiao Tong de Shanghai, relayée par VentureBeat le 25 octobre 2026). Le pourcentage indiqué est le taux de bonnes réponses.
Dans cet exemple, le harnais le moins cher est aussi le plus précis. L'écart ne vient pas du modèle, identique dans les quatre cas, mais de la façon dont chaque harnais structure et réutilise l'information.
À retenir
Le prix d'un agent IA ne dépend pas seulement du modèle choisi. Le harnais et la gestion de la mémoire pèsent souvent plus lourd sur la facture que le choix du modèle lui-même. Demandez toujours le coût par tâche à un prestataire, pas seulement le nom du modèle utilisé.
Ce qu'une PME doit vérifier avant de choisir ou de construire un agent IA
Les deux études convergent vers une même méthode, transposable à n'importe quel projet d'automatisation : support client, qualification commerciale, traitement de documents.
Commencer simple
Ajouter la recherche si besoin
Construire une mémoire seulement si elle sera réutilisée
Comparer la pile complète, pas seulement le modèle
Ces quatre vérifications prennent quelques heures. Elles évitent de payer, chaque mois, pour une couche d'ingénierie qui n'apporte aucun bénéfice mesurable, un risque d'autant plus réel que de nombreux éditeurs facturent leurs agents IA au nombre de jetons consommés : plus le harnais est bavard, plus la facture grimpe, indépendamment de la qualité du résultat.
FAQ
Un harnais d'agent IA plus cher est-il toujours plus précis ?
Non. Selon l'étude MemoryTax (université Jiao Tong de Shanghai, 2026), le harnais le plus cher testé, Claude Code à 28,41 $ pour 152 questions, a obtenu une précision inférieure au harnais le moins cher, Pi à 6,95 $, qui atteint 99 % de bonnes réponses.
Faut-il toujours construire une mémoire structurée pour un agent IA ?
Non. L'étude montre qu'une mémoire structurée, comme Mem0 ou un graphe de connaissances, aide surtout les modèles les moins puissants. Avec un modèle de pointe comme Claude Opus 5.5, le contexte brut obtient une précision identique, sans le coût de construction d'une mémoire.
Comment une PME peut-elle comparer deux agents IA avant de choisir ?
En demandant le coût par tâche et la précision sur un échantillon réel de ses propres dossiers, pas sur une démonstration du fournisseur. L'étude de l'université Shandong montre que le coût peut varier jusqu'à 5 fois entre deux harnais utilisant le même modèle, sans gain de réussite comparable.
Ces études s'appliquent-elles seulement aux agents de développement logiciel ?
Les deux études portent sur des tâches de code (SWE-bench) et de conversation longue (support client). Le principe, lui, est générique : tout agent IA qui traite des documents, des tickets ou des conversations longues est concerné par le même compromis entre coût du harnais, coût de la mémoire et précision.
Conclusion
La complexité d'un agent IA se voit dans la facture avant de se voir dans les résultats. Pour une PME, le bon réflexe en 2026 n'est pas de choisir l'outil le plus en vogue ou le modèle le plus puissant, mais d'exiger une mesure chiffrée, coût par tâche et précision, avant d'intégrer un agent IA dans un processus métier. C'est aussi la question au cœur du choix entre construire son propre agent ou acheter une solution clé en main : retrouvez notre guide build vs buy pour les agents IA en PME et nos témoignages clients pour aller plus loin.
