Reprendre ce qu'on a cédé
Un conducteur, un gouvernement, une revue académique. Tous les trois ont compris la même chose trop tard.
Un ingénieur a passé des heures à démonter le tableau de bord de sa voiture pour en extraire le modem et le module GPS. Pas par idéologie. Par refus. Sa RAV4 2024 transmettait des données vers des serveurs Toyota sans que le contrat soit clair, sans que la désactivation soit possible autrement que physiquement. Il a sorti les composants. Il a documenté la procédure. HackerNews a voté le post à 945 points.
Ce chiffre mérite une seconde d'attention. 945 personnes qui construisent des systèmes pour gagner leur vie ont regardé quelqu'un démonter un système pour reprendre le contrôle du sien. Et elles ont trouvé ça remarquable.
Le gouvernement britannique a éjecté Palantir de sa chaîne de gestion des réfugiés. Non pas à cause d'un scandale particulier. Non pas à cause d'une faille de sécurité publiquement documentée. À cause d'un principe : un État qui ne comprend pas son propre système de traitement de données souveraines est un État qui a sous-traité une décision qu'il n'a pas le droit de sous-traiter. Le remplacement est interne, construit par des équipes gouvernementales. Plus lent, plus coûteux, moins performant au démarrage. Et pourtant.
arXiv vient d'instaurer un bannissement d'un an pour les auteurs qui soumettent des articles contenant des références hallucinations produites par des LLM. Ce n'est pas une réponse à quelques cas isolés. C'est une politique. Une politique de revue académique fondée en 1991, conçue pour accélérer la circulation du savoir, qui intègre désormais dans son protocole de base le fait que ses auteurs soumettent parfois des citations qui n'existent pas parce qu'ils ont fait confiance à un système qu'ils ne contrôlent pas.
Le motif
Ces trois événements n'ont pas de lien direct. Ils partagent une structure.
Dans les trois cas, un acteur a externalisé une fonction critique vers un système opaque. Dans les trois cas, l'opacité a produit un coût. Dans les trois cas, la réponse n'est pas une meilleure interface ou une meilleure documentation : c'est une réinternalisation. Physique, institutionnelle, ou contractuelle.
Ce n'est pas de la technophobie. Le conducteur est un ingénieur qui maîtrise l'électronique embarquée. Le gouvernement britannique ne supprime pas l'automatisation, il redéploie ses propres développeurs. arXiv ne bannit pas les LLM, il punit la délégation aveugle de la vérification factuelle.
Ce n'est pas non plus une victoire de la souveraineté abstraite sur l'efficacité. C'est plus simple et plus dur à entendre : ces acteurs ont réalisé qu'ils avaient cédé quelque chose qu'ils ne pouvaient pas récupérer autrement qu'à prix élevé.
Ce que personne ne dit encore
L'adoption de systèmes opaques suit toujours le même pipeline. Phase un : le gain marginal est évident, le coût de la dépendance est invisible. Phase deux : la dépendance se calcifie dans les processus, les contrats, les habitudes. Phase trois : quelqu'un essaie de sortir et découvre que la porte est petite, chère, et que le plan de sortie n'a jamais été écrit.
Ce que Toyota, Palantir et les LLM en mode pilote automatique ont en commun : ils ont été adoptés dans la phase un par des acteurs qui raisonnaient en gains à court terme et externalisaient implicitement la comptabilité des risques.
Ce que la RAV4 démantelée, la décision de Westminster et la politique arXiv ont en commun : ils arrivent tous dans la phase trois. Quand le coût est déjà payé. Quand la reprise de contrôle est réelle mais coûteuse. Quand l'option gratuite, celle de ne jamais avoir cédé, est révolue depuis des années.
La vraie question n'est pas de savoir comment récupérer le contrôle. C'est de savoir pourquoi la cession initiale a toujours l'air raisonnable, et pourquoi la récupération a toujours l'air héroïque. (La réponse tient en une ligne : parce que céder est rapide et récupérer est lent, et que les humains optimisent pour la vitesse des décisions beaucoup mieux que pour leurs conséquences à dix-huit mois.)
La prochaine génération de systèmes agentic va poser exactement la même question à plus grande échelle. Avec des délais de récupération plus longs, des coûts de sortie plus élevés, et des opacités architecturales que même les équipes internes ne comprennent pas entièrement.
L'ingénieur a pu sortir le modem à la main. Ce ne sera pas toujours le cas.
volod1a