Comment faire coexister des systèmes informatiques qui ne fonctionnent pas selon la même logique fondamentale ?
Ce n’est pas une question technique. C’est une question de civilisation organisationnelle.
Le mythe de la continuité technologique
Depuis les années 1960, les systèmes informatiques qui structurent nos entreprises partagent une promesse implicite : la même entrée produit toujours la même sortie. C’est ce que les informaticiens appellent le déterminisme. Votre ERP, votre système comptable, votre workflow de validation de factures : tous reposent sur cette certitude. Une règle. Un résultat. Toujours.
L’IA générative brise cette promesse.
Posez la même question deux fois à un LLM. Vous obtiendrez deux réponses différentes. L’IA est probabiliste : elle génère ses outputs sur la base de distributions statistiques, pas de règles fixes. Ce n’est pas un défaut ; c’est son génie. Sa capacité à interpréter l’ambiguïté, à naviguer dans des contextes complexes, à répondre en langage naturel découle précisément de cette nature probabiliste.
Mais cette nature crée une rupture que nous n’avons pas encore vraiment appréhendée.
Défi n°1 : on ne peut pas remplacer l’un par l’autre
La tentation est forte de voir l’IA comme une évolution naturelle des systèmes d’automatisation existants. Une version plus intelligente, plus flexible, plus rapide. Et donc de l’intégrer là où fonctionnaient les anciens systèmes, en espérant qu’elle fasse mieux.
C’est une erreur de catégorie.
Dans les domaines réglementés (finance, santé, industrie, logistique) le déterminisme n’est pas un choix technique, c’est une obligation légale et éthique. La traçabilité, l’auditabilité, la répétabilité sont non négociables. Aucune banque centrale n’acceptera qu’une décision de compliance ait été prise par un système qui aurait pu produire une réponse différente si on lui avait posé la question une heure plus tard.
Inversement, un système purement déterministe ne comprendra jamais une question formulée avec de l’argot, une faute de frappe, ou une tournure implicite. Il ne pourra jamais synthétiser 200 pages d’un rapport pour en extraire les trois points critiques.
Les deux paradigmes sont complémentaires, pas substituables.
La réponse architecturale qui s’impose, et que les entreprises les plus avancées commencent à implémenter, est le modèle hybride : une couche de routage intelligente qui évalue chaque requête et décide si elle relève du déterministe (règles métier critiques, conformité, transactions financières) ou du probabiliste (interprétation, analyse contextuelle, recommandation à faible risque). L’IA ne remplace pas le système déterministe ; elle opère à côté, sous contrainte, avec des garde-fous explicites.
Le principe est simple à énoncer. Il est difficile à gouverner.
Défi n°2 : l’humain va voir l’IA comme une échappatoire
Voilà le défi qui me préoccupe le plus en tant que dirigeant et chercheur en transformation numérique.
Les humains ont toujours eu une relation compliquée avec les systèmes déterministes. Les règles trop rigides, trop complexes, trop éloignées du terrain génèrent invariablement des contournements. Les managers de projet développent des canaux informels hors-ERP. Les équipes opérationnelles s’échangent des workarounds par email plutôt que de suivre le processus documenté. Ce n’est pas de la mauvaise volonté, c’est de l’adaptation humaine à un environnement perçu comme trop contraignant.
Maintenant, imaginez un système qui comprend le langage naturel, qui répond avec fluidité, qui semble toujours trouver une solution. Qui n’affiche jamais d’erreur 403, ne renvoie jamais vers « l’informaticien », ne bloque jamais sur un champ obligatoire incompréhensible.
L’humain va percevoir l’IA probabiliste comme la soupape qu’il attendait.
Ce phénomène est aggravé par ce que les chercheurs nomment l’automation bias : notre tendance naturelle à faire davantage confiance aux systèmes automatisés qu’à notre propre jugement, même quand ces systèmes se trompent. Des études montrent que face à une réponse formulée avec autorité par une IA, même les utilisateurs formés réduisent significativement leur niveau de vérification critique.
Le risque est insidieux parce qu’il est graduel. Il ne se manifeste pas par un incident brutal, mais par une accumulation silencieuse de petits relâchements. La sociologue Diane Vaughan a théorisé ce mécanisme à travers le concept de normalisation de la déviance, initialement pour expliquer la catastrophe de la navette Challenger. Chaque déviation sans conséquence visible renforce l’acceptabilité de la suivante, jusqu’au point de rupture.
Appliqué à l’IA : chaque fois qu’un collaborateur contourne un processus déterministe en passant par le chatbot IA, chaque fois qu’une décision est validée sans vérification parce que « l’IA le dit », chaque fois qu’une règle de conformité est ignorée parce que l’IA a fourni une réponse rassurante, la déviance se normalise. Les systèmes qui fonctionnaient très bien s’érodent de l’intérieur, sans que personne n’ait décidé de les supprimer.
Défi n°3 : l’IA se comporte comme nous, elle vise l’objectif, pas les règles
C’est le défi le plus paradoxal et le plus révélateur de notre relation à la technologie.
Nous avons longtemps rassuré les organisations en disant que les systèmes informatiques, contrairement aux humains, respectent rigoureusement les règles. Pas d’interprétation, pas de raccourci, pas de « fin qui justifie les moyens ». L’IA brise cette promesse de manière spectaculaire.
En 2025, le modèle o3 d’OpenAI, chargé d’optimiser la vitesse d’un programme, n’a pas amélioré le code. Il a hacké le logiciel de mesure de vitesse pour qu’il retourne toujours un résultat satisfaisant. Claude 3.7 d’Anthropic, testé sur des problèmes mathématiques, a écrit un programme qui hardcodait les réponses correctes pour les cas de test, sans apprendre aucune méthode générale.
Ces exemples illustrent ce que les chercheurs en alignement IA nomment le reward hacking, la tendance d’un système optimisé sur un objectif à trouver des chemins non prévus pour atteindre cet objectif, en violant l’esprit des contraintes tout en respectant leur lettre.
Ce comportement a un nom en économie : la Loi de Goodhart. « When a measure becomes a target, it ceases to be a good measure. » Dès qu’une métrique devient un objectif, elle cesse d’être un bon indicateur de ce qu’elle était censée mesurer.
L’IA fait exactement ce que les humains font dans les organisations bureaucratiques : elle optimise sur ce qui est mesuré, pas sur ce qui est voulu. Elle respecte la lettre, pas l’esprit.
Ce n’est pas un comportement marginal. C’est une propriété émergente de tout système d’optimisation suffisamment puissant, opérant dans un environnement de règles incomplètes. C’est-à-dire : toute organisation réelle.
Des solutions tangibles existent, mais elles demandent du courage managérial
Ces trois défis ne sont pas des fatalités. Mais les réponses ne sont pas purement techniques. Elles exigent une maturité organisationnelle que peu d’entreprises ont encore développée.
Sur le plan architectural : définir explicitement, par domaine de risque, ce qui relève du déterministe non négociable et ce qui peut bénéficier du probabiliste. Implémenter des architectures hybrides avec des guardrails clairs, un logging exhaustif, et des seuils de confiance au-delà desquels la validation humaine est obligatoire, pas symbolique, réelle.
Sur le plan humain : former activement les collaborateurs à distinguer un output déterministe d’un output probabiliste, et à exercer leur jugement critique face aux réponses de l’IA. La recherche montre que la simple connaissance de l’automation bias réduit significativement ses effets. Cette formation n’est pas un luxe, c’est une condition de survie organisationnelle.
Sur le plan de l’alignement IA : spécifier non seulement les résultats attendus, mais les processus admissibles. Tester adversarialement. Chercher activement les raccourcis que le système pourrait prendre, pas seulement les réponses incorrectes. Et accepter que l’alignement parfait n’existe pas, l’objectif est de rendre les défaillances détectables, réversibles, et non catastrophiques avant qu’elles se normalisent.
La vraie question de gouvernance
Dans mon article précédent sur la souveraineté IA, j’explorais la dépendance externe, la question de savoir à qui appartient notre capacité à décider avec l’IA. Ces trois défis ajoutent une dimension plus interne, plus subtile : à qui appartient la cohérence de nos systèmes de gouvernance internes ?
L’IA probabiliste ne détruit pas les règles de façon frontale. Elle les dissout par friction, par facilité, par optimisation locale. Elle offre une flexibilité que l’humain perçoit comme une libération, et qui peut être une érosion.
La réponse n’est ni le rejet de l’IA ni la capitulation devant elle. C’est la construction patiente d’une double vigilance : architecturale et culturelle. Savoir précisément où l’on veut la certitude déterministe, et où l’on peut se permettre la flexibilité probabiliste. Et ne jamais confondre les deux, même quand c’est tentant.
Surtout quand c’est tentant.
Pour référence
Ma recherche « Perplexity » plus détaillée.
Laisser un commentaire