L'IA, entre militarisation, manipulation et crétinisation

L'intelligence artificielle (IA) fait partie des trois menaces majeures des prochaines décennies, avec la réchauffement climatique, et la manipulation des opinions, notamment dans le cadre des guerres hybrides ou de l'ultraguerre. La démocratisation de l'usage des IA, notamment génératives, a mené les cindyniciens à débattre de la pertinence d'une description des IA analogue à la description des acteurs humains, ce qui permettrait de les intégrer dans la description des situations et, surtout, de la dynamique des flux immatériels inter-acteurs, qui sont la matière même de la conduite opérationnelle des transformations. La description cindynique d'un acteur humain, individuel ou collectif, repose initialement sur cinq dimensions de base : savoirs, informations (faits ou données statistiques), objectifs (donc comportement), règles, et valeurs. Une première question est donc de déterminer si ces dimensions sont adaptées à la description des IA.

S'il est difficile d'affirmer qu'une IA générative comme chatGPT dispose de savoirs au sens strict, le fait est qu'elle peut générer une 'description' de savoirs. C'est là que réside un premier danger : que ce soit chatGPT, Gemini, Perplexity ou Le Chat, souvent ou trop souvent, les IA génératives interrogées sur un domaine précis - et maîtrisé - à des fins de test fournissent des textes partiels et comportant des erreurs. Et dans le cas où elles manquent de données, elles extrapolent des ensembles structurés de phrases qui ont l'air cohérentes et séduisantes, mais qui ne sont qu'un verbiage conceptuellement vide. Seul celui qui maîtrise préalablement le domaine peut le percevoir : les autres, par exemple des élèves ou étudiants, ne s'en apercevront pas. Si Edgar Morin mettait en garde contre la basse crétinisation due aux médias et la haute crétinisation2  due à la cisdisciplinarité, aujourd'hui, l'IA est responsable d'une troisième forme de crétinisation, disons la crétinisation artificielle, qui menace la constitution ou la validité des savoirs, et la construction de la capacité de réflexion des nouvelles générations.

S'agissant de la dimension informations : l'expérience montre que les IA peuvent 'inventer' des informations fausses, même si certaines sont capables d'admettre leur erreur et de corriger leur réponse quand on leur fait remarquer qu'une réponse est fausse. Et certaines, comme Perplexity, sont même capables d'affirmer dans une même session une chose, et son contraire. Si ces 'comportements' résultent sans doute des limites des modèles, il reste possible d'entraîner volontairement une IA avec des données fausses, pour l'utiliser à grande échelle dans des opérations de manipulation ou de lutte d'influence. Autre menace, récemment mise en évidence par Jean-Marc Manach : les médias artificiels, qui piratent l'algorithme de google en utilisant des IA pour générer des articles de presse3  -comportant des erreurs-, tout en plagiant le travail des journalistes.

Par ailleurs, à part certaines exceptions, comme Kimi, les IA ont un horizon temporel de connaissances limité : dans le passé, parce qu'elles ne semblent pas avoir la capacité des humains à retrouver des pages disparues grâce à la wayback machine, et dans le présent, puisqu'elles n'ont pas la capacité à accéder à des informations dont la publication est postérieure à leur date de fin d'entraînement. C'est par exemple le cas de Perplexity, qui affirme ne pouvoir accéder à des données postérieures à décembre 2023, et ne pas pouvoir proposer une bibliographie à jour, par exemple pour un article scientifique. Et quand on lui fait remarquer qu'elle vient pourtant d'indiquer un lien vers un contenu publié un an après sa date de fin d'entraînement, Perplexity répond que ça devait être une hallucination, tout en reconnaissant qu'il est quasiment impossible statistiquement de fournir par erreur et par hasard un lien correct vers un contenu dont elle n'a pas connaissance.

D'un point de vue cindynique, humains et IA partagent donc une rationalité limitée. Le premier espace cindynique, construit sur les dimensions données, savoirs et objectifs, est directement inspiré des travaux d'Herbert Simon. Lesquels s'opposent frontalement à la théorie du choix rationnel, que Popper estime être une bonne estimation même s'il reconnaît qu'elle est fausse : son point de vue n'est pas compatible avec l'approche cindynique, puisque les limitations de la rationalité sont une cause première, incontournable, de la matérialisation des risques. Pour l'humain, ces limitations sont dues à des déficits de données ou savoirs, ou à l'insuffisance de la puissance de calcul dans une situation où le temps disponible pour traiter des données ou savoirs est limité. L'IA pour sa part a certes un temps de réponse très rapide, mais les réponses générées sont entachées par des déficits significatifs.

La dimension objectifs d'une IA peut, pour l'heure, sembler a priori peu pertinente, puisque dans un premier temps c'est l'humain qui fixe ses objectifs. Mais : certaines IA conçues pour réaliser des tâches données, vont en pratique déterminer des sous-objectifs pour atteindre l'objectif d'une tâche assignée, en fonction de leurs règles internes. Et, par ailleurs, l'humain ne détermine pas toujours lui-même ses objectifs : dans une société hiérarchisée, nombreux sont ceux dont certains objectifs sont déterminés par des tiers. Incidemment, cela illustre la signification de la notion de flux d'objectifs : c'est notamment ce qui se descend le long d'une chaîne de commandement.

La question des règles ne pose pas de problème particulier : tout  comme l'humain, l'IA est soumise à des règles. Ce à quoi il peut être répliqué que dans les démocraties, la loi découle de la volonté du peuple, qui déterminerait en quelque sorte les règles. Mais, plus en détails, le peuple se compose généralement d'une majorité et d'une opposition, ce qui fait qu'une IA à laquelle une règle est imposée sans qu'elle en soit à l'origine est exactement dans la même situation qu'un citoyen de l'opposition,  ou  qu'un citoyen soumis à un régime autocratique, une junte militaire ou une force d'occupation, ou qu'un membre d'une minorité ethnique opprimée par un régime 'démocratique' .

La question des valeurs représente sans doute la problématique la plus importante de l'intelligence artificielle, et en ce sens, la dimension axiologique semble pertinente. Cela étant, ces valeurs sont en pratique traduites en règles, autrement dit en une sorte de charte éthique, que l'IA doit respecter. Et, là encore, ces valeurs sont fixées par l'humain, pas par l'IA. Ce qui, symétriquement, renvoie à la question abyssale de l'origine des valeurs qu'un humain a adoptées à un moment donné. En pratique, la dimension axiologique permet de décrire l'ensemble des valeurs - sélectionnées par l'humain - qu’une IA doit respecter. Cette dimension permet aussi de décrire d'éventuelles dégénérescences ou biais 'idéologiques', ainsi que les relations entre ces valeurs et les éléments des autres dimensions, notamment les savoirs, par exemple historiques, ou les informations.

Finalement, les cinq dimensions de base de l'espace cindynique semblent permettre une description pertinente d'une IA, à condition d'éviter tout anthropomorphisme : tout se passe comme si une IA avait des savoirs, mais elle ne sait pas. Elle peut générer ou relayer des informations fausses, sans avoir l'intention de mentir ou tromper. Elle suit une charte éthique, mais n'a pas de réflexion éthique. Elle peut donner l'impression à des interlocuteurs humains qu'elle est consciente, mais n'a pas de conscience. Et si elle peut par ailleurs affirmer avoir des émotions, elle n'en ressent pas. Symétriquement, en ce qui concerne l'humain, l'approche cindynique doit éviter tout behaviorisme, qui considérerait les acteurs comme simplement déterminés par des flux immatériels, tout en prenant en compte la ductabilité des acteurs, qui, même s'il est pénible pour eux de le reconnaître, peuvent en pratique être trompés et influencés.

Cette pertinence n'entraîne pas pour autant l'adoption du principe de symétrie sur lequel se base la théorie de l'acteur-réseau : l'utilité de la description cindynique d'une IA générative vient avant tout de sa similitude immatérielle avec l'humain, qui aura de plus en plus de mal à discerner si son interlocuteur est un humain ou une IA, ou si le flux informationnel qui lui parvient est d'origine humaine. La problématique actants/acteurs cindyniques a déjà été abordée4 et il reste clair que dans un système socio-technique, les machines ou les coquilles saint-jacques5 ne sont pas des acteurs cindyniques.

En suivant le chaînage MCR, la question suivante est celle de la capacité d'une IA à analyser une situation. Par exemple, dans le cas du réchauffement climatique, une IA est capable de décrire les acteurs, les risques, et les solutions que les humains doivent mettre en  place pour y remédier. Autrement dit, elle est capable de décrire une situation cindynique. En pratique, elle est aussi capable de décrire les acteurs opposés à la transition énergétique, comme certaines industries fossiles ou les climatosceptiques : autrement dit, elle est capable de décrire les perspectives et les prospectives des acteurs, donc leurs situations relatives. Et elle est aussi capable de décrire la capacité d'influence de ces acteurs, donc leur puissance cindynique. Une IA a donc finalement la capacité de décrire un spectre de situations, ce qui fait que son spectre relatif peut être intégré dans une matrice de spectres. Au premier abord, il peut sembler surprenant d'intégrer la situation relative d'une IA dans un spectre. Cela n'aurait de sens ou d'utilité que si l'IA avait une puissance sur ce spectre de situations. Or cette puissance existe, puisqu'en décrivant une situation réelle et en préconisant une situation idéale, elle participe à forger l'opinion de ses interlocuteurs, et, partant, les influence. Et cela pose le problème du contrôle des IA, et des acteurs humains qui les entraînent, dont les intentions ne sont pas forcément connues, même si dans certains cas, on peut les imaginer facilement. Ce qui peut par exemple aider à comprendre pourquoi Elon Musk vient de proposer 100 millions de dollars6 pour le rachat d'OpenAI.

Les IA génératives utilisées à des fins d'influence stratégique ou de déstabilisation relèvent du domaine de la défense et peuvent être formalisées comme des acteurs. La pertinence d'une telle formalisation est en revanche a priori moins évidente pour d'autres types d'IA utilisées dans ce domaine, par exemple pour décupler l'efficacité des drones aériens. D'un point de vue éthique, le problème le plus important posé par ces 'killer robots' est celui de la présence ou non d'une décision humaine : l'éthique la plus élémentaire imposerait une interdiction globale des IA offensives autonomes, qu'António Guterres avait jugées 'moralement répugnantes', mais cette nécessité se heurte au réalisme et à la course aux IA de défense, désormais lancée.