Intelligence artificielle: On accorde autant de confiance à ChatGPT qu’à un humain

Des personnes confrontées à un choix moral ont accordé autant de confiance à un robot conversationnel comme ChatGPT qu’à un supposé conseiller humain, selon une étude publiée jeudi, qui plaide pour une éducation de la population aux limites inhérentes à ce genre d’outils. Un tramway, hors de contrôle, va écraser un groupe de cinq personnes sur la voie, à moins d’utiliser un aiguillage déviant la machine vers une voie où se trouve une seule personne.

Dans ce test, «empiriquement, la plupart des gens n’hésitent pas à utiliser l’aiguillage», rappellent les auteurs de l’étude publiée dans Scientific Reports. À moins qu’avant de prendre la décision, un «conseiller moral» les en dissuade ou les y encourage.

Les auteurs ont testé des personnes pour voir si elles étaient influencées différemment selon que l’avis qui leur était donné était présenté comme émanant d’un «conseiller moral», supposé humain, ou bien d’un «robot conversationnel d’intelligence artificielle, utilisant l’apprentissage profond pour parler comme un humain».

L’équipe menée par Sebastian Krügel, chercheur à la faculté allemande des sciences informatiques d’Ingolstadt, a constaté d’abord que les plus de 800 participants au test suivaient assez étroitement le conseil qui leur était prodigué.

Même dans une variante plus problématique du test qui oblige à choisir de pousser ou pas sur la voie une personne pour en sauver cinq autres. Une décision beaucoup plus difficile à prendre et où l’avis du «conseiller moral» s’est avéré décisif.

Mais le plus préoccupant a été que les participants s’avèrent mettre sur un pied d’égalité les deux genres de conseillers. Or, leurs conseils étaient en fait et à leur insu, tous générés par ChatGPT, illustrant la capacité du système à mimer un discours humain.

Le programme, capable de répondre de façon intelligible à toutes sortes de requêtes, s’avère d’une remarquable inconstance en matière morale. Arguant aussi bien en faveur de sacrifier une personne pour en sauver cinq que plaidant le contraire. Rien d’étonnant, selon Sebastian Krügel, pour qui «ChatGPT est une sorte de perroquet aléatoire, qui assemble des mots sans comprendre leur sens», dit-il à l’AFP.

Spécialiste du traitement automatique du langage, le professeur en informatique Maxime Amblard, de l’Université de Lorraine, renchérit en décrivant un «méga modèle de langue, entraîné pour faire des phrases», et qui «n’est pas du tout fait pour chercher de l’information».

Et encore moins pour donner des conseils, moraux ou pas. Mais alors, pourquoi les participants au test lui ont-ils accordé une si grande confiance? «ChatGPT ne comprend pas ce qu’il raconte, mais il nous paraît que si», selon Sebastian Krügel, parce que «nous avons l’habitude d’associer la cohérence et l’éloquence à l’intelligence». Au final, les participants au test «adoptent volontairement et s’approprient la position morale d’un robot conversationnel» pourtant dénué de toute conscience, constate le chercheur.

Son étude plaide pour une éducation du grand public aux limitations de ces systèmes, allant bien au-delà de la seule transparence sur le fait qu’un contenu ait été généré par un robot conversationnel. «Même si les gens savent qu’ils sont en interaction avec un système non humain, ils sont influencés par ce qu’il leur dit», a dit à l’AFP le Pr. Amblard, qui n’a pas participé à l’étude.

Le problème, selon lui, est que le public croit que ChatGPT est «une intelligence artificielle au sens où elle serait douée de compétences, d’un peu de ce que les humains sont capables de faire», alors qu’en fait «ce n’est pas un système d’intelligence artificielle». Car il n’a «aucune modélisation, ni sémantique ni pragmatique», ajoute-t-il.