Ted Chiang, le brillant auteur de la nouvelle Histoire de ta vie, qui a inspiré le film Premier Contact, a fait dans un article pour Buzzfeed (et relayé par Boing Boing) d’intéressantes observations sur la crainte de la venue d’une IA superintelligente et destructrice. Une terreur partagée, rappelons-le, par bon nombre des entrepreneurs de la Silicon Valley, Elon Musk en tête.
Pour illustrer ses peurs, Elon Musk donne l’exemple d’une IA dont le but est de cueillir des fraises et qui en vient à détruire la civilisation pour couvrir toute la planète de son fruit favori (variation sur l’exemple des « trombones », utilisé par Nick Bostrom).
Une hypothèse assez bizarroïde, dont la popularité, selon Chiang, tient au fait que les entrepreneurs numériques projettent dans un futur technologique le reflet de leur propre comportement. Ils ont, dit-il, « créé inconsciemment un démon à leur image, un croquemitaine dont les excès sont précisément les leurs. »
« J’avais l’habitude de trouver bizarre que ces IA hypothétiques soient censées être assez intelligentes pour résoudre des problèmes auxquels aucun humain ne pouvait trouver de solutions, mais se révélaient incapables de faire quelque chose que tout adulte est en mesure d’effectuer : prendre du recul et se demander si leur action actuelle est vraiment une bonne idée. Puis j’ai réalisé que nous sommes déjà entourés de machines qui démontrent un tel manque total de perspicacité, nous les appelons simplement des corporations. (…)
Réfléchissez-y : qui poursuit ses objectifs avec une concentration monomaniaque, inconsciente de la possibilité de conséquences négatives ? Qui adopte une politique de la terre brûlée pour augmenter sa part de marché ? Cette IA hypothétique cueilleuse de fraises ne fait que ce que chaque start-up technologique souhaite réaliser – croître à un rythme exponentiel et détruire ses concurrents jusqu’à obtenir un monopole absolu (…).
Des observateurs de cette industrie parlent de la nécessité pour les IA d’avoir un sens de l’éthique, et certains ont proposé que nous veillions à ce que les IA superintelligentes que nous créerons soient «amicales», ce qui signifie que leurs objectifs devront être alignés avec les objectifs humains. Je trouve ces suggestions ironiques étant donné que nous, en tant que société, n’avons pas réussi à enseigner aux entreprises le sens de l’éthique, que nous n’avons rien fait pour nous assurer que les objectifs de Facebook et d’Amazon étaient alignés sur le bien public. Mais je ne devrais pas être surpris. La question de savoir comment créer une IA amicale est simplement plus amusante à considérer que le problème de la réglementation de l’industrie, tout comme imaginer ce que vous feriez pendant une apocalypse zombie est plus amusant que de penser à la bonne manière de lutter contre le réchauffement climatique.
Et, citant le critique marxiste Fredric Jameson, Ted Chiang de noter qu’il « est bien plus facile d’envisager la fin du monde que celle du capitalisme… »