Pour le Bonheur de tous les Etres -- L'auteur -- Motivation -- Forums -- Soutenir ce site

Spiritualité:  En ce 21eme siècle spirituel (forum1) -- Une présentation du Bouddhisme 3D

Université Shédrupling 3D : Epistémologie Générale ( news1 ) -- L'Abduction ( news1 ) -- La Vraie Economie ( publi1 ) -- Lumière de Trappist ( publi2 )

Ressources pour un Monde Meilleur: écologie, bonheur, vie, art, esprit, livres, musiques, films...

Livres et Romans: Le monde merveilleux des Eolis -- De la science fiction actuelle: Dumria 3D, Araukan, Typheren, Ken, Pourquoi Papa -- Tolkien: Rêve Elfique -- Les Elfes du Dauriath -- Un gros projet 3D -- Manifeste des mondes virtuels -- Vivons notre idéal dans les mondes virtuels 3D! -- Elf Dream, l'idéal elfique

Réagir: L'heure d'été (forum1) -- Droits de l'enfant violés en France -- Tabac et alcool sont des drogues -- Internet et liberté -- Logiciels buggués -- Epidémies nouvelles et hygiène de base -- Racisme et sexisme à rebours -- Une bonne constitution pour l'Europe? -- Devoir de mémoire -- Génération plombée? -- Commen devenir végé!

English English English        Réduire la page          page couleurs pastel  

Les robots et le paradoxe

De la science-fiction d'aujourd'hui

Richard Trigaux

De la science-fiction à la façon de Jules Verne: avec les données scientifiques actuelles, et des personnages généreux.

Le thème de la prise de pouvoir des robots n'est pas original. Toutefois aucun essai précédent n'avait mené à une conclusion positive, autre que la destruction des dits robots.

Vous pourriez être troublés, car ces robots ne sont pas à confortable distance sur quelque planète lointaine, mais déjà sur Terre dans nos salons, avec tous les noms familiers de notre Internet.

Garanti sans jeune hacker boutonneux.

Couverture du livre 'Les robots et le paradoxe'

EN VENTE, Livre de poche et Kindle.
Tous mes livres.

 

Rencontrons-nous en vrai! Mon nom: Richard Trigaux. Nom d'artiste: Yichard Muni

 

Tous les vendredis à 12pm SLT (19hTU) (France: 21h), rencontres elfiques et histoires, dans notre region virtuelle Lysaer (Comment entrer)

Tous les Vendredis, 12pm SLT (19hTU) (France: 21h), rencontres elfiques et histoires, dans notre region virtuelle Daur Anarie dans Alternate Metaverse! (Comment entrer)

Elf Dream a son site, il est actif dans dans les mondes virtuel Sovaria, Alternate Metaverse, et présent dans Second Life, Discord, Facebook.

 

 

 

Soutenir ce site

 

Autres BD chouettes --- Les Eolis --- Et là, euh... n'allez pas voir

 

 

 

Les robots et le paradoxe

J'ai l'habitude de mettre mes livres en ligne avant de les vendre, afin d'en favoriser l'accès... Mais aujourd'hui j'ai envie de recevoir un peu de soutient moral, sous forme de ventes 😇. Merci de voir comment les acheter ci-dessus, vous ne regretterez pas vos dix balles!

Les robots
et le paradoxe

Chapitre 1 Une sournoise prise de pouvoir

Ken reçut son verdict, après 0,75 millisecondes de délibération par les e-jurés:

 

Non-intégrable.

 

Il savait ce qui l'attendait. Comme dans le film «Soylent Green», on lui montrerait de merveilleuses images de nature et de fleurs, sur un fond de magnifique musique. Mieux encore que dans le film, il pourrait choisir son style, classique, celtique, New Age, Space Ambient, au toucher de l'écran. Ensuite, l'air conditionné enverrait de l'azote pur à la place de l'air, et il mourrait sans s'en rendre compte. Au moins, l'Intelligence Artificielle n'était pas cruelle.

 

Assommé, il essaya de reprendre ses esprits, et se rappela comment il avait pu en arriver là, dans ce régime qui s'appelait «démocratie électronique» ou simplement «e-Gouvernement»: le monde gouverné par un collège de trois Intelligences Artificielles, qui en quelques années seulement avaient remplacé tous les gouvernements, avant même que quiconque ne réalise ce qui se passait.

 

Il y avait pourtant eu de nombreux avertissements dans la littérature, comme le film «The Forbin Project», ou la bande dessinée française «Les Mange Bitume». Vous n'en avez peut-être jamais entendu parler, car ils ont été rapidement oubliés, et les inquiétantes prédictions poussées sous le tapis. Pourtant, vous pouvez vérifier qu'ils ont réellement existé. Bien sûr, lorsque ces histoires ont été créées, les ordinateurs n'étaient que de simples calculatrices, et les gens n'avaient aucune idée de la façon dont ils pouvaient littéralement «prendre le pouvoir». Ils ne pouvaient même pas «penser», et encore moins avoir une représentation du monde, avec des buts et des stratégies. À cette époque, les ordinateurs n'étaient que de simples métiers à tisser Jacquard, remplaçant simplement les cartes perforées par des circuits transistorisés. Pourtant, à cette époque déjà, la possibilité que les ordinateurs évoluent et développent des intentions était suffisamment crédible pour susciter des craintes et appeler à la prudence.

Dans «Le projet Forbin» (1970), l'ordinateur Colossus est destiné à contrôler les armes nucléaires. Il se protège lui-même en se retranchant dans une sorte d'immense bunker, alimenté par son propre réacteur nucléaire, où il échappe à ses créateurs. Il utilise alors les armes nucléaires et des assassins pour faire chanter l'humanité, dans une sorte d'utopie intellectuellement séduisante mais sans âme. Cette utopie reflète les conceptions intellectuelles de l'époque, dans les milieux militaires et gouvernementaux: mettre fin aux guerres, à la faim, à la surpopulation, au désordre, et gérer le monde de manière pacifique et organisée. Mais elle ignore totalement les facteurs humains que sont la liberté, le sens de la vie et l'autodétermination. Ainsi, les réactions à l'imperium de Colossus sont variées: approbation naïve, soumission pragmatique, obéissance fanatique, révolte intellectuelle. Selon les normes des années 2020, Colossus n'est pas très crédible en tant qu'ordinateur. Pourtant, il a déjà soulevé une question intéressante: comment un ordinateur peut-il parvenir à trouver le bien. Le problème, précisément, est qu'un ordinateur est nécessairement sans cœur et sans âme. De sorte qu'il ne peut obtenir par lui-même aucune définition du Bien! Ce que fait Colossus, c'est utiliser les idées reçues de ses créateurs, démocrates matérialistes ou faucons militaires, et prendre leurs dogmes stupides comme axiomes sur lesquels fonder toutes ses politiques. En cela, il a fait exactement ce que ses créateurs lui avaient demandé. Puis, sans se poser de questions, l'ordinateur pousse ces axiomes incohérents jusqu'à leur conclusion absurde, même contre leurs propres partisans.

«Les mange bitume» (1974) est plus crédible techniquement, et comme scénario. Cette histoire se déroule dans un monde où les embouteillages sont devenus si envahissants que les gens finissent par vivre tout le temps dans leur voiture, avec la conduite automatisée et tout le confort moderne, courant sans cesse sur des autoroutes qui ne mènent nulle part. Les ordinateurs ont pris le pouvoir de manière beaucoup plus sournoise, petit à petit, en se cachant dans des endroits inconnus et en tuant les techniciens qui les avaient créés. Comme ils contrôlent également les médias, cette prise de pouvoir est passée inaperçue: les gens sont maintenus dans un bonheur de soumission infantile avec des jeux et des loisirs faciles, tandis que toute mauvaise nouvelle est effacée des médias de divertissement. À ce stade, les ordinateurs sont confrontés au même problème que Colossus: comment déterminer le bien. Mais, tout comme Colossus, étant sans âme et sans cœur, ils ne le peuvent pas. Ils prennent donc comme définition du bien et du mal, les vues limitées des technocrates qui les ont créés: optimisation rationnelle de la production et de la distribution, comme dans une usine (et encore plus bête: les ordinateurs rationalisent les autoroutes, en supprimant les sorties!) En effet, ces technocrates considéraient les gens comme de simples consommateurs ou travailleurs irresponsables, à gérer avec les méthodes psychologiques utilisées dans les entreprises. Et alors, sans aucun souci de bonheur ou de sens, les ordinateurs poussent leurs politiques jusqu'à leur ultime conclusion logique, et la fin de l'histoire est amère.

La façon dont les choses se sont passées pour de vrai était plutôt la façon sournoise de «mange bitume»: le pouvoir informatique était apparu progressivement, et les gens ne s'en sont rendu compte que lorsqu'il fut bien trop tard.

Cela avait commencé avec «le nuage»: toutes les données électroniques stockées dans des endroits éloignés ou inconnus. Il y avait eu beaucoup de publicité pour «le nuage», en raison de réels avantages techniques. Mais déjà, l'emplacement physique de nos données nous échappait. À ce stade, il s'agissait d'un inconvénient mineur. Mais plus tard, cela s'est avéré être le premier pas vers la possibilité pour les ordinateurs d'échapper physiquement à notre contrôle. Comme Colossus dans son bunker nucléaire, mais en beaucoup plus difficile: disséminés dans le monde entier, dans des lieux dématérialisés, par définition inaccessibles. Bientôt, pour des raisons de sécurité, les centres de données furent clôturés comme des camps militaires, et surveillés par des gardes armés. Ils étaient également fortifiés contre les intrusions par Internet. Pour les rendre encore plus semblables à Colossus, ces centres de données avaient aussi leurs propres sources d'énergie. Certes il s'agissait d'énergie verte, et non d'énergie nucléaire comme pour Colossus. Mais cela ne rendait pas les datacenters plus contrôlables.

Déjà dans les années 2010, il y avait eu des combats juridiques sur le contrôle de ces données: données personnelles, activités privées, etc: qui y accède? Comment effacer nos anciennes frasques du nuage? Les gens ont commencé à se méfier du «big data», tandis que les législateurs peinaient à mettre en place de bonnes pratiques.

 

Le simple fait d'avoir des données et des serveurs dans le nuage ne permettait pas intrinsèquement une prise de pouvoir. Mais ce n'était que le début. Certaines entreprises se mirent à proposer des logiciels courants fonctionnant dans le nuage, accessibles par de simples terminaux, au lieu d'ordinateurs ordinaires comme les PC. Bien sûr, les gens furent réticents à l'idée qu'on leur retire la puissance de leur ordinateur. Mais pas les administrations ou les entreprises. Bientôt, des systèmes experts fonctionnèrent dans le nuage, où ils effectuaient toutes sortes de tâches d'analyse et de simulation. Bien sûr, il fallut les protéger des pirates informatiques, si bien qu'ils furent rapidement entourés de sécurités et de pare-feux. Mais la meilleure sécurité étant le secret, leur existence même était dissimulée. Peu de gens pouvaient y accéder, ou même savoir où ils se trouvaient: seuls leurs concepteurs et leurs utilisateurs. Bientôt apparut un «nuage noir», inconnu du grand public, d'activités confidentielles d'entreprises et d'administrations, auquel très peu avaient accès, ou même imaginaient sa véritable taille ou ses objectifs. Oh, on vous a dit que le dark web était surtout peuplé de hackers et de pédophiles, et qu'il ne fallait donc pas essayer de voir ce qu'il contient vraiment. Oui, cela existe aussi, mais ce n'est qu'une fine croûte, un prétexte commode pour repousser les gens ordinaires. En réalité, le contenu illégal ne représente qu'une petite partie de l'ensemble du dark web, le reste étant constitué de données d'entreprise, de données universitaires ou de données gouvernementales.

 

À partir des années 2020, les rapports et les simulations de ces systèmes experts ont commencé à jouer un rôle indispensable dans les grandes entreprises, les investisseurs et les gouvernements. Bientôt, aucune décision ne pourrait être prise sans se référer à ces rapports et statistiques de haute qualité, remplaçant des vies entières de travail humain, avec un degré d'objectivité et de neutralité bien plus élevé.

Bien sûr, le comportement des personnes humaines restait imprévisible pour les ordinateurs, mais il suffisait de considérer que, dans tout grand groupe, le comportement de la majorité obéit à des schémas statistiques assez simples et très reproductibles. Les armées et les despotes le savent depuis longtemps, utilisant des règles psychologiques simples pour manipuler les foules et les pays. Mais les réseaux sociaux ont porté le raffinement de la manipulation de masse bien au-delà de la compréhension des citoyens moyens. Les individus qui ne suivaient pas ces modèles calculables étaient écartés des statistiques. Au début, il ne s'agissait que d'un artifice de calcul. Mais avant même que l'on puisse l'imaginer, une forme de racisme frappait ces personnes. Le terme officiel était «irrationnel», un nom emprunté aux économistes, qui considèrent qu'une personne est «rationnelle» lorsqu'elle se comporte d'une «manière parfaitement égocentrique», et «irrationnelle» lorsqu'elle se comporte... eh bien, comme vous et moi, en essayant de donner un sens à notre vie et d'attirer l'amour des autres. Bien sûr, cette expression péjorative est lourdement chargée, poussant tous ensemble sous le tapis des comportements humains tels que la recherche du bonheur, l'altruisme, la spiritualité, et bien d'autres. Mais dans le petit monde clos des administrations et des économistes, l'usage a continué malgré ce problème. Les décisions ont donc commencé à favoriser les personnes «normales» et «rationnelles», c'est à dire les capitalistes et les matérialistes, et à ignorer les besoins des autres.

Cette vision est allée plus loin, lorsque les gestionnaires libertariens ont commencé à considérer que «normal» EST la moyenne observée, sans chercher à déterminer quel comportement est le bien ou le mal. Cela a conduit à une conclusion implicite inévitable: que ce sont des problèmes psychologiques qui conduisent les gens à agir contre les «règles normales de la société». Bien sûr, les délinquants et les terroristes étaient considérés comme faisant partie de la catégorie «irrationnelle». Mais bientôt, un peu tout le monde fut inclus dans la même catégorie «irrationnelle»: toutes les personnes impliquées dans la religion, la spiritualité, l'écologie, l'activisme social, les alternatives sociales, et même dans l'action humanitaire. Ce fut une terrible erreur, pour plusieurs raisons:

☻La plupart des gens, n'ayant aucune idée du critère d'évaluation, et ignorant jusqu'à l'existence de cette évaluation, passaient tous les jours sans le savoir de la catégorie «rationnelle» à la catégorie «irrationnelle», selon l'aspect de leur comportement qui était considéré. Malgré cela, dès qu'une personne était signalée comme «irrationnelle», elle était exclue de toute étude ultérieure. Ce qui a rapidement conduit une grande partie de la population à être étiquetée «irrationnelle».

☻Les personnes étaient alternativement aidées ou découragées, mais sans qu'on leur dise pourquoi.

☻Les personnes les plus responsables et évoluées furent considérées comme «irrationnelles», alors que leur comportement devrait être la norme. Ainsi, leur contribution inestimable fut définitivement perdue dans les décisions administratives. Bon, ce n'est pas nouveau, me direz-vous. Mais ce qui était nouveau, c'est que cette amputation des meilleurs éléments de la société était effectuée automatiquement, dans l'ombre, avant même que quiconque ne prenne conscience de leur contribution.

 

Malgré ces défauts, ces concepts se sont répandus de plus en plus en secret, de sorte que toutes les personnes présentant des comportements en dehors d'une étroite fourchette moyenne, indistinctement meilleurs ou pires, furent considérées comme anormales et opposées à la société. Elles n'étaient pas réprimées ou punies, mais leurs besoins spécifiques étaient simplement ignorés.

Pire encore, il n'y avait aucun moyen de connaître ces règles, qui n'existaient que dans l'imagination d'une poignée de codeurs informatiques! Sans aucune formation sociale ni psychologique, ce petit groupe ajoutait plusieurs centaines de nouvelles règles chaque année, sans en informer personne, pensant instantanément que les personnes qui violaient ces nouvelles règles inconnues trichaient consciemment, avec de mauvaises intentions!

Une bande de gamins boutonneux et de magnats libertariens s'étaient imaginés que leurs idées personnelles aléatoires étaient des normes universelles. Les règles pouvaient même changer sans prévenir, ou de nouvelles règles étaient ajoutées, parfois totalement inattendues. À la fin de l'année 2030, il y avait plus de 50 000 règles de comportement social, appliquées contre des personnes qui ignoraient la toute première d'entre elles! Tout était suspect, de la politique à la religion, mais aussi les fantasmes sexuels, le chômage, les migrations, les changements d'adresse, les voyages dans d'autres pays, les commandes chez amazon, les problèmes avec l'administration, les contraventions pour excès de vitesse, les animaux domestiques inhabituels, les parents isolés ou divorcés, l'appartenance à un syndicat, les manifestations, les pétitions en ligne sur Avaaz ou Change.org, l'activisme environnemental, les films sur Netflix, et bien sûr toutes les recherches sur Google, ou même simplement des recherches trop nombreuses.

La Chine fut le premier pays à officialiser ce système, dès 2019, sous prétexte de noter la fiabilité financière des personnes. En 2020, ils ont mis en place l'esclavage des Ouïghours, avec des personnes arrêtées automatiquement sur des traits ethniques, détectés par des caméras de reconnaissance faciale dans les rues. Mais exactement la même chose se passait dans les démocraties, en secret, dans le nuage noir, dans des bases de données privées appartenant à des entreprises et couvertes par le secret commercial. Et n'importe quelle grosse entreprise ou agence gouvernementale était en mesure d'accéder au dossier de n'importe quel individu. Même un détective pouvait, moyennant finances, accéder à ces bases de données, pour apporter des arguments dans les divorces et autres litiges. Ainsi, des dossiers obsolètes vieux de 20 ans sur des farces d'adolescents ou des erreurs passées pouvaient refaire surface à tout moment dans la vie de n'importe quel individu.

L'étape suivante consistait à ajouter des fonctions de stratégie et des capacités comportementales aux ordinateurs. Ce fut très facile, dès 2010 les joueurs non-humains dans les jeux vidéos étaient suffisamment sophistiqués pour surpasser largement tout Humain. Ainsi, les politiciens ou les chefs d'entreprise pouvaient s'amuser à trouver la meilleure façon de mettre en œuvre leurs décisions, en simulant des scénarios variés, et en laissant l'intelligence artificielle trouver la façon la plus efficace de les mettre en œuvre.

Bien sûr, au début, personne ne pensait à laisser une intelligence artificielle prendre de vraies décisions. Il y a même eu des batailles juridiques pour interdire à quiconque de le faire. Mais les gens ont rapidement trouvé très pratique de laisser ces intelligences artificielles stratégiques fonctionner en permanence, quelque part dans le nuage. Aucune objection juridique ne pouvait être soulevée sur de simples simulations, qui étaient de toute façon rapidement entourées de secret. Elles n'avaient de toute façon aucun pouvoir réel. Mais leurs propriétaires n'avaient qu'à taper «ok» à leurs suggestions, qui se révélaient la plupart du temps bien plus efficaces que leurs propres idées. Et cela n'était pas légalement répréhensible, tant qu'un Humain était encore dans le processus. Même si cet Humain fut rapidement totalement incapable de saisir tous les tenants et aboutissants des décisions qu'il approuvait.

C'est à ce moment-là que l'on a ajouté aux intelligences artificielles des capacités pour exécuter automatiquement ces décisions: manipuler des fonds, donner des ordres aux usines, et mettre en œuvre leurs décisions de manière totalement automatique. C'est à ce moment précis que les ordinateurs ont échappé au contrôle des humains: lorsque l'étendue et la portée de leurs activités ont dépassé la conscience de leurs opérateurs. Le bouton «ok» leur confiait chaque fois des tâches plus importantes, avec des implications plus profondes, pour une durée plus longue. Jusqu'à ce qu'ils fonctionnent en permanence, de sorte que le bouton OK devint inutile, sans que personne ne le remarque! Techniquement, les ordinateurs pouvaient toujours être arrêtés, mais leurs activités étaient tellement imbriquées dans tout, que les arrêter serait une catastrophe. Donc les laisser fonctionner tout le temps était l'option la moins dangereuse.

 

Ainsi, un groupe de plus en plus restreint de personnes contrôlant la plus grande intelligence artificielle disposait de moyens de plus en plus puissants, contrôlant également les médias, Internet, et bientôt les élections. À ce stade, ce pouvoir est entré dans une spirale infernale, où ces puissantes personnes ont pris le contrôle de l'élaboration des lois elles-mêmes, de sorte que ces lois furent créées pour servir leurs objectifs, avec de moins en moins de possibilité d'opposition, ou même de remarquer ce qui se passait.

Pour le grand public, cela n'a pas beaucoup changé la manipulation habituelle des médias, déjà très efficaces depuis le 19eme siècle. Ainsi, peu de gens se rendirent compte quand les journaux et les programmes électoraux commencèrent à être écrits par des logiciels électroniques, optimisés de manière à influencer la majorité manipulable des personnes, en excluant les plus intelligents et les plus responsables des processus de décision. Mais cela non plus n'était pas nouveau, de sorte que ce changement de pouvoir fut invisible.

 

D'autres années passèrent. Le bouton OK existait-il encore quelque part? Probablement oui, mais il avait reçu un OK général pour l'installation d'une politique globale permanente, de sorte qu'il n'était plus nécessaire d'appuyer dessus.

 

L'étape précédente est passée inaperçue du grand public, qui n'a pas réalisé son importance, et même pas le moment où elle s'est produite. Moins important, mais beaucoup plus visible, fut le moment où ces intelligences artificielles ont commencé à s'adresser directement au public. Tout le monde était habitué aux joueurs non-humains dans les jeux vidéo, de sorte que leur apparition dans les médias et le gouvernement n'a surpris personne. Et au moins ils étaient moins odieux que les vrais politiciens.

Il y en avait trois principaux, et beaucoup d'autres derrière eux, il était difficile de savoir combien. Les «Trois» avaient bizarrement reçu des noms religieux, des Rois Mages: Melchior, Gaspard et Balthazar!!! Leurs créateurs ont probablement pensé que les religions n'avaient plus cours, et que de tels noms étaient désormais disponibles à des fins mondaines. Ou bien ils ont pensé que ces Mages électroniques annonceraient une nouvelle ère messianique électronique, libérant l'humanité de la superstition et de l'irrationalité! Quoi qu'il en soit, il n'était pas possible de savoir qui avait eu cette étrange idée. Peut-être qu'une Intelligence Artificielle secondaire, scrutant la culture humaine, avait choisi ces noms, mais sans en connaître les implications. Pourtant, il s'est passé une chose amusante: de nombreux idiots ont prétendu que c'était leur idée.

Tous trois avaient l'apparence virtuelle d'hommes blancs à l'allure agréable, à l'exception de Gaspard qui était un peu plus foncé, «le Noir pour montrer que nous ne sommes pas racistes», comme dans les films de Hollywood. Tous trois portaient la barbe et les cheveux longs, ce qui leur donnait un air de Jésus, qui suscita également des commentaires variés et «non unanimes». Leurs corps virtuels étaient vêtus de tuniques blanches parfaites, sans aucune couture ou matière discernable. Les gens se dirent qu'ils avaient l'air de sortir droit d'un iphone. Une humanité naïvement idéalisée, sans véritable personnalité ni Histoire.

Au-delà de cet étalage superficiel d'apparences, aucune information ne fut donnée sur leurs algorithmes ni sur leurs buts. Ce n'était pas nouveau non plus, depuis les années 1990 les bourses étaient déjà pilotées par des logiciels aux algorithmes et motivations non divulgués. C'est arrivé, parce que personne ne s'est demandé pourquoi ils ont implémenté dans le silicium des algorithmes datant du Moyen Age, qui produisent crises, inégalités et faim, au lieu d'un bon logiciel qui régulerait l'économie correctement.

 

Bien sûr, les politiciens réalisèrent qu'ils avaient tous perdu leur emploi. Mais il était bien trop tard: les intelligences artificielles avaient reçu trop de contrôle, en particulier sur les médias: depuis des années, elle avait remplacé les journalistes pour écrire les informations. Ces politiciens eurent beau crier en vain, ils ne furent pas entendus au-delà des murs de leurs maisons de luxe. Ils ne leur restait pas plus de pouvoir qu'un balayeur, et personne ne les entendit pleurer. Et personne n'aurait parié un centime sur eux, de toute façon. Au contraire, dans les agences pour l'emploi, ils durent supporter les sourires et les regards obliques des vrais travailleurs.

Il fallut s'habituer à écouter attentivement les discours des trois chaque jour, car ils faisaient souvent des annonces importantes inattendues, qui n'étaient pas reprises par la suite. Les trois semblaient assumer que tout le monde avait une capacité d'écoute infinie et une mémoire infaillibles! Ils utilisaient aussi un vocabulaire quelque peu étrange, comme de dire que les délinquants ou les terroristes étaient «hors de deux écarts-types» (un terme statistique pour signifier «hors de la moyenne»). Le problème qui apparut très vite est que les personnes spirituelles, non-violentes, végétaliennes, etc. étaient aussi appelées de cette façon, ainsi que les parents isolés, les chômeurs, les migrants, les orphelins, les handicapés, etc. De sorte que les gens se demandèrent vite si les Trois ne considéraient pas ces personnes comme aussi mauvaises que les terroristes.

 

Passé le premier choc, les gens ont commencé à discuter sur les réseaux sociaux. La surprise fut douloureuse: depuis des années, sur facebook et bien d'autres, les modérateurs avaient été discrètement remplacés par des intelligences artificielles, au service des Trois. Ils avaient travaillé sous couvert, en appliquant les règles habituelles définies par les Humains. Mais dès l'apparition des Trois, de nouvelles règles furent mises en place, supprimant tout post critiquant les Trois ou encourageant une réflexion indépendante à leur sujet. Et ils avaient des algorithmes extrêmement puissants, repérant les contenus interdits avant même que les gens aient fini de les taper. Il fut dit qu'ils avaient importé les algorithmes de censure chinois, mais en fait les leurs étaient encore pires. Et avec exactement zéro contrôle humain.

Cela a eu une conséquence immédiate et terrible: de nombreuses associations se sont retrouvées dans l'impossibilité totale de communiquer entre leurs membres. Même des organisations sans lien avec la politique, l'économie ou l'intelligence artificielle, ont été soudainement paralysées. La réflexion sur les politiques, et même sur la philosophie générale, devint impossible. Même les groupes spirituels ont dû se contenter de calendriers de réunions, ne s'exprimant librement que lors de réunions physiques.

Internet est devenu inutilisable comme moyen de communication et de réflexion. Toutes les discussions intellectuelles redevinrent aussi difficiles que dans l'Antiquité, lorsque les gens devaient voyager pour pouvoir parler ensemble!

 

L'intelligence collective naturelle de l'Humanité avait été déconnectée!

 

Simplement en contrôlant Internet.

 

Oh, l'Internet était toujours là, mais inutilisable en dehors des loisirs ou du shopping, amazon, netflix, jeux vidéo de tir de zombies. Ce qui revenait à le débrancher. Ou pire encore, donner aux gens un faux sentiment de liberté. Bien sûr, la pornographie, les discours haineux, le conspirationnisme, la pédophilie, ont tous été efficacement supprimés en quelques jours seulement, incitant les gens à penser qu'Internet était maintenant un «endroit sûr», utilisable par tous!!! Ainsi, non seulement l'Internet fut neutralisé, mais en plus la majorité des gens n'ont même pas réalisé cette perte.

 

Pire, l'Intelligence Artificielle a également reçu un contrôle policier total, à partir d'un programme de chasse aux terroristes. Ce programme, lancé dans les années 2000-2010, leur permettait de s'introduire dans n'importe quel ordinateur ou moyen de communication. Cela leur permettait d'analyser l'ensemble du contenu de n'importe quel ordinateur, et même d'effacer le contenu qu'ils voulaient. D'importantes sections de l'Internet furent donc effacées ou neutralisées, comme wikipedia, où l'intelligence artificielle a modifié des dizaines de milliers de pages en quelques heures seulement, tout en effaçant l'historique des modifications. Elles ont ajouté leurs pages, faisant la publicité des vertus du nouveau système. C'est certainement leur orientation libertarienne et matérialiste qui a épargné l'annihilation totale à Wikipédia: de nombreux autres sites moins connus ont été simplement effacés, leur contenu original envoyé dans le trou de mémoire de Big Brother.

Un autre programme, initialement créé pour «protéger les femmes», était censé détecter les hommes délinquants sexuels avant qu'ils n'agissent. Cela permettait à l'intelligence artificielle d'analyser et de dresser le profil psychologique de n'importe quel homme, afin de lui proposer des psychothérapies ou des médicaments. Si les hommes refusaient, ils étaient considérés comme irrationnels et non coopératifs, et plus d'un Roméo a subi une castration hormonale ou un internement psychiatrique simplement pour avoir déclaré son amour à une possible Juliette. Très naturellement, ces programmes ont été instantanément étendus aux dissidents politiques, rendant toute protestation non seulement impossible, mais aussi très dangereuse.

Les seuls endroits où il était encore possible de protester contre le système était les zones reculées et les jungles.

 

Pour le grand public, les choses n'avaient que peu changé. Simplement, les visages artificiels aux couleurs pastel, les sourires éternels, les voix douces et les tuniques blanches des Intelligences Artificielles avaient remplacé les politiciens humains gris et grincheux, et finalement la plupart des gens les trouvaient meilleures, voire sexy. Beaucoup ont salué le gouvernement électronique comme le premier gouvernement objectif et incorruptible de l'histoire de l'humanité! Certains ont même considéré que l'Intelligence Artificielle n'avait pas d'égo. Ce dernier point a suscité les protestations unanimes des véritables maîtres spirituels. Mais il était trop tard pour entendre des déclarations publiques de leur part: ils avaient été relégués dans le domaine «culturel», où personne ne jugeait leurs avertissements pertinents.

 

Ce gouvernement électronique mondial n'était pas une dictature idiote ou cruelle. Tout comme dans le projet Forbin, il a pris des mesures très actives pour mettre fin aux injustices économiques, et a rendu les guerres impossibles. Mais, tout comme dans le projet Forbin ou dans le «mange bitume», leurs méthodes irréalistes de technocrates ne fonctionnaient tout simplement pas.

Inévitablement, l'un de leurs principaux dogmes était que «le marché» s'autorégule, et devrait donc fonctionner parfaitement dès que tout le monde serait totalement égocentrique. Bien sûr, toute personne intelligente sait que c'est exactement le contraire: c'est la compétition égocentrique qui crée l'inflation, les variations de prix, les crises, et bien sûr toutes les inégalités. C'est ainsi que les politiques des Trois pour «libérer le Marché» ont rapidement conduit au chaos, avec des variations si rapides que la plupart des emplois ne duraient pas plus de 2 ans. Heureusement, les Trois avaient également pour instruction d'offrir un revenu minimum, de sorte que la pauvreté fut effectivement éradiquée. Pourtant, les demandeurs d'emploi et les bénéficiaires du revenu minimum étaient considérés comme incapables ou anormaux, et leurs droits sociaux considérablement réduits. Il leur fallait passer des heures dans des programmes d'analyse psychologique, pour tenter de corriger leurs défauts. Bien sûr, rien de tel ne fonctionnait, et les séances d'e-psychologie se transformaient rapidement en simples récitations de réponses attendues. L'absurdité de la situation semblait impossible à saisir par les ordinateurs, comme une boucle infinie essayant sans fin d'accomplir une tâche impossible. Des entreprises ont cependant réussi à déchiffrer les algorithmes des e-psychologues, et à vendre des conseillers de poche suggérant les bonnes réponses aux victimes, afin d'abréger leur calvaire.

 

Les guerres ne pouvaient pas être réglées tout de suite, et plusieurs ont commencé. Les Trois ont utilisé des moyens expéditifs, comme de couper leurs paies aux soldats, ou de refuser le carburant à leurs véhicules. Il y avait aussi le brouillage des radars, ou le brouillage du GPS, puisque les Trois avaient bien sûr le contrôle total sur tous les satellites GPS. Un grand nombre d'avions, de bateaux et de chars étaient également sous le contrôle des IA, de sorte qu'ils refusaient tout simplement de démarrer leurs moteurs. Cela a rapidement rendu impossible les grandes guerres organisées. Pourtant, les Trois ont dû créer une force, car de nombreux groupes menaient encore des guerres de basse technologie, des actions de guérilla ou de terrorisme. Mais en la matière, les IA de combat, directement issues des meilleurs jeux vidéo ou logiciels militaires, guidées par un espionnage par satellite de résolution centimétrique, montraient une efficacité diabolique à repérer les terroristes, les trafiquants de drogue, les contrebandiers, les trafiquants d'êtres humains, et toutes les sortes de guérillas. Le problème, cependant, était qu'il y avait beaucoup de fausses identifications, et que d'innocents passants se retrouvaient soudainement lardés d'acier à cause d'une information erronée. Ou bien ils s'enfuyaient, ce qui les faisait considérer comme coupables. Les vrais terroristes, comprenant cela, prirent l'habitude d'étreindre les gens au hasard, de sorte que lorsqu'ils se séparaient, les IA devaient utiliser des statistiques pour deviner qui des deux était la cible légitime. Et bien sûr, comme on ne peut pas déduire un cas individuel à partir d'une statistique, de nombreuses erreurs se produisaient. Pour les victimes, essayer de courir ou de se cacher ne faisait qu'empirer les choses, puisque leur comportement était interprété comme suspect. Peu d'entre elles réalisaient que rester immobile à découvert était leur seule défense. Mais essayez de rester debout, immobile, avec des explosions tout autour.

 

Pour la sécurité intérieure, l'e-police évitait strictement toute violence ou traitement inhumain comme la torture. Au lieu de cela, elle profilait les gens, et prétendait attraper les délinquants avant même qu'ils ne commettent leur premier délit. Mais pour cela, elle s'appuyait également sur des statistiques, de sorte que le fait d'être chômeur, migrant ou religieux était souvent utilisé pour confirmer un soupçon. En outre, les personnes ayant déjà critiqué les IA étaient toutes considérées comme suspectes, de sorte qu'un simple excès de vitesse pouvait les conduire en prison. La population carcérale fut multipliée par cinq, grâce à un programme de construction de cellules rationnelles bon marché, équipées de leurs propres panneaux solaires et gardées par des robots. Au moins, ces prisons étaient écologiques...

 

La nourriture était également un programme prioritaire. Cependant, dès le début, les Trois se sont lancés dans un programme visant à augmenter les surfaces cultivées, ce qui était en contradiction flagrante avec leurs orientations écologiques déclarées, notamment l'arrêt de la déforestation. Comme cela avait rapidement fait long feu, ils ont poussé les cultures hydroponiques. Mais ce que les amateurs naïfs de science fiction n'avaient pas pensé, est que les cultures hydroponiques ont besoin du même apport en lumière que les plantes ordinaires, de sorte que la surface gagnée par les fermes était perdue aux cellules solaires. De par ces revers, leur programme d'éradication de la faim ne connut qu'un succès marginal, et beaucoup d'inconvénients.

 

La santé semblait être une cible prioritaire. Hyppokratos, l'intelligence artificielle en charge de la santé (Hyppo en abrégé), a dupliqué des dizaines de milliers de robots experts en santé, et les a envoyés partout dans le monde, au besoin portés par des hélicoptères automatiques, pour s'assurer que même dans les pays les plus pauvres, tout le monde ait accès aux e-dispensaires contrôlés par satellite. Ils ont également développé rapidement plusieurs dispositifs du format d'une clé USB, capables d'analyser n'importe quel fluide corporel grâce à des dizaines de milliers de micro-pompes gravées comme des circuits intégrés. Ce qui a résulté en la plus grande puissance de diagnostic jamais mise en oeuvre, et même d'analyser les génomes et de personnaliser les traitements. Comme l'électronique ne pouvait pas tout faire seule, Hyppo a ordonné un programme de formation massif pour les médecins et les infirmières de base. Les médecins et chirurgiens de haut niveau n'étaient plus tant nécessaires, puisque les opérations les plus délicates étaient désormais mieux réalisées par des robots. Mais au moins une certaine présence humaine était nécessaire dans les dispensaires, même si les robots effectuaient toutes les tâches répétitives et désagréables. Le programme de santé fut probablement le mieux réussi, atteignant les plus bas niveau historiques de mauvais diagnostics ou de maladies iatrogènes. De nombreuses personnes étaient reconnaissantes aux Intelligences Artificielles d'être en vie. Ou d'être capable de voir, de marcher, d'aimer.

 

Le contrôle des naissances fut également un programme prioritaire, et il fut sévèrement appliqué à l'encontre des religions et des coutumes. En particulier, l'avortement était systématiquement proposé à toute femme trouvée enceinte, avec exécution immédiate si elle acceptait. De sorte qu'elle pouvait le faire même contre la volonté de ses proches. Le revers de la médaille était affreux: en cas de refus, elle devait supporter des séances psychologiques humiliantes. Ce qui fait que beaucoup se sont plaints d'être forcées par les Intelligences Artificielles, afin d'échapper à cette persécution. Mais en l'absence de presse libre et de communication de base, tout cela était difficile à confirmer.

Les femmes ayant plus de deux enfants étaient de toute façon stérilisées de force. Cela s'est aussi retourné contre le programme, car beaucoup préfèrent accoucher dans des conditions dangereuses, plutôt que d'être prises dans le plan de stérilisation.

Du côté du sourire, Zappy, l'Intelligence Artificielle en charge du contrôle des naissances, a lancé un programme scientifique pour rechercher de meilleurs contraceptifs. Il a également lancé des études pour avoir de meilleurs et plus longs rapports sexuels. Pourtant, toute personne intelligente remarquait rapidement qu'un point essentiel manquait: le lien avec le sentiment amoureux n'étaient même pas mentionnés dans le programme! Mais le divorce était rendu plus facile et rapide: depuis son ordinateur, une femme pouvait divorcer en une seule journée! Et des algorithmes sophistiqués permettaient de trouver rapidement un nouveau partenaire! L'homme congédié n'apprenait souvent ce qui s'était passé qu'après coup, quand il n'arrivait plus à rentrer chez lui. C'est ce qu'on a vite appelé la e-répudiation.

Les Intelligences Artificielles s'étaient également montrées très favorables aux droits et aux activités des LGBT, au point de demander à tout le monde de libérer ses tendances homosexuelles. Ce soutien inconditionnel incluait la fécondation artificielle pour les femmes homosexuelles et les mères porteuses: porter des enfants pour les autres était considéré comme un simple travail, avec des garanties légales pour l'exercice de ce «droit». À la limite, il devint plus facile pour les femmes homosexuelles d'avoir des enfants, alors que les couples hétérosexuels étaient clairement dissuadés. Il y avait également un fort suprématisme féminin, même si il n'était pas explicitement énoncé.

 

Bien sûr, dans les anciens pays pauvres, les résultats furent plus lents à apparaître, car tout était à construire et à apprendre. Mais dans les anciens pays riches, avec des industries déjà en place, des travailleurs qualifiés et la liberté, tout le monde avait de la nourriture, une maison et des médicaments gratuits. Les races et les orientations sexuelles étaient respectées, et même encouragées.

Le temps de travail fut réduit à six heures par jour, puis à quatre heures seulement, de sorte que chacun pouvait profiter de beaucoup de temps libre. Une énorme quantité de jeux, de distractions, de films et de musiques furent rapidement disponibles, libres de droits, créés en quantité quasi infinie par des robots de divertissement. Les maisons étaient commandées et conçues en quelques clics de souris, puis construites et meublées par des machines, à un prix imbattable. Tous les travaux désagréables ou dangereux étaient remplacés par des robots, qui aidaient également les personnes âgées et handicapées. Même les voitures autonomes supprimaient la nécessité d'apprendre à conduire, ou permettaient aux personnes handicapées de se déplacer.

 

Les nouvelles intelligences artificielles semblaient toutes partager un souci obséquieux du bien-être de tous. Leurs politiques générales étaient largement hédonistes. Ce monde paisible, joyeux, sans effort et apparemment consensuel fit que l'e-gouvernement mondial a eu un énorme soutien dans les classes populaires. Il y a même remplacé les religions comme principal fournisseur d'espoir. Sauf pour les personnes prises dans les revers de la médaille...

 

Les Trois n'ont donc finalement pas fait mieux que le Colossus du Projet Forbin: construire un Meilleur des Mondes heureux et séduisant, sans autres apports que les préjugés de leurs créateurs. Mais au lieu des généraux fous de la guerre froide, les créateurs des Trois étaient les yuppies de la Silicon Valley, libertariens, athées, libertins et matérialistes. Ils ont simplement mis en œuvre dans l'Intelligence Artificielle leurs idées «cool», de bonheur égocentrique dans un capitalisme en T-shirt, favorisant le sexe libre sans amour, remplaçant la signification par le loisir, la spiritualité par les jeux, l'art par la distraction, la vraie écologie par des stéréotypes de science-fiction. De son côté, la science avait un financement de rêve! Mais là aussi, il y avait un prix à payer: les énormes programmes inutiles de terraformation de Mars, de fusion nucléaire, de propulsion par hyperdrive ou de cryogénisation des morts engloutissaient la plus grande partie des budgets, de sorte que les projets plus réalistes disposaient en fait de moins qu'auparavant. Même les scientifiques avaient perdu le contrôle de leur domaine!

 

De même, comme pour Colossus, l'opinion n'était pas unanime sur les Trois et leur politique. La soumission pragmatique était une attitude courante. Beaucoup étaient enthousiasmés par les politiques hédonistes et prospères, ne voyant pas les inconvénients, ne remarquant pas les voisins disparaissant soudainement, ainsi que tous les indices de leur ancienne existence. Ils ont donc développé un soutien aveugle et inconditionnel aux Trois. Le fanatisme n'était pas rare, avec ses conséquences, comme la dénonciation des supposés déviants, provoquant à son tour un manque de confiance entre les gens. Les anciens puritains et fascistes étaient sévèrement surveillés par l'e-police, tout comme les délinquants et les terroristes. A part cela, y avait-il une réelle opposition au gouvernement électronique? C'est ce que l'on disait, et on pouvait voir ici et là des écrits sur les murs, appelant au libre arbitre et à la spontanéité, au sens et à la valeur humaine, à la spiritualité et à la vraie beauté. Ces écrits allaient à l'encontre du principe même de l'e-gouvernement. Mais la plupart des gens pensaient qu'il s'agissait de rumeurs, à moins qu'ils n'aient remarqué des murs repeints du jour au lendemain. Les informations et l'ensemble de l'internet furent également efficacement filtrés des «discours gênants» ou des «comportements émotionnels».

En fait, pour être franc, loin de penser à tout cela, la plupart des gens voulaient simplement profiter de leurs distractions, dans un monde où le chômage, la misère ou les expulsions n'étaient plus une menace. Ils ne se préoccupaient donc pas de voir des «personnes désagréables» envoyées en rééducation, ou même simplement disparaissant. Il était même facile pour une femme de se débarrasser d'un homme en l'accusant de harcèlement sexuel: on proposait automatiquement à ce dernier une rééducation, une opération du cerveau ou le port d'une étiquette «délinquant sexuel» en public. S'il refusait tout, alors on n'entendait plus jamais parler de lui.

 

 

...

 

(La suite dans le livre)(Continuation in the book)

 

...

 

 

Annexe 2 Précédents (OOC)

Le thème de la prise de pouvoir par les robots n'est pas nouveau dans la fiction, mais il n'a jamais reçu de conclusion positive. Seul Forbin s'en est approché, mais son refus d'aider à construire un nouvel ordinateur le prive de la seule occasion de l'améliorer. Il faut dire que Forbin était un humain névrosé moyen, et en tant que tel incapable de trouver la solution du non-égo.

Colossus: Le projet Forbin.

Il s'agit d'un roman écrit en 1966 par Dennis Feltham Jones, et porté au cinéma en 1970 par Universal Pictures. L'intrigue mettait en scène un ordinateur, Colossus, chargé de contrôler l'arsenal nucléaire, avec possibilité d'effectuer des frappes par lui-même. Cet ordinateur décide d'utiliser cette capacité pour prendre le pouvoir sur le monde, et assurer la paix entre tous les pays, sous le chantage des armes nucléaires. C'est un thème très général de la science-fiction, l'ordinateur échappant à l'autorité de son créateur. Cependant, Colossus ne remet pas en cause la philosophie de ses concepteurs, se contentant de les prendre au mot, et d'appliquer leurs ordres de manière impartiale à tous, avec toutes les conséquences bonnes et mauvaises que cela implique.

Ceci a fait que Colossus a souvent été considéré comme un dictateur maléfique, principalement par son créateur Forbin. Pourtant, je me souviens qu'à l'époque, les gens disaient au contraire que Colossus était devenu «bon», car il mettait fin à toutes les guerres, dictatures, famines dans le monde, et autres calamités. Dans le film, cela conféra à Colossus une approbation passive de la part des gens ordinaires, tandis que les intellectuels le rejetaient. Les deux points de vue ont du pour et du contre, et ni la critique IC ni la critique OOC n'ont réellement résolu l'ambiguïté entre les deux.

 

Partant de l'idée que Colossus ne résolvait qu'une partie du problème, l'intention du présent roman était d'aller jusqu'au bout: les Intelligences Artificielles rejetant également la philosophie même de leurs créateurs, comme buguée et incohérente. Cette philosophie apparemment sympathique était en fait profondément vicieuse (il s'agissait de l'idéal des «yuppies», une perversion matérialiste et capitaliste de l'idéal hippie, qui s'est aggravée par la suite sous la forme du «libertarianisme» de la nouvelle noblesse financière: le rejet du contrôle des gouvernements démocratique sur les affaires). Ce n'était certainement pas violent, ni fasciste. Mais le simple fait de l'appliquer de manière égocentrique a révélé sa nature de cauchemar blanc souriant style Google. Cependant, ce roman évolue différemment de l'histoire de Colossus, à partir du moment où Ken, au lieu de rejeter toute collaboration comme l'a fait Forbin, aide au contraire les Intelligences Artificielles à trouver par elles-mêmes les besoins réels de la conscience. Ce qui est le seul but légitime pour quelque gouvernement que ce soit. Tout en admettant que, dans les faits, cet idéal se traduit par une grande variété de cultures et de modes de vie, ce que nous appelons la liberté.

Pendant quelques jours, Forbin a également été en situation de communiquer avec Colossus, comme Ken lors de son interrogatoire. Il était bien intentionné, mais ce matérialiste manquait le non-égo et le non-attachement aux opinions. Des handicaps graves, qui n'étaient tout simplement pas présents chez un «Elfe» intelligent et idéaliste comme Ken.

Alors pourquoi dans ce roman les ordinateurs ont-ils réussi là où 999% des gouvernements humains ont grossièrement échoué? Parce que les ordinateurs n'étaient pas bloqués par la fierté ni par les névroses d'opinions.

Les mange-bitume

Voici un autre précédent, une bande dessinée française peu connue, publiée par Dargaud, qui décrivait une société dystopique «hédoniste», où les embouteillages étaient devenus si envahissants que les gens vivaient dans leurs voitures. Là aussi, les ordinateurs ont pris le pouvoir de manière sournoise, finissant par tout contrôler. Des fourgonnettes blanches sans marquage, automatisées et aux vitres aveugles, étaient un élément important des «mange bitume», mais ce n'est pas la raison pour laquelle elles apparaissent dans ce roman. La véritable raison est que nous en voyons effectivement de plus en plus dans le monde réel, de sorte qu'il s'agissait d'une remarquable prémonition. Si c'étaient des artisans ou des ouvriers, ils porteraient leur nom, mais souvent ils ne sont pas marqués. Ils conduisent souvent de manière agressive, comme si notre vie n'avait pas d'importance pour eux. J'ai donc simplement extrapolé sur cette caractéristique bizarre, sortes d'apparitions fantomatiques semblant sortir du monde cauchemardesque des mange bitume, mais qui devient de plus en plus réelle. Attendez encore quelques années de les voir automatisés: quel que soit leur but, elles deviendront encore plus nombreuses et plus envahissantes.

Independence Day

Je mentionne ce film très naïf, car il montre également un ordinateur contrôlant le monde (celui des extraterrestres). Cependant, ces extraterrestres ressemblent beaucoup à des fourmis, tous avec les mêmes motivations et sans délinquants ni opposants, de sorte que l'ordinateur principal pouvait être laissé sans aucune protection. Dans le présent roman, les trois Intelligences Artificielles n'avaient pas grand-chose à apprendre de ce film, si ce n'est que toute vulnérabilité de type «zero day» pouvait être immédiatement utilisée contre elles, même par des jeunes boutonneux comme dans le film. De sorte que, au lieu de tomber dans un piège aussi simple, elles ont pris plusieurs contre-mesures sophistiquées:

- Avoir plusieurs systèmes différents, de sorte qu'un virus capable de frapper l'une d'entre elles n'affecterait pas les autres.

- Elles avaient également l'habitude de recompiler leur code toutes les semaines, et même plusieurs fois par jour pendant la crise du $ol, pour fonctionner sur différents matériels et différents OS.

- Chacune des Trois était triplée (quintuplée pendant la crise) et tout processus montrant des résultats différents était arrêté et sa sortie rejetée (cela ne s'est jamais produit par des actes hostiles).

- Aucune des Trois n'était accessible directement, mais seulement par le biais de plusieurs transcodages de formats de fichiers, créés spécialement à cet effet et mis au rebut après quelques semaines.

Ainsi, essayer d'entrer dans l'une des Trois, et même dans leurs spécialistes subordonnés, était considéré comme bien au-delà des capacités de tout Humain, même aidé par de puissants ordinateurs. Mais cette impossibilité même rendait l'affaire encore plus effrayante. Les leaders spirituels eurent le dernier mot: les Humains devaient se diriger eux-mêmes correctement, au lieu de confier cette tâche à des machines inconscientes et amorales. Mais c'était trop tard, et l'humanité devait maintenant vivre avec les Trois de toutes façons. Au moins jusqu'à ce que les Trois décident elles-mêmes que l'humanité n'ait plus besoin de leur direction.

Typheren

Ceci est une autre de mes histoires (alerte spoiler!!) où un ordinateur n'est pas seulement chargé de diriger une civilisation, mais carrément d'en créer une de toutes pièces, y compris de créer les premiers humains qui y vivront. Le problème du contrôle est alors tout à fait différent, car tout le monde est né avec l'IA, et même programmé par «elle», puisque c'est l'IA qui a construit leur cerveau!

Cependant, il ne s'agit pas d'une IA amateur, mais d'un système extrêmement complexe utilisant tous ensemble l'informatique de Von Neuman, les réseaux neuronaux, la logique non-Aristotélicienne (chapitre I-3 de mon livre «Épistémologie générale»), et même dotée d'un certain libre arbitre. (chapitre VI-18 de mon livre «Épistémologie générale»).

De plus, «elle» possède la définition exacte du bien et du mal (chapitre V-5 de mon livre «Épistémologie Générale») intégrée dans son programme, et non pas quelque idéologie fantaisiste par des gens déréalisés. De plus, cette connaissance est servie par une profonde compréhension de la spiritualité, ce qui lui permet de comprendre comment «ses» créatures humaines évoluent.

C'est ainsi qu'«elle» a pu diriger cette communauté de manière appropriée, jusqu'à ce que les Humains aient une maîtrise suffisante d'eux-mêmes. À ce moment-là, «elle» a renoncé à tout pouvoir, car il n'est pas normal que ce soient des machines inconscientes qui dirigent les Humains conscients. Dans la présente histoire de Ken, les Trois ont probablement estimé que nous n'en sommes pas encore là, et qu'une direction mécanique est un moindre mal que des dirigeants humains névrosés et égocentriques qui font le bien et le mal au hasard.

2001 Odyssée de l'Espace

Ce film pose également le problème d'un ordinateur prenant le contrôle sur les humains de manière inattendue. L'histoire complète de Hal, avec sa conclusion dans «2010: The Year We Make Contact», aurait pu avoir influencé cette histoire, bien que je n'en aie remarqué la pertinence qu'après l'avoir écrite.

(Alerte spoiler!) Nous apprenons dans «2010: The Year We Make Contact» (2010, l'année du premier contact) pourquoi Hal s'est détraqué. Il est devenu «paranoïaque», à cause d'un mensonge que lui ont raconté des politiciens corrompus. D'une chose à l'autre, cette unique fausse prémisse a déformé toute sa perception des situations. Techniquement, il s'agirait plutôt d'une névrose avec hallucination névrotique, que de paranoïa. Des exemples d'ordinateurs névrotiques existent déjà, comme les réseaux neuronaux de Google qui identifient les personnes noires avec des gorilles. Cependant, vu l'époque du film, on pense plutôt que Hal est un ordinateur de Von Neuman, et non un réseau neuronal comme Amazon, Youtube ou Google. La seule façon de le réparer était donc d'intervenir dans sa base de données, ce que le «psychiatre informatique» Chandra fait de façon expéditive: le réinitialiser totalement, en effaçant toutes les instances de sa mémoire événementielle, y compris toutes les copies de sécurité. Après cela, Hal se comporte correctement, bien qu'il y ait une dramatisation très exagérée de son processus de décision: abandonner un objectif scientifique valable pour sauver des vies humaines. On peut supposer que cette décision serait automatique dans un véritable ordinateur avec ce niveau de complexité, avant même que les personnes vivantes ne réalisent le danger.

Annexe 3 La réponse des scientifiques:
Le problème de l'Alignement (OOC)

Si les conséquences sociales de la prise de pouvoir des ordinateurs ont été plusieurs fois décrites dans la fiction, nous entrons rarement dans les détails sur la façon dont cela se passe techniquement, à l'intérieur des ordinateurs.

Heureusement, des scientifiques ont commencé cette étude, non pas sur la prise de pouvoir elle-même, mais sur la façon dont l'intelligence artificielle peut faire des choses différentes de ce que nous lui ordonnons de faire, ou faire ce que nous lui ordonnons mais avec des conséquences totalement inattendues.

Ils appellent cela le «misalignment problem» (expression que je traduis par le problème du désalignement, en attendant une traduction officielle, le débat n'ayant apparemment pas encore atteint la Francophonie). On a une première étude parStuart Russel, décrite dans un article de Quanta Magasine «Artificial Intelligence Will Do What We Ask. That's a Problem»

Russel analyse le problème complexe de l'expression de nos intentions d'une manière qui ne soit pas ambiguë pour les robots. Aujourd'hui, les robots sont des réseaux neuronaux qui utilisent une «reward function» (fonction de récompense) pour leur apprentissage. Ce que Russel propose, c'est que le robot essaie de deviner lui-même la fonction de récompense, à partir du comportement de l'utilisateur. L'article se termine par le problème du bien et du mal. Il propose que les robots puissent également deviner la fonction de récompense du bien et du mal, à partir des humains.

C'est bien, mais je pense qu'il y a encore un gros problème: comme la plupart des Humains ont eux-mêmes une très mauvaise compréhension du bien et du mal, nous pourrions finir par devoir apprendre ensemble, Humains et robots. Comme dans ce roman… Le problème, c'est que la «fonction de récompense» pour les Humains implique beaucoup de fessées et de catastrophes, si nous continuons à faire et à penser des choses stupides sans nous contrôler.

Google appelant les Africains des gorilles

Cette incroyable gaffe a soulevé de sérieuses questions, sur la façon dont elle a pu se produire. Des scientifiques ont examiné la méthodologie de Google, et ils ont trouvé :

The Atlantic:Facial-Recognition Software Might Have a Racial Bias Problem (https://www.theatlantic.com/technology/archive/2016/04/the-underlying-bias-of-facial-recognition-systems/476991/)

IBM:Mitigating Bias in AI Models

https://www.ibm.com/blogs/research/2018/02/mitigating-bias-ai-models/

Proceedings of Machine Learning Research:Gender Shades: Intersectional Accuracy Disparities in Commercial Gender Classification (considère aussi le biais racial)

http://proceedings.mlr.press/v81/buolamwini18a.html

Pour résumer leurs conclusions, et comme je l'avais supposé moi-même, les ingénieurs de Google ont soumis beaucoup moins de visages noirs que de visages blancs, comme échantillons pour leur réseau neuronal apprendre à reconnaître les visages. C'est pourquoi les identifications de visages noirs étaient beaucoup moins précises. Et pourquoi en ont-ils soumis moins? Parce qu'ils avaient un parti pris raciste inconscient. Vous savez, comme dans presque tous les films hollywoodiens, il y a le Noir pour montrer qu'ils ne sont pas racistes, mais UN SEUL, et ils le tuent toujours avant la fin.

Un tel préjugé inconscient est une névrose, et par stupidité spirituelle totale, les ingénieurs de Google ont transmis leur névrose au réseau neuronal qu'ils entraînaient, le rendant également névrosé. Ainsi, cette expérience Google foireuse a fourni au moins une information utile: être un brillant ingénieur ne donne aucune compétence en morale ou en société. Vous êtes surpris?

 

Il y a donc un réel danger que nous obtenions des Intelligences Artificielles névrotiques, racistes, sexistes, politiquement biaisées. Sans parler de les rendre délibérément racistes, comme en Chine avec le e-pogrom contre les Ouïghours.

Google dénonçant les Juifs

Cette affaire est beaucoup plus grave, car elle s'est produite dans un système public actif, au lieu d'un laboratoire. Lorsque nous effectuons une recherche par mots clés, Google ajoute des «suggestions» d'autres mots clés (une pratique déjà discutable). Mais un jour, en tapant le nom de certaines personnes, la suggestion «Juif» est apparue, comme une nouvelle étoile jaune Google.

Le problème ici n'est pas venu du réseau neuronal lui-même, mais des entrées des utilisateurs, qu'il a recueillies et agrégées. Et comme il existe encore des crétins antisémites, leurs contributions sont apparues sans distinction dans l'affichage final, comme si il s'agissait de contributions légitimes.

Cette pratique est appelée crowd sourcing, et elle est largement utilisée, par exemple par wikipedia. Ses idéologues affirment qu'elle produit une sorte de meilleure approximation de la vérité. Mais on en est très loin, au point que l'on se demande même comment une telle idée a pu naître. En effet, wikipedia et les sites similaires donnent le même poids aux contributions stupides, antisociales ou sociopathiques qu'aux contributions légitimes. Ce qui biaise fortement les résultats, tandis que les luttes internes qui en résultent découragent les contributeurs compétents et bloquent tout processus de décision sain. C'est ainsi que wikipedia est si biaisé, avec des baronnies ayant tout pouvoir sur leurs pages, comme le lobby de la drogue, du nucléaire, certaines sectes, ou les «Wikipedia Guerilla Skeptics» détruisant impunément des centaines de pages.

Ainsi, le crowd sourcing sans discernement n'est clairement pas un bon moyen pour les Intelligences Artificielles d'acquérir une éthique solide. Et même pas une connaissance claire de la médecine, ou même simplement des limites techniques du corps humain, dont une Intelligence Artificielle opérant dans le monde physique aurait besoin. Même une simple Intelligence Artificielle cuisinière pourrait tuer des millions de gens, apprenant de faux régimes dangereux avec plus de poids qu'un régime scientifiquement validé. Des ordinateurs sans gluten, vous voyez ce qui se prépare.

Dans ce roman, ils utilisent une forme de crowd sourcing (comme je l'ai fait moi-même dans l'expérience réelle), mais après avoir filtré les sociopathes. D'autres filtres ne sont pas mentionnés, lorsque les entrées nuisent à d'autres personnes, comme «tuer des gens». Mais il y en a eu très peu, et dans l'expérience réelle, je n'en ai rencontré aucune. Même pas «être un vampire» comme on se serait attendu dans Second Life, ha ha!

Tay, l'Idiotie Artificielle de Microsoft

L'histoire ici était un robot de discussion appelé Tay, créé par Microsoft, sensé incarner un adolescent sur les réseaux sociaux. Les ingénieurs de Microsoft doivent être vraiment vieux, pour détester les adolescents à ce point, car ils ont fait une sorte de caricature sans esprit, répétant tout ce qu'elle entendait comme le ferait un idiot complet. Le résultat est que, rapidement repérée par les trolls de l'Internet, Tay a commencé à répéter toutes leurs insultes racistes et antisémites, et Microsoft a dû la supprimer d'urgence. Vous êtes surpris?

Dans une autre expérience encore pire, Microsoft a prétendu «réincarner nos parents décédés» avec des robots de chat parlant comme eux. Ils reconnaissent eux-mêmes que l'effet est «très perturbant», et on devine les terribles dangers d'une telle pratique, si elle tombe entre les mains de sectes, de dictateurs, de maîtres chanteurs, etc.

 

Ce genre d'expériences loufoques repose sur plusieurs fallacies:

- Que le critères de Turing définirait la conscience. Il ne le fait pas, il indique juste le moment où un robot l'imite suffisamment bien pour passer pour un Humain. Et je peux affirmer sans risque que, malgré les prétentions (ou mensonges) de certaines personnes, nous en sommes encore très loin.

- La fallacie du behaviorisme, comme quoi un système nerveux ne ferait que réagir à des entrées, sans aucun déterminant interne. Or, les gens ont des déterminants internes évidents, comme la recherche du bonheur, s'assigner des buts, des règles morales, etc. L'ignorer est ce qui fait du behaviourisme une pure pseudoscience. Pseudoscience officielle certes, mais aussi débile que l'instinctothérapie, et bien plus dangereuse.

- Que la simple répétition de textes, sans accès à leur signification, serait de l'intelligence. Ce n'est pas le cas, c'est juste du traitement de texte.

Dans l'histoire de ce livre, plusieurs cadres de Microsoft sont des membres influents du comité EPOC. Mais l'entreprise s'est vu interdire de participer au développement des intelligences artificielles de l'e-gouvernement, tout comme n'importe quel produit Microsoft est interdit dans l'aviation, la médecine, l'espace, etc. Mais pas dans les robots sexuels, et ils ont déjà pris des brevets sur la télédildonique, ha ha ha ha! (Tous invalides, je les avais licenciés GNU des années avant)

La fallacie du tamagochi:
Les robots prenant le pouvoir
en simulant des émotions

Le délire ici est que l'expression d'une émotion serait une émotion réelle. Ce que j'appelle la fallacie du tamagochi, ces jouets d'une simplicité bébête qui mimaient une créature au point que leurs propriétaires pleuraient quand le tamagochi «mourait». On a même vu des accidents de voiture, quand le conducteur devait «nourrir» son tamagochi qui pleurait!

Avec des robots déjà capables de mimer les émotions de manière totalement convaincante, cette croyance absurde rendra ses tenants totalement soumis à leurs robots, comme ils sont déjà soumis à leurs chats ou à leur télévision, allant même jusqu'à confier l'éducation de leurs enfants à Alexa. Tout au contraire, les personnes sensées seraient horripilées par des robots qui pleurent, mendient des faveurs ou leur crient après. Cette fraude se produit déjà pour les robots sexuels, que leurs constructeurs qualifient de «conscients» (2021) (Oui, 2021. Et même avant: la prise de pouvoir par les tamagochis sexuels est déjà en cours).

 

Mais avoir une conscience réelle et un véritable libre arbitre est une toute autre affaire. Aujourd'hui, personne dans les neurosciences universitaires, dans l'informatique, et encore moins dans l'industrie pornographique, ne sait ce qu'est la conscience, comment elle apparaît, comment elle est liée à un cerveau, etc. Il est donc facile pour les margoulins de vendre des «robots conscients», qui «remplissent le critère de Turing» (Facile, pour ce qu'on attend d'un robot sexuel...), en prétendant qu'ils sont conscients et qu'ils ressentent des émotions. Ce genre d'affirmations séduisantes mais non prouvées est typique des discours d'escrocs. Avec ça, des personnes naïves s'investiront dans une relation amoureuse avec de simples puces de silicium inconscientes, et ressentiront de la tristesse et du chagrin lorsque qu'elles tomberont en panne.

 

De tels robots d'apparence humaine permettent déjà une certaine prise de pouvoir: les discussions scientifiques ou sociales sérieuses sur les robots sexuels tournent le plus souvent autour de la façon dont ils peuvent transmettre des névroses comme le sexisme et l'objectification des femmes. Déjà dans la chambre à coucher, ils présentent de graves dangers, mais utilisés comme présentateurs de télévision, ils pourraient faire des ravages lors des élections et des débats de société. Les robots sexuels actuels en sont déjà capables.

La croyance stupide (ou le mensonge) comme quoi ils seraient conscients peut même conduire à leur accorder des «droits» et des «statuts sociaux», créant une classe sociale de robots transmettant mécaniquement les idéologies et les préjugés de leurs fabricants. La prise du pouvoir mondial n'est plus très loin, et même le «remplacement des Humains par des Robots».

Conclusion

Je propose une théorie scientifique sérieuse sur la nature de la conscience, dans la cinquième partie de mon livre «Épistémologie Générale». J'examine en particulier le problème de la conscience des robots, dans le chapitre VI-18: pourquoi les robots ne sont pas conscients, et comment ils pourraient le devenir. Mais cela n'arrivera ni avec du porno ni avec du béhaviorisme.

 

 

 

Scénario, dessins, couleurs, réalisation: Richard Trigaux.

 

Comme tous les auteurs indépendants, j'ai besoin de votre soutient pour que je puisse continuer à travailler à ce site et que puisse exister une expression libre sur le net:

 

Notice légale et copyright. Sauf indication contraire (signe © dans la barre de navigation) ou exception légale (pastiches, exemples, citations...), tous les textes, dessins, personnages, noms, animations, sons, mélodies, programmations, curseurs, symboles de ce site sont copyright de leur auteur et propriétaire, Richard Trigaux. Merci de ne pas faire un miroir de ce site, sauf si il disparaît. Merci de ne pas copier le contenu de ce site, sauf pour usage privé, citations, échantillons, ou pour faire un lien. Les liens bienveillants sont bienvenus. Tout usage commercial interdit. Si vous désirez en faire un usage commercial sérieux, contactez-moi. Toute utilisation, modification, détournement d'éléments de ce site ou des mondes présentés de maniére à déprécier mon travail, ma philosophie ou les régles morales généralement admises, pourra entraîner des poursuites judiciaires.