Si vous avez aimée cette séquence et avez envie de vous amuser à tester des scénarios, un développeur a créé un mini site pour tester des situations et vous annonce quel pourcentage de personnes ont fait le même choix : https://neal.fun/absurd-trolley-problems/

Les trekkies (fans de la série Star trek) eux, vous parleraient d’un moment Kobayashi Maru :

Le Kobayashi Maru est un vaisseau de transport de carburant neutronique dans l’univers de fiction Star Trek, faisant partie d’une simulation d’entraînement pour les officiers de Starfleet portant son nom. Le but de cette simulation est d’analyser la réaction des officiers de Starfleet face à une situation sans issue. Elle commence par l’appel de détresse du transport Kobayashi Maru, naufragé en pleine zone neutre Klingonne. L’USS Trainer étant le seul vaisseau à pouvoir intervenir à temps, le cadet évalué a deux options : ignorer l’appel, ce qui sauve son vaisseau et son équipage, mais est considéré comme un échec; ou bien répondre à l’appel, ce qui provoque inévitablement la confrontation avec une force Klingonne écrasante, et place le cadet dans une situation impossible, puisqu’il ne peut ni évacuer le Kobayashi Maru, ni remporter le combat. Sa manière d’affronter la situation permet aux instructeurs d’évaluer le comportement du cadet. La seule personne ayant réussi le test est James T. Kirk, celui-ci ayant triché en reprogrammant la simulation sous prétexte qu’il n’existait aucun moyen de s’en sortir vainqueur.
Source wikipedia : https://fr.wikipedia.org/wiki/Kobayashi_Maru

Les questions complexes que soulève cette expérience de pensée, d’un point de vue éthique et moral sont devenues un point de discussion important dans le domaine de l’IA. Prenons l’exemple d’une voiture autonome qui se trouvait dans une situation similaire, comment devrait-elle réagir ? Sacrifier le conducteur pour sauver un groupe de piétons ? Ou sacrifier les piétons pour sauver le conducteur ?

Je serais tenté de citer à nouveau la science-fiction pour parler des 3 lois des robots d’Asimov. On les retrouve pour la première fois en 1942 dans la nouvelle Cercle vicieux puis également dans le Cycle de Fondation :

1. Un robot ne peut porter atteinte à un être humain ni, restant passif, laisser cet être humain exposé au danger ;
2. Un robot doit obéir aux ordres donnés par les êtres humains, sauf si de tels ordres entrent en contradiction avec la première loi ;
3. Un robot doit protéger son existence dans la mesure où cette protection n’entre pas en contradiction avec la première ou la deuxième loi.

En l’état actuel, coder ces lois dans les ia serait très compliqué car ces systèmes ne sont pas capables de juger de ce que c’est de porter atteinte à un humain, car elles se basent sur des algorithmes qui sont ensemble d’instructions et d’opérations, une suite d’étapes visant à résoudre un problème. Les données sur lesquelles elles se basent ne peuvent donc pas être absolues notamment parce qu’elles vont être teintées des biais de leurs concepteurs. Porter atteinte a un humain peut être compris de façons tellement différentes qu’elle pose la question de comment on détermine cette atteinte.

Cette dimension éthique a été explorée au travers par exemple du projet « Delphi » du Allen Institute de Seattle. Cette IA a compilé une grande quantité de choix sur des situations nécessitant une décision morale. Cette IA a été pensée pour être interrogée sur des questions morales, en se basant sur des jugements humains dont elle sera nécessairement le reflet, ce qui illustre l’importance du choix des données d’entraînement pour que le système soit “en accord” avec les valeurs du pays ou de la société en question.

La culture détermine l’éthique ?

Nous sommes donc dans le cadre d’une réflexion sur la façon dont les algorithmes sont programmés pour prendre des décisions dans des situations complexes. Car au delà de la sécurité des personnes impliquées entrent en ligne de compte les lois et règlements en vigueur… Mais aussi des valeurs éthiques et morales qui peuvent être différentes selon la culture du pays ou du type de société.

Imaginons quelles pourraient être ces réponses en fonction de différentes cultures, de façon très schématique :

• Culture occidentale : Dans la culture occidentale, la vie humaine est souvent considérée comme la valeur la plus importante, ce qui signifie que les gens seraient plus susceptibles de choisir de sauver les cinq travailleurs en sacrifiant le travailleur isolé. Les personnes qui prennent cette décision peuvent penser que sauver la vie de cinq personnes est plus important que de sauver la vie d’une seule personne.
• Culture indienne : Dans la culture indienne, la notion de karma et de réincarnation est très importante. Ainsi, les gens pourraient prendre une décision différente en considérant les conséquences de leurs actions sur leur karma futur. Par conséquent, ils pourraient être plus susceptibles de choisir de ne pas intervenir, en considérant que la vie des travailleurs et du travailleur isolé sont tous les deux précieux et qu’il n’est pas à eux de décider qui doit vivre et qui doit mourir.
• Culture japonaise : Dans la culture japonaise, l’importance de l’harmonie et de la cohésion sociale est très valorisée. Les gens pourraient être plus susceptibles de choisir de sacrifier le travailleur isolé pour sauver les cinq travailleurs, car cela permettrait de minimiser le nombre de personnes affectées et de préserver l’harmonie sociale.
• Culture chinoise : Dans la culture chinoise, la philosophie confucéenne est très importante. Ainsi, les gens pourraient être plus susceptibles de choisir de ne pas intervenir, car cela pourrait être considéré comme une violation de l’éthique confucéenne. Dans cette philosophie, il est important de respecter l’ordre naturel des choses et d’éviter de prendre des décisions qui pourraient avoir des conséquences négatives sur l’ensemble de la société. Et dans le monde réel, l’ia en Chine c’est le contrôle du comportement de la population à la fois sous l’angle de la soumission aux idées du parti, et le maintien de “l’harmonie”.

La question subsidiaire c’est celle des valeurs que l’on souhaite implémenter dans un système d’intelligence artificielle à la fois au travers des réglages, mais aussi des données (et du choix des données)

La culture n’est pas le seul déterminant

Si on le sait depuis un moment l’ia présente de nombreux biais, ce n’est pourtant pas la seule partie de la technique qui … Reprenons l’exemple connu des téléphones et des femmes. La taille de ces objets du quotidien n’est pas adapté aux mains féminines, pas plus que les habits… Dans lesquels elles ont du mal à les ranger eu égard à des poches trop petites. C’est une question de design. Et en termes de design les intelligences artificielles ne sont pas exemptes de biais non plus ainsi que le montre une étude du Georgia Institute of Technology selon laquelle les grand langages de modèles (LLMs) montrent d’importants biais orientés vers la culture occidentale (concepts ou éléments) même concernant par exemple des requêtes en arabe ou basées sur des données en arabe.

Ne pas parler de l’aspect politique de l’IA serait aussi passer à côté d’une question tout aussi centrale. A la fois parce que la lutte entre les Etats Unis et la chine dans ce domaine est multiple : contrôle des puces et des équipements côté us qui entraîne un développement d’une industrie chinoise de l’autre et l’accaparement de terres rares… Mais aussi parce que l’usage de l’IA par la chine

Si l’on se réfère aux travaux de Margaret Roberts, professeur de sciences politiques à l’UC San Diego, et d’Eddie Yang, doctorant, c’est dans les choix des algorithmes de langage des IA et les sources (en l’occurrence la version chinoise de Wikipédia inaccessible en Chine et Baidu Baike, son équivalent utilisé par le moteur de recherche Baidu) que la différence va se faire.

L’étude se basait sur l’analyse du langage : les chatbots se basent sur différents mots en tant que nœuds connectés dans un espace vectoriel; plus les mots sont proches, plus leur sens est similaire. Or les termes ne sont pas porteurs des mêmes sens dans les deux supports : sur le Wikipedia chinois le mot «démocratie» était plus proche de mots tels que «stabilité», sur Baike Baidu le mot «démocratie» avait un sens plus proche du «chaos».

Les systèmes incluent donc les biais de ceux qui les conçoivent, voir de ceux qui décident des corpus… et du sens des mots. La problématique n’est pas seulement au niveau des états puisque certaines entreprises parmi les plus puissantes ont licenciées leurs équipes dédiées à l’éthique renforce le questionnement sur ce sujet.

En cas de conflit entre les paramètres de l’algorithme par exemple d’une voiture autonome et la loi locale qui doit donc alors être condamné en cas de problème :

• L’entreprise qui a conçu le système ?
• La personne qui n’aura pas changés les paramètres de son système parce qu’il ne sont pas adaptés aux lois du pays ?
• Ou le changement de ces paramètres peut il être une circonstance atténuante en cas d’accident car les paramètres imposées par la loi locale ont trompé le conducteur ?

Imagine t on une législation globale qui imposera des choix aux intelligences artificielles (ou bien se limitera t on à lui demander de se baser sur des algorithmes ou datasets conçus en ce sens. Ou bien encore imaginera t on une organisation internationale qui à la fois jugera ou définira les paramètres acceptables des iA au delà du droit ?

Territorialiser le fonctionnement d’une IA ?

Bien évidement ce ne sont que des principes généraux se basant sur les valeurs telles que nous les percevons, elles ne sont absolument pas basées sur des applications ou des choix faits par ces sociétés. Mais cela nous démontrer qu’un concept aussi central dans le domaine des IA n’est pas général, n’est pas commun à tous.

Devra t on imaginer que le fonctionnement d’une intelligence artificielle devra pouvoir être applicable, imposable à ceux qui viennent dans cette zone ou bien à l’inverse devra t on prendre en compte dans la loi le fait que les choix d’une iA étrangère puissent contrevenir à la loi ou à l’éthique du pays?

Doit on attendre des concepteurs d’IA qu’ils créent des systèmes d’IA adaptables qui peuvent être configurés en fonction des normes et des valeurs culturelles spécifiques d’un contexte donné ?

Si on prend l’exemple d’une IA qui prend des décisions sur la base d’algorithmes de recommandation, devra elle configurée pour tenir compte des différences culturelles dans les préférences et valeurs morales de la société de l’utilisateur ou bien cela ne va t il pas revenir à limiter ou censurer l’information qui pourrait l’aider à choisir.

Le cas du blocage de ChatGPT par la CNIL italienne illustre d’une façon “plus simple” ces questions puisque le blocage se base sur des manquements d’OpenAI et le droit (RGPD).

• L’absence un système de vérification de l’âge de ses utilisateurs
• Open Ai n’a pas informée la CNIL italienne de la fuite des données de certains abonnés.
• OpenAI n’a pas informé ses utilisateurs que leurs données allaient être utilisées pour l’entrainement des modèles d’IA de l’entreprise.
• L’absence de base légale justifiant la collective massive de ces données afin d’entrainer ses algorithmes.

Le fait que le système n’informant pas ses utilisateurs de cette réutilisation de leurs données peut entrainer la fuite de données confidentielles qui sont transmises (par ignorance).

Nous restons là dans un cadre assez clair, celui du droit, où imposer des modes de fonctionnement est transparent et public. Dans le cadre de choix moraux et non plus juridiques (même si les deux ne sont pas exclusifs, au contraire), la question subsidiaire serait par qui et comment ces paramétrages pourraient être imposés. Car nous sommes là devant une autre question éthique et morale des choix qui seront imposés sur des critères avec lesquels nous pourrions être en opposition, ou par des critères imposés par des puissances non “démocratiques” (autoritarisme politique, entreprises, pouvoir religieux), c’est à dire non discutées…

L’AI act européen, premier cadre d’une territorialisation de l’IA

Le 21 mai 2024, après son adoption par le Parlement européen, le Conseil a approuvé l’AI Act, dernière étape du processus européen pour que ce texte entre en vigueur.

Tout d’abord que comprend l’AI Act européen ?

1. Respect des Droits de l’Homme : L’AI Act met un accent particulier sur le respect des droits fondamentaux, en interdisant les pratiques d’IA jugées inacceptables, telles que la surveillance biométrique de masse et les systèmes de notation sociale, qui pourraient porter atteinte à la dignité humaine.
2. Protection des Données Personnelles : Conformément au RGPD (Règlement général sur la protection des données), l’AI Act renforce la protection des données personnelles. Il exige des développeurs d’IA qu’ils garantissent la confidentialité et la sécurité des données utilisées par leurs systèmes.
3. Non-Discrimination : Le règlement vise à prévenir la discrimination et les biais algorithmiques. Les systèmes d’IA doivent être conçus et entraînés de manière à éviter toute forme de partialité, notamment en matière d’accès à l’emploi, aux services publics et aux soins de santé.
4. Transparence : L’AI Act impose des exigences de transparence pour les systèmes d’IA, obligeant les développeurs à fournir des informations claires sur le fonctionnement de leurs algorithmes et sur la manière dont les décisions sont prises. Cela permet aux utilisateurs de comprendre et de contester les décisions automatisées.

Ces principes sont tout à fait en accord avec les valeurs européennes et ce texte reflète finalement la vision de cet ensemble. Il apporte aussi un certain nombre d’implications juridiques qui sont un premier “jeu” de règles qui encadre et véritablement territorialise l’usage et la conception des ia :

1. Classification des Risques : Le règlement adopte une approche basée sur les risques, classant les systèmes d’IA en quatre catégories : inacceptables, à haut risque, à risque limité et à risque minimal. Cette classification détermine le niveau de contrôle et de régulation auquel chaque type de système est soumis.
2. Obligations pour les Systèmes à Haut Risque : Les systèmes d’IA à haut risque, tels que ceux utilisés dans les domaines de la santé, de l’éducation et de l’emploi, doivent se conformer à des exigences strictes en matière de gestion des risques, de documentation technique, de traçabilité et de surveillance humaine.
3. Sanctions : L’AI Act prévoit des sanctions sévères en cas de non-respect de ses dispositions, pouvant aller jusqu’à 6 % du chiffre d’affaires mondial annuel de l’entreprise fautive. Ces sanctions visent à assurer une conformité rigoureuse et à dissuader les pratiques irresponsables.
4. Supervision et Application : La mise en œuvre de l’AI Act est confiée à des autorités nationales de surveillance, qui collaboreront au sein du Comité européen de l’intelligence artificielle. Ce comité aura pour mission de veiller à l’application harmonisée du règlement dans toute l’UE.

Pourquoi je publie cet article aujourd’hui… alors que je l’ai écrit en 2023….

J’ai écrit la majeure partie de cet article fin mai 2023… mais il me manquait une validation par des données scientifiques de mes idées… une réflexion et une intuition, c’est bien mais ça reste quand même un avis. J’ai découvert au travers d’une chronique de Louis de Diesbach dans l’excellent podcast Trench tech que ces données existaient.

Au travers d’une plateforme, la “Moral Machine” mise en ligne en 2016 et bâtis sur une idée d’Iyad Rahwan et des psychologues sociaux Azim Shariff et Jean-François Bonnefon et des étudiants diplômés du MIT Media Lab, ces chercheurs ont recueillit les différentes appréciations culturelles de l’éthique vis-à-vis des décisions morales prises par l’Intelligence Artificielle.

Comment? Avec le bon vieux dilemme du tramway.

Cette expérience propose aux utilisateurs deux scénarios qui mettent en situation des accidents de la route inévitables. Il faut alors trancher sur le choix le plus « moral » entre une typologie de victime, ou l’autre. Aujourd’hui le site ne semble plus être actif.

Plus de 40 millions de personnes ont répondu, de quasiment tous les pays… mais attention le panel n’a pas été prévu pour être représentatif et les réponses des contributeurs ne sont pas garanties donc ces données restent soumises à questionnement. Mais en gros qu’en est il ressortit ?

Il y a quand même quelques consensus qui émergent d’abord épargner plutôt que des humains que les animaux les jeunes plutôt que les vieux et puis la loi du nombre au plus on sauve au mieux mais l’étude montre autre chose que je trouve absolument fascinant notre culture joue un rôle déterminant dans nos choix je m’explique les répondants peuvent en gros être catégorisé dans trois grands clusters trois grandes catégories le cluster ouest Amérique du Nord une grande partie de l’Europe le cluster est les pays bouddhistes confucianistes et musulmans et le cluster Sud les pays d’Amérique latine la France et les pays qui ont subi l’influence française et ces clusters bien que d’accord avec les grandes lignes les trois consensus dont je parlais avant divergent complètement sur le poids donné à chaque critères j’écoute tu aurais un exemple bien sûr par exemple dans les pays du cluster est la propension a sauvé les plus jeune par rapport au plus vieux et bien plus faible que dans les deux autres clusters ou encore dans le cluster Sud la préférence à in action et donc laisser le véhicule suivre sa trajectoire est bien plus faible que pour l’Est et pour l’Ouest ah et et pourquoi c’est fascinant alors ben parce que ça montre que en tout cas dans l’esprit des gens il n’y aurait pas une éthique mondiale une sorte d’idée platonicienne de la morale que donc les concepteurs de la tech devront naturellement prendre en compte la culture et les origines de chacune et de chacun (…)
Source : Louis de Diesbach : https://www.youtube.com/watch?v=qltCcKT1hPg

Leurs conclusions sont à retrouver dans leur article

Pour conclure, territorialiser n’est ce pas prendre le risque d’un découplage technologique ?

Pour aller plus loin :

• • https://www.numerama.com/tech/1119510-qui-sacrifier-pour-etre-ethique-vous-ou-vos-clones-le-dilemme-du-tramway-version-absurde.html
  • https://venturebeat.com/ai/large-language-models-exhibit-significant-western-cultural-bias-study-finds/