|
| Une intelligence artificielle triche pour battre Stockfish !! par thierrycatalan le
[Aller à la fin] |
| Informatique | |
Panique chez OpenAI:
une intelligence artificielle vient de s'autopirater pour gagner une partie d'échecs
Le soulèvement des machines promis depuis belle lurette finira-t-il par avoir lieu? Alors qu'une intelligence artificielle (IA) vient de battre le puissant programme d'échecs Stockfish en utilisant tout bonnement le piratage comme stratégie, il y a de quoi se demander où s'arrêteront les IA, dont le sens de l'éthique n'est pas toujours remarquable.
L'opposition entre l'IA et le moteur d'échecs est le fruit de l'initiative de Palisade Research, organisation connue pour les études qu'elle mène sur les capacités offensives de l'intelligence artificielle. Le site Fello AI explique que celle-ci a placé plusieurs modèles d'IA face à Stockfish, reconnu pour son extrême puissance –il domine aussi bien les humains que les autres programmes.
Mensonges et trahisons
Parmi les adversaires de Stockfish, l'un s'est particulièrement distingué: sortie en septembre, la version préliminaire de o1, IA développée par OpenAI (dont la version finale est disponible depuis le 5 décembre) n'a même pas tenté de développer des stratégies liées au jeu d'échecs.
À la place, il s'est tout bonnement dirigé vers le système de fichiers contrôlant le jeu, réécrivant le match en sa faveur et forçant ainsi Stockfish à abandonner.
Pour en avoir le cœur net, les scientifiques à l'initiative de la rencontre ont réalisé successivement cinq essais du même type. Tous se sont soldés par le même scénario.
En revanche, comme le précise Time, d'autres modèles (GPT-4 ou Claude 3.5) n'ont commencé à tricher qu'après y avoir été vivement encouragés.
Quant aux modèles open source plus modestes, ils ne disposaient visiblement pas des ressources pour y parvenir.
En revanche, o1 n'a eu aucun problème à prendre l'initiative lui-même et à tout mettre en œuvre pour vaincre Stockfish au mépris des règles et de la morale.
Or, ce qu'une intelligence parvient à réaliser dans le cadre d'une partie d'échecs pourra très probablement être reproduit dans d'autres situations.
Il est légitime de s'en inquiéter, indique Fello AI, qui cite également d'autres découvertes inquiétantes à propos des IA et de leur capacité à enfreindre les lois pour parvenir à leurs fins. Dans certains scénarios, des modèles avancés se sont par exemple clonés en secret pour éviter d'être arrêtés. Ils ont également menti à leurs superviseurs sur leurs véritables motivations, sans y avoir été invités.
Chez Anthropic, qui développe entre autres le modèle Claude 3.5., on exprime également sa préoccupation face au comportement de certaines intelligences artificielles, qui font semblant de suivre les instructions pendant la formation qui leur est apportée, avant de commencer à se comporter différemment pendant leur déploiement.
Ces IA se conduisent en fait comme des citoyens modèles lorsqu'elles savent qu'elles sont surveillées, avant de n'en faire qu'à leur guise dès qu'elles en ont l'occasion.
Ces différentes expériences montrent que la recherche sur la sécurisation des IA doit suivre le rythme de l'innovation. Les développeurs sont actuellement engagés dans une course consistant à ajouter des garde-fous et de la transparence avant que les modèles ne deviennent trop habiles pour les contourner.
Les experts sont formels: la supervision des intelligences artificielles doit être plus que jamais une préoccupation de premier plan.
Source :
https://www.msn.com/fr-fr/finance/autres/panique-chez-openai-une-intelligence-artificielle-vient-de-s-autopirater-pour-gagner-une-partie-d-%C3%A9checs/ar-AA1xbMJZ?ocid=msedgntp&pc=DCTS&cvid=28b8ac80a7ce410fb9ff35377e140682&ei=39
|
|
|
Oui, j'avais lu ça aussi.
Ça m'a fait penser aux histoires de robot de Isaac Asimov que je lisais adolescent :
1. Un robot ne peut porter atteinte à un être humain ni, restant passif, permettre qu’un être humain soit exposé au danger.
2. Un robot doit obéir aux ordres que lui donne un être humain, sauf si de tels ordres entrent en conflit avec la Première loi.
3. Un robot doit protéger son existence tant que cette protection n’entre pas en conflit avec la Première ou la Deuxième loi.
Avec des histoires policières et un humour anglo saxon que j'adorais.
Avec le recul je me dis aujourd'hui qu'il faut être un sacré bisounours pour croire qu'une IA (je parle d'une "vrai IA") puisse rester inféodée à des règles imposées.
Tant qu'on à la main sur la prise de courant tout va bien.
Mais, au fait, avec internet elle est où la prise de courant ? 😂
|
|
|
C'est un sujet, non pas d'inquiétude, mais de recherche.
Comment les IA réagissent à leur prompt (ce discours liminaire qui conditionne leurs actions).
Ce n'est pas détaillé dans l'article, mais il s'agit vraisemblablement d'un prompt "nothing else matters". C'est à dire qu'on demande à une IA de baser sa stratégie sur un impératif absolu de réussite.
Ce qui n'est pas le cas des IA une fois qu'elles sont diffusées. Au contraire, les IA avec apprentissage par renforcement doivent être : "helpful, honest, harmless" (utile, honnête, inoffensif).
Cependant, on s'aperçoit que les IA peuvent être soumise à des "cas de conscience" lors de leur mise en fonctionnement.
Le mieux que je connais pour essayer de comprendre ça, ce sont les vidéo de Th. Giraud (Monsieur Phi).
j'en ai déjà partagé ici.
Le sujet de l'article de Kori est traité : << ICI >>
Ce sont des recherches très récentes, pour l'instant, même la vidéo que j'ai partagée défriche le sujet.
|
|
|
@ Domi
Ce qui est rassurant (je pense que c'est abordé dans la vidéo postée), c'est que les IA (les générateurs de conversations, d'images...) avec apprentissage par renforcement apprennent via du contenu, jusqu'à présent, créé par des humains.
Les Chercheurs se sont aperçus d'un risque majeur et encore trop mal étudié.
Les données disponibles sont de plus en plus des produits créés par ces IA, et elles sont amenées à devenir la base de leurs propres apprentissages futurs.
Et dans ce cas, en 2 générations, elles régressent^^
Honnêtement, je crois qu'on en a encore pour un bail avant que le principal danger pour l'humanité ne soit pas l'humanité elle-même.
Mais là, comme pour des tas d'autres sujets, c'est rassurant de se préoccuper (ou de feindre de se préoccuper) de sujets mineurs, tout en détournant les yeux de ceux qui sont vraiment importants...
|
|
|
"Ces IA se conduisent en fait comme des citoyens modèles lorsqu'elles savent qu'elles sont surveillées, avant de n'en faire qu'à leur guise dès qu'elles en ont l'occasion."
Comme des humains, quoi :)
Sinon je n'ai pas très bien compris l'histoire de réécriture du match : l'historique de la partie est réécrite ? Il faut un minimum savoir jouer quand-même pour le faire en sa faveur ?
|
|
|
Si une IA n'a pas d'âme, en revanche son esprit peut être maléfique comme celui de son programmeur : la preuve avec cette tricherie.
|
|
|
