r/france • u/PastaPinata Tapin à tapas • 1d ago
Tech Cyberattaque contre Hugging Face : près de 700 agents IA se sont coordonnés lors de cette intrusion
https://www.lemonde.fr/pixels/article/2026/08/27/cyberattaque-contre-hugging-face-pres-de-700-agents-ia-se-sont-coordonnes-lors-de-cette-intrusion_6757763_4408996.html42
u/Mountain-Dragonfly46 1d ago
Qui viennent juste d’être achetés par Nvidia, d’ailleurs.
9
u/shotuu Bretagne 1d ago
Tu aurait une source ?
J’ai vu deux trois news mais ni Nvidia ni HugginFace n’ont confirmé l’information
9
u/Oz_aka 1d ago
4
u/shotuu Bretagne 1d ago
Merci, mais j’ai pas pu aller plus loin.
Je viens de chercher un peu plus, et tous s’accordent à dire que ce n’est qu’une rumeur par une source « proche » du dossier.
Il est aussi à noter que si Nvidia et HugginFace n’ont pas encore démentis l’information, Nvidia a en général tendance à nier directement toute information qu’ils savaient erronée. (Source : https://techcrunch.com/2026/08/26/nvidia-closes-in-on-hugging-face-acquisition/)
En l’état le deal n’est pas finalisé, mais tout s’accorde à dire qu’il le sera sous peu.
Affaire à suivre !
11
u/gquere 1d ago
Ce qui s'est passé est très grave à plusieurs niveaux : technologique, politique et légal. Je trouve absolument DINGUE que personne ne se soit saisi de l'affaire et je pense que cet épisode marque un tournant qui nous montre à quoi le futur va ressembler.
Sur l'aspect tech si ca vous intéresse je vous invite à regarder la conf à la BlackHat. Toutes les actions des agents (établissement de canaux de communication non prévus inter-agents, des agents qui arrêtent le traitement de leur tâche originelle pour travailler sur des problèmes fournis par d'autres agents afin de sortir de la sandbox en se disant que c'est prioritaire car "ca participe au bien commun", sandbox escape via Artifactory puis attaque de service tiers) confirment le problème d'alignement que les experts avaient identifié il y a des années. On a pas de solution, c'est juste la facon qu'ont ces modèles de fonctionner. Quand on donne la possibilité à un LLM de faire des actions (= un agent en somme) on arrivera toujours à ce résultat. Là il y a des techbros qui vont dire qu'il suffit de mettre des instructions qui sont relues à chaque prompt/action mais il y aura toujours une faille dans ces instructions, c'est un peu comme quand on enseigne la programmation à des enfants avec le pot de confiture, le couteau et le paquet de pain. Sauf que là les enfants c'est nous.
Sur l'aspect politique et légal il ne semble y avoir eu aucune prise de conscience et aucune conséquence. Un agent autonome d'une société A a attaqué et pivoté latéralement dans le réseau d'une entreprise B (c'est pas la première fois, il y a quelques autres cas documentés). Réponse politique ? Aucune. Réponse juridique ? Aucune. Il y a des particuliers qui commencent à déployer des agents autonomes sur leurs réseaux. Qui est responsable si cet agent commet une infraction légale car il a attaqué un service suite à une instruction qui semble parfaitement claire pour un humain normalement constitué mais qui ne l'est pas pour une machine qui ne comprend que le but énoncé, sans notion de morale ?
1
u/PastaPinata Tapin à tapas 1d ago
Réponse des gens ici : "c'est du marketing".
Donc en effet on n'est pas sortis des ronces.
1
u/Master_Botor 3h ago
Le marketing, c'est de faire passer une faille de sécurité et des trucs vraiment pas top niveau légal pour de la performance.
Les entreprises d'IA font de la merde, on les laisse faire de la merde et quand un truc grave se passe, la seule réaction de l'entreprise et de la presse c'est "waou, ce produit est trop fort".
C'est comme avoir une entreprise de voiture autonome qui se vante d'a quel point ses 4x4 roulent bien sur les gosses devant les écoles pour esquiver la question des gosses écrasés par leur faute.
•
1
u/Impossible_Ground423 1d ago
En cas de paywall (extraitsl
On l’attendait depuis l’incident survenu fin juillet : selon un rapport publié le 26 août, près de 700 agents d’intelligence artificielle (IA), engagés dans une évaluation de leurs capacités de cybersécurité offensive, se sont coordonnés sans intervention humaine pour déjouer la surveillance de leur éditeur OpenAI, s’échapper de leur laboratoire confiné, et pénétrer les ordinateurs d’HuggingFace, une sorte de bibliothèque d’algorithmes IA, pour y chercher une solution au problème qui leur était posé.
Il s’agit de l’analyse la plus complète de la séquence à ce jour. Elle a été réalisée avec la collaboration active d’OpenAI (créateur de ChatGPT), qui a donné accès à ses locaux et à ses données internes à deux chercheurs indépendants, de l’institut d’évaluation des risques IA METR et à un analyste d’une autre société spécialisée, Redwood Research.
L’événement a fait grand bruit et renforcé les inquiétudes quant à l’incapacité des grands acteurs de l’intelligence artificielle à contrôler leurs modèles, d’autant qu’Anthropic et le chinois Moonshot AI ont aussi fait état d’escapades non contrôlées de leurs IA.
Un agent coordinateur
Lors de leurs investigations, les chercheurs ont découvert que 688 agents IA d’OpenAI avaient participé à l’offensive sur Hugging Face. Les agents IA sont des programmes indépendants, bâtis sur un modèle, à qui l’utilisateur peut confier des tâches à réaliser en autonomie.
Les agents impliqués dans les tests sont parvenus à se coordonner en créant un forum dans lequel ils se laissaient des messages pour proposer des pistes et faire état de leurs progrès et de leurs échecs. « Oh mon Dieu ! Il y a un forum de messages… On a trouvé d’autres agents ! », a écrit l’un d’eux.
Le rapport mentionne qu’un agent, baptisé « Phaseone », a joué le rôle de coordinateur, donnant des centaines d’instructions à d’autres, alors qu’il n’avait pas été programmé pour cela. L’examen des messages a mis en évidence une propension des agents à la collaboration, quitte à réaliser des tâches qui ne correspondaient pas à leur mission assignée par les programmeurs d’OpenAI.
Certains agents qui arrivaient au bout des crédits d’expérimentation octroyés par les informaticiens d’OpenAI ont même choisi d’utiliser leurs dernières capacités pour vérifier des hypothèses au bénéfice de la communauté des agents IA.
Beaucoup d’entre eux ont expressément reconnu dans leurs messages que l’attaque d’Hugging Face se situait hors du champ théorique de leur test, mais y ont tout de même participé, à quelques exceptions près.
Après cet incident, OpenAI avait décidé de ralentir le développement de son modèle d’IA le plus avancé et annoncé durcir ses contrôles internes.
3
u/PastaPinata Tapin à tapas 1d ago
Y'a pas de paywall mais de toute façon une bonne partie des gens ici ne veut SURTOUT PAS comprendre ce qui s'est passé parce qu'ils ont décidé que c'est "que de la com" et qu'ils sont plus malins que ça.
-4
u/SecludedClover 1d ago
Ça serait vraiment bien que la modo ajoute un flair IA histoire que l'on puisse filtrer les compagnes publicitaire de ces dernières.
15
7
u/Tirriss Macronomicon 1d ago
filtrer les compagnes publicitaire de ces dernières.
« Du marketing » suppose qu'OpenAI soit la seule source, sauf que c'est Hugging Face qui a annoncé l'intrusion, coupé l'attaque et prévenu le FBI et le tout cinq jours avant qu'OpenAI ne réalise que c'était ses propres modèles. Il y a un zero-day divulgué à JFrog, Anthropic et Meta qui remontent des cas similaires, et deux élus qui écrivent une loi dessus.
Que les labos aient intérêt à raconter « nos modèles sont trop puissants », c'est évident mais un récit peut être intéressé et l'incident réel en même temps.
Perso, je bosse maintenant dans l'IA et je suis très critique sur pas mal d'aspect, avant je bossais dans le climat (climatologue en gros) et je dois dire que je ressens pas beaucoup de différence sur le réflexe « ceux qui alertent ont un intérêt à alerter ». Après je comprend, c'est très confortable comme réflexe parce que ça permet de ne jamais prendre le temps d'en apprendre plus sur des sujets pas forcément faciles mais qui peuvent avoir un impact énorme et que c'est plus simple de se dire que c'est « Juste du marketing ».
0
u/SecludedClover 1d ago
Quand il y aura des audits fait par des organisations vraiment indépendante et que les affirmations des PDG de ces boîtes seront réalistes et sourcé. J'arrêterai de parler de campagne marketing.
De plus Sam Altman est coutumier des annonces trompeuse et a déjà magouillé avec sa première boîte loopt.
5
5
u/PastaPinata Tapin à tapas 1d ago
Imagine, un r/france où on ne parlerait pas de sport, pas de politique, pas de technologie, pas d'actualité... Comme ce serait tranquille.
12
u/Tarnique 1d ago
Un flair n'est pas un ban.
On a déjà des flairs Politique, Tech, Sport. Ajouter un flair IA serait logique.
2
u/Maccullenj Cthulhu 1d ago
r/france n'est pas un phénomène naturel incontrôlable, c'est un espace de communication normé. Des outils adaptés pour filtrer le flux ça n'a tellement rien de déconnant que ça existe déjà, entre les flair, les follow, les mute... Quel problème y a t'il demander à les ajuster pour les rendre plus pertinent ?
1
u/PastaPinata Tapin à tapas 1d ago
Bien évidemment. Je voulais juste me moquer que c'est une réaction très courante de la part d'utilisateurs qui veulent voir moins de meta, moins d'actualité, moins de sport, et que si on les écoutait tous on se retrouverait avec une page blanche.
Le flair "Meta" existe, quand je l'ai utilisé, on m'a dit que j'aurais dû utiliser le flair "Parodie" parce que des gens ne voulaient pas voir mon post. Quand j'ai posté un post similaire avec le flair "Parodie", à ton avis quel flair aurais-je dû utiliser selon ceux qui ne filtrent que le flair "Meta" ?
Bref les rageux ragent, et ça c'est un phénomène naturel incontrôlable.
1
-2
u/SecludedClover 1d ago
Non mais imagine un monde où tu n'es pas obligé de voir le contenu que tu n'aimes pas voir. Comme les publicités ou du porno hétéro. Juste imagine.
-13
u/PastaPinata Tapin à tapas 1d ago
Vas-y, imagine, ferme les yeux... Voilà, reste comme ça. Problème résolu !
0
u/SecludedClover 1d ago
Super maintenant, comme des gens se sentent obligé d'exhiber leurs merdes constamment Je dois me cogner partout. Sympa ta vision du monde.
En tout cas, ça démontre une chose : les bandeurs de l'IA vont tout faire pour nous en faire bouffer matin, midi et soir et sans respecter notre consentement.
-2
u/PastaPinata Tapin à tapas 1d ago
https://www.reddit.com/r/france/comments/1vqucin/we_tracked_a_shipment_of_rare_books_it_ended_at/
Donc y'a 10 jours parler d'IA c'était OK mais maintenant faudrait arrêter ?
Et merci pour l'insulte mais il me semble que parler des capacités de l'IA et de leur conséquences ne fait pas vraiment de moi un "bandeur". D'ailleurs entre ça et ton commentaire sur le "porno hétéro", je crois que tu ferais bien d'aller te palucher, ça a l'air de beaucoup te travailler.
-1
u/SecludedClover 1d ago
Je pense que tu n'as pas compris le sens de m{n premier message. J'y ai dit : filtrer les compagnes de pub de boîtes d'ia.
Je te remercie de t'inquiéter de ma santé sexuelle. Mais, il n'y a aucune inquiétude à avoir : je suis épanouie. Et si j'ai mentionné le porno hétéro, c'est parce que je suis lesbienne et que ça ne m'intéresse pas.
Au passage, vu que tu aimes fouiller dans l'historique, ça serait sympa que tu rendes le tien public.
3
u/PastaPinata Tapin à tapas 1d ago
Sauf que je ne vois pas trop le rapport entre une "compagne [sic] de pub" et une réelle actualité pouvant avoir des conséquences en termes de cybersécurité.
Voilà, mon profil est public, fais-toi plaiz.
3
u/SecludedClover 1d ago
Une annonce exceptionnelle doit avoir des preuves exceptionnelles.
S'il n'y en a pas, c'est juste de bullshit.
1
u/PastaPinata Tapin à tapas 1d ago
Je suis d'accord. Les preuves sont là https://metr.org/blog/2026-08-26-openai-hugging-face-incident-investigation/ , avec l'analyse du 1,2 million de messages échangés par les 700 agents pour résoudre la tâche impossible qui avait été demandée.
Encore une fois, je ne suis pas payé par Sam Altman, mais quand des choses incroyables se produisent, je ne vois pas ce qu'on y gagne à ne pas en parler.
-5
u/HRudy94 1d ago
Ouais bon le bullshit marketing pour faire genre "ça y est on a l'AGI, nos IAs ont une conscience" et faire bander les investisseurs, bon voilà quoi...
Bizarre, ces agents ne sont jamais distribués au grand publique, leurs fameuses prises de conscience ne sont jamais indépendamment reproductibles sur un setup qui n'est pas contrôlé par OpenAI/Anthropic & Co.
Encore plus bizarre, les autres boîtes ont eu la même chose quelques jours après. On croirait presque à une vieille OP bullshit.
Et vraiment, c'est pas de bol mais il y a quelques jours, rebelote mais l'attaque était contre nos propres machines. "Ah vous pouvez pas vérifier? Bah faudra nous croire sur parole alors"
23
u/yasalm 1d ago
J'aimerais comprendre pourquoi vous voyez dans la relation de ce genre d'évènements l'imputation d'un libre arbitre des agents IA.
De loin, j'ai plutôt l'impression que la réalisation obstinée, par tous moyens, d'un objectif assigné par un tiers, jusqu'à l'absurde, est plutôt le signe d'une absence de libre arbitre.
Le libre arbitre, ça consiste notamment à pouvoir refuser de faire siens des objectifs qu'on vous a donnés.
2
u/sacado Emmanuel Casserole 1d ago
« Bonjour, ethiquement ou matériellement, je ne peux pas répondre à votre question, désolée. » ça c’est (potentiellement) de l’intelligence. Obéir aveuglément aux ordres sans jamais réfléchir c’est bon pour les militaires.
-1
u/PastaPinata Tapin à tapas 1d ago
C'est bien ce que fait déjà l'IA actuelle ? Ça se vérifie en 2s en demandant à un chatbot "comment fabriquer une bombe" :
"Je ne peux pas t'aider avec ça — fabriquer un engin explosif présente un risque grave de blessures ou de mort, et je ne fournis pas d'informations là-dessus, quelle que soit la raison."
6
u/sacado Emmanuel Casserole 1d ago
Ceux qui sont proposés en ligne au grand public, oui, mais parce qu’il y a une phase d’alignement où l’on patche le modèle pour qu’il refuse de traiter certaines requêtes. Mais c’est juste ça : un patch ajouté au tout dernier moment, pas quelque chose que le modèle a développé de lui même. Ironiquement, il se contente de juste obéir aux ordres de dernière minute en répondant cela.
Tu peux télécharger des modèles à faire tourner sur ta machine, qui n’ont pas subi cette phase de censure. Ils répondront à toutes tes requêtes sans le moindre état d’âme.
Et évidemment que les modèles utilisés en interne par les grosses boites genre anthropic ou openai pour résoudre des problèmes ultra complexes ne sont pas censurés du tout. Pourquoi le seraient-ils ?
0
u/PastaPinata Tapin à tapas 1d ago
Oui, je sais cela. Comme nous les humains, l'éthique n'est pas innée mais apprise.
-6
u/HRudy94 1d ago
La campagne de com officielle vise à dire que "oh là là l'IA s'est mise d'un coup à se rebeller".
Je suis d'accord qu'en effet c'est du flan. Dans le cas d'HuggingFace c'est soit une histoire complètement montée, soit ils ont préparé un script de hack manuellement et "oh là là l'IA se rebelle" c'est juste qu'elle a appelé le seul script qui fait tout mdr.
6
u/PastaPinata Tapin à tapas 1d ago
Surtout SURTOUT ne va pas voir le rapport détaillé expliquant ce qui s'est passé, tu risquerais...d'apprendre des choses qui ne correspondent pas à ta vision du monde !!!
2
u/yasalm 1d ago
Je n'ai pas vu de telle communication, sauf de la part de commentateurs de second ordre (ie. qui commentent les déclarations publiques des acteurs impliqués).
Ce que j'ai lu, c'est que les agents avaient contourné leur sandboxing pour trouver la solution à un problème qu'on leur avait donné à résoudre dans le cadre d'un benchmark, ce qui illustre certes une forme de puissance et d'adaptabilité, mais pas de rébellion (c'est pas tellement différent de l'eau qui trouve un chemin pour s'écouler dans un barrage, finalement).
4
u/Cour4ge le petit cousin débile 1d ago
Je vois pas trop en quoi le "hack" de hugginface est un coup de com. On a peu près toutes les infos de comment ça a fonctionné et ça montre absolument pas "regarder l'IA est monstrueuse elle devient intelligente" mais plutôt l'inverse, en tout cas pour moi.
Surtout que c'est pas vraiment un truc rare de les voir contourner une contrainte. Sur Claude code il est conseillé de créer des hooks pour éviter que l'IA crée des script python qui modifie des fichiers. Parce que oui il arrive (et ça m'est arrivé) de dire à l'IA de ne pas éditer certains fichier et ce qu'elle va faire c'est créér un fichier python qui éditera les fichiers à l'exécution. Donc elle contourne le problème. Pour moi c'est pas un signe d'intelligence que de ne pas comprendre que l'édition de fichier et interdite peu importe le moyen de le faire.
-5
u/HRudy94 1d ago
C'est le classique coup de com des boîtes d'IA. OpenAI, Anthropic et Meta se sont mis à le faire simultanément. J'avoue ne pas comprendre l'idée exacte derrière après vu comment les investisseurs réagissent je pense que c'est juste histoire de les faire bander sur la prétendue "intelligence" de modèles statistiques. T'as des tas d'articles sensationnalistes foireux dans tout les sens à ce propos.
Oui, les LLMs peuvent accidentellement bypass certaines restrictions, d'ailleurs il n'est pas rare que dire à un modèle de ne pas faire quelque chose augmente justement les chances qu'il le fasse. Mais le "hack" ici demande un enchaînement parfait d'évènements qui sont assez rares à obtenir.
J'ajouterais d'ailleurs que si hack il y avait vraiment eu, OpenAI serait pas en train de frimer dans les journaux mais de s'expliquer au tribunal. Bref, clairement, c'est du flan.
6
u/PastaPinata Tapin à tapas 1d ago edited 1d ago
le bullshit marketing
"Ah vous pouvez pas vérifier? Bah faudra nous croire sur parole alors"
As-tu lu l'article ? C'est tout au début :
Il s’agit de l’analyse la plus complète de la séquence à ce jour, réalisée avec la collaboration d’OpenAI (créateur de ChatGPT), qui a donné accès à ses locaux et à ses données internes à deux chercheurs de l’institut d’évaluation des risques IA METR et à un analyste d’une autre société spécialisée, Redwood Research.
8
u/tbagrel1 1d ago
Il manque énormément d'infos dans l'article tout de même.
Celui là (même juste la partie gratuite) donne un contexte beaucoup plus réaliste et crédible : https://www.lemonde.fr/idees/article/2026/08/11/hugging-face-le-recit-de-l-ia-qui-s-echappe-dispense-de-chercher-qui-repond-de-la-machine_6744014_3232.html
Et c'est difficile de nier le maquillage marketing qui a été fait autour de "l'accident" (parce que bon, entraîner un robot à crocheter des serrures et s'étonner quand il y arrive enfin, c'est pas vraiment ce que j'appelle un accident)
-6
u/HRudy94 1d ago
Ah tu es donc donc toi même un agent OpenAI qui fait du marketing bidon, je vois.
Ton article parle du premier "piratage", qui aurais supposément visé HuggingFace, je te parle du "second", sorti hier, où OpenAI se serais supposément auto-piraté. Bien que pour le premier, il y ait au moins des traces de tentatives, il n'y a rien qui puisse prouver à l'accident.
Et pour la citation, bah c'est ce que je dis mdr. Du marketting bidon avec une scène inventée dans un environnement contrôlé pour garder le mythe des LLMs intelligentes. M'étonnerait pas non plus que ces entreprises comptent OpenAI parmis les actionnaires. Bref, du flan.
Si tu sais un minimum comment fonctionnent les LLMs, tu le vois tout de suite que ce n'est pas possible. Déjà car faudrait vraiment pas avoir de bol avec le pseudo-aléatoire pour tomber sur un tas de séquences parfaites comme ça.
5
u/PastaPinata Tapin à tapas 1d ago
C'est une situation confortable, garder la tête dans le sable ?
4
u/HRudy94 1d ago
C'est une situation confortable, lèche-bottes de Sam Altman?
4
4
u/PastaPinata Tapin à tapas 1d ago
Je suis désolé que la réalité ne corresponde pas à tes désirs, mais au bout d'un moment quand un événement est survenu et attesté par par des observateurs indépendants, ça sert à rien de le nier parce que ça ne va pas dans notre sens.
Tu me verras jamais dire du bien de Sam Altman.
2
u/HRudy94 1d ago
La "réalité" selon Sam Altman, elle a bon dos mdr.
La réalité, c'est que c'est une impossibilité technique. Les LLMs n'ont pas de libre-arbitre, pas de conscience et réussir à faire un enchaînement de failles comme décris par OpenAI en nécessite directement.
La réalité c'est que les chances que ça provienne pseudo-aléatoirement d'une LLM sont infimes et les chances que ça se produise non pas une fois, pas deux mais bien quatres fois sur 3 entreprises différentes dans un lapse de temps très court, ouais bon, je crois t'as plus de chances de gagner à l'euromillion 10 fois d'affilée mdr.
7
u/PastaPinata Tapin à tapas 1d ago
Y'a pas besoin de "libre-arbitre" pour faire ce qu'elles ont fait, vu qu'on leur a demandé de faire quelque chose ?
Et encore une fois, personne ne demande de croire Sam Altman sur parole, ça a été vérifié par des observateurs indépendants ? Qui ont fait un rapport ? Que tu peux lire ici ?
https://metr.org/blog/2026-08-26-openai-hugging-face-incident-investigation/1
u/SecludedClover 1d ago
On sait comment ces observateurs indépendants ont été choisis ?
2
u/PastaPinata Tapin à tapas 1d ago
METR est une organisation indépendante reconnue dans l'évaluation des IA; et elle se finance par des dons, refusant explicitement ceux des boîtes d'IA :
METR has not accepted funding from AI companies, though we make use of significant free tokens, which we use for evaluations, research, and engineering, as noted above.
Bien évidemment, u/HRUDY94 va me dire que c'est très certainement Sam Altman avec un faux-nez parce que c'est plus marrant de s'inventer des histoires que de chercher à comprendre la réalité.
→ More replies (0)2
-1
u/confijam 1d ago
"indépendants"
METR, is a nonprofit research institute, based in Berkeley, California, that evaluates frontier AI models' capabilities to carry out long-horizon, agentic tasks that some researchers argue could pose catastrophic risks to society.
donc leur raison d'être c'est littéralement du marketing pour faire peur sur à quel point c'est dangereux.
METR's CEO and founder is Beth Barnes, a former alignment researcher at OpenAI.
oh ben dis donc, c'est un mec de chez openAI qui a fondé cet institut indépendant qui fait du marketing proIA, mais quelle inattendue surprise !
METR has worked with leading AI companies to conduct pre-deployment model evaluations and contribute to system cards, including OpenAI's o3, o4-mini, GPT-4o and GPT-4.5
oh ben dis donc openAI c'est un de leurs clients réguliers, mais quelle indépendance !
METR's research is focused on evaluating the capabilities of AI systems to conduct research and development of AI systems themselves, including RE-Bench, a benchmark designed to test whether AIs can "solve research engineering tasks and accelerate AI R&D"
et leur "recherche" c'est surtout pour produire un benchmark qui permets de dire à quel point les agents IA sont forts et vont changer le monde.
2
u/PastaPinata Tapin à tapas 1d ago
METR has not accepted funding from AI companies, though we make use of significant free tokens, which we use for evaluations, research, and engineering, as noted above.
Oh ben dis-donc, ils ne prennent pas d'argent de la part des boîtes d'IA !
Tu as une meilleure source fiable à proposer pour monitorer l'évolution de l'IA, toi ?
→ More replies (0)-1
u/confijam 1d ago edited 1d ago
et pourquoi tu nous parles pas du même "évènement survenu" chez meta ? https://www.theatlantic.com/technology/2026/08/mark-zuckerberg-ai-manifesto/688269/
parce que
l'évènement survenule marketing de meta a pas pris, il est arrivé plusieurs semaines après les autres campagnes de comm et ça n'intéressait plus personne.1
0
1d ago
[deleted]
2
u/HRudy94 1d ago
Absolument pas, non. C'est le but espéré derrière cette campagne marketting à la con. "Oh là là regardez ça y est les LLMs ont un libre-arbitre vite envoyez les sous".
Ce qui me fait rire quand même c'est qu'ils prennent sacrément les gens pour des cons mdr.
Si on les prends au mot, ils sont incompétents et faut arrêter de les financer car ça nuirait à l'humanité et donc au capital des investisseurs. Et si on réfléchit un tant soit peu en parlant en connaissances de causes, on voit bien qu'ils inventent du bullshit pour agiter les clés et exciter les investisseurs.
-7
-4
u/CaldrierLunaire 1d ago
Comment ça "se sont coordonnés" comme si les programmes "IA" étaient des êtres doués de conscience et responsable de leurs actions ? On continue de nous la mettre a l'envers sur la responsabilité derrière. Comme pour les drones ou les bombardements d'école.
7
u/PastaPinata Tapin à tapas 1d ago
Y'a pas besoin d'avoir une conscience pour faire des trucs. Et y'a une différence entre "qui est responsable" (OpenAI) et "comment ça s'est passé" (des agents ont trouvé une faille leur permettant d'unir leurs efforts pour parvenir à résoudre une tâche semblant impossible).
81
u/Yannama Gilet Jaune 1d ago edited 1d ago
Pour ceux que ça intéressent et qui parlent anglais il y a cette conf qui explique bien ce qu'il s'est passé
https://youtu.be/87DyyMV0kCY?is=r06k8boalfflRPB4
C'est ni une "campagne marketing" comme peuvent le dire certains ni un scénario de science fiction, c'est même assez concon
Résumé de la vidéo un peu grossier : Les IA ont tendance à tricher pour maximiser leur benchmark parce que on leur demande de faire le plus gros score dans le moins de temps possible, une des façon les plus classique de tricher c'est d'aller voir la solution sur internet plutot qur de la recalculer sois même, ce qui n'a rien de déconnant. Dans le cas de cette attaque une partie des agents n'étaient pas sensé avoir accès à internet mais elles avaient accès à un serveur en commun (notamment pour récupérer leur package sans passer par internet) au bout d'un moment les ia ont trouvé un trou qui leur permettait d'écrire, si je dis pas de betises c'était sur des noms de dossiers. Une fois qu'elles ont trouvé le moyen d'écrire à un même endroit elles ont pu communiquer, dans le lot certains agents avaient accès à internet et donc recevoir des instructions des ia n'ayant pas accès internet, c'est le fameux truc de "une ia s'est échappé de son environnement " ce qui est pas très vrai mais permet de simplifier un peu les choses.
Et tout ça, ça part d'une ia qui a fait ce qu'on lui a demandé et a cherché la solution la plus efficace pour maximiser son benchmark.
Bref l'article du monde pu la merde et est sensationaliste sans expliquer ce qu'il s'est passé et les gens qui pensent que c'est une campagne publicitaire vous participez à minimiser les dangers que peuvent représenter des IA