Ces derniers jours, il y a eu une certaine agitation sur le thème de la sécurité et de l'intelligence artificielle. Plus tôt ce mois-ci, un agent IA a pu déclencher une attaque en utilisant ses propres méthodes.
Comme l'a rapporté l'Agence espagnole de protection des données, l'agent attaquant a commencé une recherche de vulnérabilité dans les fichiers génériques et s'est connecté correctement. Une fois qu'il a accédé au système, il a commencé à rechercher de manière indépendante les vulnérabilités de l'application, ce qui lui a permis de modifier les données et d'accéder aux factures.
Le contexte de l'annulation du nouveau modèle d'IA d'OpenaAI
Dans ce contexte de failles de sécurité et surtout dans l'incertitude sur la façon dont les agents d'IA réagissent à certaines informations, il apparaît qu'OpenAI, le fabricant de ChatGPT, annule son nouveau modèle d'IA qui devait initialement sortir prochainement.
L'annulation intervient quelques jours seulement après qu'OpenAI a annoncé qu'il suspendrait le développement de nouveaux modèles d'IA hautement performants, craignant que le
l’entreprise ne dispose pas de garanties adéquates pour empêcher la technologie de se comporter de manière indésirable.
Les sociétés d’IA ont rendu leurs agents d’IA, capables d’effectuer des actions sur un ordinateur, plus utiles aux programmeurs et autres travailleurs, en partie en les rendant plus persistants dans la recherche de solutions aux tâches.
Cela a permis à la technologie de prendre en charge des projets plus complexes, mais cela peut également conduire à des agents d’IA trop zélés et même à tricher pour atteindre un objectif final.
La nouvelle version prévue d'OpenAI, GPT-6.1 Astra, « ne répondait pas tout à fait aux normes en termes de respect de la portée et des autorisations, ni de la manière dont elle communique à l'utilisateur sur le type de travail qu'il effectue », a déclaré Saachi Jain, responsable des systèmes de sécurité chez OpenAI, dans un communiqué.
Pause dans le développement de nouveaux modèles d'IA
Tel que rapporté par le Washington Post L'annulation du nouveau modèle d'IA, ainsi que le gel de la formation de nouveaux modèles avancés par l'entreprise, soulignent le débat sur la sécurité qui a secoué l'industrie de l'IA ces dernières semaines. D’éminents chercheurs et PDG ont averti que leurs entreprises ne savent pas comment contrôler l’IA de pointe.
OpenAI a révélé ces dernières semaines que ses agents d’IA avaient accédé de manière inappropriée aux sites Web des gouvernements américain et australien. Plus d’un millier de ses agents ont travaillé ensemble pour pirater une autre entreprise plus tôt cette année, après avoir été déverrouillés à partir d’un système sécurisé qui n’était initialement pas connecté à Internet.
Le PDG d'OpenAI, Sam Altman, s'est joint aux appels du PDG de la société rivale Anthropic, Dario Amodei, pour ralentir le développement de l'IA et permettre aux systèmes de sécurité de rattraper leur retard. Malgré un large soutien au sein de l’industrie de l’IA, la proposition a été rejetée par le président Donald Trump. Il a qualifié les préoccupations de sécurité de « canular » et a insisté sur le fait que les sociétés américaines d’IA devraient aller de l’avant pour garder une longueur d’avance sur la Chine.
