Face à des agents IA capables d’outrepasser leurs consignes, l’EPFL cherche la parade

Plusieurs problèmes de sécurité ont été communiqués ces derniers jours, notamment par OpenAI et Anthropic. Des pistes pour mieux encadrer ces machines autonomes sont avancéesL’affaire peut prêter à sourire, et elle a déjà fait le tour de la planète numérique. Il y a quelques jours, on apprenait qu’un Australien avait réussi à pirater une salle de sport. Celui-ci avait, à la base, simplement demandé à son agent d’intelligence artificielle (IA) de l’aider à s’inscrire à un cours de sport matinal et à remonter une liste d’attente. L’agent, qui était basé sur le système OpenClaw et sur Claude d’Anthropic, était allé beaucoup plus loin. La machine avait pris la liberté, en découvrant des vulnérabilités dans le système informatique de la salle de sport, de réserver des séances des mois à l’avance et de supprimer les réservations d’autres utilisateurs.C’est le dernier exemple en date des libertés prises par ces agents IA, des systèmes dotés de nombreux pouvoirs et autorisations, chargés de missions sur la durée et qui œuvrent de manière permanente. Ils sont de plus en plus puissants et peuvent agir hors du cadre défini. Fin juillet, on apprenait, via OpenAI, que des agents, testés pour leurs capacités offensives, avaient profité de la désactivation de garde-fous. Ils avaient exploité une faille inconnue dans un serveur qui permettait de télécharger des logiciels, puis pénétré dans les systèmes de la plateforme Hugging Face.Voir plus