Un super-hacker en IA met le monde de la tech en alerte

De nouveaux modèles d’intelligence artificielle (IA) plus puissants sont annoncés assez régulièrement ces derniers temps : la dernière version de ChatGPT, Claude ou Gemini comporte toujours de nouvelles fonctionnalités et de nouvelles capacités que ses créateurs sont impatients de faire découvrir aux clients.

Anthropic a annoncé en grande pompe un nouveau modèle, mais ne le rend accessible qu’à une poignée d’utilisateurs triés sur le volet. Dans ce que le New York Times qualifie de « signe avant-coureur terrifiant » de la puissance du modèle, l’entreprise a lancé une initiative appelée Projet Glasswing afin de l’utiliser à des fins positives plutôt que malveillantes.

Pourquoi ? Les premiers rapports indiquaient que le modèle, après avoir reçu des instructions, avait été capable de sortir d’un environnement de test confiné et d’envoyer un courriel à un chercheur.

Un peu inquiétant, peut-être. Mais plus important encore, Anthropic affirme que Mythos a découvert des vulnérabilités et des bugs logiciels « dans tous les principaux systèmes d’exploitation et tous les principaux navigateurs web ».

Dans un exemple frappant, le modèle a décelé une faille dans OpenBSD, un système d’exploitation axé sur la sécurité et utilisé dans les pare-feu et les routeurs, qui était restée indétectée pendant 27 ans. Selon Anthropic, il a également mis au jour une vulnérabilité vieille de 16 ans dans FFmpeg, un logiciel peu connu mais largement utilisé en arrière-plan, qui permet aux ordinateurs, aux applications et aux sites web de gérer les fichiers audio et vidéo.

Anthropic affirme également que Mythos a découvert plusieurs vulnérabilités dans le noyau du système d’exploitation Linux et les a combinées de manière à donner à un attaquant le contrôle total d’une machine.

Le graphique montre que Mythos Preview réussit bien mieux que Sonnet 4.6 et Opus 4.6 à produire des failles dans le navigateur Firefox.

Les tests internes d’ Anthropic (qui n’ont pas été vérifiés de manière indépendante) ont montré que le modèle Mythos était bien plus performant que les modèles précédents pour transformer les bugs logiciels en exploits fonctionnels.

L’évaluation interne du modèle par Anthropic souligne à la fois son potentiel technique et la nécessité de rester vigilant.

Le rapport évoque un risque hypothétique d’exploitation de son accès par une IA avancée au sein d’une organisation, mais conclut que le modèle présente un risque très faible d’actions autonomes malveillantes. Autrement dit, il est peu probable qu’il devienne incontrôlable, mais il pourrait suivre des instructions humaines et commettre des actes préjudiciables.

Pourquoi Anthropic refuse d’inclure Mythos

Anthropic explique avoir décidé de ne pas rendre public le modèle en raison de ses fonctionnalités et des risques potentiels qu’il représente. Parallèlement, la société a lancé le projet Glasswing .

Cette initiative rassemble une large coalition d’entreprises technologiques telles que Microsoft, Amazon, Google, Apple, Cisco et NVIDIA, des organisations open source telles que la Linux Foundation et des acteurs financiers majeurs tels que JPMorgan Chase, afin d’orienter Mythos vers la cyberdéfense plutôt que vers un usage abusif.

L’idée est de donner aux défenseurs une longueur d’avance pour trouver et corriger les failles des logiciels critiques avant que des capacités d’IA similaires ne soient largement mises à la disposition des attaquants.

Lire entre les lignes des messages d’Anthropic

Ce n’est pas la première fois qu’une entreprise spécialisée en IA décide qu’un modèle est trop puissant pour être largement diffusé. En 2019, plusieurs années avant l’avènement de ChatGPT, OpenAI avait pris une décision similaire avec son modèle GPT-2 (qui paraît aujourd’hui assez primitif). (Dario Amodei, actuel PDG d’Anthropic, était alors un chercheur clé chez OpenAI .)

Cependant, cela ne signifie pas que ces annonces ne doivent pas être prises au sérieux.

Anthropic a publié des informations exceptionnellement détaillées concernant un modèle qu’elle ne diffuse pas largement. Selon certaines sources , les autorités américaines auraient réuni à Washington les PDG des principales banques américaines pour discuter des cyber-risques liés à Mythos.

Il convient toutefois de rester prudent quant aux affirmations d’Anthropic, car la plupart des éléments de preuve sous-jacents ne peuvent être vérifiés par des tiers. Anthropic indique que plus de 99 % des vulnérabilités découvertes restent confidentielles, faute de correctifs. Cette transparence responsable implique néanmoins que le public est invité à faire confiance à des informations qu’il ne peut pleinement examiner.

Que pourrait signifier Mythos pour l’avenir de la cybersécurité

Les failles de cybersécurité peuvent avoir des conséquences concrètes pour les individus. En Australie, la violation de données chez Optus a exposé les informations personnelles d’environ 9,5 millions de personnes. Dans un autre cas, des dossiers volés chez Medibank contenaient des informations de santé sensibles, et certaines de ces données ont ensuite été diffusées sur le dark web .

Il ne s’agissait pas simplement de problèmes de bases de données. C’étaient des crises touchant la vie privée, l’identité et la confiance.

C’est pourquoi Mythos est important. Mythos et d’autres modèles d’IA similaires pourraient bouleverser les fondements économiques de la cybersécurité.

Par le passé, de graves failles de sécurité sont souvent restées cachées tout simplement parce que personne ne les a découvertes. Et cela s’explique par le fait que leur découverte exigeait des compétences rares, de la patience et du temps.

Si des modèles comme Mythos peuvent analyser l’infrastructure cachée d’Internet – systèmes d’exploitation, navigateurs, routeurs et code source ouvert partagé – à une échelle sans précédent, alors le piratage informatique, aujourd’hui spécialisé, pourrait devenir un processus routinier et automatisé.

Pour les organisations et les sociétés de développement logiciel, Mythos est une arme à double tranchant. Il peut révéler rapidement des failles cachées dans leur propre code, mais il fait également craindre que des attaquants ne découvrent ces vulnérabilités en premier.

Les implications vont bien au-delà des entreprises technologiques. Une grande partie de ces logiciels sous-jacents, invisibles, soutiennent de nombreux services dont les gens dépendent au quotidien, de l’électricité et de l’eau aux compagnies aériennes, aux services bancaires, au commerce de détail et aux hôpitaux .

Et maintenant ?

Jusqu’à présent, les entreprises de cybersécurité et de logiciels sont restées remarquablement discrètes au sujet du modèle Mythos d’Anthropic. Nombre d’entre elles semblent adopter une attitude attentiste, réticentes à prendre position de peur que ce modèle ne révèle des failles dans leurs propres systèmes.

Mais des entreprises comme Mythos nous incitent à cesser de considérer la cybersécurité comme le problème de quelqu’un d’autre. Pour l’instant, pour les particuliers, la réponse est simple : les bonnes pratiques en matière de cybersécurité sont plus importantes que jamais.

Mettez à jour vos téléphones, ordinateurs portables, navigateurs et routeurs. Remplacez les appareils non pris en charge. Utilisez un gestionnaire de mots de passe. Activez l’authentification multifacteurs. Ne négligez pas les notifications de correctifs.

Ce sont là les mesures immédiates. Au-delà, se posent des questions plus complexes concernant l’IA et la cybersécurité : qui a accès aux puissants modèles d’IA, qui supervise leur utilisation et qui détermine qui sont les personnes autorisées à y avoir accès ?

Stan Karanasios

Professeur en systèmes d’information, Université du Queensland

Saeed Akhlaghpour

Professeur agrégé de systèmes d’information de gestion, Université du Queensland