Le Nobel de physique décerné aux pionniers des réseaux neuronaux qui ont posé les bases de l’IA

Le prix Nobel de physique 2024 a été décerné aux scientifiques John Hopfield et Geoffrey Hinton « pour leurs découvertes et inventions fondamentales qui permettent l’apprentissage automatique avec des réseaux de neurones artificiels ».

Inspirés par des idées issues de la physique et de la biologie, Hopfield et Hinton ont développé des systèmes informatiques capables de mémoriser et d’apprendre à partir de modèles de données. Bien qu’ils n’aient jamais collaboré directement, ils se sont appuyés sur les travaux de chacun pour poser les bases de l’essor actuel de l’apprentissage automatique et de l’intelligence artificielle (IA).

Que sont les réseaux neuronaux ? (Et quel est leur rapport avec la physique ?)

Les réseaux neuronaux artificiels sont à l’origine d’une grande partie de la technologie d’IA que nous utilisons aujourd’hui.

De la même manière que votre cerveau est composé de cellules neuronales reliées par des synapses, les réseaux neuronaux artificiels sont constitués de neurones numériques connectés selon diverses configurations. Chaque neurone individuel ne fait pas grand-chose. La magie réside plutôt dans la structure et la force des connexions entre eux.

Les neurones d’un réseau neuronal artificiel sont « activés » par des signaux d’entrée. Ces activations se propagent d’un neurone à l’autre de manière à transformer et à traiter les informations d’entrée. Le réseau peut ainsi effectuer des tâches informatiques telles que la classification, la prédiction et la prise de décision.

La majeure partie de l’histoire de l’apprentissage automatique a consisté à trouver des moyens toujours plus sophistiqués pour former et mettre à jour ces connexions entre les neurones artificiels.

Alors que l’idée fondamentale de relier des systèmes de nœuds pour stocker et traiter des informations provient de la biologie, les mathématiques utilisées pour former et mettre à jour ces liens proviennent de la physique.

Des réseaux qui se souviennent

John Hopfield (né en 1933) est un physicien théoricien américain qui a apporté d’importantes contributions au cours de sa carrière dans le domaine de la physique biologique. Cependant, le prix Nobel de physique lui a été décerné pour son travail sur le développement des réseaux de Hopfield en 1982.

Les réseaux de Hopfield sont l’un des premiers types de réseaux neuronaux artificiels. Inspirés par les principes de la neurobiologie et de la physique moléculaire, ces systèmes ont démontré pour la première fois comment un ordinateur pouvait utiliser un « réseau » de nœuds pour mémoriser et rappeler des informations.

Les réseaux développés par Hopfield pouvaient mémoriser des données (par exemple une collection d’images en noir et blanc). Ces images pouvaient être « rappelées » par association lorsque le réseau était invité à se souvenir d’une image similaire.

Bien que leur utilisation pratique soit limitée, les réseaux Hopfield ont démontré que ce type de RNA pouvait stocker et récupérer des données de nouvelles manières. Ils ont jeté les bases des travaux ultérieurs de Hinton.

Des machines capables d’apprendre

Geoff Hinton (né en 1947), parfois considéré comme l’un des « parrains de l’IA », est un informaticien britanno-canadien qui a apporté de nombreuses contributions importantes au domaine. En 2018, il a reçu, avec Yoshua Bengio et Yann LeCun, le prix Turing (la plus haute distinction en informatique) pour ses efforts visant à faire progresser l’apprentissage automatique en général, et plus particulièrement une branche de celui-ci appelée apprentissage profond.

Le prix Nobel de physique lui a toutefois été décerné spécifiquement pour son travail avec Terrence Sejnowski et d’autres collègues en 1984, sur le développement des machines de Boltzmann .

Il s’agit d’une extension du réseau Hopfield qui a démontré l’idée de l’apprentissage automatique – un système qui permet à un ordinateur d’apprendre non pas à partir d’un programmeur, mais à partir d’exemples de données. S’appuyant sur des idées issues de la dynamique énergétique de la physique statistique, Hinton a montré comment ce premier modèle informatique génératif pouvait apprendre à stocker des données au fil du temps en se voyant montrer des exemples de choses à mémoriser.

La machine de Boltzmann, comme le réseau de Hopfield avant elle, n’avait pas d’applications pratiques immédiates. Cependant, une forme modifiée (appelée machine de Boltzmann restreinte) s’est avérée utile dans certains problèmes appliqués.

L’idée selon laquelle un réseau neuronal artificiel pourrait apprendre à partir de données a été une percée conceptuelle encore plus importante. Hinton a continué à développer cette idée. Il a ensuite publié des articles influents sur la rétropropagation (le processus d’apprentissage utilisé dans les systèmes modernes d’apprentissage automatique) et les réseaux neuronaux convolutifs (le principal type de réseau neuronal utilisé aujourd’hui pour les systèmes d’IA qui fonctionnent avec des données d’image et de vidéo).

Pourquoi ce prix, maintenant ?

Les réseaux de Hopfield et les machines de Boltzmann semblent fantaisistes comparés aux prouesses de l’IA d’aujourd’hui. Le réseau de Hopfield ne contenait que 30 neurones (il a essayé d’en créer un avec 100 nœuds, mais c’était trop pour les ressources informatiques de l’époque), alors que les systèmes modernes comme ChatGPT peuvent en avoir des millions. Cependant, le prix Nobel d’aujourd’hui souligne à quel point ces premières contributions ont été importantes pour le domaine.

Si les progrès rapides récents de l’IA – que la plupart d’entre nous connaissent grâce aux systèmes d’IA génératifs tels que ChatGPT – peuvent sembler être une justification pour les premiers partisans des réseaux neuronaux, Hinton a au moins exprimé son inquiétude. En 2023, après avoir quitté la branche IA de Google après une décennie passée à l’université, il a déclaré avoir été effrayé par le rythme de développement et a rejoint la foule croissante de voix réclamant une réglementation plus proactive de l’IA.

Après avoir reçu le prix Nobel, Hinton a déclaré que l’intelligence artificielle serait « comme la révolution industrielle, mais qu’au lieu de dépasser nos capacités physiques, elle dépasserait nos capacités intellectuelles ». Il a également déclaré qu’il craignait toujours que les conséquences de son travail ne soient « des systèmes plus intelligents que nous qui pourraient éventuellement prendre le contrôle ».

Aaron J. Snoswell

Chargé de recherche en responsabilité de l’IA, Université de technologie du Queensland