Technologie : Qu’est-ce qu’un « algorithme » ?

Décrire un système décisionnel comme un « algorithme » est souvent un moyen de détourner la responsabilité des décisions humaines. Pour beaucoup, le terme implique un ensemble de règles basées objectivement sur des preuves empiriques ou des données. Il suggère également un système très complexe, peut-être si complexe qu’un humain aurait du mal à comprendre son fonctionnement interne ou à anticiper son comportement lorsqu’il est déployé.

Mais cette caractérisation est-elle exacte ? Pas toujours.

Par exemple, à la fin décembre, la mauvaise allocation des vaccins covid-19 du Stanford Medical Center a été imputée à un « algorithme » de distribution qui favorisait les administrateurs de haut rang plutôt que les médecins de première ligne. L’hôpital a affirmé avoir consulté des éthiciens pour concevoir son « algorithme très complexe », qui, selon un représentant, « ne fonctionne manifestement pas bien », comme l’a rapporté le MIT Technology Review à l’époque. Alors que beaucoup de gens ont interprété l’utilisation du terme comme signifuge que l’IA ou l’apprentissage automatique a été impliqué, le système était en fait un algorithme médical, qui est fonctionnellement différent. C’était plus semblable à une formule ou à un arbre de décision très simple conçu par un comité humain.

Cette déconnexion met en évidence un problème croissant. À mesure que les modèles prédictifs prolifèrent, le public se méfie davantage de son utilisation dans la prise de décisions critiques. Mais alors que les décideurs commencent à élaborer des normes pour l’évaluation et l’audit des algorithmes, ils doivent d’abord définir la classe des outils de prise de décision ou d’aide à la décision auxquels leurs politiques s’appliqueront. Laisser le terme « algorithme » ouvert à l’interprétation pourrait placer certains des modèles ayant le plus grand impact hors de portée des politiques conçues pour s’assurer que ces systèmes ne nuisent pas aux gens.

Comment identifier un algorithme

Alors, l’algorithme de Stanford est-il un algorithme ? Cela dépend de la façon dont vous définissez le terme. Bien qu’il n’y ait pas de définition universellement acceptée, une définition commune provient d’un manuel de 1971 écrit par l’informaticien Harold Stone, qui déclare : « Un algorithme est un ensemble de règles qui définissent précisément une séquence d’opérations. » Cette définition englobe tout, des recettes aux réseaux neuronaux complexes : une politique d’audit basée sur elle serait d’une portée risible.

Dans les statistiques et l’apprentissage automatique, nous pensons généralement à l’algorithme comme l’ensemble des instructions qu’un ordinateur exécute pour apprendre des données. Dans ces domaines, l’information structurée qui en résulte est généralement appelée modèle. Les informations que l’ordinateur apprend des données via l’algorithme peuvent ressembler à des « poids » par lesquels multiplier chaque facteur d’entrée, ou il peut être beaucoup plus compliqué. La complexité de l’algorithme lui-même peut également varier. Et les impacts de ces algorithmes dépendent en fin de compte des données auxquelles ils sont appliqués et du contexte dans lequel le modèle résultant est déployé. Le même algorithme peut avoir un impact positif net lorsqu’il est appliqué dans un contexte et un effet très différent lorsqu’il est appliqué dans un autre.

L’hôpital universitaire a blâmé un « algorithme très complexe » pour son plan inégal de distribution de vaccins. Voilà ce qui s’est passé.

Dans d’autres domaines, ce qui est décrit ci-dessus comme un modèle est lui-même appelé un algorithme. Bien que cela soit déroutant, selon la définition la plus large, il est également exact: les modèles sont des règles (apprises par l’algorithme de formation de l’ordinateur au lieu d’être déclarées directement par les humains) qui définissent une séquence d’opérations. Par exemple, l’année dernière au Royaume-Uni, les médias ont décrit l’échec d’un « algorithme » d’attribuer des scores équitables aux étudiants qui ne pouvaient pas s’asseoir pour leurs examens en raison de covid-19. Certes, ce dont ces rapports discutaient, c’était du modèle — l’ensemble des instructions qui traduisaient les entrées (le rendement passé d’un élève ou l’évaluation d’un enseignant) en extrants (une note).

Ce qui semble s’être passé à Stanford, c’est que les humains, y compris les éthiciens, se sont assis et ont déterminé quelle série d’opérations le système devrait utiliser pour déterminer, sur la base d’intrants tels que l’âge et le département d’un employé, si cette personne devrait être parmi les premières à se faire vacciner. D’après ce que nous savons, cette séquence n’était pas basée sur une procédure d’estimation optimisée pour une cible quantitative. Il s’agissait d’un ensemble de décisions normatives sur la façon dont les vaccins devraient être priorisés, formalisés dans le langage d’un algorithme. Cette approche est considérée comme un algorithme dans la terminologie médicale et selon la définition large, même si la seule intelligence impliquée était celle des humains.

Mettre l’accent sur l’impact, pas sur l’entrée

Les législateurs pèsent également sur ce qu’est un algorithme. Introduit au Congrès américain en 2019, HR2291, ou l’Algorithmic Accountability Act, utilise le terme « système de décision automatisé » et le définit comme « un processus de calcul, y compris un processus dérivé de l’apprentissage automatique, des statistiques ou d’autres techniques de traitement des données ou d’intelligence artificielle, qui prend une décision ou facilite la prise de décisions humaines, qui a un impact sur les consommateurs ».

Les vérificateurs testent les algorithmes d’embauche pour les biais, mais il n’y a pas de solution facile

Les vérifications de l’IA peuvent négliger certains types de biais, et elles ne vérifient pas nécessairement qu’un outil d’embauche choisit les meilleurs candidats pour un emploi.

De même, la ville de New York envisage Int 1894, une loi qui introduirait des vérifications obligatoires des « outils automatisés de décision en matière d’emploi », définis comme « tout système dont la fonction est régie par la théorie statistique, ou des systèmes dont les paramètres sont définis par de tels systèmes ». Fait à savoir, les deux projets de loi prévoient des vérifications, mais ne fournissent que des lignes directrices de haut niveau sur ce qu’est une vérification.

Comme les décideurs du gouvernement et de l’industrie créent des normes pour les audits algorithmiques, les désaccords sur ce qui compte comme algorithme sont probables. Plutôt que d’essayer de s’entendre sur une définition commune de « l’algorithme » ou d’une technique d’audit universelle particulière, nous suggérons d’évaluer les systèmes automatisés principalement en fonction de leur impact. En mettant l’accent sur les résultats plutôt que sur les commentaires, nous évitons les débats inutiles sur la complexité technique. Ce qui importe, c’est le risque de préjudice, que nous discutions d’une formule algébrique ou d’un réseau neuronal profond.

L’impact est un facteur d’évaluation critique dans d’autres domaines. Il est intégré dans le cadre dread classique dans la cybersécurité, qui a d’abord été popularisé par Microsoft au début des années 2000 et est toujours utilisé dans certaines entreprises. Le « A » dans DREAD demande aux évaluateurs de la menace de quantifier les « utilisateurs affectés » en demandant combien de personnes subiraient l’impact d’une vulnérabilité identifiée. Les évaluations d’impact sont également courantes dans les analyses des droits de la personne et de la durabilité, et nous avons vu certains des premiers développeurs d’évaluations d’impact de l’IA créer des rubriques similaires. Par exemple, l’étude d’impact algorithmique du Canada fournit une note basée sur des questions qualitatives telles que « Les clients de ce secteur d’activité sont-ils particulièrement vulnérables? (oui ou non). »

Ce qui importe, c’est le risque de préjudice, que nous discutions d’une formule algébrique ou d’un réseau neuronal profond.

Il est certainement difficile d’introduire un terme vaguement défini comme « impact » dans toute évaluation. Le cadre DREAD a ensuite été complété ou remplacé par STRIDE, en partie à cause de défis liés à la conciliation de différentes croyances sur ce que la modélisation des menaces implique. Microsoft a cessé d’utiliser DREAD en 2008.

Dans le domaine de l’IA, des conférences et des revues ont déjà présenté des déclarations d’impact avec plus ou moins de succès et de controverse. C’est loin d’être infaillible : les études d’impact purement formulaiques peuvent facilement être jouées, tandis qu’une définition trop vague peut conduire à des évaluations arbitraires ou incroyablement longues.

Pourtant, c’est un pas important en avant. Le terme « algorithme », bien que défini, ne devrait pas être un bouclier pour absoudre les humains qui ont conçu et déployé tout système de responsabilité pour les conséquences de son utilisation. C’est pourquoi le public exige de plus en plus la responsabilisation algorithmique et le concept d’impact offre un terrain d’entente utile pour les différents groupes qui travaillent à répondre à cette demande.

Kristian Lum est professeur adjoint de recherche au département d’informatique et d’informatique de l’Université de Pennsylvanie – États-Unis (traduit en Français par Jay Cliff)