De moins en moins compréhensibles par les humains car de plus en plus complexes, les décisions émanant d’intelligences artificielles, IA, s’apparentent parfois à des « boîtes noires » (1).  Le principe de transparence (explicabilité et traçabilité) est sur la sellette. Le respect de ce principe -aux cotés des principes de justice, équité, non malfaisance, responsabilité et respect de la vie privée –  reste pourtant une condition importante au maintien de la confiance des citoyens dans des décisions algorithmiques. Le problème de la boîte noire traduit une opacité croissante dans le parcours des données, depuis leur entrée et jusqu’à leur sortie. Et pose cette question essentielle : faut-il comprendre les algorithmes pour leur faire confiance ?

Algorithmes : complexité et efficacité vont de pair

Pourquoi les décisions algorithmiques sont t-elles de plus en plus complexes  ? D’une part en raison du mode de conception des technologies de deep learning. D’autre part parce que complexité et efficacité vont de pair. On peut se demander si l’explicabilité des algorithmes n’a pas été sacrifiée sur l’autel de l’efficacité : « En l’état actuel de l’art, l’explicabilité des systèmes à base d’apprentissage constitue donc un véritable défi scientifique qui met en tension notre besoin d’explication et notre souci d’efficacité. Et si certains modèles d’apprentissage sont plus explicables que d’autres (systèmes à base de règles, arbres de décision simples, réseaux bayésiens), ils ont en général aujourd’hui des performances inférieures à celles des algorithmes d’apprentissage profonds » reconnaissaient déjà les auteurs du rapport Villani AI for Humanity en 2018 (2).
La complexité grandissante des systèmes de deep learning est donc en cause. Les systèmes à multiples couches d’apprentissage apprennent de manière autonome : « en se complexifiant, les systèmes autonomes rendent opaques, du point de vue de l’utilisateur, les procédés internes de son fonctionnement » explique Alexei Grinbaum dans Les robots et le mal (3). « Lors d’un apprentissage profond, chaque couche réalise l’une de ces trois méthodes générales : apprentissage dit supervisé, apprentissage non supervisé ou apprentissage par renforcement. Chacune de ces méthodes s’y prête déjà individuellement, mais leur imbrication contribue davantage à rendre inconcevable, au moins à ce jour, toute description mathématique rigoureuse de ce qui se passe dans une machine pendant son apprentissage. Un scientifique ne peut ni l’expliquer analytiquement ni prédire ce qui aura lieu : il ne peut que regarder le système agir. C’est là l’opacité maximale, qui ne peut, par conception, devenir transparente. Du coup, il est impossible d’établir rationnellement un lien de cause à effet entre les données de départ et le résultat final ».

Dans quelle mesure se fier à une boîte noire ?

Se pose alors la question de confiance : a t-on envie de se fier à une « boîte noire », déléguer des décisions à des algorithmes tellement sophistiqués que plus personne n’est en mesure d’en expliquer les ressorts ?  Dans quelle mesure accorder sa confiance à un système inaccessible à l’entendement humain, en particulier dans certains domaines sensibles ? La réponse varie avec la sensibilité du sujet. Pour choisir un itinéraire en fonction des encombrements urbains, tout va bien. Pour décider dans quelle université ira son enfant, c’est déjà moins évident. Dans le domaine medical, les enjeux sont complexes : “The black box story gets a lot of emphasis…The question is, will we hold machines hostage to being explainable before they can be used in medicine? I don’t know the answer. If prospective trials validate these models, he says, there’s every reason to bring them forward to the clinic with the hope of achieving a happy symbiosis between doctors and machines — even if doctors have no idea why the models work. But whenever you lean on machines there’s a pushback, because doctors are used to controlling everything. When you say: ‘The machine can do this as well as you, or potentially even better,’ there’s a bias against that. Overwhelming proof is one way to deal with that negative bias» explique Eric Topol, professeur de génomique, chercheur au Scripps Research Transnational Institute, en Californie, dans le magazine en ligne Undark (4).

Le principe de transparence 

Pour encadrer les nouvelles pratiques et organiser le niveau de confiance à accorder aux machines, le respect de l’impératif de transparence  contribue à tirer le meilleur parti de la vie algorithmique. Il est satisfaisant de constater que le sujet est évoqué dans tous les documents qui traitent de l’éthique de l’AI ; même si, au fond, il apparaît davantage sous forme de question que sous forme de réponse. Le principe de transparence englobe les impératifs d’explicabilité et de traçabilité. Il inclut les possibilités d’accès aux informations techniques, en particulier pour les technologies sous brevets ou provenant d’un pays extérieur. Il se définit, selon le Parlement Européen de la manière suivante : « Transparency is paramount to ensuring that AI is not biased. The AI guidelines introduce a number of measures to ensure transparency in the AI industry. For instance, the data sets and processes that are used in building AI systems should be documented and traceable. Also, AI systems should be identifiable as such, and humans need to be aware that they are interacting with an AI system. Furthermore, AI systems and related human decisions are subject to the principle of explainability, according to which it should be possible for them to be understood and traced by humans” (5).

Les décisions qui émanent d’un cerveau humain ne sont certes pas toujours plus claires que celles qui sont prises par les algorithmes. La différence, cependant, réside dans la possibilité du débat et de la contestation. Auteur de Vivre avec les algorithmes, Serge Abiteboul pose à cet égard une question essentielle. Dans le domaine judiciaire  : «…veut-on être jugé par des machines ou veut-on, comme me le disait récemment un avocat, que le justiciable puisse regarder dans les yeux la personne qui le juge? Parce que le juge est un humain, le justiciable sait que la personne en face de lui peut le comprendre, qu’elle pourrait être à sa place. Là aussi, il s’agit vraiment de savoir ce que veut la société » (6). Le problème des décisions algorithmiques est peut-être tout autant celui de la contestabilité que de l’explicabilité.

1 – Le terme boîte noire recouvre ici le caractère opaque des décisions, de leurs motivations. Il met en exergue le problème de l’explicabilité des décisions prises par les algorithmes. Il ne s’agit en aucun cas d’une boîte noire au sens utilisé pour les avions et qui vise l’enregistrement de données relatives au fonctionnement des avions.

2 – AI for Humanity. Donner un sens à l’intelligence artificielle. Pour une stratégie nationale et européenne. Mars 2018. https://www.aiforhumanity.fr/pdfs/9782111457089_Rapport_Villani_accessible.pdf

3 – Alexis Grinbaum. Les robots et le mal. Desclée de Brouwer. 2019.P. 146.

4  – Revue en ligne Undark. https://undark.org/2019/12/04/black-box-artificial-intelligence/

5 – http://www.europarl.europa.eu/RegData/etudes/BRIE/2019/640163/EPRS_BRI(2019)640163_EN.pdf

6- Serge Abiteboul. Gilles Dowek. Le temps des algorithmes. Le Pommier, 2017.