Vers plus de transparence : l’IA explicable

par Patrick Chareyre, Responsable technique France, Tessella, Sam Genway, Ingénieur en solutions d’IA, Tessella, et Stéphane Thery, Directeur France, Tessella

Alors qu’un nombre croissant de décisions sont prises par l’intelligence artificielle, les craintes s’intensifient quant à la façon dont cette dernière parvient aux réponses qu’elle fournit.

Contrairement aux algorithmes traditionnels, les IA ne suivent pas un ensemble de règles prédéfinies. Au lieu de cela, elles apprennent à reconnaître des schémas récurrents en créant leurs propres règles à partir de données d’apprentissage. Dès lors qu’un modèle d’intelligence artificielle fournit les bonnes réponses, on le lance dans le monde réel.

Besoin d’explicabilité des décisions produites par IA.

Les environnements dans lesquels nous évoluons se complexifient chaque jour. Pour certaines applications, le volume et l’hétérogénéité données à intégrer, le nombre de composantes et d’interactions, les incertitudes, la vitesse de réactions, sont autant de paramètres qui rendent hasardeuse la prise de décision humaine. De plus en plus, la complexité des problèmes devient telle que même les automatisations de ces décisions par des systèmes experts et  les arbitrages par des méthodes statistiques sont inefficaces.  Les techniques d’IA non calquées sur des raisonnements humains explicites, telles que le Deep Learning ou le Reinforcement Learning, deviennent alors indispensables.

Cependant, toutes les IA n’ont pas besoin d’être explicables. Prenons une IA qui recommande une opération de maintenance. Si la panne est systématiquement évitée à temps, alors nul besoin d’expliquer le processus interne de décision.  Si les recommandations de l’IA sont largement plus performantes que celles de l’expert métier, consacrer un effort supplémentaire pour obtenir une explicabilité des recommandations n’en vaut pas forcément la peine.

Inversement, des impératifs légaux, commerciaux ou liés au cas d’usage peuvent requérir différents niveaux d’explicabilité. Une banque doit pouvoir expliquer pourquoi un prêt a été refusé. On doit pouvoir expliquer le mécanisme de décision à l’auteur de la recherche et pas seulement les résultats. En médecine, on n’accepterait pas une décision qui impacterait un patient, sans s’assurer qu’elle est correctement fondée.

Qu’est-ce que l’explicabilité et dans quel objectif ?

L’explicabilité n’est pas la confiance associée à la décision. Une mesure de la confiance associée au résultat est indispensable, mais une excellente confiance n’exclut pas « une erreur de raisonnement ». Par exemple, un modèle d’IA avait été brillamment formé à faire la différence entre un loup et un husky. Mais il est apparu par la suite qu’il avait appris à faire la différence en fonction de la présence ou de l’absence de neige en arrière-plan. Cette méthode fonctionnera la plupart du temps, mais dès qu’il devra repérer un husky en dehors de son habitat naturel, il sera mis en échec. Si l’on se fie à une IA (ou même des humains) qui donne une bonne réponse pour les mauvaises raisons, cela limitera nécessairement ses domaines d’application.

L’explicabilité n’est pas non plus la certifiabilité. Le fait que les décisions soient comprises ne garantit pas un comportement de l’IA conforme à une réglementation.

L’explicabilité du processus de décision de l’intelligence artificielle est à comprendre au sens de l’intelligence humaine. Cela requiert donc a minima, une « sémantique »,  une logique rationnelle et une capacité à susciter un consensus. Elle diffère selon l’acteur humain concerné, son rôle et ses compétences : un expert IA, un utilisateur, un expert métier / un décideur…

L’explicabilité est recherchée pour différentes finalités :

  • Interpréter et expliquer les résultats
  • Débugger et améliorer (les modèles, les données)
  • Comparer / Sélectionner / Combiner des modèles IA
  • Formation : à l’IA ou formation des experts métiers

Ces différentes finalités concernent des acteurs différents et requièrent des outils (interfaces utilisateurs, concepts manipulés, connaissances) différents. Selon les cas, l’explicabilité est demandée en phase d’apprentissage ou en phase d’utilisation.

Comment rendre les IA explicables

Rappelons premièrement que le besoin en explicabilité doit figurer au cahier des charges pour être pris en compte dès le début de la conception de l’IA. Nous pensons que toute IA doit générer a minima des résultats interprétables pour chaque acteur. Ces résultats doivent couvrir intégralement et explicitement les fonctionnalités attendues.

Nous distinguons trois grands types d’approches pour rendre les IA « plus » explicables.

  • Par construction: L’IA peut être conçue directement ou indirectement comme explicable, en utilisant :
    • une démarche hiérarchique,
    • un processus d’apprentissage des explications
    • ou une construction incrémentale « automatique »,

Par exemple un compromis peut être la capacité à comprendre certaines décisions « locales »,  sans avoir à comprendre comment le modèle d’IA fonctionne dans son intégralité. Egalement, plutôt que d’associer chaque cas à une simple sortie (étiquette, valeur) pour un apprentissage en supervisé, il est possible d’y adjoindre une explication qui sera apprise également. Les techniques de boosting ou d’auto ML peuvent également être instrumentées pour apporter une explicabilité des IA, notamment au cours de leur apprentissage.

  • Par exploration / visualisation

De nombreuses techniques d’exploration / visualisation ont été développées ces dernières années pour faciliter l’explicabilité des résultats, la compréhension du déroulement de l’apprentissage,…

  • Par approches génératives et des techniques de ML

Les méthodes statistiques et de Machine Learning explicables peuvent également contribuer à l’explicabilité des IA, qu’elles fassent ou non directement partie du processus de décision de l’IA.

  • L’explicabilité, jusqu’où ?

La complexité des problèmes face auxquels l’IA est placée ne cesse de croître, au-delà même de l’expérience humaine. L’utilité et les modalités de ces explications seront forcément remises en question. Quelqu’un demanda un jour au physicien Richard Feynman d’expliquer pourquoi deux aimants se repoussent ou s’attirent. Il répondit : « Je ne peux pas vous expliquer cette attraction en des termes qui vous seraient familiers. » Faut-il attendre une explication simple quand une IA résout un problème complexe et inconnu ?

L’explicabilité peut être fournie à différents niveaux, en fonction des besoins et de la complexité du problème. Les organisations doivent prendre en considération des problématiques telles que l’éthique, la réglementation et les exigences des clients avant de déterminer si les décisions de leur IA doivent pouvoir explicables, et dans quelle mesure. Ce n’est qu’à partir de cela qu’elles pourront prendre des décisions éclairées sur le rôle de l’explicabilité lors du développement de leurs systèmes d’IA.

Leave a Reply