En un coup d’œil
Cinq facteurs contextuels ont un effet sur l’objectif pour lequel une personne souhaite utiliser une explication, et sur la façon dont vous devriez fournir votre explication :
- domaine dans lequel vous travaillez ;
- impact sur la personne ;
- données utilisées ;
- urgence de la décision ; et
- audience à laquelle elle est présentée.
En plus de détails
- Introduction aux facteurs contextuels
- Facteur de domaine
- Facteur d’impact
- Facteur de données
- Facteur d’urgence
- Facteur d’audience
Introduction
Lors de la construction d’une explication pour un individu, il y a plusieurs facteurs concernant le contexte dans lequel une décision assistée par l’IA est prise. Ceux-ci ont un effet sur le type d’explication que les gens trouveront utile et les fins auxquelles ils souhaitent l’utiliser.
D’après les recherches primaires que nous avons menées, en particulier avec des membres du public, nous avons identifié cinq facteurs contextuels clés qui influent sur les raisons pour lesquelles les gens veulent des explications sur les décisions assistées par l’IA. Ces facteurs contextuels sont présentés ci-dessous, ainsi que des suggestions sur les explications à privilégier pour fournir une explication d’une décision assistée par l’IA. Vous devez prendre en compte ces facteurs à toutes les étapes du processus décrit dans la partie 2 de ce guide.
Lorsque vous considérez ces facteurs contextuels, gardez à l’esprit que fournir des explications aux destinataires de la décision les éduquera également sur les systèmes d’IA. Il peut donc être utile de réfléchir aux informations que vous pouvez fournir avant le traitement afin de contribuer à développer la connaissance et la compréhension de l’utilisation de l’IA parmi le grand public.
Facteur de domaine
Qu’est-ce que ce facteur ?
Par « domaine », nous entendons le cadre ou le secteur dans lequel vous déployez votre modèle d’IA pour vous aider à prendre des décisions concernant les gens. Cela peut affecter les explications que les gens veulent. Par exemple, ce que les gens veulent savoir sur les décisions assistées par l’IA prises dans le domaine de la justice pénale peut différer considérablement d’autres domaines tels que les soins de santé.
De même, les normes d’explication spécifiques au domaine ou au secteur peuvent affecter ce que les gens attendent d’une explication. Par exemple, une personne recevant une décision hypothécaire assistée par l’IA s’attendra à connaître le raisonnement derrière la détermination d’une manière qui correspond aux normes et pratiques de prêt établies.
Quelles explications devrions-nous privilégier ?
La prise en compte du facteur de domaine est peut-être le déterminant le plus crucial des explications que vous devriez inclure et privilégier lorsque vous communiquez avec les personnes concernées. Si votre système d’IA fonctionne dans un contexte de sécurité critique, les destinataires de la décision voudront évidemment des explications appropriées sur la sécurité et la performance. Cependant, si votre système fonctionne dans un domaine où les préoccupations de partialité et de discrimination sont prévalentes, il est probable qu’ils voudront que vous fournissiez une explication d’équité.
Dans les domaines à faible enjeu tels que le commerce électronique, il est peu probable que les gens souhaitent ou attendent des explications approfondies sur la sécurité et la performance des sorties des systèmes de recommandation. Malgré tout, dans ces domaines à faible impact, vous devriez expliquer la justification de base et les composants de responsabilité (ainsi que tous les autres types d’explication pertinents) de tout système de décision qui affecte les gens.
Par exemple, les applications à « faible » impact telles que les recommandations de produits et la personnalisation (par exemple de la publicité ou du contenu), peuvent donner lieu à des sensibilités concernant le ciblage de certaines démographies, ou l’ignorance d’autres (par exemple, la publicité des rôles de leadership ciblant les hommes). Cela soulève des questions évidentes d’équité et d’impact sur la société, ce qui augmente l’importance des explications abordant ces questions.
Facteur d’impact
Qu’est-ce que ce facteur ?
Le facteur « impact » concerne l’effet qu’une décision assistée par l’IA peut avoir sur un individu et une société plus large. Des niveaux de gravité variables et différents types d’impact peuvent modifier les explications que les gens trouveront utiles, ainsi que l’objectif de l’explication.
Les décisions sont-elles critiques pour la sécurité, liées à des situations de vie ou de mort (le plus souvent dans le domaine des soins de santé) ? Les décisions affectent-elles la liberté ou le statut juridique d’une personne ? L’impact de la décision est-il moins grave mais tout de même significatif (ex : refus d’un service public ou ciblage d’un message politique) ? Ou l’impact est-il plus trivial (ex : être dirigé vers un guichet spécifique par un système d’IA qui trie les files d’attente dans un aéroport) ?
Quelles explications devons-nous privilégier ?
En général, lorsqu’une décision assistée par l’IA a un impact élevé sur un individu, les explications telles que l’équité, la sécurité et la performance, et l’impact sont souvent importantes, parce que les individus veulent être rassurés sur la sécurité de la décision, avoir confiance qu’ils sont traités équitablement, et comprendre les conséquences.
Cependant, les explications de justification et de responsabilité peuvent être tout aussi importantes en fonction des autres facteurs contextuels. Par exemple, si les caractéristiques des données utilisées par le modèle d’IA sont modifiables, ou si les déductions tirées sont ouvertes à l’interprétation et peuvent être contestées.
La prise en compte de l’impact comme facteur contextuel n’est pas simple. Il n’y a pas de règle stricte et rapide. Vous devriez le faire au cas par cas, et le considérer en combinaison avec tous les autres facteurs contextuels. Cela devrait également impliquer un dialogue inclusif entre les domaines d’expertise impliqués dans la conception, le développement et le déploiement du système d’IA. Réunir différents membres de l’équipe, qui ont une expertise technique, politique, de conformité et de domaine, peut fournir une vision plus éclairée du facteur d’impact d’un modèle d’IA.
Facteur de données
Qu’est-ce que ce facteur ?
Les « données » en tant que facteur contextuel concernent à la fois les données utilisées pour former et tester votre modèle d’IA, ainsi que les données d’entrée au moment de la décision. Le type de données utilisé par votre modèle d’IA peut influencer la volonté d’un individu d’accepter ou de contester une décision assistée par l’IA, et les actions qu’il entreprend en conséquence.
Ce facteur suggère que vous devriez réfléchir à la nature des données sur lesquelles votre modèle est entraîné et qu’il utilise comme entrées pour ses sorties lorsqu’il est déployé. Vous devriez considérer si les données sont biologiques ou physiques (par exemple, les données biomédicales utilisées pour la recherche et les diagnostics), ou si ce sont des données sociales sur les caractéristiques démographiques ou les mesures du comportement humain.
Vous devriez également considérer si un individu peut changer le résultat d’une décision. Si les facteurs qui entrent dans votre décision sont ceux qui peuvent être influencés par des changements dans le comportement ou le mode de vie d’une personne, il est plus probable que les individus veuillent apporter ces changements s’ils ne sont pas d’accord avec le résultat.
Par exemple, si une décision de prêt bancaire a été prise en fonction de l’activité financière d’un client, celui-ci peut vouloir modifier son comportement de dépense pour changer cette décision à l’avenir. Cela aura une incidence sur le type d’explication souhaité par l’individu. Cependant, si les données sont moins flexibles, comme les données biophysiques, il est moins probable qu’un individu soit en désaccord avec les résultats du système d’IA. Par exemple, dans le domaine des soins de santé, une sortie produite par un système d’IA sur une suggestion de diagnostic basée sur les données génétiques d’un patient est plus » fixe » – ce n’est pas quelque chose que le patient peut facilement changer.
Quelles explications devons-nous privilégier ?
Il sera souvent utile de privilégier l’explication de la justification, tant pour les données sociales que pour les données biophysiques. Lorsque des données sociales sont utilisées, les individus recevant une décision défavorable peuvent comprendre le raisonnement et en tirer des leçons pour adapter de manière appropriée leur comportement lors de futures décisions. Pour les données biophysiques, cela peut aider les personnes à comprendre pourquoi une décision a été prise à leur sujet.
Cependant, lorsque des données biophysiques sont utilisées, comme dans les diagnostics médicaux, les personnes peuvent préférer savoir simplement ce que le résultat de la décision signifie pour elles, et être rassurées sur la sécurité et la fiabilité de la décision. Dans ces cas, il est logique de donner la priorité aux explications sur l’impact et la sécurité et la performance pour répondre à ces besoins.
En revanche, lorsque la nature des données est sociale, ou subjective, les individus sont plus susceptibles d’avoir des préoccupations sur les données prises en compte pour la décision, et la pertinence ou l’équité de celles-ci pour influencer une décision assistée par l’IA à leur sujet. Dans ces circonstances, les explications relatives aux données et à la loyauté permettront de répondre à ces préoccupations en indiquant aux gens quelles étaient les données d’entrée, d’où elles provenaient et quelles mesures vous avez mises en place pour vous assurer que l’utilisation de ces données pour prendre des décisions assistées par l’IA n’entraîne pas de préjugés ou de discrimination.
Facteur d’urgence
Qu’est-ce que ce facteur ?
Le facteur « urgence » concerne l’importance de recevoir, ou d’agir sur le résultat d’une décision assistée par l’IA dans un délai court. Ce que les gens veulent savoir sur une décision peut changer en fonction du peu ou du temps dont ils disposent pour y réfléchir.
Le facteur d’urgence vous recommande de réfléchir à l’urgence de la décision assistée par l’IA. Réfléchissez à la question de savoir si une ligne de conduite particulière est souvent nécessaire ou non après le type de décisions que vous prenez, et à la rapidité avec laquelle vous devez prendre cette mesure.
Quelles explications devrions-nous privilégier ?
Lorsque l’urgence est un facteur clé, il est plus probable que les individus voudront savoir quelles sont les conséquences pour eux, et être rassurés sur le fait que le modèle d’IA aidant à prendre la décision est sûr et fiable. Par conséquent, les explications sur l’impact, la sécurité et la performance sont appropriées dans ces cas. En effet, ces explications aideront les individus à comprendre comment la décision les affecte, ce qui se passe ensuite, et quelles mesures et tests ont été mis en œuvre pour maximiser et surveiller la sécurité et la performance du modèle d’IA.
Facteur d’audience
Qu’est-ce que ce facteur ?
L’audience, en tant que facteur contextuel, concerne les individus à qui vous expliquez une décision assistée par l’IA. Les groupes de personnes pour lesquels vous prenez des décisions, et les individus au sein de ces groupes ont un effet sur le type d’explications qui sont significatives ou utiles pour eux.
Quel niveau d’expertise (par exemple sur l’IA) ont-ils sur ce sur quoi porte la décision ? Un large éventail de personnes sont-elles soumises aux décisions que vous prenez (par exemple le grand public britannique), ce qui indique qu’il pourrait également y avoir un large éventail de connaissances ou d’expertise ? Ou bien les personnes sur lesquelles vous prenez des décisions sont-elles limitées à un sous-ensemble plus restreint (par exemple vos employés), ce qui suggère qu’elles sont peut-être mieux informées sur les sujets sur lesquels vous prenez des décisions ? Examinez également si les destinataires de la décision ont besoin d’ajustements raisonnables dans la façon dont ils reçoivent l’explication (Equality Act 2010).
En règle générale, il est bon de répondre aux besoins d’explication des individus les plus vulnérables. Vous devez vous assurer que ces destinataires de la décision sont en mesure de comprendre clairement les informations que vous leur donnez. L’utilisation d’un langage simple et non technique et d’outils de visualisation, lorsque cela est possible, peut souvent aider.
Notez également que, bien que nous nous concentrions sur le destinataire de la décision, vous devrez probablement réfléchir longuement à la manière dont vous fournirez à d’autres publics des informations appropriées sur les résultats de votre modèle d’IA. Par exemple, dans les cas où les modèles soutiennent la prise de décision, vous devrez fournir aux utilisateurs finaux ou aux personnes chargées de la mise en œuvre de ces modèles une profondeur et un niveau d’explication appropriés pour les aider à effectuer un raisonnement fondé sur des preuves, en tenant compte du contexte et des limites du modèle. De même, dans les cas où les modèles et leurs résultats sont examinés par des auditeurs, vous devrez fournir des informations sur ces systèmes à un niveau et une profondeur adaptés à l’objectif de l’examen pertinent.
Quelles explications devons-nous privilégier ?
Si les personnes à propos desquelles vous prenez des décisions assistées par l’IA sont susceptibles d’avoir une certaine expertise du domaine, vous pouvez envisager d’utiliser l’explication de la justification. En effet, vous pouvez être plus confiant quant à leur capacité à comprendre le raisonnement et la logique d’un modèle d’IA, ou d’une décision particulière, car ils sont plus familiers avec le sujet des décisions. En outre, si les personnes soumises à vos décisions assistées par l’IA ont une certaine expertise technique, ou sont susceptibles d’être intéressées par les détails techniques qui sous-tendent la décision, l’explication de la sécurité et de la performance les aidera.
A l’inverse, lorsque vous pensez qu’il est probable que les personnes n’auront pas d’expertise ou de connaissances spécifiques concernant soit le sujet de la décision, soit ses aspects techniques, d’autres types d’explication tels que la responsabilité, ou des aspects particuliers de l’explication de la sécurité et de la performance peuvent être plus utiles. Ceci afin que les gens puissent être rassurés sur la sécurité du système, et qu’ils sachent qui contacter pour poser des questions sur une décision d’IA.
Bien sûr, même pour ceux qui ont peu de connaissances dans un domaine, l’explication de la justification peut toujours être utile pour expliquer les raisons pour lesquelles une décision a été prise en termes clairs et simples. Mais il peut aussi y avoir des occasions où les données utilisées et les déductions tirées par un modèle d’IA sont particulièrement complexes (voir le facteur « données » ci-dessus), et où les individus préfèrent déléguer l’explication du raisonnement à un expert du domaine concerné. L’expert peut alors examiner et parvenir à ses propres conclusions éclairées sur la validité ou la pertinence des raisons de la décision (par exemple, un médecin dans un cadre de soins de santé).