Num relance
Cinco fatores contextuais têm um efeito sobre o propósito pelo qual um indivíduo deseja usar uma explicação, e sobre como você deve entregar sua explicação:
- domínio em que você trabalha;
- impacto sobre o indivíduo;
- dados usados;
- urgência da decisão; e
- audiência a que está sendo apresentada.
Em mais detalhes
- Introdução aos fatores contextuais
- Fator de domínio
- Fator de impacto
- Fator de dados
- Fator de ergência
- Fator de audiência
Introdução
Quando se constrói uma explicação para um indivíduo, há vários factores sobre o contexto em que é tomada uma decisão assistida por IA. Estes têm um efeito sobre o tipo de explicação que as pessoas vão achar útil e os propósitos para os quais desejam usá-la.
Da pesquisa primária que realizamos, particularmente com membros do público, identificamos cinco fatores contextuais chave que afetam por que as pessoas querem explicações sobre as decisões assistidas por IA. Esses fatores contextuais são apresentados abaixo, juntamente com sugestões para as quais as explicações devem ser priorizadas na explicação de uma AI-assistida. Você deve considerar esses fatores em todas as etapas do processo descrito na Parte 2 deste guia.
Ao considerar esses fatores contextuais, tenha em mente que fornecer explicações aos receptores de decisões também os educará sobre os sistemas de IA. Portanto, pode valer a pena pensar sobre as informações que você pode fornecer antes do processamento, a fim de ajudar a desenvolver conhecimento e compreensão do uso de IA entre o público em geral.
Fator de domínio
Qual é esse fator?
Por ‘domínio’, queremos dizer a configuração ou o setor em que você implanta seu modelo de IA para ajudá-lo a tomar decisões sobre as pessoas. Isto pode afectar as explicações que as pessoas querem. Por exemplo, o que as pessoas querem saber sobre as decisões de AI tomadas no domínio da justiça criminal pode diferir significativamente de outros domínios, como os cuidados de saúde.
Por ‘domínio’, os padrões de explicação específicos do domínio ou setor podem afetar o que as pessoas esperam de uma explicação. Por exemplo, uma pessoa que receba uma decisão de hipoteca com AI-assistência esperará aprender sobre o raciocínio por trás da determinação de uma forma que corresponda aos padrões e práticas de empréstimo estabelecidos.
Que explicações devemos priorizar?
Considerar o fator domínio é talvez o determinante mais crucial das explicações que você deve incluir e priorizar ao se comunicar com os indivíduos afetados. Se o seu sistema de IA estiver operando em um ambiente crítico de segurança, os tomadores de decisão irão obviamente querer explicações apropriadas de segurança e desempenho. Entretanto, se o seu sistema estiver operando em um domínio onde preocupações com preconceitos e discriminação são predominantes, é provável que eles queiram que você forneça uma explicação justa.
Em domínios de menor risco, como o comércio eletrônico, é improvável que as pessoas queiram ou esperem explicações extensas sobre a segurança e o desempenho dos resultados dos sistemas recomendados. Mesmo assim, nestes domínios de menor impacto, você deve explicar os fundamentos básicos e componentes de responsabilidade (bem como todos os outros tipos de explicação relevantes) de qualquer sistema de decisão que afeta as pessoas.
Por exemplo, aplicações de ‘baixo’ impacto, tais como recomendações de produtos e personalização (por exemplo, de publicidade ou conteúdo), podem dar origem a sensibilidades em torno de uma demografia específica, ou ignorando outras (por exemplo, papéis de liderança publicitária voltados para os homens). Estes levantam questões óbvias de justiça e impacto na sociedade, aumentando a importância de explicações que abordem estas questões.
Factor de impacto
Qual é este factor?
O factor ‘impacto’ é sobre o efeito que uma decisão assistida por IA pode ter sobre um indivíduo e uma sociedade mais ampla. Níveis variáveis de severidade e diferentes tipos de impacto podem mudar as explicações que as pessoas acharão úteis, e o propósito que a explicação serve.
As decisões são críticas em termos de segurança, relacionadas com situações de vida ou morte (na maioria das vezes no domínio dos cuidados de saúde)? As decisões afectam a liberdade ou o estatuto legal de alguém? O impacto da decisão é menos severo, mas ainda significativo (por exemplo, a negação de uma utilidade ou o direcionamento de uma mensagem política)? Ou o impacto é mais trivial (por exemplo, ser dirigido a um contador de bilhetes específico por um sistema de IA que faz filas no aeroporto)?
Quais as explicações que devemos dar como prioritárias?
Em geral, onde uma decisão assistida por IA tem um alto impacto sobre um indivíduo, explicações como justiça, segurança e desempenho, e impacto são muitas vezes importantes, porque os indivíduos querem estar tranquilos sobre a segurança da decisão, confiar que estão sendo tratados de forma justa, e entender as consequências.
No entanto, as explicações de lógica e responsabilidade podem ser igualmente importantes, dependendo dos outros fatores contextuais. Por exemplo, se as características dos dados usados pelo modelo de IA são mutáveis, ou se as inferências desenhadas são passíveis de interpretação e podem ser contestadas.
Considerar o impacto como um fator contextual não é simples. Não há uma regra difícil e rápida. Você deve fazê-lo caso a caso, e considerá-lo em combinação com todos os outros fatores contextuais. Também deve envolver diálogo inclusivo entre as áreas de especialização que estão envolvidas no projeto, desenvolvimento e implantação do sistema de IA. Reunir diferentes membros da equipe, que têm experiência técnica, política, conformidade e domínio pode fornecer uma visão mais informada do fator de impacto de um modelo de IA.
Fator de dados
Qual é esse fator?
‘Dados’ como um fator contextual relaciona-se tanto com os dados usados para treinar e testar seu modelo de IA, quanto com os dados de entrada no ponto de decisão. O tipo de dados usados pelo seu modelo de IA pode influenciar a disposição de um indivíduo em aceitar ou contestar uma decisão assistida por IA, e as ações que eles tomam como resultado.
Este fator sugere que você deve pensar sobre a natureza dos dados nos quais o seu modelo é treinado e usa como inputs para suas saídas quando ele é implantado. Você deve considerar se os dados são biológicos ou físicos (por exemplo, dados biomédicos usados para pesquisa e diagnóstico), ou se são dados sociais sobre características demográficas ou medidas do comportamento humano.
Você também deve considerar se um indivíduo pode alterar o resultado de uma decisão. Se os fatores que entram na sua decisão são aqueles que podem ser influenciados por mudanças no comportamento ou estilo de vida de alguém, é mais provável que os indivíduos possam querer fazer essas mudanças se eles não concordarem com o resultado.
Por exemplo, se uma decisão de empréstimo bancário foi tomada com base na atividade financeira de um cliente, o cliente pode querer alterar o seu comportamento de gastos para mudar essa decisão no futuro. Isto irá afectar o tipo de explicação que um indivíduo deseja. No entanto, se os dados forem menos flexíveis, como dados biofísicos, será menos provável que um indivíduo discorde da produção do sistema AI. Por exemplo, em saúde, um resultado que é produzido por um sistema de IA em um diagnóstico sugerido baseado em dados genéticos sobre um paciente é mais ‘fixo’ – isto não é algo que o paciente pode facilmente mudar.
Que explicações devemos priorizar?
Será muitas vezes útil priorizar a explicação racional, tanto para dados sociais quanto para dados biofísicos. Quando se utilizam dados sociais, os indivíduos que recebem uma decisão desfavorável podem compreender o raciocínio e aprender com isso para adaptar adequadamente o seu comportamento para decisões futuras. Para os dados biofísicos, isso pode ajudar as pessoas a entender porque uma decisão foi tomada sobre eles.
No entanto, onde os dados biofísicos são usados, como em diagnósticos médicos, os indivíduos podem preferir simplesmente saber o que o resultado da decisão significa para eles, e estar tranquilos sobre a segurança e confiabilidade da decisão. Nesses casos, faz sentido priorizar o impacto e as explicações de segurança e desempenho para atender a essas necessidades.
Por outro lado, onde a natureza dos dados é social, ou subjetiva, é mais provável que os indivíduos tenham preocupações sobre quais dados foram levados em conta para a decisão, e a adequação ou justeza disso ao influenciar uma decisão sobre eles assistida por IA. Nessas circunstâncias, os dados e explicações de justiça ajudarão a lidar com essas preocupações, dizendo às pessoas quais foram os dados de entrada, de onde vieram e que medidas você colocou em prática para assegurar que o uso desses dados para tomar decisões assistidas por IA não resulte em preconceito ou discriminação.
Fator de urgência
Qual é esse fator?
O fator de ‘urgência’ diz respeito à importância de receber, ou agir sobre o resultado de uma decisão assistida por IA dentro de um curto período de tempo. O que as pessoas querem saber sobre uma decisão pode mudar dependendo do pouco ou muito tempo que têm para refletir sobre ela.
O fator de urgência recomenda que você reflita sobre a urgência da decisão com AI-assistente. Pense se um determinado curso de ação é ou não frequentemente necessário após o tipo de decisões que você toma, e quão rapidamente você precisa tomar essa ação.
Que explicações devemos priorizar?
Quando a urgência é um fator chave, é mais provável que os indivíduos queiram saber quais são as conseqüências para eles, e ter certeza de que o modelo de IA ajudando a tomar a decisão é seguro e confiável. Portanto, o impacto e as explicações de segurança e desempenho são adequados nestes casos. Isso porque essas explicações ajudarão os indivíduos a entender como a decisão os afeta, o que acontece a seguir, e que medidas e testes foram implementados para maximizar e monitorar a segurança e desempenho do modelo de IA.
Fator de audiência
Qual é esse fator?
‘Audiência’ como fator contextual é sobre os indivíduos aos quais você está explicando uma decisão assistida por IA. Os grupos de pessoas sobre os quais você toma decisões, e os indivíduos dentro desses grupos têm um efeito sobre que tipo de explicações são significativas ou úteis para eles.
Que nível de experiência (por exemplo, sobre IA) eles têm sobre o que é a decisão? Existe uma ampla gama de pessoas sujeitas às decisões que você toma (por exemplo, o público em geral do Reino Unido), o que indica que também pode haver uma ampla gama de conhecimentos ou perícia? Ou as pessoas sobre as quais você toma decisões estão limitadas a um subconjunto menor (por exemplo, seus funcionários), o que sugere que eles podem estar mais informados sobre as coisas sobre as quais você está tomando decisões? Considere também se os destinatários das decisões requerem algum ajuste razoável na forma como recebem a explicação (Equality Act 2010).
Como regra geral, é uma boa ideia acomodar as necessidades de explicação dos indivíduos mais vulneráveis. Você deve assegurar-se de que esses tomadores de decisão sejam capazes de entender claramente as informações que você está dando a eles. Usar linguagem simples e não técnica e ferramentas de visualização, onde possível, pode muitas vezes ajudar.
Note também que, enquanto estamos focando no receptor da decisão, é provável que você também tenha que colocar uma importante reflexão em como você fornecerá a outros públicos informações apropriadas sobre os resultados do seu modelo de IA. Por exemplo, nos casos em que os modelos estão apoiando a tomada de decisão, você terá que fornecer aos usuários finais ou implementadores desses modelos uma profundidade e um nível de explicação apropriados para ajudá-los a realizar um raciocínio baseado em evidências de forma que seja sensível ao contexto e consciente das limitações do modelo. Da mesma forma, nos casos em que os modelos e seus resultados estão sendo analisados por auditores, você terá que fornecer informações sobre esses sistemas em um nível e profundidade adequados para o propósito da análise relevante.
Que explicações devemos priorizar?
Se as pessoas sobre as quais você está tomando decisões assistidas por IA provavelmente terão algum conhecimento de domínio, você pode considerar o uso da explicação racional. Isto porque você pode estar mais confiante de que elas podem entender o raciocínio e a lógica de um modelo de IA, ou de uma decisão em particular, já que elas estão mais familiarizadas com o tema das decisões. Além disso, se as pessoas sujeitas às suas decisões assistidas por IA tiverem alguma experiência técnica, ou estiverem provavelmente interessadas nos detalhes técnicos subjacentes à decisão, a explicação de segurança e desempenho ajudará.
Alternativamente, onde você acha que é provável que as pessoas não terão nenhuma experiência ou conhecimento específico sobre o tópico da decisão ou seus aspectos técnicos, outros tipos de explicação como responsabilidade, ou aspectos particulares da explicação de segurança e desempenho podem ser mais úteis. Isto é para que as pessoas possam ser tranquilizadas sobre a segurança do sistema, e saber a quem contatar para perguntar sobre uma decisão de IA.
De fato, mesmo para aqueles com pouco conhecimento de uma área, a explicação racional ainda pode ser útil para explicar as razões pelas quais uma decisão foi tomada em termos simples e claros. Mas também pode haver ocasiões em que os dados usados e as inferências tiradas por um modelo de IA são particularmente complexos (veja o fator ‘dados’ acima), e os indivíduos preferem delegar a explicação racional a um especialista de domínio relevante. O perito pode então rever e chegar às suas próprias conclusões informadas sobre a validade ou adequação das razões da decisão (por exemplo, um médico num contexto de cuidados de saúde).