De un vistazo
Cinco factores contextuales influyen en el propósito para el que una persona desea utilizar una explicación, y en la forma en que debe dar su explicación:
- Dominio en el que trabaja;
- Impacto en el individuo;
- Datos utilizados;
- Urgencia de la decisión; y
- Público al que se presenta.
En más detalle
- Introducción a los factores contextuales
- Factor de dominio
- Factor de impacto
- Factor de datos
- Factor de urgencia
- Factor de audiencia
Introducción
Al construir una explicación para un individuo, hay varios factores sobre el contexto en el que se toma una decisión asistida por la IA. Estos factores influyen en el tipo de explicación que las personas encontrarán útil y en los fines para los que desean utilizarla.
A partir de la investigación primaria que llevamos a cabo, en particular con miembros del público, identificamos cinco factores contextuales clave que afectan a los motivos por los que las personas desean recibir explicaciones sobre las decisiones asistidas por IA. Estos factores contextuales se exponen a continuación, junto con sugerencias sobre las explicaciones a las que se debe dar prioridad a la hora de ofrecer una explicación de una decisión asistida por IA. Debe tener en cuenta estos factores en todas las fases del proceso descrito en la parte 2 de esta guía.
Al considerar estos factores contextuales, tenga en cuenta que proporcionar explicaciones a los receptores de la decisión también les educará sobre los sistemas de IA. Por lo tanto, puede valer la pena pensar en la información que puede proporcionar antes del procesamiento para ayudar a desarrollar el conocimiento y la comprensión del uso de la IA entre el público en general.
Factor de dominio
¿Qué es este factor?
Por «dominio», nos referimos al entorno o al sector en el que despliega su modelo de IA para ayudarle a tomar decisiones sobre las personas. Esto puede afectar a las explicaciones que quiere la gente. Por ejemplo, lo que la gente quiere saber sobre las decisiones asistidas por la IA que se toman en el ámbito de la justicia penal puede diferir significativamente de otros ámbitos como la sanidad.
De la misma manera, las normas de explicación específicas del ámbito o del sector pueden afectar a lo que la gente espera de una explicación. Por ejemplo, una persona que reciba una decisión hipotecaria asistida por la IA esperará conocer el razonamiento en el que se basa la decisión de una forma que coincida con las normas y prácticas de préstamo establecidas.
¿Qué explicaciones debemos priorizar?
Considerar el factor del dominio es quizás el determinante más crucial de las explicaciones que debe incluir y priorizar cuando se comunica con las personas afectadas. Si su sistema de IA funciona en un entorno de seguridad crítica, los destinatarios de las decisiones querrán, obviamente, explicaciones adecuadas sobre seguridad y rendimiento. Sin embargo, si su sistema opera en un ámbito en el que prevalecen las preocupaciones por la parcialidad y la discriminación, es probable que quieran que les proporcione una explicación sobre la equidad.
En ámbitos de menor impacto, como el comercio electrónico, es poco probable que la gente quiera o espere explicaciones extensas sobre la seguridad y el rendimiento de los resultados de los sistemas de recomendación. Aun así, en estos ámbitos de menor impacto, se deben explicar los fundamentos básicos y los componentes de responsabilidad (así como todos los demás tipos de explicaciones pertinentes) de cualquier sistema de decisión que afecte a las personas.
Por ejemplo, las aplicaciones de «bajo» impacto, como las recomendaciones de productos y la personalización (por ejemplo, de la publicidad o los contenidos), pueden dar lugar a sensibilidades en torno a la selección de determinados grupos demográficos, o a la ignorancia de otros (por ejemplo, la publicidad de funciones de liderazgo dirigida a los hombres). Esto plantea cuestiones obvias de equidad e impacto en la sociedad, lo que aumenta la importancia de las explicaciones que abordan estas cuestiones.
Factor de impacto
¿Qué es este factor?
El factor de «impacto» se refiere al efecto que una decisión asistida por la IA puede tener en un individuo y en la sociedad en general. Los distintos niveles de gravedad y los diferentes tipos de impacto pueden cambiar las explicaciones que las personas encontrarán útiles, así como el propósito de la explicación.
¿Son las decisiones críticas para la seguridad, relacionadas con situaciones de vida o muerte (más a menudo en el ámbito sanitario)? ¿Afectan las decisiones a la libertad o al estatus legal de alguien? ¿El impacto de la decisión es menos grave pero sigue siendo significativo (por ejemplo, la denegación de un servicio público o la orientación de un mensaje político)? ¿O el impacto es más trivial (por ejemplo, ser dirigido a una taquilla específica por un sistema de IA que ordena las colas en un aeropuerto)?
¿Qué explicaciones deberíamos priorizar?
En general, cuando una decisión asistida por la IA tiene un alto impacto en un individuo, las explicaciones como la justicia, la seguridad y el rendimiento, y el impacto suelen ser importantes, porque los individuos quieren estar tranquilos sobre la seguridad de la decisión, confiar en que se les está tratando de forma justa y entender las consecuencias.
Sin embargo, las explicaciones de la razón y la responsabilidad pueden ser igualmente importantes dependiendo de los otros factores contextuales. Por ejemplo, si las características de los datos utilizados por el modelo de IA son cambiantes, o las inferencias extraídas están abiertas a la interpretación y pueden ser cuestionadas.
Considerar el impacto como un factor contextual no es sencillo. No existe una regla rígida y rápida. Hay que hacerlo caso por caso y considerarlo en combinación con todos los demás factores contextuales. También debe implicar un diálogo inclusivo entre los campos de experiencia que participan en el diseño, el desarrollo y el despliegue del sistema de IA. Reunir a diferentes miembros del equipo, que tienen experiencia técnica, política, de cumplimiento y de dominio puede proporcionar una visión más informada del factor de impacto de un modelo de IA.
Factor de datos
¿Qué es este factor?
Los «datos» como factor contextual se refieren tanto a los datos utilizados para entrenar y probar su modelo de IA, como a los datos de entrada en el punto de la decisión. El tipo de datos utilizados por su modelo de IA puede influir en la disposición de un individuo a aceptar o impugnar una decisión asistida por la IA, así como en las acciones que realice como resultado.
Este factor sugiere que debe pensar en la naturaleza de los datos con los que se entrena su modelo y que utiliza como entradas para sus salidas cuando se despliega. Debe considerar si los datos son biológicos o físicos (por ejemplo, datos biomédicos utilizados para la investigación y el diagnóstico), o si son datos sociales sobre características demográficas o mediciones del comportamiento humano.
También debe considerar si un individuo puede cambiar el resultado de una decisión. Si los factores que intervienen en su decisión son aquellos que pueden ser influenciados por cambios en el comportamiento o el estilo de vida de alguien, es más probable que los individuos quieran realizar estos cambios si no están de acuerdo con el resultado.
Por ejemplo, si la decisión de un préstamo bancario se tomó basándose en la actividad financiera de un cliente, éste puede querer modificar su comportamiento de gasto para cambiar esa decisión en el futuro. Esto afectará al tipo de explicación que desea el individuo. Sin embargo, si los datos son menos flexibles, como los datos biofísicos, será menos probable que un individuo no esté de acuerdo con el resultado del sistema de IA. Por ejemplo, en el ámbito de la sanidad, un resultado producido por un sistema de IA sobre un diagnóstico sugerido basado en datos genéticos de un paciente es más «fijo»: no es algo que el paciente pueda cambiar fácilmente.
¿Qué explicaciones debemos priorizar?
A menudo será útil priorizar la explicación racional, tanto para los datos sociales como para los biofísicos. Cuando se utilizan datos sociales, los individuos que reciben una decisión desfavorable pueden entender el razonamiento y aprender de ello para adaptar adecuadamente su comportamiento para futuras decisiones. En el caso de los datos biofísicos, esto puede ayudar a las personas a entender por qué se ha tomado una decisión sobre ellas.
Sin embargo, cuando se utilizan datos biofísicos, como en los diagnósticos médicos, las personas pueden preferir simplemente saber qué significa para ellas el resultado de la decisión, y que se les tranquilice sobre la seguridad y fiabilidad de la misma. En estos casos, tiene sentido dar prioridad a las explicaciones sobre el impacto y la seguridad y el rendimiento para satisfacer estas necesidades.
Por otro lado, cuando la naturaleza de los datos es social, o subjetiva, es más probable que los individuos tengan preocupaciones sobre los datos que se han tenido en cuenta para la decisión, y la idoneidad o equidad de los mismos para influir en una decisión asistida por IA sobre ellos. En estas circunstancias, las explicaciones sobre los datos y la imparcialidad ayudarán a abordar estas preocupaciones indicando a las personas qué datos se han tenido en cuenta, de dónde proceden y qué medidas se han tomado para garantizar que el uso de estos datos para tomar decisiones asistidas por IA no dé lugar a prejuicios o discriminación.
Factor de urgencia
¿Qué es este factor?
El factor de «urgencia» tiene que ver con la importancia de recibir o actuar sobre el resultado de una decisión asistida por IA en un plazo breve. Lo que la gente quiere saber sobre una decisión puede cambiar en función del poco o mucho tiempo que tenga para reflexionar sobre ella.
El factor de urgencia recomienda reflexionar sobre la urgencia de la decisión asistida por IA. Piense en si un curso de acción concreto suele ser necesario tras el tipo de decisiones que toma, y en la rapidez con la que necesita tomar esa acción.
¿Qué explicaciones debemos priorizar?
Cuando la urgencia es un factor clave, es más probable que los individuos quieran saber cuáles son las consecuencias para ellos, y que se les garantice que el modelo de IA que ayuda a tomar la decisión es seguro y fiable. Por tanto, las explicaciones de impacto y de seguridad y rendimiento son adecuadas en estos casos. Esto se debe a que estas explicaciones ayudarán a los individuos a entender cómo les afecta la decisión, qué ocurre a continuación y qué medidas y pruebas se han implementado para maximizar y supervisar la seguridad y el rendimiento del modelo de IA.
Factor de audiencia
¿Qué es este factor?
La «audiencia» como factor contextual se refiere a los individuos a los que se les está explicando una decisión asistida por IA. Los grupos de personas sobre los que se toman decisiones y los individuos dentro de esos grupos tienen un efecto sobre el tipo de explicaciones que son significativas o útiles para ellos.
¿Qué nivel de experiencia (por ejemplo, sobre la IA) tienen sobre lo que la decisión es? ¿Hay una amplia gama de personas sujetas a las decisiones que usted toma (por ejemplo, el público general del Reino Unido), lo que indica que también podría haber una amplia gama de conocimientos o experiencia? ¿O las personas sobre las que toma las decisiones se limitan a un subconjunto más pequeño (por ejemplo, sus empleados), lo que sugiere que pueden estar más informados sobre las cosas sobre las que toma las decisiones? Considere también si los destinatarios de la decisión necesitan algún ajuste razonable en la forma de recibir la explicación (Ley de Igualdad de 2010).
Como regla general, es una buena idea adaptarse a las necesidades de explicación de las personas más vulnerables. Debe asegurarse de que estos destinatarios de la decisión sean capaces de entender claramente la información que les está dando. El uso de un lenguaje sencillo y no técnico y de herramientas de visualización, siempre que sea posible, puede ser de gran ayuda.
También hay que tener en cuenta que, si bien nos centramos en el receptor de la decisión, es probable que también haya que prever cómo proporcionar a otras audiencias la información adecuada sobre los resultados de su modelo de IA. Por ejemplo, en los casos en los que los modelos apoyen la toma de decisiones, habrá que proporcionar a los usuarios finales o a los encargados de aplicar estos modelos la profundidad y el nivel de explicación adecuados para ayudarles a llevar a cabo un razonamiento basado en la evidencia de forma que tenga en cuenta el contexto y sea consciente de las limitaciones del modelo. Del mismo modo, en los casos en los que los modelos y sus resultados sean revisados por los auditores, tendrá que proporcionar información sobre estos sistemas a un nivel y profundidad que sean adecuados para el propósito de la revisión correspondiente.
¿Qué explicaciones debemos priorizar?
Si es probable que las personas sobre las que está tomando decisiones asistidas por la IA tengan cierta experiencia en el dominio, podría considerar el uso de la explicación racional. Esto se debe a que puede estar más seguro de que pueden entender el razonamiento y la lógica de un modelo de IA, o una decisión particular, ya que están más familiarizados con el tema de las decisiones. Además, si las personas sujetas a sus decisiones asistidas por la IA tienen algún tipo de experiencia técnica, o es probable que estén interesadas en los detalles técnicos en los que se basa la decisión, la explicación de seguridad y rendimiento será de gran ayuda.
Alternativamente, cuando piense que es probable que las personas no tengan ninguna experiencia o conocimiento específico sobre el tema de la decisión o sus aspectos técnicos, pueden ser más útiles otros tipos de explicaciones, como la responsabilidad, o aspectos concretos de la explicación de seguridad y rendimiento. De este modo, las personas pueden estar tranquilas sobre la seguridad del sistema y saber a quién dirigirse para preguntar sobre una decisión de IA.
Por supuesto, incluso para quienes tienen pocos conocimientos sobre un área, la explicación racional puede seguir siendo útil para explicar las razones por las que se ha tomado una decisión en términos claros y sencillos. Pero también puede haber ocasiones en las que los datos utilizados y las inferencias realizadas por un modelo de IA sean especialmente complejos (véase el factor «datos» más arriba), y las personas prefieran delegar la explicación racional a un experto en la materia. El experto puede entonces revisar y llegar a sus propias conclusiones informadas sobre la validez o idoneidad de los motivos de la decisión (por ejemplo, un médico en un entorno sanitario).