Auf einen Blick
Fünf Kontextfaktoren wirken sich auf den Zweck aus, für den eine Person eine Erklärung verwenden möchte, und darauf, wie Sie Ihre Erklärung abgeben sollten:
- Bereich, in dem Sie arbeiten;
- Auswirkung auf die Person;
- verwendete Daten;
- Dringlichkeit der Entscheidung; und
- Zielgruppe, der sie präsentiert wird.
Ausführlicher
- Einführung in die Kontextfaktoren
- Domänenfaktor
- Auswirkungsfaktor
- Datenfaktor
- Dringlichkeitsfaktor
- Zielgruppenfaktor
Einführung
Bei der Konstruktion einer Erklärung für eine Person, gibt es mehrere Faktoren in Bezug auf den Kontext, in dem eine KI-gestützte Entscheidung getroffen wird. Diese wirken sich auf die Art der Erklärung aus, die die Menschen als nützlich empfinden, und auf die Zwecke, für die sie sie verwenden möchten.
Aus der von uns durchgeführten Primärforschung, insbesondere mit Mitgliedern der Öffentlichkeit, haben wir fünf wesentliche Kontextfaktoren identifiziert, die beeinflussen, warum Menschen Erklärungen für KI-gestützte Entscheidungen wünschen. Diese Kontextfaktoren sind im Folgenden aufgeführt, zusammen mit Vorschlägen, welche Erklärungen bei der Erläuterung einer KI-gestützten Entscheidung Vorrang haben sollten. Sie sollten diese Faktoren in allen Phasen des in Teil 2 dieses Leitfadens beschriebenen Prozesses berücksichtigen.
Bei der Berücksichtigung dieser Kontextfaktoren ist zu bedenken, dass die Bereitstellung von Erklärungen für die Empfänger von Entscheidungen diese auch über KI-Systeme aufklärt. Es kann sich daher lohnen, über die Informationen nachzudenken, die Sie im Vorfeld der Verarbeitung bereitstellen können, um dazu beizutragen, das Wissen und das Verständnis für den Einsatz von KI in der Öffentlichkeit zu fördern.
Domänenfaktor
Was ist dieser Faktor?
Mit „Domäne“ meinen wir das Umfeld oder den Bereich, in dem Sie Ihr KI-Modell einsetzen, um Entscheidungen über Menschen zu treffen. Dies kann sich auf die von den Menschen gewünschten Erklärungen auswirken. Was die Menschen beispielsweise über KI-gestützte Entscheidungen im Bereich der Strafjustiz wissen wollen, kann sich erheblich von anderen Bereichen wie dem Gesundheitswesen unterscheiden.
Ebenso können bereichs- oder sektorspezifische Erklärungsstandards beeinflussen, was die Menschen von einer Erklärung erwarten. Zum Beispiel wird eine Person, die eine KI-gestützte Hypothekenentscheidung erhält, erwarten, dass sie die Gründe für die Entscheidung in einer Weise erfährt, die den etablierten Kreditvergabestandards und -praktiken entspricht.
Welchen Erklärungen sollten wir den Vorrang geben?
Die Berücksichtigung des Domänenfaktors ist vielleicht der wichtigste Faktor, der bestimmt, welche Erklärungen Sie bei der Kommunikation mit den betroffenen Personen einbeziehen und priorisieren sollten. Wenn Ihr KI-System in einem sicherheitskritischen Umfeld eingesetzt wird, werden die Empfänger der Entscheidung natürlich angemessene Erklärungen zu Sicherheit und Leistung wünschen. Wenn Ihr System jedoch in einem Bereich eingesetzt wird, in dem Bedenken hinsichtlich Voreingenommenheit und Diskriminierung vorherrschen, werden sie wahrscheinlich eine Erklärung zur Fairness von Ihnen erwarten.
In Bereichen mit geringeren Auswirkungen, wie z. B. dem elektronischen Handel, ist es unwahrscheinlich, dass die Menschen umfassende Erklärungen zur Sicherheit und Leistung der Ergebnisse von Empfehlungssystemen wünschen oder erwarten. Dennoch sollten Sie in diesen Bereichen mit geringerer Auswirkung die Grundprinzipien und die Verantwortungskomponenten (sowie alle anderen relevanten Erklärungsarten) jedes Entscheidungssystems, das Menschen betrifft, erläutern.
Zum Beispiel können Anwendungen mit „geringer“ Auswirkung wie Produktempfehlungen und Personalisierung (z. B. von Werbung oder Inhalten) zu Empfindlichkeiten führen, wenn es darum geht, bestimmte Bevölkerungsgruppen anzusprechen oder andere zu ignorieren (z. B. Werbung für Führungsrollen, die sich an Männer richtet). Dies wirft offensichtliche Fragen der Fairness und der Auswirkungen auf die Gesellschaft auf, was die Bedeutung von Erklärungen erhöht, die sich mit diesen Fragen befassen.
Auswirkungsfaktor
Was ist dieser Faktor?
Der „Auswirkungs“-Faktor bezieht sich auf die Auswirkungen, die eine KI-gestützte Entscheidung auf ein Individuum und die Gesellschaft im weiteren Sinne haben kann. Unterschiedliche Schweregrade und verschiedene Arten von Auswirkungen können sich darauf auswirken, welche Erklärungen die Menschen für nützlich halten und welchem Zweck die Erklärung dient.
Sind die Entscheidungen sicherheitskritisch und betreffen Situationen, in denen es um Leben oder Tod geht (meist im Gesundheitswesen)? Berühren die Entscheidungen die Freiheit oder den rechtlichen Status einer Person? Ist die Auswirkung der Entscheidung weniger schwerwiegend, aber immer noch signifikant (z. B. Verweigerung eines Nutzens oder gezielte politische Botschaften)? Oder ist die Auswirkung eher trivial (z. B. wenn man von einem KI-System, das die Warteschlangen auf einem Flughafen sortiert, zu einem bestimmten Ticketschalter geleitet wird)?
Welchen Erklärungen sollten wir den Vorrang geben?
Wenn eine KI-gestützte Entscheidung eine große Auswirkung auf ein Individuum hat, sind Erklärungen wie Fairness, Sicherheit und Leistung sowie Auswirkung im Allgemeinen wichtig, weil Individuen in Bezug auf die Sicherheit der Entscheidung beruhigt sein wollen, darauf vertrauen wollen, dass sie fair behandelt werden, und die Konsequenzen verstehen wollen.
Allerdings können die Erklärungen zur Begründung und zur Verantwortung je nach den anderen Kontextfaktoren ebenso wichtig sein. Zum Beispiel, wenn die Merkmale der vom KI-Modell verwendeten Daten veränderbar sind oder die gezogenen Schlussfolgerungen interpretierbar und anfechtbar sind.
Die Berücksichtigung von Auswirkungen als Kontextfaktor ist nicht einfach. Es gibt keine feste und eindeutige Regel. Es sollte von Fall zu Fall entschieden werden, und zwar in Kombination mit allen anderen Kontextfaktoren. Dazu gehört auch ein umfassender Dialog zwischen den Fachbereichen, die an der Konzeption, Entwicklung und Einführung des KI-Systems beteiligt sind. Das Zusammentreffen verschiedener Teammitglieder, die über technisches, politisches, Compliance- und Fachwissen verfügen, kann eine fundiertere Sicht auf den Einflussfaktor eines KI-Modells liefern.
Datenfaktor
Was ist dieser Faktor?
‚Daten‘ als Kontextfaktor bezieht sich sowohl auf die Daten, die zum Trainieren und Testen Ihres KI-Modells verwendet werden, als auch auf die Eingangsdaten zum Zeitpunkt der Entscheidung. Die Art der Daten, die Ihr KI-Modell verwendet, kann die Bereitschaft einer Person beeinflussen, eine KI-gestützte Entscheidung zu akzeptieren oder anzufechten, sowie die Maßnahmen, die sie daraufhin ergreift.
Dieser Faktor legt nahe, dass Sie über die Art der Daten nachdenken sollten, auf denen Ihr Modell trainiert wird und die als Eingaben für seine Ausgaben verwendet werden, wenn es eingesetzt wird. Sie sollten überlegen, ob es sich um biologische oder physikalische Daten handelt (z.B. biomedizinische Daten, die für Forschung und Diagnostik verwendet werden), oder ob es sich um soziale Daten über demografische Merkmale oder Messungen des menschlichen Verhaltens handelt.
Sie sollten auch überlegen, ob eine Person das Ergebnis einer Entscheidung ändern kann. Wenn es sich bei den Faktoren, die in Ihre Entscheidung einfließen, um Faktoren handelt, die durch Änderungen des Verhaltens oder des Lebensstils einer Person beeinflusst werden können, ist es wahrscheinlicher, dass der Einzelne diese Änderungen vornehmen möchte, wenn er mit dem Ergebnis nicht einverstanden ist.
Wenn beispielsweise eine Entscheidung über einen Bankkredit auf der Grundlage der finanziellen Aktivitäten eines Kunden getroffen wurde, könnte der Kunde sein Ausgabeverhalten ändern wollen, um diese Entscheidung in Zukunft zu ändern. Dies wirkt sich auf die Art der Erklärung aus, die eine Person wünscht. Wenn die Daten jedoch weniger flexibel sind, wie z. B. biophysikalische Daten, ist es weniger wahrscheinlich, dass eine Person mit dem Ergebnis des KI-Systems nicht einverstanden ist. In der Gesundheitsfürsorge beispielsweise ist die von einem KI-System erzeugte Ausgabe einer vorgeschlagenen Diagnose auf der Grundlage genetischer Daten über einen Patienten eher „feststehend“ – dies ist etwas, das der Patient nicht ohne Weiteres ändern kann.
Welchen Erklärungen sollten wir den Vorrang geben?
Es wird oft sinnvoll sein, der rationalen Erklärung den Vorrang zu geben, sowohl bei sozialen Daten als auch bei biophysikalischen Daten. Bei der Verwendung sozialer Daten können Personen, die eine ungünstige Entscheidung erhalten, die Begründung verstehen und daraus lernen, um ihr Verhalten bei künftigen Entscheidungen entsprechend anzupassen. Bei biophysikalischen Daten kann dies den Menschen helfen, zu verstehen, warum eine Entscheidung über sie getroffen wurde.
Wenn jedoch biophysikalische Daten verwendet werden, wie z. B. bei medizinischen Diagnosen, ziehen es die Menschen vielleicht vor, einfach zu wissen, was das Ergebnis der Entscheidung für sie bedeutet, und sich der Sicherheit und Zuverlässigkeit der Entscheidung sicher zu sein. In diesen Fällen ist es sinnvoll, den Erklärungen zu Auswirkungen, Sicherheit und Leistung Vorrang einzuräumen, um diese Bedürfnisse zu befriedigen.
Sind die Daten hingegen sozialer oder subjektiver Natur, werden die Menschen eher Bedenken haben, welche Daten bei der Entscheidung berücksichtigt wurden und ob diese geeignet oder fair sind, eine KI-gestützte Entscheidung über sie zu beeinflussen. Unter diesen Umständen werden die Erklärungen zu Daten und Fairness dazu beitragen, diese Bedenken auszuräumen, indem sie den Menschen mitteilen, welche Daten verwendet wurden, woher sie stammen und welche Maßnahmen Sie ergriffen haben, um sicherzustellen, dass die Verwendung dieser Daten für KI-gestützte Entscheidungen nicht zu Voreingenommenheit oder Diskriminierung führt.
Dringlichkeitsfaktor
Was ist dieser Faktor?
Der Dringlichkeitsfaktor bezieht sich darauf, wie wichtig es ist, das Ergebnis einer KI-gestützten Entscheidung innerhalb eines kurzen Zeitrahmens zu erhalten oder darauf zu reagieren. Was Menschen über eine Entscheidung wissen wollen, kann sich ändern, je nachdem, wie wenig oder wie viel Zeit sie zum Nachdenken darüber haben.
Der Faktor „Dringlichkeit“ empfiehlt, dass Sie sich Gedanken darüber machen, wie dringend die KI-gestützte Entscheidung ist. Überlegen Sie, ob eine bestimmte Vorgehensweise bei der Art von Entscheidungen, die Sie treffen, oft notwendig ist und wie schnell Sie diese Maßnahme ergreifen müssen.
Welchen Erklärungen sollten wir Vorrang einräumen?
Wenn die Dringlichkeit ein Schlüsselfaktor ist, ist es wahrscheinlicher, dass der Einzelne wissen möchte, welche Folgen dies für ihn hat, und die Gewissheit haben möchte, dass das KI-Modell, das bei der Entscheidungsfindung hilft, sicher und zuverlässig ist. Daher sind die Erklärungen zu den Auswirkungen und zur Sicherheit und Leistung in diesen Fällen geeignet. Denn diese Erklärungen helfen dem Einzelnen zu verstehen, wie sich die Entscheidung auf ihn auswirkt, was als Nächstes geschieht und welche Maßnahmen und Tests durchgeführt wurden, um die Sicherheit und Leistung des KI-Modells zu maximieren und zu überwachen.
Faktor „Zielgruppe“
Was ist dieser Faktor?
Der Kontextfaktor „Zielgruppe“ bezieht sich auf die Personen, denen Sie eine KI-gestützte Entscheidung erklären. Die Personengruppen, für die Sie Entscheidungen treffen, und die Personen innerhalb dieser Gruppen haben einen Einfluss darauf, welche Art von Erklärungen für sie sinnvoll oder nützlich sind.
Welches Fachwissen (z.B. über KI) haben sie darüber, worum es bei der Entscheidung geht? Sind die von Ihnen getroffenen Entscheidungen einem breiten Personenkreis vorbehalten (z. B. der britischen Öffentlichkeit), was darauf hindeutet, dass es auch ein breites Spektrum an Wissen oder Fachkenntnissen geben könnte? Oder beschränken sich die Personen, über die Sie Entscheidungen treffen, auf eine kleinere Gruppe (z. B. Ihre Mitarbeiter), was darauf hindeutet, dass sie möglicherweise besser über die Dinge informiert sind, über die Sie Entscheidungen treffen? Überlegen Sie auch, ob die Entscheidungsempfänger angemessene Anpassungen bei der Art und Weise, wie sie die Erklärung erhalten, benötigen (Gleichstellungsgesetz 2010).
Generell ist es eine gute Idee, den Erklärungsbedarf der am meisten gefährdeten Personen zu berücksichtigen. Sie sollten sicherstellen, dass diese Entscheidungsempfänger in der Lage sind, die Informationen, die Sie ihnen geben, klar zu verstehen. Die Verwendung einer einfachen, nicht-technischen Sprache und von Visualisierungstools, wo dies möglich ist, kann oft hilfreich sein.
Beachten Sie auch, dass wir uns zwar auf den Entscheidungsempfänger konzentrieren, Sie sich aber wahrscheinlich auch Gedanken darüber machen müssen, wie Sie andere Zielgruppen mit angemessenen Informationen über die Ergebnisse Ihres KI-Modells versorgen wollen. In Fällen, in denen die Modelle die Entscheidungsfindung unterstützen, müssen Sie beispielsweise den Endnutzern oder Implementierern dieser Modelle eine angemessene Tiefe und ein angemessenes Maß an Erklärungen zur Verfügung stellen, um sie bei der Durchführung einer evidenzbasierten Argumentation in einer kontextsensitiven Art und Weise zu unterstützen, die sich der Grenzen des Modells bewusst ist. Ebenso müssen Sie in Fällen, in denen Modelle und ihre Ergebnisse von Wirtschaftsprüfern überprüft werden, Informationen über diese Systeme in einem Umfang und einer Tiefe bereitstellen, die für den Zweck der jeweiligen Überprüfung geeignet sind.
Welchen Erklärungen sollten wir den Vorrang geben?
Wenn die Personen, für die Sie KI-gestützte Entscheidungen treffen, wahrscheinlich über ein gewisses Fachwissen verfügen, sollten Sie die rationale Erklärung in Betracht ziehen. Denn Sie können sich darauf verlassen, dass sie die Argumentation und Logik eines KI-Modells oder einer bestimmten Entscheidung verstehen, da sie mit dem Thema der Entscheidungen besser vertraut sind. Wenn die Personen, die von Ihren KI-gestützten Entscheidungen betroffen sind, über ein gewisses technisches Fachwissen verfügen oder sich für die technischen Details interessieren, die der Entscheidung zugrunde liegen, ist die Sicherheits- und Leistungserklärung hilfreich.
Wenn Sie davon ausgehen, dass die Personen über kein spezifisches Fachwissen zum Thema der Entscheidung oder zu den technischen Aspekten verfügen, sind andere Erklärungsarten, wie z. B. die Verantwortung oder bestimmte Aspekte der Sicherheits- und Leistungserklärung, hilfreicher. So können die Menschen in Bezug auf die Sicherheit des Systems beruhigt werden und wissen, an wen sie sich wenden können, wenn sie eine KI-Entscheidung betreffen.
Natürlich kann die Begründung auch für Personen mit geringen Kenntnissen auf einem Gebiet nützlich sein, um die Gründe für eine Entscheidung in einfachen Worten zu erklären. Es kann aber auch vorkommen, dass die verwendeten Daten und die von einem KI-Modell gezogenen Schlussfolgerungen besonders komplex sind (siehe den obigen Faktor „Daten“) und man die rationale Erklärung lieber an einen entsprechenden Fachmann delegieren möchte. Der Experte kann dann die Gründe für die Entscheidung überprüfen und zu seinen eigenen fundierten Schlussfolgerungen kommen (z. B. ein Arzt im Gesundheitswesen).