W skrócie
Pięć czynników kontekstowych ma wpływ na cel, w jakim dana osoba chce skorzystać z wyjaśnienia, oraz na sposób, w jaki należy przedstawić wyjaśnienie:
- dziedzina, w której pracujesz;
- wpływ na daną osobę;
- wykorzystane dane;
- pilność decyzji; oraz
- przedstawiona publiczność.
Więcej szczegółów
- Wprowadzenie do czynników kontekstowych
- Czynnik domeny
- Czynnik wpływu
- Czynnik danych
- Czynnik nagłości
- Czynnik publiczności
Wprowadzenie
Przy konstruowaniu wyjaśnienia dla jednostki, istnieje kilka czynników dotyczących kontekstu, w którym podejmowana jest decyzja wspomagana przez SI. Mają one wpływ na rodzaj wyjaśnienia, które ludzie uznają za przydatne i cele, do których chcą je wykorzystać.
W wyniku przeprowadzonych przez nas badań pierwotnych, w szczególności z członkami społeczeństwa, zidentyfikowaliśmy pięć kluczowych czynników kontekstowych wpływających na to, dlaczego ludzie oczekują wyjaśnień decyzji wspomaganych przez SI. Te czynniki kontekstowe zostały przedstawione poniżej wraz z sugestiami dotyczącymi tego, które wyjaśnienia należy traktować priorytetowo przy udzielaniu wyjaśnień dotyczących decyzji wspomaganych przez SI. Należy rozważyć te czynniki na wszystkich etapach procesu opisanego w części 2 niniejszego poradnika.
Rozważając te czynniki kontekstowe, należy pamiętać, że dostarczanie wyjaśnień odbiorcom decyzji będzie ich również edukować w zakresie systemów AI. Dlatego może warto pomyśleć o informacjach, które można dostarczyć przed przetwarzaniem, aby pomóc w rozwijaniu wiedzy i zrozumienia wykorzystania AI wśród ogółu społeczeństwa.
Czynnik domeny
Co to za czynnik?
Przez „domenę” rozumiemy otoczenie lub sektor, w którym wdrażany jest model AI, aby pomóc w podejmowaniu decyzji dotyczących ludzi. Może to mieć wpływ na wyjaśnienia, których oczekują ludzie. Na przykład to, co ludzie chcą wiedzieć o decyzjach wspomaganych przez SI podejmowanych w dziedzinie wymiaru sprawiedliwości w sprawach karnych, może się znacznie różnić od innych dziedzin, takich jak opieka zdrowotna.
Podobnie, standardy wyjaśnień specyficzne dla danej dziedziny lub sektora mogą wpływać na to, czego ludzie oczekują od wyjaśnień. Na przykład osoba otrzymująca decyzję w sprawie kredytu hipotecznego wspomaganą przez SI będzie oczekiwała, że dowie się o uzasadnieniu decyzji w sposób odpowiadający ustalonym standardom i praktykom kredytowym.
Które wyjaśnienia powinniśmy traktować priorytetowo?
Uwzględnienie czynnika dziedzinowego jest być może najważniejszym czynnikiem decydującym o tym, jakie wyjaśnienia należy uwzględnić i nadać im priorytet podczas komunikowania się z osobami, których dotyczą. Jeśli twój system AI działa w środowisku krytycznym dla bezpieczeństwa, odbiorcy decyzji będą oczywiście chcieli odpowiednich wyjaśnień dotyczących bezpieczeństwa i wydajności. Jeśli jednak Twój system działa w dziedzinie, w której dominują obawy związane z uprzedzeniami i dyskryminacją, prawdopodobnie będą chcieli, abyś przedstawił wyjaśnienia dotyczące sprawiedliwości.
W dziedzinach o niższej stawce, takich jak handel elektroniczny, jest mało prawdopodobne, że ludzie będą chcieli lub oczekiwali obszernych wyjaśnień dotyczących bezpieczeństwa i wydajności wyników systemów rekomendujących. Mimo to, w tych dziedzinach o mniejszym wpływie, należy wyjaśnić podstawowe przesłanki i elementy odpowiedzialności (jak również wszystkie inne odpowiednie rodzaje wyjaśnień) każdego systemu decyzyjnego, który ma wpływ na ludzi.
Na przykład aplikacje o „małym” wpływie, takie jak rekomendacje produktów i personalizacja (np. reklam lub treści), mogą powodować wrażliwość związaną z kierowaniem działań do określonych grup demograficznych lub ignorowaniem innych (np. reklamowanie ról kierowniczych skierowanych do mężczyzn). Podnosi to oczywiste kwestie sprawiedliwości i wpływu na społeczeństwo, zwiększając znaczenie wyjaśnień odnoszących się do tych kwestii.
Współczynnik wpływu
Co to za współczynnik?
Współczynnik „wpływu” dotyczy wpływu, jaki decyzja podjęta przy pomocy SI może mieć na jednostkę i szersze społeczeństwo. Różne poziomy dotkliwości i różne rodzaje wpływu mogą zmienić to, jakie wyjaśnienia ludzie uznają za użyteczne, oraz cel, jakiemu służą wyjaśnienia.
Czy decyzje mają kluczowe znaczenie dla bezpieczeństwa, odnoszące się do sytuacji zagrożenia życia lub śmierci (najczęściej w dziedzinie opieki zdrowotnej)? Czy decyzje mają wpływ na czyjąś wolność lub status prawny? Czy wpływ decyzji jest mniej poważny, ale nadal znaczący (np. odmowa użyteczności lub ukierunkowanie przekazu politycznego)? Czy też wpływ jest bardziej trywialny (np. skierowanie do konkretnej kasy biletowej przez system sztucznej inteligencji, który sortuje kolejki na lotnisku)?
Które wyjaśnienia powinniśmy traktować priorytetowo?
Na ogół, gdy decyzja wspomagana przez SI ma duży wpływ na jednostkę, wyjaśnienia takie jak sprawiedliwość, bezpieczeństwo i wydajność oraz wpływ są często ważne, ponieważ jednostki chcą być zapewnione o bezpieczeństwie decyzji, ufać, że są traktowane sprawiedliwie i rozumieć konsekwencje.
Jednakże wyjaśnienia dotyczące przesłanek i odpowiedzialności mogą być równie ważne w zależności od innych czynników kontekstowych. Na przykład, jeśli cechy danych wykorzystywanych przez model SI są zmienne lub wyciągnięte wnioski są otwarte na interpretację i mogą zostać podważone.
Uważanie wpływu jako czynnika kontekstowego nie jest proste. Nie ma twardej i szybkiej zasady. Należy to robić indywidualnie dla każdego przypadku i rozpatrywać go w połączeniu z innymi czynnikami kontekstowymi. Powinno to również obejmować dialog obejmujący wszystkie dziedziny wiedzy specjalistycznej, które są zaangażowane w projektowanie, rozwój i wdrażanie systemu AI. Zebranie różnych członków zespołu, którzy posiadają wiedzę techniczną, polityczną, dotyczącą zgodności i domeny, może zapewnić bardziej świadomą wizję czynnika wpływu modelu AI.
Czynnik danych
Czym jest ten czynnik?
„Dane” jako czynnik kontekstowy odnoszą się zarówno do danych używanych do szkolenia i testowania modelu AI, jak i danych wejściowych w punkcie podejmowania decyzji. Rodzaj danych wykorzystywanych przez Twój model AI może wpłynąć na gotowość danej osoby do zaakceptowania lub zakwestionowania decyzji wspomaganej przez AI, a także na działania podejmowane przez nią w rezultacie.
Czynnik ten sugeruje, że powinieneś zastanowić się nad charakterem danych, na których Twój model jest szkolony i wykorzystywany jako dane wejściowe dla jego danych wyjściowych, gdy zostanie wdrożony. Należy rozważyć, czy dane te są biologiczne lub fizyczne (np. dane biomedyczne wykorzystywane do badań i diagnostyki), czy też są to dane społeczne dotyczące cech demograficznych lub pomiarów ludzkich zachowań.
Należy również rozważyć, czy dana osoba może zmienić wynik decyzji. Jeśli czynniki wpływające na decyzję są takie, na które można wpłynąć poprzez zmianę czyjegoś zachowania lub stylu życia, jest bardziej prawdopodobne, że osoby fizyczne mogą chcieć dokonać tych zmian, jeśli nie zgadzają się z wynikiem.
Na przykład, jeśli decyzja o kredycie bankowym została podjęta na podstawie aktywności finansowej klienta, klient może chcieć zmienić swoje zachowanie w zakresie wydatków, aby zmienić tę decyzję w przyszłości. Będzie to miało wpływ na rodzaj wyjaśnień, jakich chce dana osoba. Jeśli jednak dane są mniej elastyczne, np. dane biofizyczne, prawdopodobieństwo, że dana osoba nie zgodzi się z danymi wyjściowymi systemu AI będzie mniejsze. Na przykład w opiece zdrowotnej dane wyjściowe opracowane przez system AI dotyczące sugerowanej diagnozy opartej na danych genetycznych pacjenta są bardziej „stałe” – nie jest to coś, co pacjent może łatwo zmienić.
Którym wyjaśnieniom powinniśmy nadać priorytet?
Często przydatne będzie nadanie priorytetu wyjaśnieniom racjonalnym, zarówno w przypadku danych społecznych, jak i danych biofizycznych. W przypadku danych społecznych osoby otrzymujące niekorzystną decyzję mogą zrozumieć uzasadnienie i wyciągnąć z niego wnioski, aby odpowiednio dostosować swoje zachowanie przy podejmowaniu przyszłych decyzji. W przypadku danych biofizycznych może to pomóc ludziom zrozumieć, dlaczego podjęto decyzję w ich sprawie.
Jednakże w przypadku wykorzystania danych biofizycznych, np. w diagnozach medycznych, osoby fizyczne mogą woleć po prostu wiedzieć, co wynik decyzji oznacza dla nich, i być zapewnione o bezpieczeństwie i wiarygodności decyzji. W takich przypadkach sensowne jest nadanie priorytetu wyjaśnieniom dotyczącym wpływu, bezpieczeństwa i wydajności, aby zaspokoić te potrzeby.
Z drugiej strony, gdy charakter danych jest społeczny lub subiektywny, istnieje większe prawdopodobieństwo, że osoby fizyczne będą miały obawy co do tego, jakie dane zostały wzięte pod uwagę przy podejmowaniu decyzji, oraz co do tego, czy są one odpowiednie lub sprawiedliwe, jeśli chodzi o wpływ na decyzje podejmowane wobec nich przez SI. W takich okolicznościach wyjaśnienia dotyczące danych i sprawiedliwości pomogą rozwiać te obawy, informując ludzi, jakie były dane wejściowe, skąd one pochodziły i jakie środki wprowadzono w celu zapewnienia, że wykorzystanie tych danych do podejmowania decyzji wspomaganych przez SI nie spowoduje stronniczości lub dyskryminacji.
Czynnik pilności
Co to za czynnik?
Czynnik „pilności” dotyczy znaczenia otrzymania lub działania na podstawie wyniku decyzji wspomaganej przez SI w krótkim czasie. To, co ludzie chcą wiedzieć o decyzji, może się zmienić w zależności od tego, jak mało lub dużo czasu mają na zastanowienie się nad nią.
Czynnik pilności zaleca, aby zastanowić się, jak pilna jest decyzja wspomagana przez SI. Zastanów się, czy dany sposób działania jest często konieczny w przypadku tego rodzaju decyzji, jakie podejmujesz, oraz jak szybko musisz podjąć to działanie.
Które wyjaśnienia powinniśmy traktować priorytetowo?
Gdy czynnikiem kluczowym jest pilność, jest bardziej prawdopodobne, że osoby będą chciały wiedzieć, jakie są dla nich konsekwencje, oraz uzyskać pewność, że model SI pomagający w podjęciu decyzji jest bezpieczny i niezawodny. Dlatego w takich przypadkach odpowiednie są wyjaśnienia dotyczące skutków oraz bezpieczeństwa i wydajności. Dzieje się tak, ponieważ te wyjaśnienia pomogą osobom zrozumieć, jak decyzja na nie wpływa, co dzieje się dalej oraz jakie środki i testy zostały wdrożone, aby zmaksymalizować i monitorować bezpieczeństwo i wydajność modelu AI.
Czynnik publiczności
Co to za czynnik?
„Publiczność” jako czynnik kontekstowy dotyczy osób, którym wyjaśniamy decyzję wspomaganą przez AI. Grupy ludzi, których dotyczą decyzje, oraz osoby w tych grupach mają wpływ na to, jakiego rodzaju wyjaśnienia są dla nich znaczące lub przydatne.
Jaki poziom wiedzy (np. na temat AI) posiadają na temat tego, czego dotyczy decyzja? Czy szeroki zakres ludzi podlega decyzjom, które podejmujesz (np. ogół społeczeństwa Wielkiej Brytanii), co wskazuje, że może być również szeroki zakres wiedzy lub ekspertyzy? Czy też ludzie, o których podejmowane są decyzje są ograniczeni do mniejszego podzbioru (np. Twoi pracownicy), co sugeruje, że mogą oni być lepiej poinformowani w sprawach, o których podejmowane są decyzje? Należy również rozważyć, czy odbiorcy decyzji wymagają jakichkolwiek racjonalnych dostosowań w sposobie otrzymywania wyjaśnień (Equality Act 2010).
Jako ogólna zasada, dobrym pomysłem jest uwzględnienie potrzeb w zakresie wyjaśnień najbardziej wrażliwych osób. Należy upewnić się, że ci odbiorcy decyzji są w stanie jasno zrozumieć informacje, które im przekazujesz. Używanie prostego, nietechnicznego języka i narzędzi wizualizacyjnych, tam gdzie to możliwe, może często pomóc.
Zauważ również, że podczas gdy skupiamy się na odbiorcy decyzji, prawdopodobnie będziesz musiał również w znacznym stopniu przemyśleć, w jaki sposób dostarczysz innym odbiorcom odpowiednie informacje o wynikach Twojego modelu AI. Na przykład w przypadkach, gdy modele wspierają podejmowanie decyzji, trzeba będzie zapewnić użytkownikom końcowym lub osobom wdrażającym te modele szczegółowość i poziom wyjaśnień, które są odpowiednie, aby pomóc im w przeprowadzeniu rozumowania opartego na dowodach w sposób wrażliwy na kontekst i ze świadomością ograniczeń modelu. Podobnie, w przypadkach, gdy modele i ich wyniki są przeglądane przez audytorów, należy dostarczyć informacje o tych systemach na poziomie i poziomie szczegółowości, który jest odpowiedni do celu odpowiedniego przeglądu.
Które wyjaśnienia powinniśmy traktować priorytetowo?
Jeśli osoby, w stosunku do których podejmowane są decyzje wspomagane przez SI, prawdopodobnie posiadają pewną wiedzę specjalistyczną w danej dziedzinie, można rozważyć użycie wyjaśnienia racjonalnego. Dzieje się tak dlatego, że można mieć większą pewność, że osoby te mogą zrozumieć rozumowanie i logikę modelu AI lub konkretnej decyzji, ponieważ są one lepiej zaznajomione z tematem decyzji. Dodatkowo, jeśli osoby podlegające decyzjom wspomaganym przez SI posiadają pewną wiedzę techniczną lub mogą być zainteresowane szczegółami technicznymi leżącymi u podstaw decyzji, pomocne będą wyjaśnienia dotyczące bezpieczeństwa i działania.
Alternatywnie, jeśli uważasz, że jest prawdopodobne, że ludzie nie będą mieli żadnej szczególnej wiedzy specjalistycznej lub wiedzy na temat tematu decyzji lub jej aspektów technicznych, bardziej pomocne mogą być inne rodzaje wyjaśnień, takie jak odpowiedzialność lub określone aspekty wyjaśnień dotyczących bezpieczeństwa i działania. Dzięki temu ludzie mogą być spokojni o bezpieczeństwo systemu i wiedzieć, do kogo się zwrócić z pytaniem o decyzję dotyczącą SI.
Oczywiście nawet dla osób posiadających niewielką wiedzę w danej dziedzinie wyjaśnienie przesłanek może być przydatne, aby wyjaśnić powody podjęcia decyzji w prosty i zrozumiały sposób. Ale mogą również wystąpić sytuacje, w których wykorzystane dane i wnioski wyciągnięte przez model SI są szczególnie złożone (patrz czynnik „dane” powyżej), a osoby fizyczne wolałyby powierzyć wyjaśnienie przesłanek ekspertowi w danej dziedzinie. Ekspert ten może następnie dokonać przeglądu i dojść do własnych, świadomych wniosków na temat ważności lub odpowiedniości powodów decyzji (np. lekarz w placówce służby zdrowia).