Na první pohled
Pět kontextových faktorů má vliv na to, k jakému účelu chce jedinec vysvětlení použít a jak byste měli vysvětlení podat:
- doména, ve které pracujete;
- dopad na jedince;
- použitá data;
- urgentnost rozhodnutí; a
- audience, které je prezentováno.
Podrobněji
- Úvod do kontextuálních faktorů
- Faktor domény
- Faktor dopadu
- Faktor dat
- Faktor naléhavosti
- Faktor publika
Úvod
Při konstrukci vysvětlení pro jedince, existuje několik faktorů týkajících se kontextu, v němž je rozhodnutí s pomocí UI učiněno. Ty mají vliv na to, jaký typ vysvětlení budou lidé považovat za užitečný a k jakým účelům jej chtějí použít.
Na základě primárního výzkumu, který jsme provedli zejména s příslušníky veřejnosti, jsme identifikovali pět klíčových kontextových faktorů, které ovlivňují, proč lidé chtějí vysvětlení rozhodnutí s podporou UI. Tyto kontextové faktory jsou uvedeny níže spolu s návrhy, kterým vysvětlením dát při poskytování vysvětlení rozhodnutí s pomocí UI přednost. Tyto faktory byste měli zvážit ve všech fázích procesu popsaného v části 2 těchto pokynů.
Při zvažování těchto kontextových faktorů mějte na paměti, že poskytováním vysvětlení příjemcům rozhodnutí je zároveň vzděláváte o systémech UI. Může se proto vyplatit přemýšlet o informacích, které můžete poskytnout před zpracováním, abyste pomohli rozvíjet znalosti a porozumění používání UI mezi širokou veřejností.
Faktor domény
Co je tento faktor?
Pod pojmem „doména“ rozumíme prostředí nebo odvětví, ve kterém nasazujete svůj model UI, aby vám pomohl rozhodovat o lidech. To může ovlivnit vysvětlení, která lidé chtějí. Například to, co lidé chtějí vědět o rozhodnutích s pomocí UI učiněných v oblasti trestního soudnictví, se může výrazně lišit od jiných oblastí, jako je například zdravotnictví.
Také standardy vysvětlení specifické pro danou oblast nebo odvětví mohou ovlivnit to, co lidé od vysvětlení očekávají. Například osoba, která obdrží rozhodnutí o hypotéce podporované umělou inteligencí, bude očekávat, že se dozví o odůvodnění tohoto rozhodnutí způsobem, který odpovídá zavedeným úvěrovým standardům a postupům.
Která vysvětlení bychom měli upřednostnit?
Zohlednění faktoru domény je pravděpodobně nejzásadnějším faktorem určujícím, jaká vysvětlení byste měli při komunikaci s dotčenými osobami zahrnout a upřednostnit. Pokud váš systém UI pracuje v prostředí kritickém z hlediska bezpečnosti, příjemci rozhodnutí budou samozřejmě chtít odpovídající vysvětlení týkající se bezpečnosti a výkonnosti. Pokud však váš systém pracuje v doméně, kde převládají obavy z předpojatosti a diskriminace, budou pravděpodobně chtít, abyste jim poskytli vysvětlení týkající se spravedlnosti.
V doménách s nižšími nároky, jako je elektronický obchod, je nepravděpodobné, že by lidé chtěli nebo očekávali rozsáhlá vysvětlení bezpečnosti a výkonnosti výstupů doporučujících systémů. Přesto byste v těchto doménách s nižším dopadem měli vysvětlit základní důvody a složky odpovědnosti (stejně jako všechny ostatní relevantní typy vysvětlení) jakéhokoli rozhodovacího systému, který ovlivňuje lidi.
Například aplikace s „nízkým“ dopadem, jako je doporučování produktů a personalizace (např. reklamy nebo obsahu), mohou vyvolat citlivé otázky týkající se cílení na určité demografické skupiny nebo ignorování jiných (např. reklama na vedoucí pozice zaměřená na muže). To vyvolává zřejmé otázky spravedlnosti a dopadu na společnost, což zvyšuje význam vysvětlení, která se těmito otázkami zabývají.
Faktor dopadu
Co je to za faktor?
Faktor „dopadu“ se týká účinku, který může mít rozhodnutí podporované UI na jednotlivce a širší společnost. Různé úrovně závažnosti a různé typy dopadu mohou změnit to, jaká vysvětlení budou lidé považovat za užitečná, a účel, kterému vysvětlení slouží.
Jsou rozhodnutí kritická z hlediska bezpečnosti, týkají se situací, kdy jde o život nebo smrt (nejčastěji v oblasti zdravotnictví)? Mají rozhodnutí vliv na něčí svobodu nebo právní postavení? Je dopad rozhodnutí méně závažný, ale přesto významný (např. odepření užitku nebo zacílení politického sdělení)? Nebo je dopad triviálnější (např. nasměrování ke konkrétní pokladně systémem umělé inteligence, který třídí fronty na letišti)?
Kterým vysvětlením bychom měli dát přednost?
Všeobecně platí, že pokud má rozhodnutí podporované UI na jednotlivce velký dopad, jsou často důležitá vysvětlení jako spravedlnost, bezpečnost a výkonnost a dopad, protože jednotlivci chtějí být ujištěni o bezpečnosti rozhodnutí, důvěřovat, že se s nimi zachází spravedlivě, a chápat důsledky.
V závislosti na dalších kontextových faktorech však mohou být stejně důležitá i vysvětlení týkající se odůvodnění a odpovědnosti. Například pokud jsou vlastnosti údajů použitých modelem UI proměnlivé nebo pokud jsou vyvozené závěry otevřeny interpretaci a mohou být zpochybněny.
Pohled na dopad jako kontextový faktor není jednoduchý. Neexistuje žádné pevné pravidlo. Měli byste to dělat případ od případu a zvažovat to v kombinaci se všemi ostatními kontextovými faktory. Mělo by také zahrnovat inkluzivní dialog napříč odbornými oblastmi, které se podílejí na návrhu, vývoji a nasazení systému UI. Setkání různých členů týmu, kteří mají technické, politické, compliance a doménové odborné znalosti, může poskytnout informovanější vizi faktoru dopadu modelu UI.
Faktor dat
Co je to za faktor?
„Data“ jako kontextový faktor se týkají jak dat použitých k trénování a testování vašeho modelu UI, tak vstupních dat v okamžiku rozhodování. Typ dat použitých vaším modelem AI může ovlivnit ochotu jednotlivce přijmout nebo zpochybnit rozhodnutí podporované AI a kroky, které v důsledku toho podnikne.
Tento faktor naznačuje, že byste měli přemýšlet o povaze dat, na kterých je váš model trénován a která používá jako vstupy pro své výstupy při nasazení. Měli byste zvážit, zda se jedná o biologická nebo fyzikální data (např. biomedicínská data používaná pro výzkum a diagnostiku), nebo zda se jedná o sociální data o demografických charakteristikách nebo měření lidského chování.
Měli byste také zvážit, zda jednotlivec může změnit výsledek rozhodnutí. Pokud jsou faktory, které vstupují do vašeho rozhodnutí, takové, které lze ovlivnit změnou něčího chování nebo životního stylu, je pravděpodobnější, že jednotlivci budou chtít tyto změny provést, pokud nebudou s výsledkem souhlasit.
Příklad pokud bylo rozhodnutí o bankovním úvěru učiněno na základě finanční aktivity zákazníka, může zákazník chtít změnit své výdajové chování, aby toto rozhodnutí v budoucnu změnil. To ovlivní typ vysvětlení, které jednotlivec chce. Pokud jsou však údaje méně flexibilní, například biofyzikální údaje, bude méně pravděpodobné, že jednotlivec nebude souhlasit s výstupem systému UI. Například ve zdravotnictví je výstup, který vytvoří systém umělé inteligence o navrhované diagnóze na základě genetických údajů o pacientovi, více „pevný“ – to pacient nemůže snadno změnit.
Která vysvětlení bychom měli upřednostnit?
Často bude užitečné upřednostnit racionální vysvětlení, a to jak u sociálních dat, tak u biofyzikálních dat. V případě použití sociálních údajů mohou jedinci, kteří obdrží nepříznivé rozhodnutí, pochopit zdůvodnění a poučit se z něj, aby vhodně přizpůsobili své chování pro budoucí rozhodnutí. U biofyzikálních údajů to může osobám pomoci pochopit, proč bylo rozhodnutí učiněno právě o nich.
Při použití biofyzikálních údajů, například u lékařských diagnóz, však mohou osoby dávat přednost tomu, aby jednoduše věděly, co pro ně výsledek rozhodnutí znamená, a aby byly ujištěny o bezpečnosti a spolehlivosti rozhodnutí. V těchto případech má smysl upřednostnit vysvětlení dopadu a bezpečnosti a výkonu tak, aby tyto potřeby byly uspokojeny.
Na druhou stranu tam, kde je povaha údajů sociální nebo subjektivní, budou mít jednotlivci pravděpodobněji obavy o to, jaké údaje byly při rozhodování vzaty v úvahu, a o vhodnost nebo spravedlnost toho, že ovlivňují rozhodnutí o nich s pomocí UI. Za těchto okolností vysvětlení údajů a spravedlnosti pomůže tyto obavy řešit tím, že lidem sdělí, jaké byly vstupní údaje, odkud pocházely a jaká opatření jste zavedli, abyste zajistili, že použití těchto údajů k rozhodování s pomocí UI nepovede k předpojatosti nebo diskriminaci.
Faktor naléhavosti
Co je to za faktor?“
Faktor „naléhavosti“ se týká důležitosti obdržení výsledku rozhodnutí s pomocí UI nebo jednání na jeho základě v krátkém časovém horizontu. To, co lidé chtějí o rozhodnutí vědět, se může měnit v závislosti na tom, jak málo nebo hodně času mají na jeho promýšlení.
Faktor naléhavosti doporučuje, abyste se zamysleli nad tím, jak naléhavé je rozhodnutí podporované UI. Zamyslete se nad tím, zda je určitý postup často nezbytný po daném druhu rozhodnutí a jak rychle je třeba tento postup provést.
Kterým vysvětlením bychom měli dát přednost?
Pokud je klíčovým faktorem naléhavost, je pravděpodobnější, že jednotlivci budou chtít vědět, jaké jsou pro ně důsledky, a budou chtít být ujištěni, že model UI, který pomáhá rozhodnutí učinit, je bezpečný a spolehlivý. Proto jsou v těchto případech vhodná vysvětlení dopadu a bezpečnosti a výkonnosti. Tato vysvětlení totiž pomohou jednotlivcům pochopit, jak je rozhodnutí ovlivní, co se stane dál a jaká opatření a testování byla zavedena, aby se maximalizovala a sledovala bezpečnost a výkonnost modelu UI.
Faktor publika
Co je to za faktor?
„Publikum“ jako kontextový faktor se týká jednotlivců, kterým vysvětlujete rozhodnutí s pomocí UI. Skupiny osob, o kterých rozhodujete, a jednotlivci v těchto skupinách mají vliv na to, jaký typ vysvětlení je pro ně smysluplný nebo užitečný.
Jakou úroveň odborných znalostí (např. o UI) mají o tom, čeho se rozhodnutí týká? Je předmětem vámi přijímaných rozhodnutí široká škála osob (např. široká veřejnost Spojeného království), což naznačuje, že může existovat i široká škála znalostí nebo odborných znalostí? Nebo jsou lidé, o kterých rozhodujete, omezeni na menší podmnožinu (např. vaši zaměstnanci), což naznačuje, že mohou mít více informací o věcech, o kterých rozhodujete? Zvažte také, zda příjemci rozhodnutí nevyžadují přiměřené úpravy způsobu, jakým jim bude vysvětlení poskytnuto (zákon o rovnosti z roku 2010).
Jako obecné pravidlo platí, že je dobré přizpůsobit se potřebám vysvětlení nejzranitelnějších osob. Měli byste zajistit, aby tito příjemci rozhodnutí byli schopni jasně porozumět informacím, které jim poskytujete. Často může pomoci použití jednoduchého, netechnického jazyka a vizualizačních nástrojů, pokud je to možné.
Všimněte si také, že ačkoli se zaměřujeme na příjemce rozhodnutí, pravděpodobně budete muset také značně dopředu promyslet, jakým způsobem poskytnete ostatním příjemcům vhodné informace o výstupech vašeho modelu UI. Například v případech, kdy modely podporují rozhodování, budete muset koncovým uživatelům nebo implementátorům těchto modelů poskytnout takovou hloubku a úroveň vysvětlení, která jim pomůže provádět úvahy založené na důkazech způsobem, který bude zohledňovat kontext a bude si vědom omezení modelu. Stejně tak v případech, kdy modely a jejich výsledky přezkoumávají auditoři, budete muset poskytnout informace o těchto systémech na úrovni a v hloubce, která odpovídá účelu příslušného přezkumu.
Která vysvětlení bychom měli upřednostnit?
Pokud je pravděpodobné, že lidé, o kterých rozhodujete s pomocí umělé inteligence, mají určité odborné znalosti v dané oblasti, můžete zvážit použití vysvětlení s odůvodněním. To proto, že si můžete být jistější, že pochopí odůvodnění a logiku modelu UI nebo konkrétního rozhodnutí, protože jsou lépe obeznámeni s tématem rozhodnutí. Kromě toho, pokud lidé, kteří jsou předmětem vašich rozhodnutí s pomocí UI, mají určité technické znalosti nebo je pravděpodobné, že se budou zajímat o technické detaily, na nichž je rozhodnutí založeno, pomůže jim vysvětlení bezpečnosti a výkonnosti.
Případně, pokud se domníváte, že je pravděpodobné, že lidé nebudou mít žádné konkrétní odborné znalosti nebo znalosti ani o tématu rozhodnutí, ani o jeho technických aspektech, mohou být užitečnější jiné typy vysvětlení, jako je odpovědnost nebo konkrétní aspekty vysvětlení bezpečnosti a výkonnosti. To proto, aby lidé mohli být ujištěni o bezpečnosti systému a věděli, na koho se obrátit s dotazem ohledně rozhodnutí o UI.
I pro osoby s malými znalostmi v dané oblasti může být samozřejmě užitečné vysvětlení odůvodnění, které srozumitelně a jednoduše vysvětlí důvody, proč bylo rozhodnutí přijato. Mohou však nastat i případy, kdy jsou použitá data a závěry vyvozené modelem UI obzvláště složité (viz výše uvedený faktor „data“) a jednotlivci raději delegují vysvětlení odůvodnění na příslušného odborníka na danou oblast. Odborník pak může přezkoumat a dospět k vlastním informovaným závěrům o platnosti nebo vhodnosti důvodů rozhodnutí (např. lékař ve zdravotnictví).