Samt sett
Fem kontextuella faktorer påverkar vilket syfte en individ vill använda en förklaring till och hur du ska leverera din förklaring:
- Domän som du arbetar inom;
- påverkan på individen;
- data som används;
- beslutets brådskande karaktär;
- och
- den publik som förklaringen presenteras för.
Mer i detalj
- Introduktion till de kontextuella faktorerna
- Domänfaktorn
- Impact-faktorn
- Datafaktorn
- Urgency-faktorn
- Audience-faktorn
Introduktion
När man konstruerar en förklaring för en individ, finns det flera faktorer om kontexten som ett AI-assisterat beslut fattas i. Dessa har en effekt på vilken typ av förklaring som människor kommer att finna användbar och vilka syften de vill använda den för.
Utifrån den primärforskning vi genomförde, särskilt med allmänheten, identifierade vi fem viktiga kontextuella faktorer som påverkar varför människor vill ha förklaringar till AI-assisterade beslut. Dessa kontextuella faktorer anges nedan, tillsammans med förslag på vilka förklaringar som bör prioriteras när man ger en förklaring till ett AI-assisterat beslut. Du bör ta hänsyn till dessa faktorer i alla skeden av den process som beskrivs i del 2 av denna vägledning.
När du tar hänsyn till dessa kontextuella faktorer ska du komma ihåg att om du ger förklaringar till beslutsmottagarna kommer du också att utbilda dem om AI-system. Det kan därför vara värt att tänka på vilken information du kan ge före behandlingen för att bidra till att utveckla kunskapen och förståelsen för AI-användning hos allmänheten.
Domänfaktor
Vad är den här faktorn?
Med ”domän” menar vi den miljö eller sektor där du använder din AI-modell för att hjälpa dig att fatta beslut om människor. Detta kan påverka de förklaringar som människor vill ha. Till exempel kan det som människor vill veta om AI-stödda beslut som fattas inom det straffrättsliga området skilja sig avsevärt från andra områden, t.ex. hälso- och sjukvård.
På samma sätt kan domän- eller sektorspecifika förklaringsstandarder påverka vad människor förväntar sig av en förklaring. Till exempel förväntar sig en person som får ett AI-assisterat beslut om ett hypotekslån att få reda på resonemanget bakom beslutet på ett sätt som stämmer överens med etablerade utlåningsstandarder och praxis.
Vilka förklaringar ska vi prioritera?
Att ta hänsyn till domänfaktorn är kanske den mest avgörande faktorn för att avgöra vilka förklaringar som du ska inkludera och prioritera när du kommunicerar med berörda personer. Om ditt AI-system fungerar i en säkerhetskritisk miljö kommer beslutsmottagarna naturligtvis att vilja ha lämpliga förklaringar om säkerhet och prestanda. Om ditt system däremot fungerar inom en domän där fördomar och diskriminering är vanligt förekommande, kommer de troligen att vilja att du ger en förklaring om rättvisa.
I domäner med mindre viktiga uppgifter, t.ex. e-handel, är det osannolikt att människor kommer att vilja ha eller förvänta sig omfattande förklaringar om säkerheten och prestandan i rekommendationssystemens utdata. Trots detta bör du inom dessa områden med lägre konsekvenser förklara den grundläggande logiken och ansvarskomponenterna (liksom alla andra relevanta förklaringstyper) för alla beslutssystem som påverkar människor.
Till exempel kan tillämpningar med ”låg” påverkan, såsom produktrekommendationer och personalisering (t.ex. av reklam eller innehåll), ge upphov till känslighet när det gäller att rikta in sig på vissa demografiska grupper eller att ignorera andra (t.ex. annonsering av ledarskapsroller som riktar sig till män). Detta ger upphov till uppenbara frågor om rättvisa och inverkan på samhället, vilket ökar betydelsen av förklaringar som tar upp dessa frågor.
Effektfaktor
Vad är den här faktorn?
Influensfaktorn handlar om den effekt som ett AI-assisterat beslut kan ha på en individ och på samhället i stort. Varierande allvarlighetsnivåer och olika typer av påverkan kan ändra vilka förklaringar som människor kommer att finna användbara och vilket syfte förklaringen tjänar.
Är besluten säkerhetskritiska, som rör situationer som rör liv eller död (oftast inom hälso- och sjukvårdsområdet)? Påverkar besluten någons frihet eller rättsliga ställning? Är konsekvenserna av beslutet mindre allvarliga men fortfarande betydande (t.ex. förnekande av en nyttighet eller inriktning på ett politiskt budskap)? Eller är konsekvenserna mer triviala (t.ex. att bli hänvisad till en viss biljettdisk av ett AI-system som sorterar köer på en flygplats)?
Vilka förklaringar bör vi prioritera?
I allmänhet, när ett AI-assisterat beslut har stor inverkan på en individ, är förklaringar som rättvisa, säkerhet och prestanda samt inverkan ofta viktiga, eftersom individer vill bli lugnade om beslutets säkerhet, lita på att de behandlas rättvist och förstå konsekvenserna.
Förklaringarna om logik och ansvar kan dock vara lika viktiga beroende på andra kontextuella faktorer. Till exempel om egenskaperna hos de data som används av AI-modellen är föränderliga, eller om de slutsatser som dras är öppna för tolkning och kan ifrågasättas.
Att överväga påverkan som en kontextuell faktor är inte okomplicerat. Det finns ingen fast regel. Man bör göra det från fall till fall och överväga det i kombination med alla andra kontextuella faktorer. Det bör också inbegripa en inkluderande dialog över de expertområden som är involverade i utformningen, utvecklingen och införandet av AI-systemet. Att samla olika teammedlemmar som har expertis inom teknik, policy, efterlevnad och domäner kan ge en mer välgrundad syn på AI-modellens påverkansfaktor.
Datafaktor
Vad är den här faktorn?
”Data” som kontextuell faktor avser både de data som används för att träna och testa din AI-modell och de indata som används vid beslutstillfället. Den typ av data som används av din AI-modell kan påverka en individs vilja att acceptera eller bestrida ett AI-assisterat beslut, och de åtgärder som de vidtar som ett resultat.
Den här faktorn tyder på att du bör tänka på arten av de data som din modell tränas på och som används som indata för dess utdata när den tas i bruk. Du bör överväga om uppgifterna är biologiska eller fysiska (t.ex. biomedicinska uppgifter som används för forskning och diagnostik), eller om det är sociala uppgifter om demografiska egenskaper eller mätningar av mänskligt beteende.
Du bör också överväga om en individ kan ändra resultatet av ett beslut. Om de faktorer som ligger till grund för ditt beslut är sådana som kan påverkas av förändringar i någons beteende eller livsstil, är det mer sannolikt att individer kan vilja göra dessa förändringar om de inte håller med om resultatet.
Till exempel, om ett beslut om ett banklån fattades baserat på en kunds finansiella aktivitet, kan kunden vilja ändra sitt konsumtionsbeteende för att ändra beslutet i framtiden. Detta kommer att påverka vilken typ av förklaring individen vill ha. Om uppgifterna är mindre flexibla, t.ex. biofysiska uppgifter, är det dock mindre troligt att en individ inte kommer att hålla med om resultatet från AI-systemet. Till exempel inom hälso- och sjukvården är ett resultat som produceras av ett AI-system om en föreslagen diagnos baserad på genetiska uppgifter om en patient mer ”fast” – detta är inte något som patienten lätt kan ändra.
Vilka förklaringar ska vi prioritera?
Det kommer ofta att vara användbart att prioritera förklaringen till motiveringen, både för sociala uppgifter och biofysiska uppgifter. När sociala data används kan individer som får ett ogynnsamt beslut förstå resonemanget och lära sig av detta för att på lämpligt sätt anpassa sitt beteende inför framtida beslut. När det gäller biofysiska data kan detta hjälpa människor att förstå varför ett beslut har fattats om dem.
När biofysiska data används, t.ex. vid medicinska diagnoser, kan människor dock föredra att helt enkelt få veta vad beslutsresultatet innebär för dem och att bli lugnade om beslutets säkerhet och tillförlitlighet. I dessa fall är det meningsfullt att prioritera förklaringar om konsekvenser, säkerhet och prestanda för att tillgodose dessa behov.
Å andra sidan, när uppgifterna är av social eller subjektiv natur, är det mer sannolikt att enskilda personer har farhågor om vilka uppgifter som har beaktats för beslutet och om det är lämpligt eller rättvist att dessa uppgifter påverkar ett AI-assisterat beslut om dem. Under dessa omständigheter kommer förklaringarna om data och rättvisa att hjälpa till att hantera dessa farhågor genom att tala om för människor vilka indata som användes, varifrån de kom och vilka åtgärder ni vidtagit för att se till att användningen av dessa data för att fatta AI-assisterade beslut inte leder till fördomar eller diskriminering.
Brådskande faktor
Vad är denna faktor?
Den så kallade brådskande faktorn handlar om hur viktigt det är att ta emot, eller att agera på, resultatet av ett AI-assisterat beslut inom en kort tidsram. Vad människor vill veta om ett beslut kan förändras beroende på hur lite eller mycket tid de har på sig att reflektera över det.
Den brådskande faktorn rekommenderar att du funderar över hur brådskande det AI-stödda beslutet är. Tänk på om en viss åtgärd ofta är nödvändig efter den typ av beslut som du fattar, och hur snabbt du behöver vidta åtgärden.
Vilka förklaringar ska vi prioritera?
När brådska är en nyckelfaktor är det troligare att enskilda personer vill veta vilka konsekvenser det får för dem, och att de vill bli försäkrade om att den AI-modell som hjälper till att fatta beslutet är säker och tillförlitlig. Därför är förklaringarna om konsekvenser och säkerhet och prestanda lämpliga i dessa fall. Det beror på att dessa förklaringar hjälper individerna att förstå hur beslutet påverkar dem, vad som händer härnäst och vilka åtgärder och tester som genomförts för att maximera och övervaka AI-modellens säkerhet och prestanda.
Publikfaktorn
Vad är den här faktorn?
”Publik” som en kontextuell faktor handlar om de individer som du förklarar ett AI-stött beslut för. De grupper av människor som du fattar beslut om, och individerna inom dessa grupper har en effekt på vilken typ av förklaringar som är meningsfulla eller användbara för dem.
Vilken nivå av expertis (t.ex. om AI) har de om vad beslutet handlar om? Är ett brett spektrum av människor föremål för beslut som du fattar (t.ex. allmänheten i Storbritannien), vilket tyder på att det också kan finnas ett brett spektrum av kunskap eller expertis? Eller är de personer som du fattar beslut om begränsade till en mindre delmängd (t.ex. dina anställda), vilket tyder på att de kan vara mer välinformerade om de saker som du fattar beslut om? Överväg också om beslutsmottagarna behöver rimliga anpassningar för att få förklaringen (Equality Act 2010).
Som en allmän regel är det en bra idé att tillgodose de mest utsatta personernas behov av förklaringar. Du bör se till att dessa beslutsmottagare tydligt kan förstå den information som du ger dem. Att använda ett enkelt, icke-tekniskt språk och visualiseringsverktyg, där det är möjligt, kan ofta vara till hjälp.
Bemärk också att även om vi fokuserar på beslutsmottagaren måste du troligen också lägga ner stor framförhållning på hur du kommer att förse andra målgrupper med lämplig information om utfallen av din AI-modell. I de fall där modellerna stöder beslutsfattande måste du till exempel ge slutanvändarna eller de som genomför modellerna en förklaring på ett djup och en nivå som är lämplig för att hjälpa dem att föra ett evidensbaserat resonemang på ett sätt som är kontextkänsligt och medvetet om modellens begränsningar. På samma sätt måste du i fall där modeller och deras resultat granskas av revisorer ge information om dessa system på en nivå och ett djup som är lämpligt för syftet med den relevanta granskningen.
Vilka förklaringar ska vi prioritera?
Om de personer som du fattar AI-assisterade beslut om troligen har en viss domänkompetens, kan du överväga att använda förklaringen om motivering. Detta beror på att du kan vara mer säker på att de kan förstå resonemanget och logiken i en AI-modell, eller ett visst beslut, eftersom de är mer bekanta med ämnet för besluten. Om de personer som är föremål för dina AI-stödda beslut dessutom har viss teknisk expertis eller sannolikt är intresserade av de tekniska detaljer som ligger till grund för beslutet, kommer förklaringen om säkerhet och prestanda att vara till hjälp.
Alternativt, om du tror att det är troligt att personerna inte kommer att ha någon specifik expertis eller kunskap om vare sig beslutets ämne eller dess tekniska aspekter, kan andra förklaringstyper, t.ex. ansvar, eller särskilda aspekter av förklaringen om säkerhet och prestanda, vara till större hjälp. Detta för att människor ska kunna känna sig trygga i fråga om systemets säkerhet och veta vem de ska kontakta för att fråga om ett AI-beslut.
Självklart kan motiveringsförklaringen även för dem som inte har så mycket kunskap om ett område fortfarande vara användbar för att förklara skälen till varför ett beslut har fattats i klara och enkla termer. Men det kan också finnas tillfällen då de data som används och de slutsatser som dras av en AI-modell är särskilt komplexa (se faktorn ”data” ovan), och individer hellre delegerar förklaringen till en relevant områdesexpert. Experten kan sedan granska och dra egna välgrundade slutsatser om giltigheten eller lämpligheten av skälen för beslutet (t.ex. en läkare inom hälso- och sjukvården).