Op een rijtje
Vijf contextuele factoren zijn van invloed op het doel waarvoor een individu een uitleg wil gebruiken, en op hoe u uw uitleg moet geven:
- domein waarin u werkt;
- gevolgen voor het individu;
- gebruikte gegevens;
- urgentie van de beslissing; en
- publiek aan wie de uitleg wordt gepresenteerd.
In meer detail
- Inleiding tot de contextuele factoren
- Domeinfactor
- Impactfactor
- Data factor
- Urgency factor
- Audience factor
Inleiding
Bij het construeren van een verklaring voor een individu, zijn er verschillende factoren over de context waarin een AI-ondersteunde beslissing wordt genomen. Deze zijn van invloed op het soort uitleg dat mensen nuttig zullen vinden en de doeleinden waarvoor zij deze willen gebruiken.
Uit het primaire onderzoek dat wij hebben verricht, met name met burgers, hebben wij vijf belangrijke contextuele factoren geïdentificeerd die van invloed zijn op de vraag waarom mensen uitleg willen over AI-ondersteunde beslissingen. Deze contextuele factoren worden hieronder uiteengezet, samen met suggesties voor welke uitleg prioriteit moet krijgen bij het geven van uitleg over een AI-ondersteund besluit. U moet met deze factoren rekening houden in alle fasen van het proces dat in deel 2 van deze leidraad wordt geschetst.
Wanneer u deze contextuele factoren overweegt, moet u in gedachten houden dat het verstrekken van uitleg aan ontvangers van beslissingen hen ook zal onderwijzen over AI-systemen. Het kan daarom de moeite waard zijn om na te denken over de informatie die u voorafgaand aan de verwerking kunt verstrekken om kennis en begrip van het gebruik van AI bij het grote publiek te helpen ontwikkelen.
Domeinfactor
Wat is deze factor?
Met ‘domein’ bedoelen we de setting of de sector waarin u uw AI-model inzet om u te helpen beslissingen over mensen te nemen. Dit kan van invloed zijn op de uitleg die mensen willen. Wat mensen bijvoorbeeld willen weten over AI-ondersteunde beslissingen die in het strafrechtdomein worden genomen, kan aanzienlijk verschillen van andere domeinen, zoals de gezondheidszorg.
Ook domein- of sectorspecifieke uitlegstandaarden kunnen van invloed zijn op wat mensen van een uitleg verwachten. Bijvoorbeeld, een persoon die een AI-ondersteunde hypotheekbeslissing ontvangt, zal verwachten de redenering achter de beslissing te vernemen op een manier die overeenkomt met gevestigde leennormen en praktijken.
Welke uitleg moeten we prioriteren?
De domeinfactor in aanmerking nemen is misschien wel de meest cruciale determinant van welke uitleg je moet opnemen en prioriteren wanneer je communiceert met getroffen personen. Als uw AI-systeem in een veiligheidskritische omgeving werkt, willen degenen die de beslissingen nemen uiteraard de juiste uitleg over veiligheid en prestaties. Als uw systeem echter actief is in een domein waar vooringenomenheid en discriminatie de boventoon voeren, zullen ze waarschijnlijk willen dat u een rechtvaardigheidsverklaring geeft.
In domeinen waar minder op het spel staat, zoals e-commerce, is het onwaarschijnlijk dat mensen uitgebreide uitleg willen of verwachten over de veiligheid en prestaties van de outputs van aanbevelingssystemen. Toch moet u in deze domeinen met een lagere impact de basisredenen en verantwoordelijkheidscomponenten (evenals alle andere relevante soorten uitleg) uitleggen van elk beslissysteem dat mensen beïnvloedt.
Bij toepassingen met een ‘lage’ impact, zoals productaanbevelingen en personalisering (bijvoorbeeld van reclame of inhoud), kunnen gevoeligheden ontstaan rond het richten op bepaalde demografische groepen, of het negeren van andere (bijvoorbeeld reclame voor leiderschapsfuncties gericht op mannen). Dit werpt duidelijke vragen op over billijkheid en impact op de samenleving, waardoor het belang toeneemt van verklaringen die deze kwesties behandelen.
Impactfactor
Wat is deze factor?
De ‘impact’-factor gaat over het effect dat een door AI geassisteerde beslissing kan hebben op een individu en de bredere samenleving. Verschillende niveaus van ernst en verschillende soorten impact kunnen veranderen welke uitleg mensen nuttig zullen vinden, en het doel dat de uitleg dient.
Zijn de beslissingen veiligheidskritisch, hebben ze betrekking op situaties van leven of dood (meestal in het domein van de gezondheidszorg)? Hebben de beslissingen gevolgen voor iemands vrijheid of rechtspositie? Is de impact van de beslissing minder ernstig, maar toch significant (bv. het ontzeggen van een nutsvoorziening of het richten van een politieke boodschap)? Of is de impact trivialer (bv. naar een specifiek loket geleid worden door een AI-systeem dat wachtrijen op een luchthaven sorteert)?
Welke uitleg moeten we prioriteren?
In het algemeen, wanneer een AI-ondersteunde beslissing een grote impact heeft op een individu, zijn verklaringen zoals eerlijkheid, veiligheid en prestatie, en impact vaak belangrijk, omdat individuen gerustgesteld willen worden over de veiligheid van de beslissing, erop willen vertrouwen dat ze eerlijk behandeld worden, en de gevolgen willen begrijpen.
Hoewel, de rationale en verantwoordelijkheid verklaringen kunnen even belangrijk zijn, afhankelijk van de andere contextuele factoren. Bijvoorbeeld als de kenmerken van de door het AI-model gebruikte gegevens veranderlijk zijn, of als de getrokken conclusies voor interpretatie vatbaar en betwistbaar zijn.
Het is niet eenvoudig om impact als een contextuele factor te beschouwen. Er is geen harde en snelle regel. U moet dit per geval doen, en het in combinatie met alle andere contextuele factoren bekijken. Er moet ook een brede dialoog worden gevoerd tussen de verschillende gebieden van deskundigheid die bij het ontwerp, de ontwikkeling en de invoering van het AI-systeem betrokken zijn. Het samenbrengen van verschillende teamleden, die technische, beleids-, compliance- en domeinexpertise hebben, kan een beter geïnformeerde visie op de impactfactor van een AI-model opleveren.
Gegevensfactor
Wat is deze factor?
‘Gegevens’ als contextuele factor heeft betrekking op zowel de gegevens die worden gebruikt om uw AI-model te trainen en te testen, als de invoergegevens op het punt van het besluit. Het type gegevens dat door uw AI-model wordt gebruikt, kan van invloed zijn op de bereidheid van een individu om een AI-ondersteund besluit te accepteren of te betwisten, en op de acties die zij als gevolg daarvan ondernemen.
Deze factor suggereert dat u moet nadenken over de aard van de gegevens waarop uw model wordt getraind en die het gebruikt als input voor zijn outputs wanneer het wordt ingezet. U moet overwegen of de gegevens biologisch of fysisch zijn (bijvoorbeeld biomedische gegevens die worden gebruikt voor onderzoek en diagnostiek), of dat het sociale gegevens zijn over demografische kenmerken of metingen van menselijk gedrag.
U moet ook overwegen of een individu de uitkomst van een beslissing kan veranderen. Als de factoren die in uw beslissing meegaan, factoren zijn die kunnen worden beïnvloed door veranderingen in iemands gedrag of levensstijl, is het waarschijnlijker dat individuen deze veranderingen willen aanbrengen als ze het niet eens zijn met de uitkomst.
Bijvoorbeeld, als een beslissing over een banklening is genomen op basis van de financiële activiteit van een klant, wil de klant misschien zijn bestedingsgedrag veranderen om die beslissing in de toekomst te veranderen. Dit zal van invloed zijn op het soort uitleg dat een individu wenst. Als de gegevens echter minder flexibel zijn, zoals biofysische gegevens, zal het minder waarschijnlijk zijn dat een individu het niet eens zal zijn met de output van het AI-systeem. Bijvoorbeeld in de gezondheidszorg is een output die door een AI-systeem wordt geproduceerd over een voorgestelde diagnose op basis van genetische gegevens over een patiënt meer ‘vast’ – dit is niet iets wat de patiënt gemakkelijk kan veranderen.
Welke uitleg moeten we prioriteit geven?
Het zal vaak nuttig zijn om prioriteit te geven aan de rationale uitleg, voor zowel sociale gegevens als biofysische gegevens. Wanneer sociale gegevens worden gebruikt, kunnen individuen die een ongunstige beslissing krijgen, de redenering begrijpen en daarvan leren om hun gedrag voor toekomstige beslissingen op passende wijze aan te passen. Voor biofysische gegevens kan dit mensen helpen te begrijpen waarom een beslissing over hen is genomen.
Wanneer biofysische gegevens worden gebruikt, zoals bij medische diagnoses, kunnen mensen er echter de voorkeur aan geven gewoon te weten wat de uitkomst van de beslissing voor hen betekent, en gerustgesteld te worden over de veiligheid en betrouwbaarheid van de beslissing. In deze gevallen is het zinvol prioriteit te geven aan de effect-, veiligheids- en prestatieverklaring om aan deze behoeften tegemoet te komen.
Anderzijds, wanneer de aard van de gegevens sociaal of subjectief is, is het waarschijnlijker dat personen zich zorgen maken over welke gegevens in aanmerking zijn genomen voor de beslissing, en over de geschiktheid of billijkheid daarvan bij het beïnvloeden van een AI-ondersteund besluit over hen. In deze omstandigheden zal de toelichting over gegevens en eerlijkheid helpen deze zorgen weg te nemen door mensen te vertellen wat de inputgegevens waren, waar ze vandaan kwamen, en welke maatregelen u neemt om ervoor te zorgen dat het gebruik van deze gegevens om AI-ondersteunde beslissingen te nemen niet leidt tot vooringenomenheid of discriminatie.
Dringendheidsfactor
Wat is deze factor?
De factor ‘dringendheid’ betreft het belang van het ontvangen van, of het handelen naar, de uitkomst van een AI-ondersteunde beslissing binnen een kort tijdsbestek. Wat mensen willen weten over een beslissing kan veranderen afhankelijk van hoe weinig of veel tijd ze hebben om erover na te denken.
De factor ‘urgentie’ raadt u aan om na te denken over hoe urgent de AI-beslissing is. Bedenk of een bepaalde actie vaak nodig is na het soort beslissingen dat je neemt, en hoe snel je die actie moet ondernemen.
Welke uitleg moeten we prioriteren?
Wanneer urgentie een belangrijke factor is, is het waarschijnlijker dat mensen willen weten wat de gevolgen voor hen zijn, en gerustgesteld willen worden dat het AI-model dat helpt bij het nemen van de beslissing veilig en betrouwbaar is. Daarom zijn de uitleg over de gevolgen en de uitleg over veiligheid en prestaties in deze gevallen geschikt. Deze uitleg helpt de mensen immers te begrijpen hoe de beslissing hen beïnvloedt, wat er vervolgens gebeurt en welke maatregelen en tests werden geïmplementeerd om de veiligheid en prestaties van het AI-model te maximaliseren en te controleren.
Publieksfactor
Wat is deze factor?
‘Publiek’ als contextuele factor gaat over de mensen aan wie je een AI-gesteund besluit uitlegt. De groepen mensen waarover je beslissingen neemt, en de individuen binnen die groepen hebben invloed op wat voor soort uitleg voor hen zinvol of nuttig is.
Welke mate van deskundigheid (bijvoorbeeld over AI) hebben zij over waar de beslissing over gaat? Is een breed scala van mensen onderworpen aan beslissingen die u neemt (bijv. het Britse publiek), wat erop wijst dat er ook een breed scala van kennis of deskundigheid zou kunnen zijn? Of zijn de mensen over wie u beslissingen neemt beperkt tot een kleinere subgroep (bijvoorbeeld uw werknemers), wat erop wijst dat zij wellicht beter op de hoogte zijn van de zaken waarover u beslissingen neemt? Ga ook na of de ontvangers van de beslissingen redelijke aanpassingen nodig hebben in de manier waarop zij de uitleg ontvangen (Equality Act 2010).
Als algemene regel geldt dat het een goed idee is om tegemoet te komen aan de uitlegbehoeften van de meest kwetsbare personen. U moet ervoor zorgen dat deze ontvangers van beslissingen de informatie die u hen geeft duidelijk kunnen begrijpen. Het gebruik van gewone, niet-technische taal en, waar mogelijk, visualisatiehulpmiddelen kan vaak helpen.
Merk ook op dat, terwijl we ons richten op de ontvanger van de beslissing, u waarschijnlijk ook veel vooruit zult moeten denken over hoe u andere doelgroepen van passende informatie zult voorzien over de outputs van uw AI-model. Wanneer de modellen bijvoorbeeld de besluitvorming ondersteunen, zult u de eindgebruikers of uitvoerders van die modellen een zodanige diepgang en mate van uitleg moeten verschaffen dat zij op basis van feiten kunnen redeneren op een contextgevoelige wijze en zich bewust zijn van de beperkingen van het model. Evenzo, in gevallen waarin modellen en hun resultaten worden beoordeeld door auditors, zult u informatie over deze systemen moeten verstrekken op een niveau en diepgang die geschikt is voor het doel van de betreffende beoordeling.
Welke uitleg moeten we prioriteren?
Als de mensen over wie u AI-ondersteunde beslissingen neemt waarschijnlijk enige domeinexpertise hebben, kunt u overwegen de rationale-uitleg te gebruiken. U kunt er namelijk zekerder van zijn dat zij de redenering en logica van een AI-model, of een bepaalde beslissing, kunnen begrijpen, omdat zij meer vertrouwd zijn met het onderwerp van de beslissingen. Als de mensen die aan uw AI-besluiten worden onderworpen over enige technische deskundigheid beschikken, of waarschijnlijk geïnteresseerd zijn in de technische details die aan het besluit ten grondslag liggen, zal de veiligheids- en prestatieverklaring helpen.
Aternatief, als u denkt dat de mensen waarschijnlijk geen specifieke deskundigheid of kennis zullen hebben over het onderwerp van het besluit of de technische aspecten ervan, kunnen andere uitlegtypes, zoals verantwoordelijkheid, of bepaalde aspecten van de veiligheids- en prestatieverklaring, nuttiger zijn. Op die manier kunnen mensen worden gerustgesteld over de veiligheid van het systeem, en weten zij tot wie zij zich moeten wenden met vragen over een AI-beslissing.
Natuurlijk kan ook voor mensen met weinig kennis van een gebied de motivering nog steeds nuttig zijn om in duidelijke en eenvoudige bewoordingen uit te leggen waarom een beslissing is genomen. Maar er kunnen zich ook gevallen voordoen waarin de gebruikte gegevens en de door een AI-model getrokken gevolgtrekkingen bijzonder complex zijn (zie de factor “gegevens” hierboven), en personen er de voorkeur aan geven de rationaleverklaring over te laten aan een relevante domeinexpert. De deskundige kan dan zijn eigen oordeel vellen over de geldigheid of de geschiktheid van de redenen voor de beslissing (bv. een arts in een gezondheidszorgomgeving).