Alexander Berman: What do you base that conclusion on? Grounding explainable AI in human dialogue strategies

Bild

Respondent:
Alexander Berman, Institutionen för filosofi, lingvistik och vetenskapsteori

Avhandlingens titel:
What do you base that conclusion on? Grounding explainable AI in human dialogue strategies

Betygsnämnd:
Professor Tim Miller, The University of Queensland, Australia
Docent Isabel Sassoon, Brunel University
Professor Peter Flach, University of Bristol

Ersättare vid förfall för ledamot i betygsnämnden är:
Docent Sharid Loáiciga, Göteborgs universitet

Opponent:
Professor Nicholas Asher, Centre National de Recherche Scientifique (CNRS)

Ordförande:
Professor Nina Tahmasebi, Göteborgs universitet

Abstract

När mänskliga beslut assisteras av förutsägelser gjorda genom modeller baserade på artificiell intelligens (AI) kan det av flera skäl vara viktigt att användare har möjlighet att förstå vad sådana förutsägelser baseras på, bland annat för att kunna bedöma specifika förutsägelsers tillförlitlighet. Ett sätt att uppnå sådan förståelse är att AI-system förklarar sina bedömningar. Denna avhandling utforskar hur AI-system kan utformas för att efterlikna hur människor hanterar förklaringar i dialog.

Avhandlingens första del studerar experters förklaringar till medicinska bedömningar i kliniska miljöer utan AI-assistans samt lekmannaförklaringar i en experimentell miljö med AI-assistans. Genom tillämpning av en dialogdestilleringsmetodologi skrivs insamlade människa–människa-interaktioner om till motsvarande människa–AI-dialoger. Därigenom belyses de förmågor som ett konversationellt förklarbart AI-system behöver ha för att efterlikna mänskliga förklaringsbeteenden. Utifrån observationen att mänskliga konversationsdeltagare ofta förklarar bedömningar argumentativt (som påståenden understödda av premisser) och entymematiskt (genom att utesluta en eller flera premisser) föreslår avhandlingen en metod för att extrahera argument från generaliserade linjära modeller, en populär typ av prediktiv modell, och visar att metoden kan användas för att framställa entymematiska förklaringar som korrekt återspeglar hur modellen faktiskt resonerar. En designworkshop med ortopeder genomförs också, vilken indikerar att användare uppfattar framställda förklaringar som informativa och att de kan tolka framställda förklaringar korrekt.

I avhandlingens avslutande del modelleras observerade mänskliga dialogstrategier formellt i ett nytt ramverk för hantering av förklaringsdialog där informationstillståndsuppdateringar behandlas som linjära implikationer. Det föreslagna ramverket hanterar många av de observerade fenomenen och strategierna, såsom komplexa explanantia, inferenskedjor, framåtriktade utvidgningar samt signalering av presuppositionsbrott och avsaknad av svar. Framtida forskningsutmaningar kopplade till att efterlikna observerade mänskliga förklaringsstrategier identifieras och diskuteras också.