Bild
Omslagsbild
Länkstig

Är AI-användning vid språkbedömningar tillräckligt tillförlitlig?

Artificiell intelligens används i allt större utsträckning för att bedöma människors språkkunskaper. En ny avhandling från Göteborgs universitet visar att automatiserad språkbedömning fortfarande har betydande brister, särskilt när resultaten kan få avgörande konsekvenser för enskilda människor.

Att kunna visa att man behärskar ett främmande språk kan vara avgörande för möjligheten att studera, arbeta eller till och med få uppehållstillstånd i ett annat land. Språktester kan därför ha stor inverkan på människors liv.

I dag använder flera organisationer som ansvarar för standardiserade språktester redan automatiserade bedömningssystem. Användningen av AI väcker dock frågor om rättvisa, transparens och tillförlitlighet.

I sin avhandling undersöker Ricardo Muñoz Sánchez hur rättvisa automatiserade språkbedömningar är, med fokus på system som bedömer texter skrivna av personer som lär sig ett främmande språk.

– När språktester kan få så stora konsekvenser för enskilda människor måste vi kunna lita på att de system som används är både tillförlitliga och rättvisa, säger Ricardo Muñoz Sánchez.

Vad bedömer egentligen AI-systemen?

Avhandlingen kombinerar forskning om språkmodeller för automatiserad klassificering av uppsatser med studier av partiskhet och rättvisa i AI-system.

Ricardo har undersökt hur väl systemen fungerar, vilka språkliga egenskaper de fokuserar på när de bedömer texter och om personlig information som studenterna skriver i sina uppsatser kan påverka resultaten.

– Jag ville inte bara undersöka hur väl systemen bedömer texter skrivna av personer som lär sig ett nytt språk, utan också vad de baserar sina bedömningar på och om information som inte ska anses vara relevant kan påverka resultatet.

Forskningen visar att systemen främst fokuserar på texternas språkliga egenskaper. Samtidigt gör de fortfarande för många fel för att kunna anses tillräckligt tillförlitliga i situationer där resultaten kan få stora konsekvenser för den enskilde.

För många fel när mycket står på spel

En av avhandlingens huvudsakliga slutsatser är att automatiserade system för bedömning av uppsatser ännu inte är tillräckligt tillförlitliga för att användas i sammanhang där resultaten kan få avgörande betydelse.

– De här systemen har potential, men de gör fortfarande för många fel. När resultatet av ett språktest kan påverka någons möjligheter att studera, arbeta eller bo i ett annat land är det ett allvarligt problem.

Resultaten visar på vikten av att kritiskt granska automatiserade bedömningssystem innan de införs i sammanhang där tillförlitlighet och rättvisa är avgörande.

Avhandlingen väcker också en bredare fråga om den ökande användningen av AI inom utbildning: under vilka förutsättningar, om några, kan automatiserad språkbedömning anses vara rättvis?

Avhandlingen finns publicerad digitalt för nedladdning:
https://hdl.handle.net/2077/93081

Kontakta Ricardo Muñoz Sánchez via e-post: ricardo.munoz.sanchez@svenska.gu.se

Text: Daniel Ruhe