Nya metoder inom regressionsanalys
Oskar Allerbos doktorsavhandling undersöker olika tekniker för att konstruera regressionsmodeller som kombinerar flexibilitet med tolkningsbarhet och beräkningsmässig effektivitet.
Regression är en statistisk metod med mål att uppskatta den funktion som bäst passar till observerad data. Det enklaste exemplet är linjär regression i en dimension, där man försöker hitta den linje som passar observerade punkter bäst. Den tidigaste formen av regression var minsta kvadrat-metoden, som i början av 1800-talet användes för att bestämma kroppars banor runt solen utifrån astronomiska observationer.
Regression används även för mycket mer komplicerade funktioner men principen är densamma, man vill hitta den funktion som passar datan bäst. Men ju mer komplicerad funktionen är desto svårare kan det vara att förstå vad den faktiskt innebär, det vill säga att tolkningsbarheten minskar. Komplicerade funktioner kan också vara beräkningsmässigt tunga att skatta, vilket kräver lång tid och/eller kraftfulla datorer.
Gles regularisering och regularisering genom optimering
I doktorsavhandlingen försöker Oskar kombinera flexibilitet i modellerna med tolkningsbarhet och beräkningsmässig effektivitet. Detta görs genom olika metoder, som gles regularisering, vilket innebär att mindre viktiga parametrar elimineras ur modellen. En annan metod är att ersätta explicit regularisering med iterativ optimering som avbryts före konvergens. Oskar har även tagit fram nya, effektiva metoder för intelligenta val av hyperparametrar.
– Jag har inte jobbat med några särskilda tillämpningar, men regression kan tillämpas på allting där det handlar om att observera data och försöka se mönster, alla funktioner som ”översätter” från en sak till en annan. Några olika exempel är bildigenkänning, textöversättning från ett språk till ett annat, när kreditvärdighet bedöms på grundval av inkomst eller aktivitetsarmband som uppskattar hälsostatus utifrån sensordata.
Programmering viktig del
Oskar gjorde sitt mastersarbete i fysik och hade då ingen lust att fortsätta inom akademin utan var ute i industrin några år. När han sökte doktorandtjänst blev det inom matematisk statistik, vilket han är glad för.
– Det är en blandning av lite allt möjligt. Jag har till exempel alltid testat mina teorier på data, vilket har krävt en hel del programmering. Programmerandet har hjälpt mig att både verifiera och utveckla de teoretiska delarna och, tvärt om, teorin har hjälpt mig att skriva bättre program. Man har hela tiden möjlighet att testa sina tankar.
Friheten i doktorandtjänsten och möjligheten att genomföra sina egna idéer är något som Oskar uppskattat. Han menar att doktorsavhandlingen på ett sätt är lite spretig eftersom han tittat på regression på många olika sätt. Han upplever också mycket stöd från seniora personer på institutionen som inte haft något formell roll i utbildningen men som ändå känt ansvar för doktoranderna.
Oskar ser nya forskningsuppslag i det han gjort hela tiden och skulle gärna fortsätta inom akademin, men familjeskäl gör det just nu svårt att lämna Göteborg.
Oskar Allerbo disputerar i matematisk statistik med avhandlingen Efficient training of interpretable, non-linear regression models, fredag den 22 september kl 13.15 i sal Pascal, Hörsalsvägen 1. Handledare är Rebecka Jörnsten och biträdande handledare är Johan Jonasson.