Det talas just nu med rätta mycket om rättvisa och fördomar i algoritmer, men något som det talas mindre om är våra väldokumenterade fördomar mot algoritmer.
Algoritmer är generellt bättre än vi tror
Inom psykologi så fanns det en herre, Paul Meehl, som upprörde många redan på 1950-talet med att säga att algoritmer/formler kan bedöma bättre än människor. Han bedrev forskning som visade detta inom just klinisk psykologi, men breddade sig senare och gjorde bl.a 1996 en stor metastudie över 136 olika områden där han visar att relativt enkla statistiska datadrivna formler förutsäger mänskligt beteende bättre än experter.
Hans forskning reproducerades av ett annat team för 20 år sedan, med en metastudie som visade samma sak.
On average, mechanical-prediction techniques were about 10% more accurate than clinical predictions. Depending on the specific analysis, mechanical prediction substantially outperformed clinical prediction in 33%–47% of studies examined. […] These data indicate that mechanical predictions of human behaviors are equal or superior to clinical prediction methods for a wide range of circumstances.
Liknande studier kring modeller mot intuition har även gjorts för både strategiska och taktiska affärsbeslut.
Men vi är människo-chauvinister
Inom psykologin är detta generella algoritmövertag så erkänt att en irrationell skepsis mot algoritmiska beslut har fått ett eget namn – Algorithm Aversion.
En studie om hur vi kan fatta bättre beslut öppnar till exempel med:
Research shows that evidence-based algorithms more accurately predict the future than do human forecasters. Yet when forecasters are deciding whether to use a human forecaster or a statistical algorithm, they often choose the human forecaster.
I en studie där deltagare fick samma råd, men den ena gruppen trodde att det kom från en expert och den andra trodde att det var grundat på statistik, struntade deltagarna generellt i rådet om de trodde att det var statistiskt grundat.
I en annan studie noterade man att när man ser en algoritm göra fel så tvivlar man mycket mer på den framöver än om man ser en expert göra fel. Detta stämmer överens med mina egna erfarenheter med att ta AI-lösningar i drift.
Forskningen är full av studier med titlar som Stubborn reliance on intuition and subjectivity in employee selection och Why Do Patients Derogate Physicians Who Use a Computer-Based Diagnostic Support System? som visar forskarnas nästan bittra förvåning över vårt beteende.
Om du just nu sitter där och läser och tänker Hehe, som vanligt litar folk för mycket på sitt eget omdöme, så kan jag berätta att så känner de flesta andra också. Studierna ovan visar att så länge andra tar beslutet så tror vi generellt att de lyssnar för lite på data, men när vi själva ska ta beslut så tycker vi alltid att vi har bra anledning att frångå vad datan säger!
Samma mönster i många områden
Det är därför inte förvånande att en liknande inställning finns i affärsvärlden. Enligt en KPMG-undersökning från 2018 så ignorerar 2/3 av affärsledare insikter från data-analys och datormodeller när det motsäger deras intuition.
De senaste 30 åren har ett av mina största fritidsintressen varit att tävla i schack. Under större delen av denna tid har datorer varit klart bättre än även de bästa människorna på att spela. Trots detta, eller kanske just därför, har det varit en populär aktivitet bland schackspelare att leta fram ställningar som datorer felbedömer och sedan håna dem.
Senaste månaderna har det varit populärt att visa när bildigenkännings-algoritmer gör fel eller att skriva nyheter om när självkörande bilar gör misstag. Det verkar fylla ett psykologiskt behov att få känna oss bättre än en annan grupp. Det är naturligtvis mycket bättre att det behovet uppfylls av att håna algoritmer än människor, men faktum kvarstår. Det känns skönt att hitta fel i algoritmer. Det känns skönt att visa när vi slår dem. Denna partiskhet gör dock att vi fattar sämre beslut.
Duktiga människor
Det finns självklart fortfarande exempel där det är olämpligt att lämna över kontrollen till algoritmer.
Modeller behöver en väldefinierad uppsättning parametrar. Anledningen till att Meehls formler lyckades väl var enligt honom själv, att i psykologi så är det väldigt sällan du behöver basera din bedömning på oförutsedda parametrar. Till skillnad från i fysiologi så spelar det ingen roll för din diagnos om du råkar notera att patienten har ett gipsat ben eller ett porslinsöga.
Ju fler bedöminingskriterier som inte faller in i en väldefinierad uppsättning parametrar, desto bättre är människor. Vi har genom vår livserfarenhet skaffat oss en större mängd enkla, robusta modeller över världen och mänskligt beteende, än vilken maskin som helst. Detta gör att vi kan resonera i nya situationer. Om ditt beslut påverkas av en känsla från facktidningar eller konferenser över var världen är på väg, eller om din säljstrategi beror på faktiska samtal med en kund, så är parametrarna för mjuka för att helt och hållet lämnas över till en maskin.
Vad är då lösningen?
Givet att människor är bättre på en del grejer, men tenderar att underskatta hur bra datadrivna beslut är generellt, hur löser vi då detta? Det fina är att vi kan lösa både det objektiva problemet då modeller förstår helheten sämre än människor och det subjektiva problemet när människor underskattar algoritmer på samma sätt!
Forskningen ovan visar nämligen i tre studier att människor gärna använder algoritmer även om de inte är perfekta, så länge de själva får modifiera dem. Det verkar som att även om man bara får påverka ytterst lite så känns det ändå som att man inte släppt kontroll och deltagarna var då mycket mer benägna att lyssna på modellen och gjorde därför också bättre ifrån sig.
Lösningen är alltså att blanda in människor i utfallet.
Det bästa sättet att blanda in mänsklig kunskap i en modell är att positionera den i början och/eller slutet av processen.
I början av processen kan en mänsklig expert dela med sig av sin erfarenhet genom att ge indata eller konfidensintervall för indata till modellen. Min uppfattning är att vi kommer få ut så här mycket virke från den här skogen eller ännu hellre: Jag är 90% säker på att virket vi kommer få ut från den här skogen ligger mellan dessa två tal, så får man även med sig osäkerhet för vidare planering. Så gör vi ibland i projekt på Tenfifty.
Om automatiska processer inte agerar direkt på en modellförutsägelse utan i stället ger det som beslutsunderlag till en människa, så har vi satt in människan i slutet av processen. Människan kan bedöma rimlighet och med tiden lära sig när den går att lyssna på och inte. Så gör vi ofta i projekt på Tenfifty. Givet studierna ovan så kommer vi tendera att pilla på resultatet lite oftare än vi borde, men det är ok.
Använd en AI-leverantör som förstår både algoritmens kraft och hur människan måste vara en del av processen!
