Det har väl inte gått någon förbi att i år har varit de stora språkmodellernas år. Givet att OpenAI hittills har varit så dominanta med ChatGPT så är det värt att ställa sig frågan hur långt före de ligger i början på det nya året 2024. Utvärderingen av språkmodeller är komplex, med flera etablerade benchmarks som används av utvecklarna. Benchmarks leder till dock till två huvudproblem: för det första risken för att modellerna anpassas, medvetet eller omedvetet, för att prestera väl på dessa specifika benchmarks. För det andra finns det en risk för datakontaminering, där testfrågorna oavsiktligt kan bli en del av träningsdata, vilket leder till att modellerna i viss mån ”får se provet i förväg”.

Hösten 2023 har svept in med en sval bris av förväntan inom AI-världen, och vi befinner oss mitt i en tid av oändliga möjligheter och banbrytande innovationer. I en tid då artificiell intelligens ständigt förändras och utvecklas är det en ära att få sitta ned med David Fendrich, vår Teknikchef på Tenfifty. Tillsammans kommer vi att utforska de mest framträdande trenderna inom AI, ta del av de strategiska initiativen som formar framtiden för AI-innovation, utforska de etiska och regleringsmässiga utmaningarna, och få en närmare titt på de tekniska framsteg som sker inom AI-forskning. Höstens kyla kan inte kyla ner vår entusiasm för vad som är på gång i denna spännande era. Låt oss dyka rakt in i intervjun och höra vad David Fendrich har att säga.

Sverige behöver entreprenörer som förstår vart tekniken är på väg. Vi behöver också en affärsvärld och ett samhälle som är redo för förändring. Tekniken ligger redan långt före de produkter och tjänster de möjliggör och försprånget bara ökar.

AI och maskininlärning handlar ju egentligen om intelligens och bland annat om hur man ska agera givet sina tankar om hur världen fungerar. Det finns därför en hel del generell kunskap från mitt favoritområde, som faktiskt bär över till vardagen.

Vem är egentligen bäst i världen på AI? Detta frågade min dotter en kväll för att slippa läggdags. AI är naturligtvis ett forsknings- och tillämpningsområde och inte en väldefinierad tävling, men jag tror och tycker även vuxna borde vara intresserade av denna fråga. Det är viktigt för att veta vem man ska lära sig av, var man kan se fronten av vad som är möjligt inom olika områden just nu och för att få saker pressar en disciplin till sitt yttersta lika mycket som en tävling.

En transformer-modell är, förenklat, en modell där en hel sekvens (upp till en viss maxlängd) skickas in parallellt, tillsammans med vilken position i sekvensen som varje element har. Detta gör bland annat att nätverket själv kan lära sig hur olika positioner är relaterade och det går att beräkna parallellt. Så är det ofta i praktiken, det är inte de vackraste matematiska modellerna som vinner, utan de som vinner hårdvarulotteriet, alltså att de råkar gå att implementera snabbt på den hårdvara som råkar finnas tillgänglig till ett överkomligt pris.