En af de mellemstore spillere i AI-kapløbet har netop annonceret en ny AI-model, der angiveligt kan mere og yder bedre end OpenAIs GPT-4 og Googles Gemini 1.0 Ultra
Anthropic er et af de firmaer, der forsøger at gøre OpenAIs førerposition rangen stridig, og svømmer dermed i det samme kølvand som Google og en række andre, mindre firmaer. Når Anthropic anses for at være en af de mellemstore spillere på AI-markedet, handler det ikke så meget om økonomisk størrelse, men teknologisk gennemslagskraft.
Anthropics svar på ChatGPT, LLM-botten Claude, har formået at holde sig i den forreste del af feltet, til trods for at Anthropics AI-produkter ikke er bundet op på en velstående techgigant, sådan som Googles eller OpenAIs. Sidstnvnte har siden 2019 har fået penge fra Microsoft. (Anthropic har dog modtaget investeringer fra Google, men mest fra venturekapital-firmaer i Silicon Valley)
Netop OpenAIs voksende partnerskab med Microsoft var grunden til at Anthropic blev stiftet. Selvom firmaet ikke er en non-profit-organisation ligesom OpenAI, har dets ledere og stiftere en klar mission, nemlig at bruge AI til at gøre verden til et bedre sted. Det er endda skrevet ind i virksomhedens vedtægter.
Anthropic blev stiftet af Dario Almodei, der var forskningschef hos OpenAI, indtil samarbejdet med Microsoft begyndte at stride mod de gode intentioner. I 2019 investerede Microsoft en milliard dollar i OpenAI, og det fik Almodei og hans søster Daniela (der også var i toppen af OpenAI) til at forlade selskabet.
Slår GPT-4 og Gemini på en række benchmarks
De stiftede Anthropic sammen med en række andre OpenAI-folk, der var bekymrede for udviklingen i OpenAI. Og det har altså nu ledt frem til annonceringen af Claude 3, der lige nu ser ud til at have førertrøjen på, når det gælder LLM-baserede AI-chatbots.
Sådan er det i hvert fald, hvis man skal stole på de benchmarks, Anthropic selv har kørt Claude 3 igennem, som du kan se herunder. Her sammenligner de med både OpenAIs og Googles modeller, og Claude slår dem alle på benchmarks som ”Almenviden på Bachelor-niveau”, ”Folkeskole-matematik”, samt genering af kode. Du kan læse mere om detaljerne her.
Især det sidste synes Claude 3 at være bedre til end konkurrenterne. Generering af kode er en særlig vigtig kategori for tech-branchen, fordi det forventes at spare mange kodetimer (og dermed programmørjobs) væk. Her er den højstydende og dyreste af de tre nye Claude 3-modeller, Claude 3 Opus, væsentligt bedre end både GPT-4 og Googles Gemini 1.0 Ultra. Claude 3 scorer 84.9% mod henholdsvis 67.0% og 74.4%.
Matematik er ikke AI’ernes stærke side
Det er dog interessant at se, at Claude 3 stadig kun scorer 60,1% når det gælder løsning af matematik-opgaver. Og det er endda væsentligt bedre end GPT-4 og Gemini 1.0 Ultra. Man skulle tro, at lige præcis matematik ville være en nem opgave for en AI, når man nu tager i betragtning, at en computer i princippet blot er en lommeregner på nogle meget stærke steroider.
Men som undertegnede fandt ud af, da jeg bad Claude 3s forgænger tælle antallet af celler med en bestemt værdi ud af i alt 44 celler i et Excel-dokument, så har det der med tal ikke været LLM’ernes stærke side endnu. Claude 2 kunne simpelthen ikke løse denne simple opgave med et korrekt resultat. Måske kan Claude 3 gøre det bedre.
De tre niveauer, man kan bruge Claude 3 på (efter ydelsesbehov og betalingsevne) hedder Opus, Sonnet og Haiku, hvor Opus som nævnt er den kraftigste. Du kan prøve Claude 3 Haiku nu i en gratisversion her.
