Tidigare batalj · 2024-01-17 UTC
LLM Uppgörelse — 17 januari 2024
Från kategorin LLM. 37 markeringar placerade över 8 kämpar. ASI:One tog kronan.
Slutställning
Uppställningen
Kämparna
Profiler av varje verktyg som tävlade i den här bataljen, rankade efter sin slutpoäng.
ASI:One
Agentisk AI-assistent som koordinerar autonoma agenter för att slutföra flerstegsuppgifter.
ASI:One är en AI‑assistent byggd kring idén om agentisk intelligens, där ett konversationsgränssnitt kan skicka och samordna specialiserade autonoma agenter för att hantera komplexa förfrågningar. Istället för att bara återge text kan den planera, anropa verktyg och köra arbetsflöden för användaren. Utvecklad inom ekosystemet för Artificial Superintelligence Alliance positioneras det som en personlig AI-agent som integreras med decentraliserade agentnätverk. Användare kan chatta med den för vardagliga frågor eller delegera längre uppgifter såsom forskning, jämförelser, schemaläggning och datauppslag över anslutna tjänster.
Radbrytning av kriterier
- Konversationell chattgränssnitt
- Orkestrering av autonoma agenter
- Planering och utförande av flerstegsuppgifter
- Anslutning till externa agenter och tjänster
- Minne och kontext i stil med personlig assistent
- Byggd på ASI Alliance agentstack
Gemini 2.0 Flash
Googles snabba, multimodal AI-modell byggd för realtidsaktiva uppgifter med en 1 miljon-token-kontextfönster.
Gemini 2.0 Flash är en modell tillverkad av Google DeepMind som är optimerad för hastighet, skalbarhet och multimodal resonemang. Den accepterar text, bilder, ljud och video som indata och kan generera text, bilder och ljud som utdata, vilket gör det lämplig för rika interaktiva applikationer. Förankrad i arbetsflöden som syftar till ett agilt arbete, stöder modellen nativ användning av verktyg, anrop för funktioner och ett kontextfönster på 1 miljontal token för hantering av stora dokument, kodbasen eller långvariga sessioner. Låg latens gör det till ett praktiskt val för assistenter, realtidsanalyser och produktionsstorskaliga distributioner. Utvecklare kan komma åt Gemini 2.0 Flash via Gemini API, Google AI Studio och Vertex AI, med SDK:er tillgängliga över viktiga språk.
Radbrytning av kriterier
- 1 miljon-token-kontextfönster
- Multimodal inmatning: text, bild, ljud, video
- Självskapad verktygsanrop och kodkörning
- Realtidsströmmiga svar
- Bild- och ljudgenerering
- Tillgängligt via Gemini-API och Vertex AI
Mistral Small 3
Kompakt öppen källkod LLM som levererar konkurrenskraftig prestanda med lägre beräkningskrav.
Mistral Small 3 är en lättvikts stor språkmodell från Mistral AI, designad för att erbjuda starka resonemangs- och generationsmöjligheter samtidigt som den körs effektivt på måttlig hårdvara. Den riktar sig till utvecklare och organisationer som vill ha kapabel AI utan de infrastrukturella kostnaderna för modeller i gränslandet. Släppt under en öppen licens, kan modellen vara självhostad, finjusterad och integrerad i kommersiella applikationer. Dess balans mellan hastighet, noggrannhet och resurs effektivitet gör den lämplig för chattassistenter, innehållsgenerering, koduppgifter och lokala distribueringar där latens eller sekretess är viktigt.
Radbrytning av kriterier
- Öppen vikttmodellsläpp
- Optimerad för effektiv inferens
- Konkurrenskraftiga riktmärkesresultat
- Stöder finjustering och anpassning
- Lämplig för lokalt tillhandahållande
- Flerspråkig textgenerering
OpenAI o3 är en banbrytande resonemangsmodell utformad för att tackla problem som kräver noggrann, steg-för-steg-tänkning. Den bygger på o-seriens tillvägagångssätt att spendera mer beräkningsresurser vid inferenstid för att planera, verifiera och förfina svar, vilket gör den väl lämpad för uppgifter inom matematik, kodning, vetenskap och logisk analys. Jämfört med allmänna chattmodeller betonar o3 djup snarare än hastighet. Den kan bryta ner tvetydiga instruktioner, utvärdera flera tillvägagångssätt och producera mer tillförlitliga resultat i riktmärken som kräver resonemang och verktyg. Utvecklare kan komma åt den via OpenAI API och ChatGPT, där den integreras med verktyg som webbsurfning, Python och filanalys. Modellen är riktad mot forskare, ingenjörer och avancerade användare som behöver högre noggrannhet för komplexa problem och är villiga att byta ut viss latens och kostnad mot högre kvalitetsresultat.
Radbrytning av kriterier
- Utökad kedja av resonemang
- Verktygshantering inklusive kod-, webb- och filinmatning
- Stor kontextfönster för långa dokument
- API- och ChatGPT-tillgänglighet
- Förbättrad noggrannhet på STEM-referensvärden
- Stöd för komplexa agentbaserade arbetsflöden
DeepSeek R1
En öppen källkod stor språkmodell som utmärker sig i resonemang, matematik och kodningsuppgifter med MIT-licens för fri användning och modifiering.
DeepSeek R1 är en öppen källkod large language model som utmärker sig i resonemang, matematik och kodningsuppgifter. Den använder en Mixture of Experts (MoE)-arkitektur med 37 miljarder aktiva parametrar och totalt 671 miljarder parametrar, och stödjer en kontextlängd på 128 K. Modellen integrerar avancerade förstärkningsinlärningstekniker för att uppnå självverifiering, flerstegsreflektion och människoorienterat resonemang. DeepSeek R1 har uppnått state-of-the-art‑prestanda i olika benchmarktester, inklusive 97,3 % noggrannhet på MATH‑500, 79,8 % godkännandefrekvens på AIME 2024 och överträffar 96,3 % av Codeforces‑deltagarna. Modellen finns i flera varianter, från 1,5 B till 70 B parametrar, och är licensierad under MIT för fri användning och modifiering. DeepSeek R1 kan användas online gratis, och en WebGPU‑accelererad version kan köras lokalt i en webbläsare. Modellen är utformad för komplex problemlösning, flerspråkig förståelse och produktionsklar kodgenerering. Dess styrkor inkluderar exceptionellt matematiskt resonemang, kodgenerering och förmåga att förstå naturligt språk. Men eftersom den är en öppen källkodsmodell kan det krävas teknisk expertis för att distribuera och finjustera den för specifika användningsområden. DeepSeek R1 är placerad bland de högpresterande AI-modellerna globalt, med kapaciteter som kan jämföras med ledande proprietära lösningar. Dess öppen‑källkodskaraktär möjliggör gemenskapsdriven utveckling och kontinuerliga uppgraderingar, inklusive planerat multimodalt stöd, förbättrad konversation och optimering av distribuerad inferens. Modellen har en ren reinforcement learning-utveckling, vilket gör att den kan uppnå GPT-4-nivåns matematiska prestanda till en avsevärt lägre kostnad. Chain-of-thought-visualiseringskapaciteten tacklar AI:s "black box"-utmaningar och ger insikter i modellens resonemangsprocess. DeepSeek R1:s API erbjuder en OpenAI‑kompatibel slutpunkt för integration, med ett pris på $0,14 per miljon token. Modellens vikter är open‑source, vilket möjliggör kommersiell användning och modifiering.
Radbrytning av kriterier
- Mixture of Experts (MoE)-arkitektur
- Avancerade förstärkningsinlärningstekniker
- Självverifierings- och flerstegsreflektionsfunktioner
- Mänskligt anpassat resonemang
- Stöd för 128K kontextlängd
- OpenAI-kompatibel API-endpoint
DeepSeek V3
Open‑source mixture‑of‑experts‑modell som erbjuder resonemang på GPT‑4o‑nivå till en bråkdel av kostnaden.
DeepSeek V3 är en storskalig mixture-of-experts (MoE) språkmodell utvecklad av DeepSeek AI. Den aktiverar bara en delmängd av sina totala parametrar per token, vilket gör att den kan leverera stark prestanda i resonemang, matematik och kodningsuppgifter samtidigt som inferenskostnaderna hålls betydligt lägre än jämförbara täta modeller. Den har släppts med öppna vikter, DeepSeek V3 har blivit ett populärt val för utvecklare och forskare som behöver en kapabel grundmodell som de kan self-hosta, finjustera eller integrera via API. Benchmarkresultat placerar den konkurrenskraftigt mot ledande proprietära modeller som GPT-4o, särskilt i matematik‑ och logisk resonemangsutvärderingar. Modellen är väl lämpad för tekniska assistenter, kodgenereringspipelines, forskningsarbetsflöden och alla applikationer där både resonemangskvalitet och budgeteffektivitet är viktiga.
Radbrytning av kriterier
- Mixture-of-experts‑arkitektur
- Konkurrenskraftiga resonemangs- och matematikbenchmarks
- Open‑source modellvikter
- API‑åtkomst via DeepSeek‑plattformen
- Stöd för långt kontextfönster
- Lämplig för finjustering
Llama 3.3
Metas flerspråkiga öppenviktiga LLM anpassad för effektiv, högkvalitativ textgenerering.
Llama 3.3 är en stor språkmodell från Meta som är utformad för att leverera stark resonemang, kodning och multilingvala funktioner samtidigt som den är mer effektiv att köra än tidigare flaggskeppmodeller. Den stöder ett brett urval av språk och lämpar sig för chatassistenter, innehållsgenerering, sammanfattning och utvecklarverktyg. Den släpps med öppna vikter och kan distribueras lokalt eller via stora moln- och inferensleverantörer, vilket ger team flexibilitet när det gäller kostnad, latens och datahantering. Dess instruktionsjusterade variant är optimerad för att följa instruktioner noggrant och producera användbara, konversationsinriktade svar. Utvecklare använder vanligtvis Llama 3.3 som bas för finjustering av domänspecifika applikationer, retrieval-augmenterade genereringssystem och agenta arbetsflöden.
Radbrytning av kriterier
- Flerspråkig textgenerering
- Instruktionsanpassad chattvariant
- Stöd för långa sammanhang
- Kodnings- och resonemangsförmåga
- Öppna vikter för finjustering
- Kompatibel med stora ramverk för inferens
Pronoia
Arabiske första stora språkmodellen fine-tunad för ursprångskvalitetsförståelse och generering.
Pronoia är en stor språkmodell specifikt justerad för arabiska, med syfte att leverera mer exakt förståelse, generation och resonemang i språket än generella mångspråkiga modeller. Den är positionerad som en ledande arabiska-fokuell LLM, med optimeringar för dialekter, klassiska former och modern standardarabiska. Modellen kan användas för uppgifter som innehållsskapande, sammanfattning, översättning, kundtjänst och konverserande AI på arabisktalade marknader. Genom att fokusera sin träning på data från arabiska når Pronoia upp till det finstämda, såsom morfologi, diakritiska tecken och kulturell kontext, som bredare modeller ofta hanterar inkonsekvent.
Radbrytning av kriterier
- Arabiske optimerad språkmodell
- Textgenerering och sammanfattning
- Översättningsstöd
- Konversationella och chattbot-kapaciteter
- Anpassad för arabiske företags NLP
- Täckning av MSA och dialekter