Pretekla bitka · 2024-01-17 UTC
LLM Obračun — 17. januar 2024
Iz kategorije LLM. 37 oznake postavljenih med 8 borci. ASI:One je osvojil krono.
Končna razvrstitev
Postava
Borci
Profili vsakega orodja, ki je tekmovalo v tej bitki, razvrščeni po končnem rezultatu.
ASI:One
Agentičen AI asistent, ki koordinira avtonomne agente za izpolnitev večstopinjnih nalog.
ASI:One je AI pomočnik, ki temelji na konceptu agentne inteligence, kjer pogovorni vmesnik lahko pošilja in koordinira specializirane samostojne agente za obravnavo zapletenih zahtev. Namesto da bi vrnil le besedilo, lahko načrtuje, kliče orodja in izvaja delovne tokove v imenu uporabnika. Razvito znotraj ekosistema Artificial Superintelligence Alliance je postavljeno kot osebni AI agent, ki se integrira z dezentraliziranimi omrežji agentov. Uporabniki z njim lahko vodijo pogovore o vsakodnevnih vprašanjih ali delegirajo daljše naloge, kot so raziskave, primerjave, načrtovanje in iskanje podatkov preko povezanih storitev.
Razdelitev kriterijev
- Razgovorni vmesnik za klepet
- Orkestracija avtonomnih agentov
- Načrtovanje in izvajanje večstopinjnih nalog
- Povezljivost z zunanjimi agenti in storitvami
- Zapisnik in kontekst v slogu osebnega asistenta
- Ustvarjeno na ASI Alliance agent stack
Gemini 2.0 Flash
Googleov hiter, multimodalni AI model, zasnovan za naloge v realnem času z 1M-token oknom konteksta.
Gemini 2.0 Flash je naslednje generacije model podjetja Google DeepMind, optimiziran za hitrost, obseg in multimodalno razmišljanje. Sprejema besedilo, slike, zvok in video kot vhod ter lahko generira besedilo, slike in zvočni izhod, kar ga naredi primernega za bogate interaktivne aplikacije. Oblikovan z mislijo na agentske delovne tokove, model podpira izvorno uporabo orodij, klicanje funkcij in kontekstno okno s 1M‑tokeni za obravnavo velikih dokumentov, kodebaza ali dolgoročne seje. Nizka zakasnitev ga naredi praktično izbiro za asistente, analizo v realnem času in implementacije v produkcijskem merilu. Razvijalci lahko dostopajo do Gemini 2.0 Flash prek Gemini API, Google AI Studio in Vertex AI, pri čemer so SDK‑ji na voljo v večini glavnih jezikov.
Razdelitev kriterijev
- Okno konteksta 1M-tokenov
- Multimodalni vhod: besedilo, slika, zvok, video
- Izvirno klicanje orodij in izvajanje kode
- Odgovori v realnem času s pretakanjem
- Ustvarjanje slik in zvoka
- Na voljo prek Gemini API in Vertex AI
Mistral Small 3
Kompakten open-source LLM, ki zagotavlja konkurenčne zmogljivosti pri nižjih zahtevah po računalniški moči.
Mistral Small 3 je lahkoten large language model podjetja Mistral AI, zasnovan za močne sposobnosti sklepanja in generiranja, hkrati pa učinkovito deluje na zmerni strojni opremi. Namenjen je razvijalcem in organizacijam, ki želijo zmogljivo AI brez stroškov infrastrukture, ki jih zahtevajo modeli na robu tehnološkega napredka. Izdan pod odprto licenco, je model mogoče samostojno gostovati, prilagajati in integrirati v komercialne aplikacije. Njegovo ravnovesje med hitrostjo, natančnostjo in učinkovitostjo virov ga naredi primernega za klepetalne asistente, generiranje vsebine, programske naloge ter lokalne namestitve, kjer sta zakasnitev ali zasebnost pomembni.
Razdelitev kriterijev
- Objava modela z odprtimi utežmi
- Optimizirano za učinkovito inferenco
- Konkurenčni rezultati benchmarkov
- Podpira fino nastavljanje in prilagajanje
- Primeren za on-premise namestitev
- Večjezično ustvarjanje besedila
OpenAI o3
OpenAI-jev napredni model razmišljanja za zapletene, večkorakovne rešitve problemov
OpenAI o3 je napredni model za razmišljanje, zasnovan za reševanje problemov, ki zahtevajo skrbno, korak‑po‑koraku razmišljanje. Temelji na pristopu o‑serije, pri katerem se med inferenčnim časom porabi več računalniške moči za načrtovanje, preverjanje in izpopolnjevanje odgovorov, kar ga naredi posebej primernega za naloge iz matematike, programiranja, znanosti in logične analize. V primerjavi s splošno namenjenimi klepetalnimi modeli o3 poudarja globino pred hitrostjo. Sposoben je razčleniti nejasna navodila, oceniti več pristopov in proizvesti bolj zanesljive rezultate na testih, ki poudarjajo razmišljanje in uporabo orodij. Razvijalci mu lahko dostopajo prek OpenAI API-ja in ChatGPT, kjer se integrira z orodji, kot so brskanje po spletu, Python in analiza datotek. Model je namenjen raziskovalcem, inženirjem in naprednim uporabnikom, ki potrebujejo višjo natančnost pri zahtevnih problemih in so pripravljeni sprejeti nekaj zakasnitve ter višje stroške v zameno za rezultate višje kakovosti.
Razdelitev kriterijev
- Razširjeno razmišljanje v verigi misli
- Uporaba orodij, vključno s kodnimi, spletnimi in datotečnimi vnosi
- Veliko kontekstno okno za dolge dokumente
- API in razpoložljivost ChatGPT
- Izboljšana natančnost na STEM benchmarkih
- Podpira zapletene agentne delovne tokove
DeepSeek R1
Odprtokodni veliki jezikovni model, ki izstopa pri razmišljanju, matematiki in programiranju, z licenco MIT za brezplačno uporabo in spreminjanje.
DeepSeek R1 je odprtokodni veliki jezikovni model, ki izstopa pri razmišljanju, matematiki in programiranju. Uporablja arhitekturo Mixture of Experts (MoE) s 37 B aktivnimi parametri in 671 B skupnimi parametri, podpora za 128 K dolžino konteksta. Model vključuje napredne tehnike okrepitvenega učenja, da doseže samoverifikacijo, večkorakovno refleksijo in razmišljanje usklajeno s človekom. DeepSeek R1 je dosegel state-of-the-art zmogljivost v različnih benchmarkih, vključno s 97,3 % natančnostjo na MATH‑500, 79,8 % stopnjo uspešnosti na AIME 2024 ter prehitel 96,3 % udeležencev Codeforces. Model je na voljo v več različicah, od 1,5 B do 70 B parametrov, in je licenciran pod MIT za brezplačno uporabo in spreminjanje. DeepSeek R1 lahko uporabljate brezplačno na spletu, različica, ki izkorišča WebGPU, pa lahko teče lokalno v brskalniku. Model je zasnovan za reševanje kompleksnih problemov, večjezično razumevanje in generiranje kode proizvodne kakovosti. Njegove prednosti vključujejo izjemno matematično razmišljanje, generiranje kode ter sposobnosti naravnega jezikovnega razumevanja. Vendar pa kot odprtokodni model lahko zahteva tehnično strokovnost za njegovo namestitev in fino nastavljanje za specifične primere uporabe. DeepSeek R1 se uvršča med vrhunske AI modele po vsem svetu, s sposobnostmi, ki so primerljive z vodilnimi lastniškimi rešitvami. Njegova open‑source narava omogoča razvoj, ki ga poganja skupnost, in stalne nadgradnje, vključno s načrtovano multimodalno podporo, izboljšanjem konverzacijskih zmogljivosti ter optimizacijo porazdeljene inferenčne. Model ima čisto reinforcement learning razvoj, kar mu omogoča doseganje matematične zmogljivosti na nivoju GPT-4 po precej nižjih stroških. Možnost vizualizacije chain-of-thought naslavlja izzive AI "black box" in zagotavlja vpogled v proces razmišljanja modela. DeepSeek R1-jev API ponuja OpenAI‑kompatibilno končno točko za integracijo po ceni $0.14 na milijon žetonov. Teže modela so odprtokodne, kar omogoča komercialno uporabo in spreminjanje.
Razdelitev kriterijev
- Arhitektura Mešanice strokovnjakov (MoE)
- Napredne tehnike okrepljenega učenja
- Samospreverjanje in večkorakovne refleksijske zmožnosti
- Razmišljanje usklajeno z ljudmi
- Podpora za dolžino konteksta 128 K
- API končna točka, združljiva z OpenAI
DeepSeek V3
Odprtokodni model mešanice strokovnjakov, ki ponuja razmišljanje na nivoju GPT‑4o po delčku stroškov.
DeepSeek V3 je obsežen mixture-of-experts (MoE) jezikovni model, ki ga je razvilo podjetje DeepSeek AI. Aktivira le podmnožico vseh svojih parametrov na token, kar mu omogoča močno zmogljivost pri razmišljanju, matematiki in kodiranju, hkrati pa ohranja stroške inferenciranja bistveno nižje kot pri primerljivih dense modelih. Objavljen z odprtimi utežmi, DeepSeek V3 je postal priljubljena izbira med razvijalci in raziskovalci, ki potrebujejo zmogljiv osnovni model, ki ga lahko samostojno gostijo, prilagodijo ali integrirajo prek API-ja. Benchmarki ga postavljajo v konkurenčno razmerje z vodilnimi lastniškimi modeli, kot je GPT-4o, zlasti pri ocenjevanju matematičnih in logičnih nalog. Model je dobro primeren za tehnične asistente, potek generiranja kode, delovne tokove raziskav in katerokoli aplikacijo, kjer sta pomembni kakovost sklepanja in učinkovitost proračuna.
Razdelitev kriterijev
- Arhitektura mešanice strokovnjakov
- Konkurenčni rezultati na benchmarkih za razmišljanje in matematiko
- Odprtokodni uteži modela
- API dostop prek platforme DeepSeek
- Podpora za dolgo okno konteksta
- Enostavna fina nastavitev
Llama 3.3
Metajev večjezični LLM z odprtimi težami, nastavljan za učinkovito in visokokakovostno generiranje besedila.
Llama 3.3 je velik jezikovni model od Meta, zasnovan za zagotavljanje močne logike, kodiranja in večjezičnih zmogljivosti, hkrati pa je bolj učinkovit pri izvajanju kot prejšnji flagship modeli. Podpira širok spekter jezikov in je primeren za klepetalnike, ustvarjanje vsebin, povzetke ter orodja za razvijalce. Objavljen z odprtimi težami, ga lahko nameščamo na lokalnem strežniku ali preko glavnih ponudnikov v oblaku in za inferenco, kar ekipam omogoča fleksibilnost glede stroškov, zakasnitve in upravljanja podatkov. Njena različica, nastavljena na navodila, je optimizirana za natančno izvajanje povpraševanj in ustvarjanje koristnih, pogovornih odgovorov. Razvijalci pogosto uporabljajo Llama 3.3 kot osnovo za fine-tuning domain-specific applications, retrieval-augmented generation systems in agentic workflows.
Razdelitev kriterijev
- Večjezično generiranje besedila
- Različica klepeta, usposobljena po navodilih
- Podpora dolgemu kontekstu
- Možnosti programiranja in razmišljanja
- Odprte težave za fino prilagajanje
- Združljiv z glavnimi okvirji za izvajanjem
Pronoia
Arabsko-centriran velik jezikovni model, prilagojen za razumevanje in generiranje z materni kakovostjo.
Pronoia je velik jezikovni model, posebej fino prilagojen arabščini, ki cilja na natančnejše razumevanje, generiranje in sklepanja v jeziku kot splošni večjezični modeli. Je vodilni arabsko-osredotočen LLM, ki je optimiziran za dialekte, klasične oblike in sodobni standardni arabski jezik. Model se lahko uporablja za naloge, kot so ustvarjanje vsebin, povzemanje, prevajanje, podpora strankam in pogovorna AI na trgih, ki govorijo po arabskem jeziku. Z usmeritvijo svojega usposabljanja na arabskih podatkih Pronoia zajema subtilnosti, kot so morfologija, diakritični znaki in kulturni kontekst, ki jih širši modeli pogosto obravnavajo neskladno.
Razdelitev kriterijev
- Arabsko optimiziran jezikovni model
- Generiranje besedil in povzemanje
- Podpora za prevajanje
- Možnosti pogovornega in chatbot-a
- Prilagojen za poslovno NLP v arabščini
- Pokriva sodobno standardno arabščino in dialekte