Minulý súboj · 2024-01-17 UTC
LLM Súboj — 17. januára 2024
Z kategórie LLM. 37 body udelených medzi 8 bojovníkov. ASI:One získal korunu.
Konečné poradie
Zostava
Bojovníci
Profily každého nástroja, ktorý súťažil v tomto súboji, zoradené podľa ich konečného skóre.
ASI:One
Agenticí AI asistent je danou pracovnou helou, ktorá špecializuje sa na agentovia obyvateľského typu, ktorú orchehuje a zaútočuje na hlúčené úlohy a úklidy:
ASI:One je umelý asistent postavený okolo konceptu agenskej inteligencie, kde konverzačné rozhranie môže odosielať a koordinovať špecializované autonómne agenty pre spracovanie zložitých požiadaviek. Namiesto vrátenia iba textu môže plánovať, volať nástroje a vykonávať pracovné postupy v mene používateľa. Vyvinuté v rámci ekosystému Artificial Superintelligence Alliance, je pozicionované ako osobný AI agent, ktorý sa integruje s decentralizovanými sieťami agentov. Používatelia s ním môžu chatovať o každodenných otázkach alebo delegovať dlhšie úlohy, ako je výskum, porovnávania, plánovanie a vyhľadávanie údajov cez pripojené služby.
Rozdelenie kritérií
- Konverzácia a hovory slabby: Kódače zvládá úlohy a výhrady
- Podpora agentov slabého typu
- Rozpoznavanie hlúčených úloh a orchestracie agentov
- Integrovanie s agentovia odpočinkového typu
- Zvládajúci slabé inštrukcia a zaúčtovanie výhrady
- Orquestrační obrázky a slabé slovenské alebo inho rekhvézia
Gemini 2.0 Flash
Rýchly, multimodálny AI model od Google, navrhnutý pre agentické úlohy v reálnom čase s kontextovým oknom 1M tokenov.
Gemini 2.0 Flash je ďalšia generácia modelu Google DeepMind optimalizovaná pre rýchlosť, rozsah a multimodálne uvažovanie. Prijíma text, obrázky, zvuk a video ako vstup a môže vygenerovať výstup vo forme textu, obrázkov a zvuku, čo ho robí vhodným pre bohaté interaktívne aplikácie. Navrhnutý s ohľadom na agenty pracovné postupy, model podporuje natívne použitie nástrojov, volanie funkcií a 1M-tokenové okno kontextu pre spracovanie veľkých dokumentov, kódových základov alebo dlhodobo prebiehajúcich session. Nízka latencia ho robí praktickou voľbou pre asistenty, analýzy v reálnom čase a nasadenia v produkčnom rozsahu. Vývojári môžu pristupovať k Gemini 2.0 Flash prostredníctvom Gemini API, Google AI Studio a Vertex AI, pričom SDK sú k dispozícii pre väčšinu hlavných jazykov.
Rozdelenie kritérií
- 1M-tokenové kontextové okno
- Multimodálny vstup: text, obrázok, audio, video
- Rovinné volanie nástrojov a vykonávanie kódu
- Reálny časový streaming odpovedí
- Generovanie obrázkov a audio
- Dostupné cez Gemini API a Vertex AI
Mistral Small 3
Kompaktný open-source LLM, ktorý poskytuje konkurencieschopný výkon s menšími požiadavkami na výpočtovú kapacitu.
Mistral Small 3 je ľahký veľký jazykový model od Mistral AI, navrhnutý tak, aby poskytoval silné možnosti uvažovania a generovania pri efektívnom spustení na skromnom hardvéri. Cieľom sú vývojári a organizácie, ktoré chcú mať schopnú AI bez nákladov na infraštruktúru, ktoré by vyžadovali modely na hranici možností. Vydaný pod otvorenou licenciou, model môže byť samostatne hosťovaný, jemne ladený a integrovaný do komerčných aplikácií. Jeho balans rýchlosti, presnosti a efektivity zdrojov ho robí vhodným pre chatbotov, generovanie obsahu, kódové úlohy a lokálne nasadenia, kde záleží na latencii alebo súkromí.
Rozdelenie kritérií
- Otvorená verzia modelu s otvorenými váhami
- Optimalizovaný pre efektívne inferovanie
- Konkurencieschopné výsledky benchmarkov
- Podporuje dolaďovanie a prispôsobenie
- Vhodný pre lokálne nasadenie
- Viacjazyčná generácia textu
OpenAI o3 je špičkový model uvažovania navrhnutý na riešenie problémov, ktoré vyžadujú starostlivé, krok za krokom myslenie. Stavia na prístupe o-série, ktorý využíva viac výpočtovej kapacity počas inferencie na plánovanie, overovanie a vylepšovanie odpovedí, čo ho robí vhodným pre úlohy v matematike, programovaní, vede a logickej analýze. Na rozdiel od všeobecných chatovacích modelov kladie o3 dôraz na hĺbku namiesto rýchlosti. Dokáže rozložiť nejednoznačné výzvy, vyhodnotiť viacero prístupov a poskytovať spoľahlivejšie výstupy na benchmarkoch, ktoré testujú uvažovanie a používanie nástrojov. Vývojári ho môžu používať cez OpenAI API a ChatGPT, kde je integrovaný s nástrojmi ako webové prehliadanie, Python a analýza súborov. Model je určený pre výskumníkov, inžinierov a pokročilých používateľov, ktorí potrebujú vyššiu presnosť pri riešení náročných úloh a sú ochotní akceptovať vyššiu latenciu a cenu výmenou za kvalitnejšie výsledky.
Rozdelenie kritérií
- Rozšírené uvažovanie v reťazci myšlienok
- Používanie nástrojov vrátane kódu, webu a vstupov zo súborov
- Veľké okno kontextu pre dlhé dokumenty
- Dostupnosť cez API a ChatGPT
- Zlepšená presnosť na STEM benchmarkoch
- Podporuje komplexné agentné pracovné toky
DeepSeek R1
Open-source veľký jazykový model excelujúci v úsudku, matematike a kódovacích úlohách s licenciou MIT pre bezplatné použitie a úpravu.
DeepSeek R1 je open-source veľký jazykový model, ktorý vyniká v úlohách uvažovania, matematiky a kódovania. Využíva architektúru Mixture of Experts (MoE) s 37B aktívnymi parametrami a 671B celkovými parametrami, podporujúc dĺžku kontextu 128K. Model využíva pokročilé techniky posilňovania učenia pre dosiahnutie samooverenia, viacstupňovej reflexie a ľudsky zosúladených schopností uvažovania. DeepSeek R1 dosiahol najmodernejší výkon v rôznych benchmarkoch, vrátane 97,3% presnosti na MATH-500, 79,8% miery úspešnosti na AIME 2024 a prekonaní 96,3% účastníkov Codeforces. Model je dostupný v niekoľkých variantoch, od 1,5B do 70B parametrov, a je licencovaný pod MIT pre bezplatné použitie a úpravy. DeepSeek R1 možno používať online zadarmo a WebGPU-urýchlená verzia môže bežať lokálne v prehliadači. Model je navrhnutý pre komplexné riešenie problémov, viacjazyčné porozumenie a generovanie kódu na produkčnej úrovni. Jeho silné stránky zahŕňajú výnimočné matematické uvažovanie, schopnosti generovania kódu a porozumenia prirodzenému jazyku. Avšak ako open-source model môže vyžadovať technické znalosti na nasadenie a dolaďovanie pre konkrétne prípady použitia. DeepSeek R1 sa umiestňuje medzi najlepšie výkonné modely umelej inteligencie na celom svete, s možnosťami porovnateľnými s poprednými proprietárnymi riešeniami. Jeho otvorený zdrojový kód umožňuje vývoj komunitou a neustále vylepšovanie, vrátane plánovanej multimodálnej podpory, konverzačného vylepšenia a optimalizácie distribuovaného odvodenia. Model má čistý vývoj založený na posilňovacom učení, čo mu umožňuje dosiahnuť výkonnosť úrovne GPT-4 v matematike za výrazne nižšie náklady. Funkcia vizualizácie reťazca myšlienok rieši výzvy AI „čiernej skrinky“ a poskytuje informácie o procese uvažovania modelu. API služby DeepSeek R1 ponúka OpenAI-kompatibilný endpoint pre integráciu, ktorý je ocenený na 0,14 dolárov za milión tokenov. Hmotnosti modelu sú open-source, čo umožňuje komerčné využitie a úpravy.
Rozdelenie kritérií
- Architektúra Mixture of Experts (MoE)
- Pokročilé techniky posilňovania učenia
- Schopnosti samo-verifikácie a viac-krokových úvah
- Ludzky zhodou zameraný úsudok
- Podpora pre 128K dĺžku kontextu
- OpenAI-kompatibilný API endpoint
DeepSeek V3
DeepSeek V3 - Open zahájanie, zvyšenie kvality obmedzenia a výhradne náročných též aplikácií.
DeepSeek V3 je rozsiahly jazykový model typu zmes expertov (MoE) vyvinutý spoločnosťou DeepSeek AI. Aktivuje len podmnožinu svojich celkových parametrov na token, čo mu umožňuje dosiahnuť vysoký výkon v úlohách uvažovania, matematiky a kódovania, zatiaľ čo náklady na inferenciu sú výrazne nižšie ako pri porovnateľných hustých modeloch. Vydaný s otvorenými váhami, DeepSeek V3 sa stal populárnou voľbou pre vývojárov a výskumníkov, ktorí potrebujú schopný základný model, ktorý môžu sami hostiť, dolaďovať alebo integrovať cez API. Benchmarky ho umiestňujú súťaživo proti popredným proprietárnym modelom ako GPT-4o, najmä pri hodnoteniach matematiky a logického uvažovania. Model je vhodný pre technických asistentov, potrubia generovania kódu, výskumné pracovné postupy a všetky aplikácie, kde záleží na kvalite uvažovania a efektivite rozpočtu.
Rozdelenie kritérií
- Architektúra Mixture-of-experts
- Konkurenčné benchmarky uvažovania a matematiky
- Open-source modelové váhy
- Prístup k API cez platformu DeepSeek
- Podpora dlhého kontextového okna
- Priateľské k jemnému ladeniu
Llama 3.3
Meta's viacjazyčný open-weight LLM optimalizovaný pre efektívnu a kvalitnú generáciu textu.
Llama 3.3 je veľký jazykový model od spoločnosti Meta, navrhnutý tak, aby poskytoval silné uvažovanie, kódovanie a viacjazyčné možnosti, pričom je efektívnejší na spustenie ako skoršie vlajkové modely. Podporuje širokú škálu jazykov a je vhodný pre chatovacie asistenty, generovanie obsahu, sumarizáciu a vývojárske nástroje. Vydané s otvorenými váhami, môže byť nasadené lokálne alebo prostredníctvom hlavných poskytovateľov cloudu a inferencie, čo dáva tímom flexibilitu nad nákladmi, latenciou a spracovaním údajov. Jeho inštrukčne ladená verzia je optimalizovaná pre presné nasledovanie výziev a vytváranie užitočných, konverzačných odpovedí. Vývojári často používajú Llama 3.3 ako základ pre dolaďovanie doménovo špecifických aplikácií, systémov generovania rozšírených vyhľadávaním a agentných pracovných postupov.
Rozdelenie kritérií
- Viacjazyčná generácia textu
- Verzia pre chat s nastavením na inštrukcie
- Podpora dlhého kontextu
- Schopnosti kódovania a logického uvažovania
- Otvorené váhy pre jemné dolaďovanie
- Kompatibilita s hlavnými rámcami inferencie
Pronoia
Arabsky orientovaný veľký jazykový model jemne doladený pre porozumenie a generovanie na úrovni rodeného hovoriaceho.
Pronoia je veľký jazykový model špecificky doladený pre arabský jazyk, zameraný na poskytovanie presnejšieho porozumenia, generovania a uvažovania v tomto jazyku ako všeobecné viacjazyčné modely. Je umiestnený ako popredný arabsko-zameraný LLM s optimalizáciami pre dialekty, klasické formy a moderný štandardný arabský jazyk. Model môže byť použitý pre úlohy ako je vytváranie obsahu, sumarizácia, preklad, zákaznícka podpora a konverzačná AI na arabsky hovoriacich trhoch. Koncentráciou svojho tréningu na arabské dáta sa Pronoia zameriava na nuansy ako je morfológia, diakritika a kultúrny kontext, ktoré širšie modely často zvládajú nekonzistentne.
Rozdelenie kritérií
- Arabsky optimalizovaný jazykový model
- Generovanie textu a sumarizácia
- Podpora prekladu
- Konverzačné a chatbotové schopnosti
- Vhodný pre podnikovú arabskú NLP
- Pokrytie MSA a dialektov