Möödunud lahing · 2024-01-17 UTC
LLM Vastasseis — 17. jaanuar 2024
Kategooriast LLM. 37 märget pandud 8 võitleja kohta. ASI:One võttis krooni.
Lõppseis
Koosseis
Võitlejad
Iga selles lahingus võistelnud tööriista profiilid, järjestatud nende lõppskoori järgi.

ASI:One
Agentiline AI assistent, mis koordineerib autonoomseid agente mitmekülgsete ülesannete täitmiseks.

ASI:One on tehisintellekti assistent, mis on üles ehitatud agensi intelligentsuse kontseptsioonile, kus vestlusliides saab dispetšeerida ja koordineerida spetsialiseeritud autonoomseid agente keeruliste päringute käsitlemiseks. Ainult teksti tagastamise asemel saab see planeerida, kutsub tööriistu ja käivitada töövooge kasutaja nimel. Tehisintelligentsuse Ühenduse ökosüsteemis välja töötatud isiklikuks AI-agendiks, mis integreerub detsentraliseeritud agentide võrkudega. Kasutajad saavad temaga vestelda igapäevaste küsimuste või delegeerida pikemaid ülesandeid, nagu uurimine, võrdlused, ajakava koostamine ja andmete otsing ühendatud teenustes.
Разбивка критериев
- Vestluslik vestlusliides
- Autonoomsete agentide orkestreerimine
- Mitmistegelise ülesande planeerimine ja täitmine
- Ühenduvus väliste agentide ja teenustega
- Isikliku assistendi stiilis mälu ja kontekst
- Ehitatud ASI Alliance'i agent stacki peale

Gemini 2.0 Flash
Google'i kiire, mitmemoodiline AI mudel, mis on loodud reaalajas agentuursete ülesannete jaoks 1 miljoni tokeni kontekstiaknaga.

Gemini 2.0 Flash on Google DeepMindi järgmise põlvkonna mudel, optimeeritud kiiruse, skaleeritavuse ja mitmemoodilise mõtlemise jaoks. See võtab sisendiks teksti, pilte, heli ja videot ning suudab genereerida teksti, pilte ja heli, muutes selle sobivaks rikkalike interaktiivsete rakenduste jaoks. Kujundatud agentuursetele töövoogudele mõeldes, mudel toetab natiivset tööriistade kasutamist, funktsioonikõnesid ja 1 miljoni tokeni kontekstiakent suurte dokumentide, koodibaaside või pikaajaliste seansside käsitlemiseks. Madal latentsus teeb sellest praktilise valiku assistentide, reaalajas analüüsi ja tootmismahu juurutuste jaoks. Arendajad saavad Gemini 2.0 Flash'i kasutada Gemini API, Google AI Studio ja Vertex AI kaudu, SDK-d on saadaval peamistes programmeerimiskeeltes.
Разбивка критериев
- 1M-tokeni kontekstiakna
- Mitmemoodiline sisend: tekst, pilt, heli, video
- Natiivne tööriistade kutsumine ja koodi täitmine
- Reaalajas voogedastusega vastused
- Piltide ja heli genereerimine
- Saadaval läbi Gemini API ja Vertex AI

Mistral Small 3
Miniaturaline Mistral 3 - lihtne, abiendisopitud LLM, mis heaksaidoks konkurentside vältel suurimaid hinnaplussaid sisse allijoonistamispäringudeks.

Mistral Small 3 on kerge suurte keelemudel ettevõttelt Mistral AI, mis on loodud pakkuma tugevat arutlus- ja genereerimisvõimekust, töötades tõhusalt tagasihoidliku riistvaraga. See on suunatud arendajatele ja organisatsioonidele, kes soovivad võimekat AI-d ilma piiriäärsete mudelite infrastruktuurikulu. Avatud litsentsi all välja antud mudelit saab ise hostida, peenhäälestada ja integreerida kommertsrakendustesse. Selle kiiruse, täpsuse ja ressursitõhususe tasakaal muudab selle sobivaks vestlusabide, sisu genereerimise, koodülesannete ja kohalike juurutuste jaoks, kus latentsus või privaatsus on oluline.
Разбивка критериев
- Pikendatud Mistral LLM muutujat
- Kerib kasutikuni väistäväst kasutusele kasutusruudu käitumine
- LIEPTA SUEFINSISTIMENE ÜLIKÕHKED MISTRAL GRAPHDASTRUKSED
- Asukohtade kasutus ja igapäevaine puhkumine
- API 1.12-an kuuekümendakordne
- Pahaväike andmeportfoliomuinumine


OpenAI o3 on piirjoonte mõtlemise mudel, mis on loodud probleemide lahendamiseks, mis nõuavad hoolikat, samm-sammult mõtlemist. See tugineb o-seeria lähenemisele, mis kulutab rohkem arvutusressursse järelduste tegemisel vastuste planeerimiseks, kontrollimiseks ja täpsustamiseks, muutes selle hästi sobivaks matemaatika, kodeerimise, teaduse ja loogilise analüüsi ülesanneteks. Erinevalt üldotstarbelistest vestlusmudelitest rõhutab o3 kiiruse asemel sügavust. See suudab jaotada mitmetähenduslikke viiteid, hinnata mitmeid lähenemisviise ja toota usaldusväärsemaid väljundeid etalonidel, mis rõhutavad järelemõtlemist ja tööriistade kasutamist. Arendajad saavad seda kasutada OpenAI API ja ChatGPT kaudu, kus see integreerub selliste tööriistadega nagu veebisirvimine, Python ja failianalüüs. See mudel on suunatud teadlastele, inseneridele ja jõudkasutajatele, kes vajavad tugevamat täpsust keeruliste probleemide korral ja on valmis ohverdama mõningast latentsust ja kulu kõrgema kvaliteediga tulemuste nimel.
Разбивка критериев
- Algemes tasutusmaasikas lisandmoodulid
- Loomisega reaalajas kontrollabel tasutus kuulisten käsitlus tesis
- Dokumentatsiooni kulgmääratav funktsionaalne mängudjodu
- Kontrollabel ühendatud mängude võimaliked problémast tasutusvalgused
- Kasutajahuulingi tasutuslood ja hallatee tasutusmaad
- Oide kohta kohta osutav funktsioonid

DeepSeek R1
Avatud lähtekoodiga suur keeleline mudel, mis silmitsi seisab tõhusas põhjendamis-, matemaatika- ja kooditöödes ning mille MIT-litsents võimaldab tasuta kasutamist ja muutmist.

DeepSeek R1 on avatud lähtekoodiga suur keeleline mudel, mis silmitsi seisab põhjendamis-, matemaatika- ja kooditöödes. Mudel kasutab Mixture of Experts (MoE) arhitektuuri, millel on 37 B aktiivset parameetrit ja 671 B koguarv, toetades 128 K konteksti pikkust. Mudel sisaldab täiustatud reinforcement learning tehnoloogiaid enesetäitamise, multi-step refleksiooni ja inimikeelpõhise põhjendamise saavutamiseks. DeepSeek R1 on saavutanud tipptasemel tulemuslikkuse erinevates võistlustes, sealhulgas 97,3 % täpsus MATH-500 ülesannete puhul, 79,8 % läbimise määr AIME 2024 puhul ning ületades 96,3 % Codeforces osalejatest. Mudel on saadaval mitmesugustes variantides, mis ulatuvad 1,5 B kuni 70 B parameetrini, ning sellel on MIT-litsents, mis võimaldab tasuta kasutamist ja muutmist. DeepSeek R1 saab kasutada veebis tasuta ning WebGPU kiirendatud versioon töötab lokaalselt brauseris. Mudeli eesmärk on keerukate probleemide lahendamine, mitmekeelse mõistmise ning tootmisvalmis koodi genereerimine. Selle tugevused hõlmavad erakordset matemaatilist põhjendamist, koodi loomist ja loodusliku keele mõistmist. Kuid avatud lähtekoodiga mudelina võib nõuda tehnilist ekspertteadmisi juurutamiseks ja täpse kohandamiseks konkreetsetele kasutuskeskkondadele. DeepSeek R1 asub globaalselt kõrgepäraste AI mudelite seas, pakkudes võimeid võrreldavaks juhtivatele proprietaarsetele lahendustele. Selle avatud lähtekoodiline loomus võimaldab kogukondpõhist arendust ja pidevaid uuendusi, sealhulgas kavandatud multimodaalse toega, vestluspõhise täiustamise ja jaotatud järeldamise optimeerimise. Mudel põhineb puhasel reinforcement learning arendusel, mis võimaldab saavutada GPT‑4 tasemel matemaatilise jõudluse oluliselt madalama kuluga. Chain-of-thought visualiseerimisvõime lahendab AI “pime kast” probleemi, pakkudes ülevaadet mudeli põhjendamiskäitumisest. DeepSeek R1 API pakub OpenAI‑sõbralikku lõpp‑punkti integratsiooniks, hinnas 0,14 $ miljoni tokeni kohta. Mudeli kaalud on avatud lähtekoodiga, võimaldades kaubanduslikku kasutamist ja muutmist.
Разбивка критериев
- Mixture of Experts (MoE) arhitektuur
- Täiustatud reinforcement learning tehnoloogiad
- Enesetäitamise ja multi-step refleksiooni võimed
- Inimikeelpõhine põhjendamine
- Toetab 128 K konteksti pikkust
- OpenAI‑sõbralik API lõpp‑punkt

DeepSeek V3
Avolekoodiga spetsialistite segamudel, mis pakub GPT-4o tasemel arutlemist vaid murdeosaga.

DeepSeek V3 on DeepSeek AI poolt välja töötatud suur masti ekspertide segu (MoE) keelemudel. See aktiveerib ainult osa oma koguparameetritest märgi kohta, võimaldades tal saavutada kõrget jõudlust arutlemis-, matemaatika- ja kodeerimisülesannetes, hoides samal ajal järelduskulusid märkimisväärselt madalamal kui võrreldavad tihedad mudelid. Ava kaaludega välja antud DeepSeek V3 on muutunud populaarseks valikuks arendajate ja uurijate seas, kes vajavad võimsat põhimudelit, mida nad saavad ise hostida, peenhäälestada või API kaudu integreerida. Võrdlusnäitajad asetavad selle konkurentsivõimeliselt juhtivate patenteeritud mudelite, nagu GPT-4o, kõrvale, eriti matemaatika ja loogilise arutluse hindamisel. See mudel sobib hästi tehnilisteks assistentideks, koodi genereerimise torujuhtmeteks, uurimistöövoogudeks ja kõikideks rakendusteks, kus on oluline nii arutlus kvaliteet kui ka eelarve tõhusus.
Разбивка критериев
- Spetsialistite segamude arhitektuur
- Konkurentsivõimelised arutlemise ja matemaatika mõõdikud
- Avatud lähtekoodiga mudeli kaalud
- API juurdepääs DeepSeek platvormi kaudu
- Pikk kontekstuakna tugi
- Suunatamisele sobiv
Llama 3.3
Meta mitmekeelne avatud kaaluga LLM, mis on häälestatud tõhusaks ja kvaliteetseks tekstigeneratsiooniks.

Llama 3.3 on Meta suur keelemudel, mis on loodud pakkuma tugevat arutlus-, kodeerimis- ja mitmekeelset võimekust, olles samas varasemate lipulaevmudelitega võrreldes tõhusam. See toetab laia keelte valikut ja on sobiv vestlusabide, sisu genereerimise, kokkuvõtete tegemise ja arendajatööriistade jaoks. Avalikult välja antud kaalutud mudeliga saab seda juurutada kohapeal või suuremate pilve- ja järeldusteenuse pakkujate kaudu, andes meeskondadele paindlikkuse kulude, latentsuse ja andmetöötluse üle. Selle instruktsioonidele optimeeritud variant on optimeeritud järgima täpselt viiteid ja tootma kasulikke, vestluslikke vastuseid. Arendajad kasutavad Llama 3.3 tavaliselt alusena domeenispetsiifiliste rakenduste, andmeteotsinguga täiustatud genereerimissüsteemide ja agendi töövoogude peenhäälestamiseks.
Разбивка критериев
- Mitmekeelne tekstigeneratsioon
- Juhendatud vestlusvariant
- Pikk-konteksti tugi
- Kodeerimis- ja mõtlemisvõimalused
- Ava kaalud peenhäälestamiseks
- Ühilduvus suuremate järeldusraamistega
Pronoia
Araabia- esmane suur keelemudel, mis on peenhäälestatud loomuliku kvaliteediga mõistmiseks ja genereerimiseks.
Pronoia on suur keelemudel, mis on spetsiaalselt peenhäälestatud araabia keelele, eesmärgiga pakkuda täpsemat arusaamist, genereerimist ja järeldamist selles keeles kui üldotstarbelised mitmekeelsed mudelid. See on positsioneeritud kui juhtiv araabia-keelne LLM, optimeeritud dialektide, klassikaliste vormide ja kaasaegse standardse araabia keele jaoks. Mudelit saab kasutada ülesannete jaoks nagu sisu loomine, kokkuvõte, tõlkimine, klienditugi ja vestlus-AI araabia-keelsetes turgudes. Keskendudes araabia andmete treenimisele, sihib Pronoia nüansse nagu morfoloogia, diakriitilised märgid ja kultuuriline kontekst, mida laiemad mudelid sageli ebajärjekindlalt käsitlevad.
Разбивка критериев
- Araabia-optimeeritud keelemudel
- Teksti genereerimine ja kokkuvõte
- Tõlke tugi
- Vestlus- ja chatbot võimalused
- Sobib ettevõtte araabia NLP-ks
- Kattumine MSA ja dialektidega





