Miniona bitwa · 2024-01-17 UTC
LLM Pojedynek — 17 stycznia 2024
Z kategorii LLM. 37 ocen oddanych na 8 zawodników. ASI:One zdobył koronę.
Klasyfikacja końcowa
Zestawienie
Zawodnicy
Profile każdego narzędzia, które rywalizowało w tej bitwie, uszeregowane według ich wyniku końcowego.
ASI:One
Agenticzny asystent AI, który koordynuje autonomiczne agenty do realizacji zadań wieloetapowych.
ASI:One to asystent AI oparty na koncepcji inteligencji agenticznej, w której interfejs konwersacyjny może wysyłać i koordynować specjalizowane, autonomiczne agenty w celu obsługi skomplikowanych zapytań. Zamiast zwracać tylko tekst, potrafi planować, wywoływać narzędzia i realizować przepływy pracy w imieniu użytkownika. Stworzony w ramach ekosystemu Artificial Superintelligence Alliance, jest pozycjonowany jako osobisty agent AI, który integruje się z zdecentralizowanymi sieciami agentów. Użytkownicy mogą rozmawiać z nim na temat codziennych pytań lub delegować dłuższe zadania, takie jak badania, porównania, planowanie i wyszukiwanie danych w połączonych usługach.
Podział kryteriów
- Interfejs czatowy konwersacyjny
- Orkiestracja autonomicznych agentów
- Planowanie i realizacja zadań wieloetapowych
- Łączność z zewnętrznymi agentami i usługami
- Pamięć i kontekst w stylu osobistego asystenta
- Zbudowany na stosie agentów ASI Alliance
Gemini 2.0 Flash
Szybki, multimodalny model AI od Google, zaprojektowany do zadań agentowych w czasie rzeczywistym z oknem kontekstowym 1 M tokenów.
Gemini 2.0 Flash to model najnowszej generacji opracowany przez Google DeepMind, zoptymalizowany pod kątem szybkości, skalowalności i multimodalnego rozumowania. Przyjmuje jako wejście tekst, obrazy, audio i wideo, a może generować tekst, obrazy oraz dźwięk, co czyni go odpowiednim do bogatych, interaktywnych aplikacji. Model został zaprojektowany z myślą o przepływach agentowych, wspiera natywne korzystanie z narzędzi, wywoływanie funkcji oraz okno kontekstowe 1 M tokenów, umożliwiając obsługę dużych dokumentów, baz kodu czy długotrwałych sesji. Niska latencja sprawia, że jest praktycznym wyborem dla asystentów, analiz w czasie rzeczywistym i wdrożeń na skalę produkcyjną. Programiści mogą uzyskać dostęp do Gemini 2.0 Flash poprzez Gemini API, Google AI Studio oraz Vertex AI, a SDK‑y są dostępne w głównych językach programowania.
Podział kryteriów
- Okno kontekstowe 1 M tokenów
- Wejście multimodalne: tekst, obraz, audio, wideo
- Natywne wywoływanie narzędzi i wykonywanie kodu
- Odpowiedzi strumieniowane w czasie rzeczywistym
- Generowanie obrazów i dźwięku
- Dostępny przez Gemini API oraz Vertex AI
Mistral Small 3
Kompaktowy, otwarty model LLM zapewniający konkurencyjną wydajność przy niższych wymaganiach obliczeniowych.
Mistral Small 3 to lekki dużych model języka naturalnego od Mistral AI, zaprojektowany do oferowania silnych zdolności racjonalizacji i generacji przy szybkości działania na średniopodstawowej aparaturze. Docelowo skierowany jest on do deweloperów i organizacji, które chciałyby dysponować skutecznymi AI bez ponoszenia kosztów infrastruktury modełów skalowych. Został wydany pod otwartą licencją, model można samodzielnie hostować, dopasać i włączyć do komercyjnych aplikacji. Jego balans szybkości, dokładności oraz efektywności w zakresie używanych zasobów czyni go odpowiednim do chatbotów, generacji treści, zadań kodowych oraz wdrożeń lokalnych gdzie istotna jest opóźnienie lub prywatność.
Podział kryteriów
- Wydanie modelu z otwartą wagą
- Zoptymalizowany dla efektywnej inferencji
- Konkurencyjne wyniki w benchmarkach
- Obsługuje dostrajanie i personalizację
- Odpowiedni do wdrożenia lokalnego
- Wielojęzyczne generowanie tekstu
OpenAI o3
Zaawansowany model rozumowania OpenAI dla rozwiązywania złożonych problemów wymagających wielu kroków
OpenAI o3 to model rozumowania nowej generacji, zaprojektowany do rozwiązywania problemów wymagających ostrożnego, krok po kroku myślenia. Opiera się na podejściu serii o, polegającym na zwiększonym wykorzystaniu obliczeń w czasie wnioskowania w celu planowania, weryfikacji i udoskonalania odpowiedzi, co sprawia, że jest dobrze dostosowany do zadań w matematyce, kodowaniu, nauce i analizie logicznej. W porównaniu z ogólnymi modelami czatowymi, o3 kładzie nacisk na głębokość ponad prędkość. Może rozłożyć niejasne podpowiedzi, ocenić wiele podejść i wyprodukować bardziej niezawodne dane wyjściowe w przypadku benchmarków, które sprawdzają rozumowanie i użycie narzędzi. Deweloperzy mogą uzyskać do niego dostęp za pośrednictwem OpenAI API i ChatGPT, gdzie integruje się z narzędziami takimi jak przeglądanie sieci, Python i analiza plików. Model jest skierowany do badaczy, inżynierów i zaawansowanych użytkowników, którzy potrzebują silniejszej dokładności w przypadku trudnych problemów i są gotowi zapłacić za wyniki wyższej jakości nieco wyższą cenę i opóźnienie.
Podział kryteriów
- Rozszerzone rozumowanie łańcuchowe
- Użycie narzędzi, w tym kodu, sieci i danych wejściowych plików
- Duże okno kontekstowe dla długich dokumentów
- Dostępność API i ChatGPT
- Poprawiona dokładność w przypadku benchmarków STEM
- Obsługuje złożone przepływy pracy agentyczne
DeepSeek R1
Otwartoźródłowy model językowy dużej skali, wyróżniający się w zadaniach rozumowania, matematyki i programowania, z licencją MIT umożliwiającą darmowe użycie i modyfikację.
DeepSeek R1 to otwartoźródłowy model językowy dużej skali, który wyróżnia się w zadaniach rozumowania, matematyki i programowania. Wykorzystuje architekturę Mixture of Experts (MoE) z 37B aktywnymi parametrami i 671B łączną liczbą parametrów, obsługując długość kontekstu 128K. Model zawiera zaawansowane techniki uczenia przez wzmocnienie, które umożliwiają samoweryfikację, wielostopniową refleksję i rozumowanie zgodne z ludźmi. DeepSeek R1 osiągnął stan sztuki w wielu benchmarkach, w tym 97,3% dokładności na MATH-500, 79,8% wskaźnika przejścia w AIME 2024 oraz przewyższenie 96,3% uczestników Codeforces. Model dostępny jest w wielu wariantach, od 1,5B do 70B parametrów, i licencjonowany jest pod MIT, co umożliwia darmowe użycie i modyfikację. DeepSeek R1 można używać online za darmo, a wersja z akceleracją WebGPU może działać lokalnie w przeglądarce. Model jest zaprojektowany do rozwiązywania skomplikowanych problemów, rozumienia wielojęzycznego oraz generowania kodu na poziomie produkcyjnym. Jego mocne strony obejmują wyjątkowe rozumowanie matematyczne, generowanie kodu i zrozumienie języka naturalnego. Jednak jako otwartoźródłowy model, może wymagać wiedzy technicznej do wdrożenia i dostosowania do konkretnych zastosowań. DeepSeek R1 plasuje się wśród najwyżej wydajnych modeli AI na świecie, z możliwościami porównywalnymi do wiodących rozwiązań własnościowych. Jego otwartoźródłowy charakter pozwala na rozwój wspierany przez społeczność i ciągłe ulepszenia, w tym planowane wsparcie multimodalne, ulepszenia konwersacyjne i optymalizację rozproszonego inference. Model ma czysty rozwój oparte na uczeniu przez wzmocnienie, co pozwala mu osiągnąć poziom wydajności GPT-4 w matematyce przy znacznie niższym koszcie. Możliwość wizualizacji łańcucha myślenia rozwiązuje wyzwania „czarnej skrzynki” AI, zapewniając wgląd w proces rozumowania modelu. API DeepSeek R1 oferuje endpoint kompatybilny z OpenAI do integracji, cenę 0,14 USD za milion tokenów. Wagi modelu są otwartoźródłowe, co umożliwia komercyjne użycie i modyfikację.
Podział kryteriów
- Architektura Mixture of Experts (MoE)
- Zaawansowane techniki uczenia przez wzmocnienie
- Możliwości samoweryfikacji i wielostopniowej refleksji
- Rozumowanie zgodne z ludźmi
- Obsługa długości kontekstu 128K
- Endpoint API kompatybilny z OpenAI
DeepSeek V3
Model Mixture-of-Experts o otwartym kodzie, oferujący rozumowanie na poziomie GPT‑4o przy ułamek kosztów.
DeepSeek V3 jest dużym modelu językowym mieszcowej ekspertów (MoE), rozwijanym przez DeepSeek AI. Wywołuje tylko podzbiór swoich parametrów wirtualnych na token, pozwalając mu dostarczyć doskonałą wydajność w trosce racjonalnej, matematycznej i programistycznej zadań, przy tym znacznie zmniejszając koszty zapisywania wejścia w porównaniu do przyjazdnych gęstych modeli. DeepSeek V3 została wpuszczona z otwartymi wagami i stała się powszechną wyborem dla deweloperów i badaczy, którzy potrzebują zdolnego modelu podstawowego, który mogą samodzielnie hostować, dopasowywać lub integrować za pośrednictwem API. Porównania wskazują na konkurencyjne występowanie wobec liderów na rynku modeli własnościowych jak GPT-4o, zwłaszcza w przypadku oceny rozwiązań matematycznych i logicznego myślenia. Model jest idealnie zaprojektowany dla technicznych asystentów, pipeliń kod-generujących, przepływów rozwojowych i każdej aplikacji, gdzie jakość argumentacji i oszczędność kosztowa są obie w równym stopniu istotne.
Podział kryteriów
- Architektura Mixture-of-Experts
- Konkurencyjne wyniki w zadaniach logicznego rozumowania i matematyki
- Otwarte wagi modelu
- Dostęp API przez platformę DeepSeek
- Obsługa długiego kontekstu
- Przyjazny do fine-tuning
Llama 3.3
Wielojęzyczny model LLM o otwartych wagach Meta, dostosowany do efektywnej i wysokiej jakości generacji tekstu.
Llama 3.3 to duży model językowy stworzony przez Meta, zaprojektowany do dostarczenia silnych umiejętności rozumowania, programowania i obsługi wielu języków, przy jednoczesnym minimalizowaniu wydajności w porównaniu z wcześniejszymi flagowymi modelami.Obsługuje szeroki wachlarz języków i jest przydatny dla asystentów chatów, generatorów treści, podsumowywania i narzędzi dla developerów. Podanym otwarty wiek wieczysty, może być wdrożony na miejscu lub za pośrednictwem głównych dostawców chmur i dostarczających wyników, nadając zespołom elastyczność w zakresie kosztów, opóźnień i obsługi danych. Jego odmiana zaprojektowana w oparciu o instrukcje jest zoptymalizowana dla wiernego wykonania poleceń i wydawania pomocnych, konwersacyjnych odpowiedzi. Rozwijacze często wykorzystują Llama 3.3 jako bazę do dokładnego dopasowania aplikacji o ograniczonym zasięgu, systemów generowania wzbogaconego o pobieranie oraz wdrażanych aktywności.
Podział kryteriów
- Wielojęzyczna generacja tekstu
- Wariant czatu dostrojony do instrukcji
- Obsługa długiego kontekstu
- Możliwości kodowania i rozumowania
- Otwarte wagi do dostrojenia
- Zgodność z głównymi frameworkami inferencyjnymi
Pronoia
Model językowy zorientowany na arabski, finetunowany pod kątem natywnie jakościowego rozumienia i generowania.
Pronoia jest to duża model języka specjalnie doświadczony w języku arabskim, z założeniem dostarczania bardziej dokładnej kompetencji, generowania i logicznego myślenia języka niż ogólnego, wielojęzycznego modelu. Jest to kluczowa arabistyka LLM, z optymalizacjami dla dialektów, klasycznych postaci, a także współczesnego standardu arabskiego. Model może być używany do zadań takich jak tworzenie zawartości, syntetyczne podsumowania, tłumaczenie, obsługa klienta oraz rozmowy AI w krajach, w których posługują się językiem arabskim. Koncentrując się podczas szkolenia na danych związanych z językiem arabskim, Pronoia docenia wewnętrzne aspekty, takie jak morfologia, diakrytyki oraz kontekst kulturowy, które bardziej ogólne modeli obsługują nierównomiernie.
Podział kryteriów
- Model językowy zoptymalizowany pod arabski
- Generowanie tekstu i podsumowanie
- Wsparcie tłumaczeń
- Funkcje konwersacyjne i chatbotowe
- Przystosowany do przedsiębiorstwowego NLP arabskojęzycznego
- Pokrycie MSA i dialektów