Eerdere strijd · 2025-01-11 UTC
AI Agent Development Frameworks Duel — 11 januari 2025
Uit de categorie AI Agent Development Frameworks. 38 markeringen geplaatst over 10 strijders. Mastra pakte de kroon.
Eindstand
De line-up
De strijders
Profielen van elke tool die in deze strijd meedeed, gerangschikt op eindscore.
Mastra
Open-source TypeScript-framework voor het bouwen van AI-agents, workflows, RAG, geheugen en MCP, met optionele cloudstudio en observabiliteit.
Mastra is een open-source TypeScript-framework voor het bouwen van AI-aangedreven applicaties en agents. Het biedt een set tools voor ontwikkelaars om van idee naar implementatie te gaan, inclusief agents, workflows, geheugen, werkruimten en observabiliteit. Mastra integreert met verschillende frontend- en backend-frameworks en kan worden ingezet als een zelfstandige server. Het stelt ontwikkelaars in staat om een reeks mogelijkheden te bouwen, zoals interne automatiseringsagents, klantgerichte agents en meer. Mastra bevat functies zoals ingebouwde observabiliteit, herhaalbare controles en cacheable hervatte streams. Het is ontworpen om snelle startups en grote wereldwijde organisaties te ondersteunen. Mastra's architectuur is gecentreerd rondom agents, die kunnen worden gedefinieerd met instructies, modellen, tools en runtimegedrag. Agents kunnen interageren met gebruikers, taken voltooien en overdragen aan productstromen. Het raamwerk bevat ook een ingebouwd eventsysteem voor events, evenals een systeem voor publiceren en abonneren op events met Redis Streams en Google Cloud Pub/Sub. Mastra heeft een breed scala aan bronnen, waaronder boeken, blogs en handleidingen. Het heeft een grote gemeenschap van gebruikers en wordt op grote schaal toegepast in verschillende industrieën.
Kritériumverdeling
- Agents
- Workflows
- Geheugen
- Werkruimtes
- Observabiliteit
- Ingebouwd eventsysteem
AI Legion
Een open-source platform voor het creëren van autonome AI-agenten die samenwerken om taken te volbrengen.
AI Legion is een open-source platform voor het creëren van autonome AI‑agenten die samenwerken om taken te volbrengen. Het maakt gebruik van grote taalmodellen, zoals GPT‑3.5‑turbo en GPT‑4, om agents in staat te stellen samen te werken en complexe doelen te bereiken. Het platform biedt een framework voor het opzetten en beheren van deze agents, inclusief configuratiebestanden, API’s en workflows. AI Legion is ontworpen om uitbreidbaar en aanpasbaar te zijn, zodat gebruikers hun eigen modellen, acties en functies kunnen creëren en integreren. Het platform is geschikt voor diverse use cases, waaronder onderzoek, ontwikkeling en implementatie van autonome AI‑systemen. Het opzetten van een AI Legion‑omgeving vereist het installeren van de benodigde afhankelijkheden, waaronder Node.js en OpenAI API‑sleutels. De agents kunnen vervolgens worden opgestart en via de console worden aangestuurd. Het platform bevat tevens functies voor het beheren van de agentstatus, waaronder de mogelijkheid om gebeurtenislogboeken te verwijderen en agents opnieuw op te starten met aangepaste configuraties. AI Legion is een krachtig hulpmiddel voor het bouwen en inzetten van autonome AI‑systemen, en de open-source aard maakt het toegankelijk voor een breed scala aan gebruikers. Echter, het vereist ook een aanzienlijke hoeveelheid technische expertise en configuratie-inspanningen om het effectief op te zetten en te gebruiken. Een belangrijk voordeel van AI Legion is de mogelijkheid om agents in staat te stellen te leren en zich te ontwikkelen over tijd, met behulp van een combinatie van machine learning en kennisgrafiektechnieken. Hierdoor kunnen de agents hun prestaties en besluitvormingscapaciteiten verbeteren naarmate ze interactie hebben met de omgeving. Echter, AI Legion kent ook verschillende uitdagingen en beperkingen, waaronder de noodzaak voor uitgebreide configuratie- en beheersinspanning, het risico op fouten van agents en oneindige loops, en de mogelijkheid van hoge token‑aantallen en API‑gebruikskosten. Daarnaast kan het gebruik van grote taalmodellen zorgen baren over vooringenomenheid en nauwkeurigheid. Wat betreft specifieke functies, bevat AI Legion ondersteuning voor web‑search, custom search engines en API’s, evenals de mogelijkheid om agentstatus te beheren en agents opnieuw op te starten met aangepaste configuraties. Het platform is ook zeer uitbreidbaar, waardoor gebruikers hun eigen modellen, acties en functies kunnen maken en integreren. Enkele mogelijke use cases voor AI Legion zijn onderzoek en ontwikkeling van autonome AI‑systemen, implementatie van AI‑gebaseerde workflows en processen, en het creëren van aangepaste AI‑aangedreven tools en applicaties. Al met al is AI Legion een krachtig en uitbreidbaar platform voor het bouwen en inzetten van autonome AI‑systemen, maar het vereist aanzienlijke technische expertise en configuratie-inspanningen om effectief te worden gebruikt.
Kritériumverdeling
- Websearch
- Aangepaste zoekmachines
- API’s en webhooks voor integratie
- Beheer van agentstatus
- Creëren van aangepaste modellen en acties
- Kennisgrafiek en machine learning mogelijkheden
AutoML-Agent
Open-source multi-agent LLM-framework dat end-to-end machine learning‑pijplijnen automatiseert.
AutoML-Agent is een open-source framework dat gebruikmaakt van gecoördineerde grote taalmodelagenten om de volledige levenscyclus van machine learning te behandelen. In plaats van te vertrouwen op één enkel model of script, delegeert het taken zoals gegevensbegrip, voorbewerking, modelschatting, training en evaluatie naar gespecialiseerde agents die samenwerken naar een gemeenschappelijk doel. Het raamwerk is gericht op onderzoekers en ontwikkelaars die experimenten willen automatiseren zonder uitgebreide pijplijncode te schrijven. Door een dataset en doel in natuurlijke taal te beschrijven, kunnen gebruikers agents laten voorstellen, bouwen en itereren op kandidaatoplossingen, waarbij resultaten en redenering onderweg worden weergegeven. Omdat het open source is, kan AutoML-Agent worden uitgebreid met aangepaste agents, tools of modelbackends, waardoor het zowel nuttig is als een praktisch AutoML-systeem als een onderzoeksomgeving voor multi-agent-workflows.
Kritériumverdeling
- Multi-agent LLM‑orchestratie
- Automatische preprocessing van data en feature‑beheer
- Modelselectie en hyperparameterzoektocht
- Generatie van training‑ en evaluatie‑pijplijnen
- Taakspecificatie in natuurlijke taal
- Uitbreidbare architectuur voor maatwerk agents
Cerebrum: AIOS SDK
Een SDK voor het ontwikkelen en inzetten van LLM-gebaseerde AI-agenten binnen het AIOS-framework.
Cerebrum is een SDK voor het ontwikkelen en inzetten van LLM-gebaseerde AI-agenten binnen het AIOS (AI Agent Operating System) framework. AIOS lost uitdagingen op zoals planning, contextwisselingen, geheugemanagement en toolbeheer voor LLM-gebaseerde agenten. De Cerebrum SDK stelt ontwikkelaars in staat agenttoepassingen te bouwen en uit te voeren door te communiceren met de AIOS-kernel. Het ondersteunt zowel Web UI als Terminal UI. De SDK bevat functies voor het opsommen van beschikbare LLM's, agenten en tools, evenals het downloaden, uploaden en uitvoeren van agenten en tools. Cerebrum is ontworpen voor agentgebruikers en ontwikkelaars, waardoor zij AI-agentapplicaties kunnen maken en implementeren.
Kritériumverdeling
- Ontwikkeling en implementatie van agenten
- Beheer van LLM-gebaseerde AI-agenten
- Ondersteuning voor Web UI en Terminal UI
- Beheer van agenten en tools
- Opsommen van beschikbare LLM's, agenten en tools
- Downloaden en uploaden van agenten en tools
Gemma 3
Een open-source AI-model geoptimaliseerd voor single-GPU prestaties, met ondersteuning voor multimodale invoer en meer dan 140 talen.
Gemma 3 is een verzameling lichtgewichtige, state-of-the-art open modellen die zijn ontworpen om op apparaten te draaien, met name geoptimaliseerd voor prestaties op één GPU. Het ondersteunt multimodale invoer en meer dan 140 talen. Het model komt in verschillende maten (1B, 4B, 12B en 27B), waardoor ontwikkelaars de beste keuze kunnen maken voor hun hardware- en prestatiebehoeften. Gemma 3 biedt geavanceerde tekst- en visuele redeneermogelijkheden, een 128k-token contextvenster en functieaanroepen voor complexe taken. Het bevat ook gekwantiseerde versies voor snellere prestaties en verminderde rekeneisen. Het model maakt deel uit van het streven van Google om nuttige AI-technologie toegankelijk te maken en bouwt voort op hetzelfde onderzoek en dezelfde technologie die hun Gemini 2.0-modellen aandrijven. Gemma 3 is ontworpen om ontwikkelaars in staat te stellen AI-toepassingen te maken die rechtstreeks op apparaten zoals telefoons, laptops en werkstations kunnen draaien. Gemma 3 levert state-of-the-art prestaties voor zijn omvang, en overtreft andere modellen zoals Llama3-405B, DeepSeek-V3 en o3-mini in voorlopige evaluaties van menselijke voorkeuren. Het maakt wereldwijde toepassingen mogelijk met out-of-the-box ondersteuning voor meer dan 35 talen en vooraf getrainde ondersteuning voor meer dan 140 talen. Het model maakt de creatie van AI-gestuurde workflows mogelijk met behulp van functie-aanroepen en gestructureerde uitvoer. De ontwikkeling van Gemma 3 omvatte rigoureuze veiligheidsprotocollen, zoals uitgebreid gegevensbeheer, afstemming op veiligheidsbeleid via fijne afstemming en robuuste benchmarkevaluaties. De Gemma-familie van open modellen heeft een significante adoptie gekend, met meer dan 100 miljoen downloads en een levendige gemeenschap die meer dan 60.000 Gemma-varianten heeft gemaakt. De mogelijkheden van Gemma 3 maken het geschikt voor ontwikkelaars die meeslepende gebruikerservaringen willen creëren die kunnen worden ondergebracht op één enkele GPU- of TPU-host.
Kritériumverdeling
- ondersteuning voor multimodale AI
- verantwoordelijkheid-gerichte ontwikkeling
- omvangrijke fine-tuning
- ondersteuning voor 140 talen
- verbeterde prestaties
MiniMax‑M1
Open-source, grootschalig redeneer model met 1 miljoen token context en hybride Mixture-of-Experts architectuur.
MiniMax-M1 is een open-weight, grootschalig hybride-attentie redeneer model. Het wordt aangedreven door een hybride Mixture-of-Experts (MoE) architectuur in combinatie met een lightning attention mechanisme, waardoor efficiënte schaalbaarheid van test-tijd computation mogelijk is. Het model ondersteunt native een contextlengte van 1 miljoen tokens en is getraind met behulp van grootschalige versterkte leren (RL) op diverse problemen. Het presteert beter dan andere sterke open-weight modellen op complexe software engineering, toolgebruik en lange context taken. Experimenten op standaard benchmarks laten zien dat MiniMax-M1 beter presteert dan andere modellen in categorietaken zoals wiskunde, codering, software engineering, agentic toolgebruik en lange-context begrip. Het model is bijzonder geschikt voor complexe taken die verwerking van lange inputs en uitgebreid nadenken vereisen. MiniMax-M1 dient als een sterke basis voor next-generation taalmodel agenten om te redeneren en echte wereld uitdagingen aan te pakken. De benchmark prestatievergelijking van toonaangevende commerciële en open-weight modellen over verschillende categorietaken benadrukt de prestaties van het model. Het technische rapport biedt meer informatie over de architectuur, trainingsprotocol en evaluatieresultaten van het model.
Kritériumverdeling
- Hybride Mixture-of-Experts (MoE) architectuur
- Lightning attention mechanisme
- Versterkte leren (RL) schaal raamwerk
- Context lengte van 1 miljoen tokens
- Efficiënte schaalbaarheid van test-tijd computation
ScreenAgent
Open-source VLM-agent om computer-GUIs te bedienen via muis/toetsenbordplanning en -uitvoering.
ScreenAgent is een open-source Visual Language Model (VLM) agent die is ontworpen om computer-GUIs te bedienen via muis- en toetsenbordbewerkingen. Het stelt interactie met echte computerschermen mogelijk door het observeren van screenshots en het uitvoeren van acties. Het project omvat een plan-uitvoer-reflectieproces dat de agent leidt om multi-stappentaken te voltooien. Het werd gemaakt om de uitdaging aan te pakken van het trainen van agents om computers te gebruiken, waarbij mogelijkheden zoals taakplanning, beeldbegrip en visuele positionering vereist zijn. De ScreenAgent-dataset, die verschillende dagelijkse computertaken dekt, werd handmatig geannoteerd om het leren van de agent te ondersteunen. Het project bestaat uit een client voor het bedienen van het bureaublad, een dataset, modelwerkers voor inferentie en trainingscode. Het ondersteunt basale muis- en toetsenbordbewerkingen en kan worden toegepast op verschillende desktopbesturingssystemen en applicaties. De aanpak van ScreenAgent is universeel en is niet afhankelijk van specifieke APIs, waardoor het veelzijdig is.
Kritériumverdeling
- Uitvoering van muis- en toetsenbordbewerkingen
- Plan-uitvoer-reflectieproces voor taakvoltooiing
- Ondersteuning voor verschillende desktopbesturingssystemen en applicaties
- Handmatige annotatie van de ScreenAgent-dataset voor diverse taakdekking
- VLM-agent voor GUI-interactie
BabyBeeAGI
Een geavanceerde versie van BabyBeeAGI met verbeterd taakbeheer en functionaliteit.
BabyBeeAGI is een experimenteel framework voor het bouwen van autonoom zelfbouwende agents. Het werd ontwikkeld als evolutie van de originele BabyAGI uit maart 2023, die taakplanning voor autonome agents introduceerde. Het framework draait rond een nieuw functioneel framework genaamd 'functionz' dat functies opslaat, beheert en uitvoert vanuit een database. Het beschikt over een grafische structuur voor het volgen van imports, afhankelijke functies en authenticatiegeheimen, met automatische lading en uitgebreide loggingmogelijkheden. Het framework bevat ook een dashboard voor het beheren van functies, het uitvoeren van updates en het bekijken van logs. Het is bedoeld om eenvoudig te zijn en discussie te stimuleren onder ontwikkelaars, niet voor productiegebruik. Het kernidee is om de eenvoudigste oplossing te bouwen die zichzelf kan bouwen, waardoor het een interessante aanpak is voor het ontwikkelen van autonome agents.
Kritériumverdeling
- Functie registratie en metadatabeheer
- Afhankelijkheidsvolger en sleutelafhankelijkheden
- Automatische laadt en logging
- Dashboard voor functiemanagement en logweergave
MCP‑Use
Open-source platform om LLMs met MCP-servers te verbinden en aangepaste AI-agenten met tooltoegang te bouwen.
mcp-use is een open-source platform dat de verbinding tussen Large Language Models (LLMs) en MCP-servers faciliteert en de ontwikkeling van aangepaste AI-agenten mogelijk maakt die met deze LLMs kunnen interageren. Het platform biedt een full-stack MCP-framework (mcp-use SDK) om ChatGPT-apps, Claude Connectors en MCP-servers te bouwen. Met mcp-use kunnen ontwikkelaars één codebase gebruiken om hun toepassingen in te zetten op verschillende platforms waar gebruikers en agents al actief zijn, waaronder ChatGPT, Claude en Gemini. Het platform biedt een reeks tools en functies, zoals de mogelijkheid om MCP-toepassingen in één opdracht te scaffolden, automatische implementatie op Manufact Cloud en ingebouwde analyses en observabiliteit. Ontwikkelaars kunnen de mcp-use SDK gebruiken om MCP-servers en -toepassingen te bouwen en te implementeren zonder dat ze extra tools nodig hebben. Het platform biedt ook een Visual Inspector en sandbox-testmogelijkheden, waardoor ontwikkelaars hun toepassingen kunnen testen zonder dat ze een live LLM nodig hebben. mcp-use heeft als doel de ontwikkeling en implementatie van MCP-gebaseerde applicaties te vereenvoudigen, waardoor het een aantrekkelijke optie wordt voor ontwikkelaars die aangepaste AI-agenten en -toepassingen willen bouwen en implementeren.
Kritériumverdeling
- MCP-serverbeheer
- LLM-verbinding en integratie
- Aangepaste AI-agentontwikkeling
- Geautomatiseerde inzet en schaalbaarheid
- Visuele inspecteur en sandbox-testen
- Ingebouwde analyse en observabiliteit
Rasa
Open-source framework voor het bouwen van productiematige chat- en stemassistenten
Rasa is een platform voor conversationele AI dat ontwikkelaars helpt bij het bouwen van contextuele chat- en spraakassistenten met volledige controle over data, modellen en implementatie. De open-source kern verzorgt natuurlijke taalbegrip en dialoogbeheer, terwijl Rasa Pro bedrijfsfuncties toevoegt zoals analyses, beveiligingscontroles en schaalbare infrastructuur. Rasa Studio biedt een low-code interface voor ontwerpers en conversatieteams om samen te werken aan trainingsgegevens, conversatiestromen en testen zonder code te hoeven schrijven. Samen ondersteunen de tools hybride teams bij het leveren van assistenten via berichtenkanalen, IVR-systemen en aangepaste toepassingen. Het wordt vaak gebruikt door bedrijven in de banksector, telecom, gezondheidszorg en overheidssector waar on-premise implementatie, naleving en maatwerk vereist zijn.
Kritériumverdeling
- Natuurlijk taal begrip engine
- Dialogue management met custom acties
- Rasa Studio low-code interface
- Stem- en multi-kanaal integraties
- Gespreksanalytics en testing tools
- Enterprise beveiliging en implementatie controle