AI Infrastructure & MLOps Obračun — 22. junij 2024

Foundry je razvojna platforma, osredotočena na AI agente, ki delujejo po spletu. Ponuja graditeljem infrastrukturo za načrtovanje agentov, njihovo izvajanje pri resničnih ali simuliranih brskalnih nalogah ter iteracijo njihovega vedenja s strukturiranimi ocenami. Poleg gradnje Foundry poudarja zanko usposabljanja in testiranja. Razvijalci lahko benchmarkajo delovanje agentov, zajamejo primere napak ter izpopolnijo modele ali prompty, da izboljšajo zanesljivost pri nalogah, kot so navigacija, izpolnjevanje obrazcev, izvleček podatkov in večstopenjski delovni tokovi. Orodje je namenjeno ekipam, ki razvijajo brskalniške agente proizvodne kakovosti in potrebujejo ponovljivo ocenjevanje, vidnost pri odpravljanju napak ter neprekinjeno izboljševanje, namesto enkratnih skript.

• Okolje za razvoj agentov
• Avtomatizirano testiranje brskalnih nalog
• Delovni tokovi za treniranje in fino nastavitev
• Merjenje zmogljivosti in ocenjevanje
• Razhroščevanje in pregled sledov
• Orodja za iterativno izboljševanje

operators.dev je platforma, zasnovana za poenostavitev ustvarjanja in uvajanja AI agentov. Namenjena je razvijalcem in ekipam, ki želijo hitro preiti od koncepta do delujočega agenta, ne da bi se ukvarjali z nizkonivojsko orkestracijo ali boilerplate infrastrukturno kodo. Storitev se osredotoča na poenostavitev običajnih nalog pri gradnji agentov, kot so definiranje vedenja, povezovanje orodij in podatkovnih virov ter uvajanje agentov v proizvodna okolja. Z abstrakcijo večine osnovne kompleksnosti si prizadeva, da bi razvoj agentov postal dostopen širšemu krogu razvijalcev. To naredi operators.dev uporabno možnost za prototipiranje, interno avtomatizacijo ter izdajanje proizvodno pripravljenih agentov z manjšim inženirskim naporom.

• Vmesnik za ustvarjanje agentov
• Poenostavljen postopek uvajanja
• Podpora za orodja in integracije
• Znižane zahteve po kodiranju
• Primeren za prototipiranje in produkcijo
• Delovni tok, osredotočen na razvijalce

AgentOS je razvojna platforma, zasnovana za ustvarjanje omrežij specializiranih AI agentov, ki skupaj delujejo, da izvedejo večkorakove delovne tokove. Namesto da bi se zanašali na en sam splošno namenjen model, lahko ekipe zagnajo osredotočene agente, ki vsak obravnavajo določeno vlogo in se usklajujejo preko skupnega runtime. Platforma poudarja hitrost iteracij, razvijalcem nudi orodja za določanje vedenja agentov, povezovanje z zunanjimi viri podatkov in upravljanje, kako agenti izmenjujejo informacije med seboj. Namenjena je inženirjem in produktnim ekipam, ki želijo izdelati funkcionalnosti na osnovi agentov brez gradnje infrastrukture za orkestracijo od začetka.

• Ustvarjanje specializiranih agentov
• Runtime večagentne orkestracije
• Spletna komunikacija med agenti
• Integracija z zunanjimi orodji in podatki
• Oblikovanje in upravljanje delovnih tokov
• Orodja za razvijalce

BaseAI je razvojsko usmerjen okvir za ustvarjanje brezstrežniških AI agentov, imenovanih pipe, ki jih je mogoče opremiti z pomnilnikom, orodji in dostopom do več jezikovnih modelov. Poudarja delovni tok local-first, ki razvijalcem omogoča, da neposredno iz svoje kode gradijo, preizkušajo in iterirajo nad agenti, preden jih uvedejo v uporabo. Okvir podpira generiranje z dodatkom iskanja prek vgrajenih pomnilniških primitivov, se integrira z priljubljenimi ponudniki LLM-jev in omogoča TypeScript SDK za vstavljanje agentov v spletne in strežniške aplikacije. Konfiguracija je v kodi, kar poenostavlja različiciranje in sodelovanje. BaseAI cilja na ekipe, ki želijo fleksibilnost odprtokodne strukture brez upravljanja kompleksne infrastrukture agentov, hkrati pa omogoča razširjanje funkcionalnosti z lastnimi orodji in integracijami.

• Brezstrežni cevovodi AI agentov
• Pomnilnik za RAG delovne tokove
• Podpora klicanju orodij
• TypeScript SDK
• Kompatibilnost z več modeli LLM
• Nastavitev Config-as-code

Phala je decentralizirana oblačna platforma, ki izvaja AI obremenitve znotraj zaupanja vrednih izvršilnih okolij (TEEs), s čimer razvijalcem zagotavlja preverljive zagotovila zasebnosti tako za kodo kot podatke. Omogoča ekipam, da implementirajo modele, agente in aplikacije, pri čemer ostanejo vhodi, izhodi in tehtnosti zaščiteni pred gostujočo infrastrukturo. Platforma podpira zasebno inferenco za priljubljene odprte modele, zaupne kontejnerje za prilagojene delovne obremenitve in potrdila na verigi, ki dokazujejo, da so izračuni potekali po pričakovanjih. To jo naredi primerno za občutljive primere uporabe, kot so podatki zdravstvene oskrbe, finančna analiza, samostojni agenti, ki upravljajo ključe, in AI storitve, ki zahtevajo pregledljivo zaupanje.

• Zaupna GPU in CPU izračun
• Zasebni konci za LLM izvajanje
• Oddaljena avtentikacija in generiranje dokazov
• Razporeditve delovnih nalogov na Docker
• Integracija z Web3 in agenti na verigi
• Plačilo po uporabi decentraliziranega gostovanja

Simple Phones nudi AI-vozovane glasovne agente, ki upravljajo z vhodnimi in izhodnimi poslovnimi klici. Storitev posreduje zamujene ali vse klice na po meri izdelanega AI agenta, ki lahko odgovarja na vprašanja, zajema podatke o potencialnih strankah, rezervira termine in po potrebi usmeri nujne klice na človeškega operaterja. Poslovanja nastavijo agenta tako, da opišejo svoje podjetje, storitve in najpogosteje zastavljena vprašanja, nato pa prejmejo novo telefonsko številko ali preusmerijo obstoječo. Vsak klic se beleži s prepisom, povzetkom in posnetkom, kar omogoča enostaven pregled interakcij in izboljševanje agenta sčasoma. Namenjeno je majhnim podjetjem, agencijam in ponudnikom storitev, ki se borijo z obremenitvijo telefonskih klicev.

• AI glasni agent za vhodne klice
• Prilagojena telefonska številka ali preusmerjanje klicev
• Transkripcije, posnetki in povzetki klicev
• Rezervacija terminov in zajem potencialnih strank
• Prenos na človeka in usmerjanje klicev
• Nenehna optimizacija agenta na podlagi preteklih klicev

GaiaHub AI je platforma brez kodiranja, ki uporabnikom omogoča ustvarjanje in lansiranje aplikacij, podprtih z AI, brez pisanja kode. Namenjena je podjetnikom, produktnim ekipam in netehničnim ustvarjalcem, ki želijo v kratkem času pretvoriti svoje ideje v delujoča orodja AI. Platforma združuje gradnike povleci‑in‑spusti z vnaprej konfiguriranimi AI modeli, kar omogoča uporabnikom, da oblikujejo delovne tokove, povežejo vire podatkov in objavijo aplikacije neposredno iz vmesnika. To poenostavi proces prehoda od koncepta do izvedljivega izdelka. GaiaHub AI je še posebej uporaben za hitro prototipiranje, interno avtomatizacijo in za majhne ekipe, ki morajo izdajati AI funkcije, ne da bi zaposlili specializirane razvijalce.

• Vizualni ustvarjalnik aplikacij brez kodiranja
• Vnaprej integrirani AI modeli
• Enoklikno uvajanje
• Orodja za delovne tokove in avtomatizacijo
• Konektorji za vire podatkov
• Predloge za pogoste primere uporabe