New APIOpen-source LLM gateway, ktorý zjednocuje viacero AI poskytovateľov API s routovaním, fakturáciou a analytikou

4.3 (4)

Recenzované Daniel Nikulshyn·Aktualizované jún 2026

Open Source LLM Gateway API Routing Billing Analytics Enterprise Multi-Model

Prehľad

New API je open-source LLM gateway, ktorý poskytuje jednotné rozhranie pre pripojenie k viacerým poskytovateľom AI modelov, vrátane API v štýle OpenAI, Anthropic Claude a Google Gemini. Funguje ako centrálny správny vrstva, ktorá umožňuje tímom smerovať požiadavky medzi poskytovateľmi, kontrolovať prístup a sledovať využitie z jedného miesta. Projekt je určený pre vývojárov, platformové tímy a organizácie, ktoré konzumujú AI API v rozsahu a chcú jeden gateway namiesto samostatnej integrácie každého poskytovateľa. Exponovaním OpenAI-kompatibilných endpointov umožňuje existujúcim aplikáciám a SDK pracovať s viacerými backendmi bez prepisovania klientského kódu. Okrem základného proxyingu sa New API zameriava na operačné otázky, ako sú kvóty založené na tokenoch, fakturácia a správa kreditov, auditovanie požiadaviek a analytika využitia. Tieto funkcie ho robia vhodným pre budovanie interných AI platforiem alebo pre predaj/merging prístupov k viacerým používateľom alebo tímom. Ako open-source, self-hostable nástroj poskytuje prevádzkovateľom kontrolu nad nasadením a tokom dát, čo môže byť dôležité pre riadenie nákladov a súlad. Poskytuje sa v rovnakej oblasti ako iné API gateway a agregátory ako LiteLLM a One API, z ktorých sa odvodzuje. Ako u väčšiny self-hosted gateway, prispôsobenie New API vyžaduje nastavenie infraštruktúry a neustálu údržbu, a rozsah podporovaných poskytovateľov a stabilita závisí od príspevkov komunity.

Kľúčové funkcie

Unified multi-provider API gateway
OpenAI-compatible endpoints
Request routing across model providers
Token quotas and billing management
Usage analytics and auditing

Cenník

Model: Freemium
Kategória: Platformy pre nasadzovanie AI modelov
Hodnotenie: 4.3 / 5 (4)

Prípady použitia

Unify Multi-Provider LLM Access

Route requests across OpenAI, Claude, and Gemini through a single API, simplifying integration and reducing vendor lock-in for engineering teams.

Enforce Quotas and Team Billing

Apply per-user or per-team quotas and track usage for internal chargebacks, enabling controlled LLM consumption across an organization.

Audit and Analyze LLM Usage

Capture detailed logs and analytics on LLM requests to support compliance audits, cost optimization, and performance monitoring.

Self-Hosted AI Infrastructure

Deploy an open-source gateway in-house to maintain data control while standardizing access to multiple LLM providers.

Klady a zápory

Klady

Open-source and self-hostable for full control
Unifies many AI providers behind one compatible API
Built-in quotas, billing, and usage analytics
Auditing and access management for multi-user setups

Zápory

Requires self-hosting and ongoing maintenance
Feature depth depends on community contributions
Documentation may be sparse for newcomers

Recenzie

4.3

Priemer z 4 hodnotení.

Prihlás sa, aby si napísal recenziu.

Margaret Whitfield

Aug 7, 2025

Compared a few options

Evaluated this against two competitors. Where it wins: the dashboard and the value for money is strong. Where it lags: the docs could be deeper. On balance the feature set — especially the dashboard — justifies the 4 stars for our use case.

Wei Chen

Jul 28, 2025

Use it every day

Honestly didn't expect to like it this much. The dashboard is exactly what I needed, and it saves real time. I do wish pricing gets steep at scale, but I reach for it almost every day now and it just clicks.

Jamal Carter

Jul 11, 2025

Solid for our team

We rolled this out across the team last quarter and it saves real time. The onboarding fits neatly into how we already work, and the core workflow removed a step we used to do by hand. The mobile experience lags, which is the main caveat, but it has held up under daily use.

Aaliyah Johnson

Jun 18, 2025

Compared a few options

Evaluated this against two competitors. Where it wins: the integrations and it is genuinely easy to set up. Where it lags: pricing gets steep at scale. On balance the feature set — especially the core workflow — justifies the 4 stars for our use case.

Otázky

Aké operačné schopnosti ponúka nový API mimo zvyčajnejšího API proxying?

Okrem preložovania požiadaviek na viacero providerov LLM, nové API obsahuje budítečné rozpočty, fakturáciu, auditáciu a použitie analýzy, čo ho robí vhodným pre tímy, ktoré musia manažovať, kontrolovať a riadiť centrálny spotrebu LLM.

Asked by Margaret Whitfield · May 25, 2025

Which LLM providers and API formats does New API support?

Nová API sa chová ako jediné rozhranie pre väčšinu poskytovateľov modelov LLM, vrátane OpenAI-, Claude- a Gemini-stýlových koncových bodov, vďaka tomu môžete riadiť požiadavky naprieč poskytovateľmi prostredníctvom jediného konzistentného rozhrania.

Asked by Camille Laurent · May 21, 2025

Je New API vzdialený a môže byť samozdelený?

Áno. New API je otvorený zdroják, takže ho môže zdieľať alebo hostovať sám, bez poplatkov zo strany licenčných agentúr. Používatelia majú len náklady na infrastruktúru, ktorou ho hostia a poplatky za použitie zprovdávanej línie LLM.

Asked by Devin Walker · May 13, 2025