New APIOtvírací zdroj LLM gateway sjednocený s více rozhraněmi API s routingem, fakturací a analýzami

New API je open-source LLM brána, která poskytuje jednotné rozhraní pro připojení k více poskytovatelům AI modelů, včetně OpenAI, Anthropic Claude a Google Gemini-style API. Funguje jako centrální vrstva správy, která umožňuje týmům směrovat požadavky přes poskytovatele, kontrolovat přístup a sledovat využití z jednoho místa. Projekt je zaměřen na vývojáře, platformové týmy a organizace, které ve velkém měřítku využívají AI API a chtějí mít jeden jediný vstupní bod namísto toho, aby integrovaly každého poskytovatele zvlášť. Exponováním endpointů kompatibilních s OpenAI umožňuje stávajícím aplikacím a SDK pracovat s mnoha back-endy bez přepisování klientského kódu. Kromě základního proxyingu se New API zaměřuje na provozní problémy, jako jsou kvóty založené na tokenech, fakturace a správa kreditů, audit požadavků a analýza využití. Tyto funkce jej činí vhodným pro budování interních AI platforem nebo prodeji/omezování přístupu pro více uživatelů nebo týmů. Jako open-source nástroj, který lze samo-hostovat, poskytuje operátorům kontrolu nad nasazením a tokem dat, což může být důležité pro správu nákladů a soulad s předpisy. Umisťuje se do stejného prostoru jako jiné brány a agregátory API, jako jsou LiteLLM a One API, ze kterých čerpá. Stejně jako u většiny samo-hostovaných bran vyžaduje použití New API nastavení infrastruktury a průběžnou údržbu a šířka podpory poskytovatelů a stabilita závisí na příspěvcích komunity.