New APIOpen-source LLM-gateway die meerdere AI-provider-API's verenigt met routing, facturering en analyse

New API is een open-source LLM-gateway dat een uniforme interface biedt voor verbinding met meerdere AI-modelproviders, waaronder OpenAI, Anthropic Claude en Google Gemini-stijl APIs. Het fungeert als een centrale beheerlaag waarmee teams verzoeken over providers kunnen routeren, toegang kunnen controleren en gebruik vanaf één locatie kunnen volgen. Het project is gericht op ontwikkelaars, platformteams en organisaties die op grote schaal AI APIs gebruiken en een enkele gateway willen hebben in plaats van elke provider afzonderlijk te integreren. Door OpenAI-compatibele eindpunten bloot te stellen, kunnen bestaande toepassingen en SDK's werken met veel backends zonder clientcode te herschrijven. Naast basisproxying richt New API zich op operationele aspecten zoals tokengebaseerde quota's, facturering en kredietbeheer, verzoekauditing en gebruiksanalyse. Deze functies maken het geschikt voor het bouwen van interne AI-platforms of voor het verkopen en meten van toegang voor meerdere gebruikers of teams. Als een open-source tool dat zelf gehost kan worden, geeft het operators controle over de implementatie en de gegevensstroom, wat belangrijk kan zijn voor kostenbeheer en naleving van regelgeving. Het positioneert zich in dezelfde ruimte als andere API-gateways en -aggregators zoals LiteLLM en One API, waar het van afgeleid is. Net als de meeste zelf-hosted gateways vereist het adopteren van New API infrastructuurinstellingen en voortdurend onderhoud, en de breedte van providerondersteuning en -stabiliteit zijn afhankelijk van bijdragen van de community.