New APIGateway de LLM de código aberto unificando APIs de vários fornecedores de IA com roteamento, cobrança e análises

A nova API é uma solução de código aberto de gateway de LLM que fornece uma interface unificada para conectar-se a vários provedores de modelo de Inteligência Artificial, incluindo OpenAI, Anthropic Claude e APIs estilo Gemini do Google. Ela age como camada de gerenciamento central que permite que as equipes direcionem solicitações em diferentes provadores, controlam o acesso e rastreiam o uso de um lugar só. O projeto se destina a desenvolvedores, times de plataforma e organizações que consomem APIs de IA em larga escala e desejam uma única gateway em vez de integrar cada provedor separadamente. Ao expor pontos finais compatíveis com o OpenAI, ele permite que aplicações existentes e bibliotecas de desenvolvimento (SDKs) funcionem com muitos servidores de fundo sem reescrever o código do cliente. Além de uma simples proxyagem, a New API se concentra em preocupações operacionais, como limites baseados em tokens, gestão de faturamento e créditos, auditoria de solicitações e análise de uso. Essas características a tornam adequada para a construção de plataformas de AI internas ou para vender e medir o acesso a vários usuários ou equipes. Como ferramenta de código aberto e auto-hospedável, ela dá controle aos operadores sobre a implantação e o fluxo de dados, o que pode ser importante para a gestão de custos e conformidade. Ela se posiciona no mesmo espaço dos outros gateways e agregadores de API, como LiteLLM e One API, de onde ela deriva. Assim como a maioria das gateways autopilotadas, a adoção do New API requer configuração de infraestrutura e manutenção contínua, e a amplitude do suporte dos provedores e a estabilidade dependem das contribuições da comunidade.