New API열.opensource LLM 게이트웨이(Open-source LLM gateway), 다수의 AI 제공자 API를 라우팅, 지불, 분석에서 통합

4.3 (4)

리뷰어 Daniel Nikulshyn·업데이트됨 2026년 6월

Open Source LLM Gateway API Routing Billing Analytics Enterprise Multi-Model

개요

New API는 오픈 소스 LLM 게이트웨이이며, OpenAI, Anthropic Claude, Google Gemini 스타일 API와 같은 여러 AI 모델 제공사와 연결하는 일원화 된 인터페이스를 제공합니다. 팀이 제공사 간 요청을 라우팅하고 접근 제어 및 사용량 추적을 하나의 장소에서 수행 할 때의 중앙관리 계층 역할을 합니다. AI API를 대규모로 소비하는 개발자, 플랫폼 팀, 조직에게 목적을 두고 있는 프로젝트입니다. OpenAI 호환 호스트-point를 노출함으로써, 기존의 응용 프로그램 및 SDK가 여러 백엔드와 동작할 수 있도록 하며, 클라이언트 코드Rewrite 없이 작업할 수 있도록 합니다. 기본적인 프록시 기능을 벗어나 New API는 토큰 기반의 한도 제한, 청구 관리, 신용管理, 요청 감사, 사용 분석과 같은 운영 문제에 중점을 둡니다. 이러한 기능들로 인해 내부 AI 플랫폼 구축 또는 다수의 사용자 또는 팀에게 액세스 권한을 рес케일 또는 메터링하기 위한 적합한 도구로 사용될 수 있습니다. 오픈 소스 기반으로 자체 호스팅할 수 있는 이 툴은 운영자의 배포 및 데이터 흐름의 통제를 제공한다. 이는 비용 관리 및 순응성에서 중요할 수 있다. 이 툴은 LiteLLM 과 One API 와 같은 다른 API 게이트웨이 및 아그리게이터의 같은 공간에 위치하는데, 그로부터의 유산을 유발한다. 대부분의 SELF-HOSTED GATEWAY와 마찬가지로 New API를 adopting하려면 인프라 셋업 및 지속적인 유지보수가 필요하고 제공자 지원의 너비 및 안정성은社区의 기여에依종속적입니다.

주요 기능

일관된 다중 제공자 API게이트웨이
OpenAI 호환 엔드포인트
모델 제공자 간의 요청 라우팅
토큰 할당량과 지불 관리
사용 분석 및 감사

가격

모델: Freemium
카테고리: AI 모델 서빙 플랫폼
평점: 4.3 / 5 (4)

사용 사례

다중 제공자 LLM 접근 통합

OpenAI, Claude, Gemini을 통해 단일 API를 통해 요청 라우팅하고 engineering 팀의 통합 및 벤더 결제의 제한을 방지

할당량 및 팀 지불 강제

내부 청구를 위해 사용자 단위 또는 팀 단위 할당량을 적용하고 사용량 추적

LLM 사용량 감사 및 분석

LLM 요청에 대한 상세 로그 및 분석 캡처로 비용 최적화 및 성능 모니터링을 지원

자체 호스트 된 AI 기반이rastructure

열.opensource 게이트웨이 deploy하여 데이터 제어를 유지하며 단일 API에서 다수의 LLM 제공자를 표준화

장단점

장점

열.opensource이며, 최초 자체 호스트로 전체 제어
여러 AI 제공자가 일관된 API 뒤에 통합
내장 할당량, 지불 및 사용 분석
다중 사용자 환경을 위한 감사 및 접근 관리

단점

자체 호스팅 및 지속적인 유지보수가 필요
커뮤니티 공헌에 따르는 기능 깊이가 달라질 수
신규 사용자에게는 문서화가 여전히 얇을 수 있음

리뷰

4.3

4개 평가의 평균.

리뷰를 작성하려면 로그인하세요.

Margaret Whitfield

Aug 7, 2025

Compared a few options

Evaluated this against two competitors. Where it wins: the dashboard and the value for money is strong. Where it lags: the docs could be deeper. On balance the feature set — especially the dashboard — justifies the 4 stars for our use case.

Wei Chen

Jul 28, 2025

Use it every day

Honestly didn't expect to like it this much. The dashboard is exactly what I needed, and it saves real time. I do wish pricing gets steep at scale, but I reach for it almost every day now and it just clicks.

Jamal Carter

Jul 11, 2025

Solid for our team

We rolled this out across the team last quarter and it saves real time. The onboarding fits neatly into how we already work, and the core workflow removed a step we used to do by hand. The mobile experience lags, which is the main caveat, but it has held up under daily use.

Aaliyah Johnson

Jun 18, 2025

Compared a few options

Evaluated this against two competitors. Where it wins: the integrations and it is genuinely easy to set up. Where it lags: pricing gets steep at scale. On balance the feature set — especially the core workflow — justifies the 4 stars for our use case.

Q&A

What operational features does New API offer beyond basic API proxying?

Beyond routing requests to multiple LLM providers, New API includes built-in quotas, billing, auditing, and usage analytics, making it suitable for teams that need to manage, monitor, and control LLM consumption centrally.

Asked by Margaret Whitfield · May 25, 2025

Which LLM providers and API formats does New API support?

New API acts as a unified gateway for major LLM APIs, including OpenAI-, Claude-, and Gemini-style endpoints, letting you route requests across providers through a single consistent interface.

Asked by Camille Laurent · May 21, 2025

Is New API free, and can it be self-hosted?

Yes. New API is open-source, so you can self-host it without licensing fees. Your only costs are the infrastructure you run it on and the usage fees charged by the upstream LLM providers it connects to.

Asked by Devin Walker · May 13, 2025