#LLM Gateway

#1

LiteLLM

Отворено-кодово Python SDK и прокси-сервер за управление на аутентикация, заредовка и отслежване на разходи при експлоатацията на над 100 ЛЛМ чрез еднаеднастна форма на OpenAI.

#2

New API

Отворен изворен връзки към моделите на LLM, който обединява повече от един провайдър с API и маршрутизатор, както и система за счетовете и анализи.