#Load Balancing

#1

LiteLLM

一个跨100+LLM（使用统一OpenAI格式）提供API、SDK和代理服务器，进行身份验证、负载均衡以及支出追踪的开源Python SDK和代理服务器。