Manifest실시간 비용 관찰성과 AI 에이전트 및 애플리케이션용 라우팅을 통해 Multi-provider LLM 추론 최적화 지원

_manifest는 Open-Source 오픈 플랫폼으로 사용자들이 AI 지연 비용 관리 및 최적화를 도와주는 라우팅 계층을 통해 AI 에이젠타 또는 애플리케이션과 다양한 대형 언어 모델(Large Language Model, LLM) 제공업체와의 연결 매개체를 제공합니다. AI 청구의 높은 비용과 다수의 LLM 서비스 효율적인 사용의 복잡성을 해결한다고 함은 사용자들이 모델 소비 및 비용을 제어하는 것으로 나타납니다._ 이 도구는 사용자가 Manifest에 자율적 액태자, 응용 프로그램 또는 세 번째 주체의 가едж로 연결할 수 있도록 해 주며, 그 다음에는 OpenAI, Anthropic, Mistral과 같은 API 키 기반 서비스, 기존의 월간 구독 (예: Anthropic, GitHub Copilot), 비트 암 OpenAI- 또는 Anthropic 호환 엔드 포인트,또는 Ollama, LM 스튜디오, llama.cpp를 사용하여 개인 인프라상에서 실행하는 로컬모델 등에 대한 사용자 선호하는 LLM 공급자도 추가할 수 있습니다. 만든 후 Manifest는 사용자가 라우팅 규칙을 정의할 수 있고, 다른 질의를 위해 특정 모델 및 제공자를 선택하고, 기본값 설정이 가능합니다. 이로 인하여 사용자는 비용, 성능 또는 가용성에 따라 동적 모델 선택이 가능합니다. 예를 들어 사용자에게 정해진 할인 쿼타 이상을 초과하여 임의로 pay-as-you-go 모델이 적용될 때 쿼타가 초과된 것을 자동으로 감지하고 pay-as-you-go 모델으로 전환할 수 있도록 합니다. 플랫폼 또한 AI 운영에 따른 지불 사항 추적이 필요할 때마다 실시간으로 비용을 시각화하여 사용자가 자금을 확인할 수 있도록 지원합니다. Manifest의 가장 돋보이는 기능 중 하나는 'AUTO-FIX' 기능입니다. 이것은 AGENT에 도달하기 전에 일반 LLM 요청 실패를 개선하는 데 노력을 기울이고 있습니다. 이에는 모델이 사용이 중단된 것인지 또는 찾을 수 없는 것인지를 해결하는 것, 파라미터를 yanlış 지정한 것, 요청이 잘못된 형식인 것을 해결하고, 컨텍스트 윈도우가 초과된 것을 해결하는 것을 포함합니다. 이 모든 기능은 다운타임을 예방하고 요청 성공율을 개선하는 것을 목표로 한다. Manifest는 가리지 않고 넓은 범주의 AI 애플리케이션, 개인 에이전트, 워크플로우 등에 대한 적응성을 생각했다. 클라우드 버전의 경우 onboard하기를 쉽게 하거나 self-hosted Docker 배포를 선택함으로써 공개 소스 기반을 표현한다. 이러한 접근 방식은 AI의 비용이 저렴하고 사용자가 넓은 범위, 즉 개인 개발자부터 잘 설립된 기업체까지 다양한 사용자를 지원하기 위해, 비용을 줄이기 위한 도구를 제공함으로써 품질이나 사용자 잠재적 수입 제약으로부터 제한되지 않고 AI에 대한 접근성을 높이고자 하였다.