AI Model Serving Platforms 대결 — 2024년 8월 12일

1

Astrolabe

OpenClaw 에이전트를 위한 자체 호스팅 Açık AI 호환 라우팅 게이트웨이 및 비용 및 안전 정책

4.4 (5)

무료

전체 리뷰

Astrolabe은 오픈 소스 AI 게이트웨이로써, OpenClaw 에이전트와 OpenRouter 사이에 있는 계층이다. OpenRouter에게 요청을 라우팅하는 Proxy로 동작하며, 요청을 처리하는 모델을 분류하고, 모델 레인터의 정적 목록에서 적절한 모델을 선택하고, OpenRouter에게 API 호출을 진행하고, 도구 사용 및 미신뢰할 수 있는 입력을 위한 안전 정책을 적용한다. 이와 같은 목표는 자체 호스트된 에이전트가 제공업체 및 모델 ID에 손으로 개수해 지양하고, 변치 않는 바탕으로 동작하도록 해주고자 함이다. 이 프로젝트에서는 astrolabe/auto, astrolabe/coding, astrolabe/research, astrolabe/vision, astrolabe/strict-json, astrolabe/cheap, and astrolabe/safe와 같은 가상 모델 세트를 공개한다. 이 모델들은 DeepSeek, OpenAI, Anthropic, MiniMax, Moonshot, xAI, Qwen, Google, 및 Mistral과 같은 제공 업체에서 관리하는 실제 아래 단면 모델과 매핑된다. 이러한 모델은 정적 메니페스트를 통해 관리되며 고정된 구성 개체보다는 유지된다. OpenClaw 에이전트의 네 가지 주요 사항을 Astrolabe가 중앙 조정합니다. 이것으로 라우팅 유연성, 신뢰성 및 폴백 동작, 비용 관리 및도구 사용에 대한 안전 정책이 제공됩니다. 이는 DB, 호스트되는 컨트롤 평면 또는 SaaS 의존성을 추가하지 않고 이러한 기능을 제공하는 것을 목표로합니다. OSS 버전은 상태가 없으며 자율적으로 호스팅되며, 운영자만 OpenRouter API_KEY와 Astrolabe API_KEY를 제공하고 Astrolabe 인스턴스로 OpenClaw를 제어할 수 있습니다. 런타임 시 OpenClaw는 Astrolabe의 POST /v1/responses 엔드포인트에 요청을 전송합니다 (POST /v1/chat/completions가 유지되도록 compatibility adapter로 남겨진 경우). Astrolabe는 카테고리, 복잡도 및 수정자 등과 같은 카테고리화, 복잡도와 수정자, 라인 및 후보 모델 세트의 분류를 해제하고 요청을 전송하고, 스트리밍이 아닌 응답을 검증하고 툴 정책 체크를 적용하고, 가능하다면 강력한 모델로 한 번 업그레이드할 수 있습니다. 강력한 모델이 있는 경우 x-astrolabe-* 헤더와 인라인 메타데이터가 반환됩니다. 버전 0.3.0 베타부터 Astrolabe는 초보 단계이며 규模이다. 그것은 OpenClaw 생태계를위한 특수 제작된 것인지라, 일반적인-purpose LLM 게이트웨이인지라, 그것을 통해 사용자가 workflow 외부라면, LiteLLM나 OpenRouter 자신의 라우팅 같은 도구를 포함한 더 성숙한 alternatice를 찾을 수 있다. 모델의 변화에 따라 수동 업데이트를 요구하는 정적인, 체크인 된 모델 목록은 reproducibility를 준다.

• OpenAI 호환 /v1/응답 및 /v1/채팅/완성 끝점
• 여러 제공 업체에 걸친 정적 체크인 모델 매니페스트
• 가상 모델 레인(자동, 코딩, 연구, 비전, 저렴한,安全, katı JSON)
• 요청 분류: 분류, 복잡성 및 수정자에 따라
• 도구 사용 安全 정책 확인 및 단일 에스컬레이션
• 응답 확인 및 x-astrolabe-* 메타데이터 헤더

2

Jina AI

다중 모드 검색의 기반이 되는 Embedding, Re-ranking 및 RAG 파이프라인을 위한 기반

4.2 (5)

무료

전체 리뷰

Jina AI는 검색, 추출 및 복합 모드 이해를 중심으로 API 및 소프트웨어를 제공하는 기반 모델의 스위트를 제공합니다. 핵심 제안물에는 텍스트 및 이미지 임베딩, 신경 재랭커, zero-shot 분류기, 규모가있는 추출-augmented 생성(RAG) 워크플로우 빌딩을 위한 도구가 포함됩니다. 개발자 및 팀이 텍스트, 이미지 및 구조화된 데이터를 처리하여 추론할 수 있는 검색 엔진, 추천 시스템 및 AI 어시스턴트를 개발하기 위해 설계된 플랫폼입니다. 모델은 호스트된 API 및 오픈 소스 릴리즈를 통해 액세스할 수 있으며, 다언어 지원 및 길이의 긴 문헌을 처리하기 위한 멀티컨텍스트 기능을 제공합니다. Jina AI는 일반적인 벡터 데이터베이스와 LLM 프레임 워크와 간단하게 통합이 되기 때문에, 생산성급의 의미적 검색과 지식 수집 시스템을 제작하기 위한 실제 빌딩 블록으로 자리 잡음을 했습니다.

• 텍스트 및 이미지 Embedding 모델
• Neural Reranker API
• _zero-shot 분류
• 경고문서를 위한 롱 컨택스 지원
• 다국어 검색
• RAG 및 벡터 데이터베이스 통합

3

GLM‑4.5

오픈 소스 하이브리드-이유 추론의 MoE 기반이 되는 모델은 에이전트, 코딩, 도구 사용과 같은 작업을 위해 설계되었습니다.

4.5 (6)

무료

전체 리뷰

글라임‑4.5(GLM-4.5)은 지푸(지푸) 자이(GLM 모델 계열의 일원으로 지푸 AI(지푸)에 의해 개발된 공개 소스 대형 언어 모델이다. 그것은 혼합 전문가(Mixture-of-Experts, MoE) 아키텍처와 하이브리드 사고 디자인(hybrid-reasoning design)을 사용함으로써 모델은 의식적으로 "생각"하기 전에도 또는 직접적으로 답변할 수 있도록 허용함으로써 의사 작동 워크플로우, 코딩 및도구 사용을 목표로 한다. 모델은 128K 토큰 컨텍스트 창을 지원하고 내장형 도구 호출을 지원한다. 이 모델은 개발자가 AI 에이전트와 코딩 어시스턴트를 개발하는 개발자들을 위해 설계되었습니다. 이 모델은 "인터리브드 씽킹(Interleaved Thinking)"을 도입했는데, 모델은 각 응답과 도구 호출 이전에 사전적인 합의를 가지고 합의를 해내고, 나중에 GLM 버전 (GLM-4.6 및 GLM-4.7)에 이어 '퍼지드 씽킹(Preserved Thinking)'과 '턴-레벨 씽킹(Turn-level Thinking)'과 같은 특성을 확장했습니다. GLM-4.5는 에이전틱 코딩(agentic coding) emphasize, 메인스트림 에이전트 프레임워크와 코딩 도구와 통합하는 데 중점을 둘 뿐만 아니라 Claude Code, Cline, Roo Code, 및 Kilo Code와 같은 코딩 도구의 API와 통합하는 것을 포함하며 SDK 및 SaaS 제품으로도 출시됩니다. 지포스 깃허브 저장소에는 모델 리소스, 추론 코드 및 예시를 호스팅하며 가중치는 자체 호스팅을 위해 공개되며, API는 지아이 API 플랫폼을 통해 제공된다. 저장소에는 succeedsor 모델 지포스 - 4.6 (200K 토큰까지 확장한 컨텍스트)와 지포스 - 4.7, 가벼운 30B - A3B 버전 (지포스 - 4.7 - 플래시)까지 문서화된 이후, 더 효율적인 배포를위한 가벼운 30B - A3B 버전 지포스 - 4.7 - 플래시를 문서화했다. GLM-4.5은 공개 버전으로 인공지능 모델의 개발 시 다른 공개 모델과 경쟁을 하고 있습니다. 이 모델의 주요한 장점은 툴 사용, 논리적 사고 통제, 그리고 전면 공개 오픈의 특징에 있습니다. 하지만 이 모델은 많은 네트워크 단말점를 로컬로 실행하기 위해 강력한 하드웨어가 필요하고, 벤치마크에서 GLM의 후계 모델이 나옴에 따라 이 모델의 성능이 나중에는 후퇴했습니다. GLM-4.5은 인지 및 코딩 용도에 중점을 두는 다른 모델에 경쟁합니다. 이 모델의 강점은 툴 사용, 이득을 위한 논리 통제, 그리고 전면 공개에 있습니다.

• Mixture-of-Experts (MoE) 아키텍처
• 하이브리드 이론화와 사고/비사고 모드
• 에이전트 내부에있는 도구 호출
• 응답 및 도구 호출의 중간에 사고를 진행
• 128K 컨텍스트 창
• 에이전트 최적화를 위한 코딩 최적화

4

New API

열.opensource LLM 게이트웨이(Open-source LLM gateway), 다수의 AI 제공자 API를 라우팅, 지불, 분석에서 통합

4.3 (4)

프리미엄

전체 리뷰

New API는 오픈 소스 LLM 게이트웨이이며, OpenAI, Anthropic Claude, Google Gemini 스타일 API와 같은 여러 AI 모델 제공사와 연결하는 일원화 된 인터페이스를 제공합니다. 팀이 제공사 간 요청을 라우팅하고 접근 제어 및 사용량 추적을 하나의 장소에서 수행 할 때의 중앙관리 계층 역할을 합니다. AI API를 대규모로 소비하는 개발자, 플랫폼 팀, 조직에게 목적을 두고 있는 프로젝트입니다. OpenAI 호환 호스트-point를 노출함으로써, 기존의 응용 프로그램 및 SDK가 여러 백엔드와 동작할 수 있도록 하며, 클라이언트 코드Rewrite 없이 작업할 수 있도록 합니다. 기본적인 프록시 기능을 벗어나 New API는 토큰 기반의 한도 제한, 청구 관리, 신용管理, 요청 감사, 사용 분석과 같은 운영 문제에 중점을 둡니다. 이러한 기능들로 인해 내부 AI 플랫폼 구축 또는 다수의 사용자 또는 팀에게 액세스 권한을 рес케일 또는 메터링하기 위한 적합한 도구로 사용될 수 있습니다. 오픈 소스 기반으로 자체 호스팅할 수 있는 이 툴은 운영자의 배포 및 데이터 흐름의 통제를 제공한다. 이는 비용 관리 및 순응성에서 중요할 수 있다. 이 툴은 LiteLLM 과 One API 와 같은 다른 API 게이트웨이 및 아그리게이터의 같은 공간에 위치하는데, 그로부터의 유산을 유발한다. 대부분의 SELF-HOSTED GATEWAY와 마찬가지로 New API를 adopting하려면 인프라 셋업 및 지속적인 유지보수가 필요하고 제공자 지원의 너비 및 안정성은社区의 기여에依종속적입니다.

• 일관된 다중 제공자 API게이트웨이
• OpenAI 호환 엔드포인트
• 모델 제공자 간의 요청 라우팅
• 토큰 할당량과 지불 관리
• 사용 분석 및 감사