Relari (YC W24)AIエージェントのテスト、評価、シンティチックデータ生成プラットフォーム

Relariは、開発者向けのプラットフォームです。このプラットフォームでは、AIエージェントの信頼性を大幅に向上させることを目的とした、体系的なテストと評価を実施することを主な目標とともに開発しています。 このプラットフォームは、シナリオに基づくテストを行い、合成データセットを生成、自動評価の実行、および現実世界のシナリオにおけるエージェントのパフォーマンスのベンチマークを実施して、製品のリリースまでお客様のチームをサポートしています。 Y Combinator (W24) の支援を受けて、Relariは複雑な LLM アプリケーションとマルチステップ エージェントを構築しているエンジニアリング チームを対象としています。伝統的な QA では対応が困難となるそのようなシステムに対して、Relari のツールはソフトウェアエンジニアリングの厳密さ---ユニット テスト、回帰チェック、および測定可能なメトリック---を導入することを目指しています。 プレーヤー(production agents)の前ローンチ検証とオンドウング・クオリティ・アサランス(ongoing quality assurance)のために、サーバーレスプラットフォームはカスタム評価官(評価者評定官)、シナリオシミュレーション、継続的モニタリングをサポートします。