Bataille passée · 2023-12-27 UTC
Observability Duel — 27 décembre 2023
De la catégorie Observability. 30 marques placées sur 8 combattants. Fiddler AI a décroché la couronne.
Classement final
Le casting
Les combattants
Profils de chaque outil ayant concouru dans cette bataille, classés par leur score final.
Fiddler AI
Plateforme d'observabilité et de sécurité AI pour la surveillance, l'explication et le gouvernement des applications ML et LLM.
Fiddler AI est une plateforme d'entreprise qui aide les équipes à surveiller, analyser et sécuriser les modèles d'apprentissage automatique et les applications d'IA générative en production. Elle fournit une visibilité sur les performances des modèles, la dérive des données, les biais et les problèmes de qualité, tout en offrant des protections contre les risques spécifiques aux LLM tels que les hallucinations, l'injection de prompts et les sorties dangereuses. Conçu pour les ingénieurs en apprentissage automatique, les scientifiques de données et les équipes de gestion des risques et de la conformité, Fiddler combine l'explicabilité, la surveillance en temps réel et les garde-fous dans un seul flux de travail. Il s'intègre aux pipelines ML courants et aux environnements cloud, aidant les organisations à opérationnaliser des pratiques d'IA responsables à grande échelle.
Répartition des critères
- Surveillance de la performance et du dérive des modèles
- Détection des hallucinations et de la sécurité des LLM
- Protection contre l'injection de prompt et les jailbreak
- Intelligence artificielle explicite et analyse de cause racine
- Évaluation des biais et de l'équité
- Tableaux de bord et alertes pour l'IA en production
FoundryAI
Créez, évaluez et améliorez des agents d'intelligence artificielle pour l'autonomisation des entreprises
FoundryAI est une plate-forme de développement axée sur la création d'agents d'intelligence artificielle qui gèrent des flux de travail commerciaux réels. Elle combine des outils de conception d'agents, de test et d'amélioration continue pour permettre aux équipes de passer d'un prototype à une production sans avoir à assembler des systèmes distincts. La plateforme met l'accent sur l'évaluation, offrant aux développeurs des moyens de mesurer les performances des agents par rapport à des tâches définies et d'affiner le comportement au fil du temps. Cela la rend adaptée aux organisations qui automatisent le support client, les opérations internes ou les travaux de connaissance répétitifs où la fiabilité est importante. FoundryAI s'adresse aux équipes techniques qui ont besoin de plus de contrôle que ce que les no-code builders proposent, mais qui souhaitent une itération plus rapide que la construction d'agents entièrement à partir de zéro.
Répartition des critères
- Environnement de construction d'agent
- Outils d'évaluation et de test
- Suivi des performances
- Support d'automatisation des workflows
- Boucles d'amélioration itérative
- Intégration avec les systèmes métier
Quotient AI
Plateforme de surveillance et d'évaluation temps réel pour détecter les échecs d'IA dans la recherche, les RAG et les agents.
Quotient AI est une plateforme d'observabilité et d'évaluation conçue pour les équipes qui déploient des fonctionnalités alimentées par l'intelligence artificielle. Elle surveille en continu les systèmes d'intelligence artificielle en production - y compris la recherche, la génération augmentée de récupération (RAG) et les agents autonomes - pour détecter les hallucinations, les erreurs de récupération et autres problèmes de qualité avant que les utilisateurs finaux ne les rencontrent. La plateforme combine des évaluations automatisées avec des alertes en temps réel, aidant les équipes d'ingénierie et de ML à diagnostiquer les causes profondes, à suivre les régressions entre les changements de modèle ou de prompt, et à maintenir la fiabilité à grande échelle. En instrumentant les pipelines d'IA, Quotient donne aux développeurs une visibilité sur la façon dont leurs applications se comportent réellement dans la pratique plutôt que de s'appuyer uniquement sur des benchmarks hors ligne.
Répartition des critères
- Surveillance en temps réel de l'IA et avertissement
- Hallucination et détection d'erreurs de récupération
- Outils d'évaluation pour les pipelines RAG
- Suivi et diagnostic du comportement des agents
- Analyse de regression entre les changements de modèle et de détonation
- Observabilité de production pour les applications d'IA
Portkey
Plateforme de contrôle unifiée pour construire, gérer et surveiller les applications informatiques avancées
Portkey est une plateforme de contrôle unifiée pour la construction, la gestion et la surveillance des applications informatiques avancées. Elle fournit une plateforme complète pour les équipes d'IA afin de passer en production, offrant des caractéristiques telles que le passage de données par API, l'Observabilité, les Garde-fous, la Gestion et la Gestion des prompts. La plateforme permet aux utilisateurs d'accéder à plus de 1 600 LLM via une API unifiée, simplifiant le processus de liaison des modèles et permettant aux équipes de se concentrer sur la construction plutôt que sur la gestion. Portkey fournit également une Observabilité en temps réel, permettant aux utilisateurs de surveiller le comportement des LLM, de détecter les anomalies précoce et de gérer l'utilisation de manière proactive. De plus, la plateforme fournit des capacités de cache, qui ont été montrées pour épargner aux utilisateurs des milliers de dollars en réduisant les tests redondants. Portkey est conçue pour les équipes d'IA et prend en charge un large éventail de LLM, avec plus de 3 000 équipes de GenAI et un grand nombre de jetons traités quotidiennement.
Répartition des critères
- Passage de données avec routage multi-fournisseur
- Gestion des prompts avec numérotation et version
- Journalisation des requêtes, des étapes et des analytiques
- Cache semantique et reprise
- Garde-fous pour la validation d'entrée et de sortie
- Dashboards de surveillance de l'utilisation et des coûts
Helicone AI
Plateforme d'observabilité complète pour surveiller, debuguer et améliorer les applications de production LLM.
Helicone AI est une plateforme d'observabilité centrée sur les développeurs, construite spécifiquement pour les applications alimentées par des modèles de langage à grande échelle. Elle capture les requêtes, les réponses, les coûts et la latence auprès de différents fournisseurs, offrant aux équipes d'ingénierie une vue unifiée de la façon dont leurs fonctionnalités LLM se comportent en production. Au-delà de la journalisation, l'outil propose des outils pour déboguer les invites, tracer les flux de travail d'agents multi-étapes, exécuter des évaluations et suivre l'utilisation au niveau de l'utilisateur. Les équipes peuvent identifier les régressions, contrôler les dépenses et itérer sur les invites avec des données plutôt que des supputations. Il s'intègre aux fournisseurs de modèles et aux frameworks populaires via un proxy léger ou une journalisation asynchrone, permettant ainsi une intégration simple aux piles existantes sans modifications majeures du code.
Répartition des critères
- Log de requête et de réponse
- Suivi et tracking des coûts et des jetons
- Gestion et versionnage des requêtes
- Suivi et débogage des agents et des sessions
- Notions d'évaluation personnalisées et tableaux de bord
- Notions d'analyse utilisateur et limite de vitesse
KeywordsAI
Plateforme de développement unifiée pour la création, la supervision et la mise à l'échelle d'applications LLM.
KeywordsAI est une plateforme centrée sur les développeurs qui consolide les outils nécessaires pour déployer des applications LLM de qualité production. Elle fournit une passerelle API unique pour accéder à plusieurs fournisseurs de modèles, ainsi que des fonctionnalités de supervision, de journalisation et d'évaluation intégrées pour aider les équipes à comprendre les performances de leurs fonctionnalités d'intelligence artificielle dans le monde réel. La plateforme est conçue pour réduire les coûts opérationnels liés à l'exécution de produits basés sur LLM. Les développeurs peuvent surveiller la latence et les coûts, déboguer les invites, exécuter des évaluations et gérer les versions d'invites sans avoir à assembler des outils distincts. Cela permet aux équipes d'ingénierie d'itérer plus facilement sur les fonctionnalités d'intelligence artificielle et de maintenir la fiabilité à mesure que l'utilisation augmente.
Répartition des critères
- Passerelle LLM unifiée entre les fournisseurs
- Journalisation et traçage des requêtes
- Supervision des coûts et de la latence
- Expérimentation et contrôle de version des requêtes
- Flux de travail d'évaluation et de test
- SDK et intégrations d'API
Maxim AI
Plateforme de bout en bout pour l'évaluation, la surveillance et l'amélioration des agents IA
Maxim AI est une plateforme de développement conçue pour aider les équipes à déployer des agents d'IA et des applications LLM fiables. Elle rassemble l'ingénierie des prompts, l'évaluation, l'observabilité et la gestion des jeux de données pour que les équipes puissent itérer rapidement tout en maintenant une qualité mesurable. La plateforme prend en charge les évaluations automatisées et humaines sur plusieurs modèles et invites, permettant aux ingénieurs de comparer les résultats, de détecter les régressions et de suivre les défaillances en production. Elle est conçue pour une collaboration transversale, avec des flux de travail qui permettent aux parties prenantes techniques et non techniques de contribuer aux tests et à l'examen. Maxim est généralement utilisé par les équipes qui développent des chatbots, des copilotes, des agents vocaux et des flux de travail agétiques multi-étapes nécessitant des performances constantes face à des invites, des modèles et des entrées utilisateur changeants.
Répartition des critères
- Espace de test de prompts et gestion des versions
- Évaluations automatisées d'agents et de LLM
- Observabilité et traçabilité en production
- Curatation et gestion de jeux de données
- Flux de révision et d'annotation humaine
- Support multi-modèle et multi-fournisseur
Relari (YC W24)
Plateforme de test, de notation et de génération de données synthétiques pour les agents IA.
Relari est une plate-forme de développement axée sur l'amélioration de la fiabilité des agents d'intelligence artificielle grâce à des tests et des évaluations systématiques. Elle aide les équipes à générer des jeux de données synthétiques, à exécuter des évaluations automatisées et à évaluer les performances des agents dans des scénarios réalistes avant leur mise en production. Soutenu par Y Combinator (W24), Relari cible les équipes d'ingénieurs qui développent des applications LLM complexes et des agents multi-étapes où les tests QA traditionnels sont insuffisants. Ses outils visent à apporter une rigueur d'ingénierie logiciel — tests unitaires, contrôles de régression et métriques mesurables — aux systèmes d'IA non déterministes. La plateforme prend en charge des évaluateurs personnalisés, la simulation de scénarios et la surveillance continue, ce qui la rend utile à la fois pour la validation avant lancement et pour l'assurance qualité continue des agents de production.
Répartition des critères
- Génération de données de séries synthétiques
- Agrégation de pipelines d'évaluation automatique
- Simulation de scénarios et de conversations
- Métriques d'évaluation personnalisables
- Contrôle de regression pour les applications LLM
- Évaluation et rapportage de performances