Минула битва · 2024-01-11 UTC
Observability Протистояння — 11 січня 2024 р.
З категорії Observability. 40 позначок поставлено серед 10 бійців. Quotient AI здобув корону.
Підсумкові результати
Учасники
Бійці
Профілі кожного інструмента, який змагався в цій битві, ранжовані за підсумковим балом.
Quotient AI
Платформа реального часу для моніторингу та оцінювання, що виявляє невдачі AI у пошуку, RAG та агентах.
Quotient AI — платформа спостереження й оцінки, розроблена під особливу увагу до команд, які створюють функції зі зусиллями штучного інтелекту. Вона постійно моніторить виробництво системи зі штучним інтелектом - в тому числі пошукову, отримання й генерацію за допомогою отримання даних (RAG), й автономні агенти - для виділення галюцинацій, помилок отримання даних й інших питань якості до тих пір, поки користувачі не зможуть потрапити на них. Платформа поєднує автомatisовані оцінки зі справжніми ввімкнутими попередженнями, допомагаючи командам з розвитку програми та AI роз'ясовувати причини виникнення проблем, слідкувати за регресією після зміни моделі чи запиту, та зберігати надійність масштабу. Інструментуючи pipelines AI, Quotient надає розробникам прозорість у тому, як їхні застосування насправді працювати на волах, а не залежати лише від офілайн бенчмарків.
Розподіл критеріїв
- Моніторинг AI в реальному часі та сповіщення
- Виявлення галюцинацій та помилок під час пошуку
- Інструменти оцінки RAG‑пайплайнів
- Відстеження поведінки агентів та діагностика
- Аналіз регресій при зміні моделі та підказок
- Спостережливість продуктивних AI‑додатків
Weave
Будівник робочих процесів AI без коду, який дозволяє компаніям автоматизувати операції, інтегруючи кілька великих мовних моделей (LLMs) і підключаючи промти…
W&B Weave — це платформа для спостереження й оцінки, що допомагає відстежувати та покращувати застосунки на базі великих мовних моделей (LLM). Weave надає інструменти для трасування, збору метрик та оцінки відповідей застосунку, використовуючи судді LLM та власні оцінювачі. Ключові можливості включають трасування сесій, викликів LLM та викликів інструментів, а також ручну інструментацію власних агентів. Платформа підтримує інтеграції з популярними SDK і harness, а також спостереження за власними агентами. Weave надає бібліотеки Python та TypeScript для встановлення та використання платформи. Вона розміщена на Weights & Biases (W&B) і потребує акаунт W&B та API‑ключ для автентифікації. Користувачі можуть трасувати виклики LLM, переглядати вхідні та вихідні дані, а також бачити метрики агентів у UI Weave. Хоча Weave полегшує автоматизацію й оцінку застосунків LLM, він не є конструктором робочих процесів AI без коду, як пропонує його назва.
Розподіл критеріїв
- Трасування агентів і збір метрик
- Власне спостереження за агентами
- Трасування та оцінка LLM
- Підтримка спанів OpenTelemetry
- Інтеграція з Weights & Biases (W&B)
- Бібліотеки Python та TypeScript
AgentOps
Платформа спостереження та відлагодження для створення надійних агентних систем
AgentObsluha є платформою розробників, спрямованою на життєвий цикл АІ-агентів, яка забезпечує засоби відстеження, контролю та відладки інструментів, які показують, що справжні дії агентів на рівні виконання програми. Вона захоплює виклики LLM, використання інструментів, витрати та помилки, щоб команди могли зрозуміти поведінку агентів протягом складних багатошахових потоків робочих завдань. Поза візуалізацією, AgentOps пропонує відтворення сесій, аналіз витрат часу виконання та інтеграцію з популярнимиrameworkами виконавців мовами, як LangChain, CrewAI та AutoGen. Це допомагає інженеру перейти від прототипу до виробництва з оціною помилково, а не опіраючись на здогад або екстримування логу. Цей інструмент призначений для розробників та команд, які розподіляють агентні програми та повинні слідкувати за регресіями, контролювати витрати та підтверджувати, що їх агенти виконують необхідну роботу раніше та після розгортання.
Розподіл критеріїв
- Записування та відтворення сесій агента
- Трасування викликів LLM та використання інструментів
- Аналітика витрат та використання токенів
- Виявлення помилок та відмов
- Інструментальні збірки (SDK) для Python та JavaScript
- Дашборди з метриками відпрацювання агента
Confident AI
Платформа оцінки LLM заснована на DeepEval для тестування, моніторингу та вдосконалення AI-застосунків.
Confident AI - це платформа оцінки та спостереження для команд, які розробляють великомасштабні застосунки мовних моделей. Побудована на відкритому джерелі DeepEval framework , вона забезпечує єдине робоче місце, де можна виконувати бенчмарки, регресні випробування та перевірки якості щодо промтів, моделей та потокових ланцюгових обробок. Платформа допомагає інженерам виявляти галюцинації, регресію запиту та помилки під час отримання даних ще до відправлення продукції, а також надає функцію моніторингу роботи у продакшн для спостереження справжніх дій користувачів. Команди можуть централізувати дані множин, співділитися результатами тестування та працювати зі змірами запиту з вимірну інформацією, а не здогадуванням. Для розробників, інженерів з обробки сигналів та команд по якості воно призначене тим, хто бажає структурованого, спрямованого на виміриapproach до забезпечення якості LLM, а не випадкову мануальну перевірку.
Розподіл критеріїв
- Оцінювальні показники глибинної оцінки
- Тестування регресії щодо запитів та моделей
- Оцінка RAG і виведення
- Остаток виробництва та нагляд
- Управління наборами даних та випадками перевірки
- Злагоджений взаємодію команд на результатах оцінки
Fiddler AI
Аналітична платформа AI спостереження та безпеки для моніторингу, пояснення та керування aplikáciami ML і LLM.
Fiddler AI є підприємницькою платформою, яка допомагає командам монтувати, аналізувати та забезпечувати безпеки машинних навчальних моделей та генеративних мереж нейронних мереж, розміщених на виробництві. Вона забезпечує візуалізацію якості моделей, змінювання даних, упередженості та питань якості, а також пропонує захист від ризиків, пов’язаних із LLM, наприклад, галлюцинацій, втілення prompts та небезпечні виходи. Навдіяний для інженерів з машинного навчання, науковців даних і команд з ризику та забезпечення відповідності, Fiddler об’єднує наочність, ре-тайм-відслідковування та бар’єри в одному робочому процесі. Його інтеграція в звичайні лінії процесу машинного навчання та облаштованих навколо них навколишніх середовищ допомагає організації оперувати відповідальними практиками у сфері штучного інтелекту на величезних масштабах.
Розподіл критеріїв
- Моніторинг ефективності моделі та зміна даних.
- Детекція галюцинацій та безпеки LLM.
- Захист від втілення стимулів і нападу jailbreak.
- Пояснення AI та аналіз причин.
- Оцінка спрямованості та різниці.
- Дашборди та попередження для продукції AI.
Portkey є єдиним контрольним шаром для створення, керування та моніторингу AI‑додатків. Він забезпечує комплексну платформу, за яку AI‑команди переходять у продакшн, пропонуючи функції такі як AI Gateway, Observability, Guardrails, Governance та Prompt Management. Платформа дозволяє користувачам отримувати доступ до понад 1 600 LLM через єдиний API, спрощуючи процес інтеграції моделей та дозволяючи командам концентруватися на розробці, а не на управлінні. Portkey також забезпечує реальний час моніторингу, що дозволяє відстежувати поведінку LLM, виявляти аномалії на ранньому етапі та проактивно керувати використанням. Додатково платформа надає можливості кешування, що допомагає зекономити тисячі доларів, зменшуючи зайві тести. Portkey призначений для AI‑команд і підтримує широкий спектр LLM, з понад 3 000 GenAI‑команд та великою кількістю оброблених токенів щодня.
Розподіл критеріїв
- AI Gateway з багатопровайдерною маршрутизацією
- Керування та версіонування Prompt
- Журнали запитів, трасування та аналітика
- Семантичне кешування та повторні запити
- Guardrails для валідації входу й виходу
- Панелі моніторингу використання та витрат
Relari (YC W24)
Платформа для тестування, оцінки та генерації синтетичних даних для AI‑агентів.
Relari — платформа розробників, спрямована на підвищення віддаленої вірогідності штучного інтелекту шляхом систематичної перевірки та оцінки. Вона допомагає командам створювати синтетичні набори даних, виконувати автоматизовані оцінки та оцінювати ефективність агентів у реалістичних сценаріях перед відправленням до виробництва. Натхнений успішними проектами Y Combinator (W24), Relari вихідним завданням є забезпечення інженерним командам висококомерџайних застосунків за допомогою LLM та багатошарових агентів, які вимагають підвищених вимог щодо якості. З цією метою, засоби Relari спрямовані на впровадження високого рівня техніки програмістських робіт – створення юніт-тестів та регресійних перевірок, а також вимірювань метрик – для небезпечних по зв'язку з цим AI-систем. Платформа підтримує особисті оцінювачі, симуляцію сценаріїв та постійне моніторинг, що зробило її корисною як для попередньої перевірки випуску, так і для тривалої забезпечення якості виробничих агентів.
Розподіл критеріїв
- Генерація синтетичних наборів даних
- Автоматизовані пайплайни оцінки агентів
- Симуляція сценаріїв та розмов
- Налаштовувані метрики оцінки
- Регресійне тестування для LLM‑застосунків
- Бенчмаркінг продуктивності та звітування
Arize AI
Платформа спостереження за AI та оцінки мовного генерування ЛЛМ, яка допомагає розробникам AI та науковцям даних у моніторингу, відшукуванні проблем і покращенні виконання...
Arize AI — це платформа для спостережуваності ШІ та оцінки LLM. Вона допомагає розробникам ШІ та дата‑науковцям моніторити, діагностувати та покращувати продуктивність їхніх AI‑моделей. Платформа надає інструменти для виявлення проблем і пропозицій щодо їх усунення, допомагаючи користувачам підвищувати точність і надійність моделей. Arize AI розрахована на розробників ШІ та дата‑науковців, яким потрібно оптимізувати продуктивність моделей. Можливості платформи включають моніторинг і діагностику, що дозволяє швидко виявляти та вирішувати проблеми. Arize AI також пропонує функції оцінки та покращення продуктивності моделей, що дає змогу користувачам поступово удосконалювати свої моделі. Використовуючи Arize AI, користувачі можуть забезпечити, щоб їхні AI‑моделі працювали на максимумі, що призводить до кращих рішень та результатів. Орієнтація платформи на спостережуваність і оцінку виділяє її серед інших інструментів розробки ШІ, роблячи її цінним ресурсом для роботи з великими мовними моделями та іншими складними AI‑системами.
Розподіл критеріїв
- Моніторинг AI‑моделей
- Виявлення проблем та їх діагностика
- Генерація пропонованих виправлень
- Оцінка продуктивності моделі
- Оцінка та оптимізація LLM
Edwin AI
Агент IA для IT операцій, які прискорюють виявлення, відбір та розв'язування випадків.
Edwin AI - це агент IA для операцій IT, призначений для прискорення виявлення, відбірки та розв'язання випадків. Його платформа централізує дослідження випадків, розуміння їхнього впливу, знаходження чи створення пропозицій розв'язання та їхнє застосування по існуючим засобах без необхідності мінімізувати переміщення між системами. Edwin AI корелює повідомлення про виникнення випадків, визначає основні причини, а також розпочинає автоматичний процес ліквідації від початку повідомлення щодо випадків аж до підтвердженої ліквідації. Він використовує історичні шаблони та дані спостережень, щоб передбачити та уникнути виходів з ладу. Інструмент інтегрується з більше ніж 3000 засобами за допомогою спостереження, відслідковування виконання програми, безпеки і базових даних CMDB, забезпечуючи можливість отримання справжніх та дієвих даних та виведення із існуючих сіл.
Розподіл критеріїв
- Кореляція повідомлень про виникнення випадків та зменшення шуму
- Підстановка основних причин за допомогою агенту IA
- Кореспондентські матеріали про виникнення випадків у природній мові
- Інтеграції з ITSM та спостережуваними системами
- Автоматичні потоки робіт відбірки
- Пов'язування нових знань зі спостережуваними матеріалами від попередніх виникненням випадків
FoundryAI – це платформа розробки, спрямована на створення агентів AI, які обробляють справжні бізнес-потоки роботизації. Вона поєднує інструменти дизайну, перевірки та постійної вдосконалення агентів, щоб команди змогли перейти від прототипу до виробництва без зшивки окремих систем. Платформа ґрUNTоці evaluation, надаючи будівельникам засоби оцінки виконуваності агента щодо заданих завдань і вдосконалення поведінки зі часом. Це робить її підійдящою для організаційних середовищ, які автоматизують підтримку клієнтів, внутрішні операції або повторні роботи зі знань, де дієвість має важливе значення. FoundryAI звертається до технічних команд, які потребують більшого контролю порівняно з будівництвом безконтактними будівельниками, але бажають швидше експериментувати ніж будувати агентів цілком зі зброєю з нуля.
Розподіл критеріїв
- Працівні середовища будівництва агентів
- Інструменти оцінювання та підтвердження
- Надзор за виконанням
- Підтримка автоматизації бізнес-сценаріїв
- Путівки для поступового покращення
- Інтерграція з бізнес-системами