MarvinВідкрита відкрита архітектура для створення надійних та масштабованих інтерфейсів природної мови.

Марвін — відкрите джерело framework для інженерів AI, яке допомагає розробникам створювати природні мови інтерфейси, які досить надійні, масштабовані та гідні довіри. Він пропонує організований спосіб збирання промптів, потоків даних та циклів оцінки, що зменшує неупорядкований код, який часто оточує великі моделі мови (LLM). Фреймворк орієнтований на інженерні команди, які створюють виробляємість чат-ботів, віртуальних асистентів або будь-якого іншого застосування, яке потребує передбачуваної поведінки моделі мови. Виведення модульної архітектури дозволяє командам забезпечувати стандартизацію дизайну промтів, версий та мониторингу без блокування їм під кількома виробниками. Марвін надає набір розподієльних компонентів: шаблони запиту для створення запитів, управління наборами даних, автоматичні системи оцінки та панелі спостереження. Ці частини можуть бути поєднані в кінцеві потоки даних, які виконують такі дії: збирають введення користувача, викликають LLM (через будь-якого підтримуваного постачальника) та реєструють відповіді для пізнішого аналізу. Під час розробки також надаються засоби для автоматичної перевірки на наявність упередженості, вимірювання затримок та повернення попередніх версій моделі, які вважаються важливими для створення довіри в середовищі експлуатації. Внаслідок того, що Marvin в змозі розраховувати на суспільну мотивацію, він отримує користь від відкритого розвитку та розширення можливостей, але це також означає, що екосистема поки що зростає. Вимагається можливість створення окремих адаптерів для спеціалізованих джерел даних або інтеграції зі внутрішнім обладнанням. Розвиваємо документацію, проте команди без потужних технічних ресурсів можуть знайти початковий рівень установки вища, ніж у разі рішень SaaS, призначених для миттєвої роботи.