Relari (YC W24)Plataforma para pruebas, evaluación y generación de datos sintéticos para agente de inteligencia artificial.

4.3 (6)

Reseñado por Daniel Nikulshyn·Actualizado julio de 2026

Resumen

Relari es una plataforma para desarrolladores centrada en mejorar la fiabilidad de los agentes de IA mediante pruebas y evaluaciones sistemáticas. Ayuda a los equipos a generar conjuntos de datos sintéticos, ejecutar evaluaciones automatizadas y comparar el rendimiento de los agentes en escenarios realistas antes de implementarlos en producción. Respaldado por Y Combinator (W24), Relari se enfoca en equipos de ingeniería que construyen aplicaciones LLM complejas y agentes de varios pasos donde la QA tradicional se queda corta. Sus herramientas buscan aportar el rigor de la ingeniería de software — pruebas unitarias, comprobaciones de regresión y métricas medibles— a sistemas de IA no deterministas. La plataforma admite evaluadores personalizados, simulación de escenarios y monitoreo continuo, lo que la hace útil tanto para la validación previa al lanzamiento como para el aseguramiento continuo de la calidad de los agentes de producción.

Funciones clave

Generación de conjuntos de datos sintéticos
Pipelines de evaluación de agentes automatizados
Simulación de escenarios y conversaciones
Métricas de evaluación personalizables
Pruebas de regresión para aplicaciones de LLM
Benchmarking y informes de rendimiento

Precio

Modelo: Free
Categoría: Observabilidad
Valoración: 4.3 / 5 (6)

Casos de uso

Pruebas de agentes de inteligencia artificial

Evaluación fiable y probada de agente de inteligencia artificial.

Pros y contras

Ventajas

Diseñada específicamente para evaluar agentes AI de varios pasos
Genera datos de prueba sintéticos a gran escala
Apoya métricas y evaluadores personalizados
Backed por Y Combinator con desarrollo activo

Contras

Principalmente enfocada en equipos técnicos, no en no desarrolladores
Plataforma más joven con un conjunto de características en evolución
Puede requerir trabajo de integración para adaptarse a las estanterías existentes

Historial de batallas

En 3 batallas del Panteón.

1.º

2.º

3.º

Last 3 battles

Reseñas

4.3

Promedio de 6 valoraciones.

Inicia sesión para dejar una reseña.

Fatima Zahra

Apr 4, 2026

Skeptical, then convinced

I went in skeptical — most tools in this space overpromise. It actually delivers on customizable evaluation metrics, and purpose-built for evaluating multi-step AI agents caught me off guard. still, I'd recommend giving it a real trial.

Robert Ainsworth

Mar 17, 2026

Solid for our team

We rolled this out across the team last quarter and supports custom metrics and evaluators. Customizable evaluation metrics fits neatly into how we already work, and customizable evaluation metrics removed a step we used to do by hand. Primarily aimed at technical teams, not non-developers, which is the main caveat, but it has held up under daily use.

Devin Walker

Feb 6, 2026

Skeptical, then convinced

I went in skeptical — most tools in this space overpromise. It actually delivers on performance benchmarking and reporting, and supports custom metrics and evaluators caught me off guard. Primarily aimed at technical teams, not non-developers is why this isn't a perfect score, still, I'd recommend giving it a real trial.

Carlos Mendoza

Jul 20, 2025

Compared a few options

Evaluated this against two competitors. Where it wins: scenario and conversation simulation and purpose-built for evaluating multi-step AI agents. Where it lags: may require integration work to fit existing stacks. On balance the feature set — especially scenario and conversation simulation — justifies the 5 stars for our use case.

Yuki Mori

Jul 19, 2025

Use it every day

Honestly didn't expect to like it this much. Performance benchmarking and reporting is exactly what I needed, and purpose-built for evaluating multi-step AI agents. I do wish may require integration work to fit existing stacks, but I reach for it almost every day now and it just clicks.

Leila Hassan

Jul 14, 2025

Skeptical, then convinced

I went in skeptical — most tools in this space overpromise. It actually delivers on regression testing for LLM apps, and supports custom metrics and evaluators caught me off guard. May require integration work to fit existing stacks is why this isn't a perfect score, still, I'd recommend giving it a real trial.

Preguntas y respuestas

¿Cuáles son las ventajas de usar Relari?

Relari está diseñado específicamente para evaluar agentes de IA multi‑paso, genera datos de prueba sintéticos a gran escala y soporta métricas y evaluadores personalizados, con desarrollo activo respaldado por Y Combinator.

Asked by Anya Sokolova · Jun 27, 2026

¿Es Relari adecuado para equipos no técnicos?

Relari está dirigido principalmente a equipos técnicos, no a usuarios sin conocimientos de desarrollo, y puede requerir trabajo de integración para adaptarse a las pilas tecnológicas existentes.

Asked by Hasan Demir · May 27, 2026

¿Qué funcionalidades soporta Relari?

Relari soporta funcionalidades como generación de conjuntos de datos sintéticos, pipelines automatizados de evaluación de agentes, simulación de escenarios y métricas de evaluación personalizables.

Asked by Marisol Pena · Apr 17, 2026

¿Para qué se utiliza Relari?

Relari es una plataforma para pruebas, evaluación y generación de datos sintéticos para agentes de IA, que ayuda a los equipos a mejorar su fiabilidad mediante pruebas y evaluaciones sistemáticas.

Asked by Hana Kobayashi · Mar 25, 2026

Hacer una pregunta

Alternativas a Observabilidad

KeywordsAIObservabilidad

Plataforma unificada para desarrolladores que construye, monitorea y escala aplicaciones LLM.

5.0 (6)

Free

GuardianObservabilidad

Plataforma de seguridad y gobernanza para agentes de IA autónomos y sistemas inteligentes.

5.0 (5)

Free

Maxim AIObservabilidad

Plataforma de extremo a extremo para evaluar, monitorear y mejorar agentes de IA

4.8 (6)

Free

llm scoutObservabilidad

Supervisa cómo tu marca aparece en resúmenes de ChatGPT, Claude, Perplexidad, y Google AI Overviews.

4.8 (5)

5Free

WeaveObservabilidad

Un constructor de flujo de trabajo de IA sin código que permite a las empresas automatizar operaciones integrando múltiples modelos de lenguaje grande (LLM) y conectando promotores de manera impermeable...

4.8 (5)

2Free