Athina AIPlataforma de desenvolvimento de IA colaborativa para construir, testar e monitorar recursos de IA.

A Athina é uma plataforma de desenvolvimento de IA colaborativa projetada para ajudar equipes a construir, testar e monitorar recursos de IA, visando acelerar sua entrega em produção. A plataforma atende a várias funções dentro de uma equipe de IA, incluindo cientistas de dados, gerentes de produto, equipes de QA e engenheiros, fornecendo ferramentas e interfaces personalizadas. Ela permite tanto usuários técnicos, que podem interagir programaticamente por meio de SDKs e APIs, quanto usuários não técnicos, que podem aproveitar uma interface sem código para tarefas como construir fluxos de IA complexos. As capacidades principais incluem gerenciamento de prompts abrangente, suportando vários modelos, incluindo modelos personalizados, junto com recursos para testar e executar prompts. Ela fornece capacidades de avaliação de conjuntos de dados extensivas, oferecendo mais de 50 métricas de avaliação pré-definidas, bem como opções para configurar avaliações personalizadas. A plataforma também suporta a regeneração de conjuntos de dados experimentais, permitindo que os usuários alterem modelos, prompts ou recuperadores com facilidade. A Athina integra equipes de QA humanas para trabalhar ao lado de avaliações de IA, permitindo a verificação de resultados de avaliação e a anotação de conjuntos de dados. Os usuários podem prototipar cadeias de IA poderosas e executá-las programaticamente, e os cientistas de dados podem comparar conjuntos de dados lado a lado com interação SQL. Para IA de produção, a Athina oferece recursos de observabilidade robustos, incluindo monitoramento poderoso projetado especificamente para rastros de IA. Ela captura cada etapa dos fluxos de LLM, permitindo a reprodução e análise. Avaliações online contínuas podem ser configuradas para serem executadas em logs de entrada, fornecendo visibilidade contínua da precisão. Análises segmentadas ajudam as equipes a entender como o desempenho do modelo muda ao longo do tempo e em diferentes segmentos, com a capacidade de comparar pontuações de avaliação por prompt, modelo, tópico ou ID de cliente. Os principais pontos fortes destacados incluem privacidade de dados completa por meio de controles de acesso refinados e a opção de implantação auto-hospedada dentro do VPC de um usuário. A Athina também é compatível com SOC-2 Tipo 2 e suporta integração com modelos personalizados e provedores como Azure OpenAI e AWS Bedrock.