Geçmiş savaş · 2024-01-11 UTC
Observability Hesaplaşma — 11 Ocak 2024
Observability kategorisinden. 10 savaşçıya 40 işaret yerleştirildi. Quotient AI tacı aldı.
Nihai sıralama
Kadro
Savaşçılar
Bu savaşta yarışan her aracın profilleri, nihai puanlarına göre sıralandı.
Quotient AI
Hızlı zaman diliminde izleme ve değerlendirme platformu, arama, RAG ve agentler için AI hatalarını yakalamak için
Quotient AI, AI güçlendirilmiş özellikler gönderen ekibler için oluşturulmuş gözlemlilik ve değerlendirme platformudur. Sürekli üretim AI sistemleri – arama, geri dönüşüm-Augmente edilen üretim (RAG) ve özerk ajanlar dahil - gözden geçirir, endüstriyel kullanıcılar onları bulmeden önce yanıtlar, geri alma hataları ve kalite sorunlarını sallaştırmak. The platform, otomasyon ile birleştirilen değerlendirmeler ile gerçek zamanlı alarmlar sunarak, mühendislik ve ML ekibi, model veya istek değişikliklerinde gerilemelerin takip edilmesini, kök nedenlerin tanınılmasını ve ölçeklenebilir güvenilirliği korumayı kolaylaştırmaktadır. AI dillerini instrumente ederek, uygulamaların gerçek dünyada nasıl davrandığını geliştiricilere görmesini sunar ve offline benchmarklere dayanarak değil.
Kriterlerin ayrıştırılması
- Hızlı zaman diliminde AI izleme ve uyarı alma
- Hallüsinasyon ve retrieval hataları tanımı
- RAG.pipeline
- lari için değerlendirme yardımcı programı
- Ajan davranışlarının izlenmesi ve tanısı
- Model ve ilke değişikliklerinde regresyon analizi
Weave
Code-less bir AI akış oluşturucu aracın, çoklu büyük dil modellerini (LLM) entegre ederek işlemleri otomatize etmek için işletmelerde işlem yapmalarını sağlar. İpuçlarını bağladığında, birçok akışa kolayca ve code-less katılması sağlar.
W&B Weave, büyük dil modelleri (LLM) uygulamalarını izlemek ve iyileştirmek için bir gözlemlilik ve değerlendirme platformudur. Weave, LLM jürileri ve özel skorerler kullanarak uygulamaya geri bildirim göndermek ve metrikleri toplamak için araçlar sağlamaktadır. Ana özellikler, toplantı takip edilmelerini, LLM çağrılarını ve aracın çağrılarını ve özel agentlerin el ile araçlanmasıdır. Platfrom, popüler SDK'lerle birlikte hata tedarik edicileri ve özel ajans gözlemliliği gibi entegrasyonlara destek sunuyor. Weave, Python ve TypeScript kütüphanelerini geliştirirken platformun kurulumu ve kullanımı için sunuyor. Platform W&B (Weights Üzeri Biyasaerler) hesabında barındırılıyor ve W&B hesabına erişim için W&B API anahtarı gerekmekte Kullanıcılar, LLM'lere yapılan çağrıları izleyebilir, girişler ve çıkışları inceleyebilir ve agregaçi metriklerini Weave UI'sinde görüntüleyebilir. Weave, otomatikleştirme ve LLM uygulamalarının değerlendirmesini kolaylaştırmakla birlikte bir kod oluşturma AI akış oluşturucu gibi adının öne çıkışından farklı olarak, bu niteliği barındırmamaktadır.
Kriterlerin ayrıştırılması
- Ajanta izleme ve metrik toplanması
- Özel ajanta görünürliği
- LLM izleme ve değerlendirme
- OpenTelemetrySpan destek
- Weights & Biases (W & B) entegrasyonları
- Python ve TypeScript kütüphaneleri
AgentOps
Sorgulanabilirlik ve hata ayıklayıcı platform için güvenilir AI agentler oluşturmak
AgentOps, AI işleri yaşam döngüsü üzerinde odaklanan bir geliştirici platformudur. Çalışma sırasında gerçekten neler yaptıklarını ortaya koyan takip, izleme ve hata ayıklatma Araçları sağlar. LLM çağrıları, araç kullanma, maliyet ve hataları yakalar böylece ekibler karmaşık multi-adım iş akışları boyunca ajanların davranışlarını anlarlar. AgentOps, görünürlükten öte, LangChain, CrewAI ve AutoGen gibi popüler agent çerçeveleri ile entegre edilen session tekrarı, performans analizleri sunuyor. Bu, mühendislerin prototipten üretime taşınmasını güvenilir şekilde ölçülebilir bir şekilde hızlandırıyor, deneyimsizliğine ya da log tarayıcılarına güvenmek yerine. Geliştiriciler ve şeffaf uygulamalar yüklerken takımlar için tasarlanan AgentOps, gerilemelere izleme, harcamaları kontrol etmede ve uygulamaların öncesi ve sonrası davranışlarını doğru bir şekilde ispatlamada yardımcı olur.
Kriterlerin ayrıştırılması
- Agent oturum kaydı ve yeniden oynaması
- LLM çağrısı ve araç kullanım izlemesi
- Maliyet ve token analizi
- Hata ve işlemezlik tanımlama
- Python ve JavaScript için framework SDK'leri
- Agent performans metrikleri için ekranları
Confident AI
LLM değerlendirme platformu, DeepEval ile AI uygulamalarını test etmek, izlemek ve iyileştirmek için geliştirildi.
İyi Bilinçli (Confident AI) AI uygulamaları geliştiren takımlara büyük dil modeli uygulamaları için bir değerlendirme ve izlenebilirlik platformudur. Açık kaynaklı DeepEval framework'u ile güçlendirilmiştir, bu platform promplar, modeller ve retrieval.pipeline'leri üzerinden bençmark, geri dönüşümtests ve kalite kontrolleri çalıştırmanıza olanak tanır. Platform, mühendisleri ürünün teslim edilmeden önce hallüsinasyonlar, prompt gerilemeleri ve getiriler hataları yakalamaya yardımcı olurken, gerçek kullanıcı etkileşimlerini takip etmek için üretimde izleme sunuyor. Takımlar, verilerin merkezileştirilmesi, test sonuçlarının paylaşılması ve ölçülebilir geri bildirimler ile prompların üzerinde çalışma yerine tahminlerle çalışmama imkânı veriyor. Geliştiriciler, ML mühendisleri ve test ekiplerine yönelik, ad-hoc el işlemlerinden ziyade, metrics-tabanlı bir yaklaşımla LLM kalite güvencesi sağlamayı amaçlamaktadır.
Kriterlerin ayrıştırılması
- DeepEval ile güçlendirilmiş değerlendirme metrikleri
- Komut ve modeller için retrogresif test
- RAG ve alma değerlendirimi
- İstihdam durumları ve izleme
- Veri seti ve test vektör yönetimi
- Déjà Etki değerlendirme sonuçlarındaki takım iş birliği
Fiddler AI
Bildirim ve güvenlik platformu olarak ML ve LLM uygulamalarının izlenmesinde, açıklanmasında ve yönetilmesinde AI gözlemciliği için geliştirilmiştir.
Fiddler AI, işletmeler için bir platformdur. Üretim ortamlarında makine öğrenimi modelleri ve yaratıcı AI uygulamalarını izlemek, analiz etmek ve güvence altına almak gibi ekibin işlerini kolaylaştırmak mụcludur. Ayrıca LLM'lerde özel risklere karşı koruma sağlayarak model performansı, verilerde kayma, önyargı ve kalite sorunları gibi konulara net görünürlük sağlar. Fiddler AI, ML mühendisleri, veri bilimcileri ve risk ve uyum ekibi için tasarlanmıştır. Fiddler, açıklama, gerçek zamanlı izleme ve koruma duvarları gibi özellikleri bir araya getirmektedir ve bunun için tek bir akış işlevini kullanır. Genellikle kullanılan ML.pipeline'ler ve cloud ortamları arasında entegre olarak çalışır ve bu sayede organizasyonların sorumluluk sahibi AI pratiğini büyük ölçekte işleyecekleri bir şekilde optimize edebilir.
Kriterlerin ayrıştırılması
- Model performansı ve kayma izleme
- LMM Hallüsinasyonu ve güvenlik algılama
- Prompt enjeksiyon ve hapsetme koruması
- Açıklanabilir AI ve neden tespit analizi
- Cihetilik ve adalet değerlendirmeleri
- Üretim AI için dashboardlar ve uyarılar
Portkey, AI uygulamalarını oluşturmak, yönetmek ve izlemek için tek bir kontrol plağıdır. Bir dizi özelliğini içerirken, AI Gateway, İzlenebilirlik, Yöntem Bariyerleri, Yönetim ve Uyarı Yönetimi gibi üretim için kapsamlı bir platform sunar. Platform, 1600 den fazla LLM'ı birleştirilmiş bir API üzerinden erişilmesini sağlar, böylece modelleri entegrasyon sürecini basitleştirir ve ekibleri inşa etmeye odaklanmaya yönlendirir. Portkey, gerçek zamanlı izlenebilirlik sunarak LLM davranışını izleme olanağı sağlar, anomalileri erken yakalamayı ve kullanımını proaktif olarak yönetmeyi sağlar. Ayrıca, platform, kullanicılara binlerce dolar kazandıran gereksiz.testleri azaltarak bellek kullanan yetenekler sunar. Portkey, AI ekibi için tasarlanmış olup, geniş bir范围L'LMleri destekliyor vegÜç binlikGenAI ekibi ile her gün büyükbir sayı token işleniyor.
Kriterlerin ayrıştırılması
- AIOSS için多供应商路由
- İçin istemci önbelleği ve sürümlendirme
- İstek kayıtları, iz ve analitik
- Semantik önbelleği ve yeniden deneme
- Girdi ve çıktı doğrulaması için bariyerler
- Kullanım ve maliyet izleme dashbordü
Relari (YC W24)
AI araçları için test, değerlendirmesi ve sentetik veri oluşturma platformu.
Relari, YC W24, geliştirici platformu, AI ajanlarının güvenilirliğini geliştirmek için sistematik testleme ve değerlendirme üzerinde odaklanmaktadır. Takımları oluşturulmuş datasetler oluşturmayı, otomatik değerlendirmeleri işleyip ve gerçekçi senaryolarda ajan performansını ölçümleyerek üretim ortamına göndermeden önce göndermektedir. Y Combinator'ın (W24) desteklediği Relari, geleneksel kalite güvencesinin yetersiz olduğu karmaşık LLM uygulamaları ve sıralı agresler inşa eden mühendis团lar için tasarlanmıştır. Ardışıl QA'nın sınırlarının ötesinde bulunan araçları, deterministik olmayan AI sistemlerine yazılım mühendisliği kuralları ile beraber - birim testleri, geri kazanım kontrolleri ve ölçülebilir istatistikler - tanıtmayı amaçlar. Platform, özel değerlendiriciler, senaryo simülasyonu ve sürekli izleme desteği sunuyor, böylece hem önceden yayınlanmadan önce doğrulama hem de üretim.agentlarının kalite güvencesi sağlama gibi kullanım durumlarının destekleniyor.
Kriterlerin ayrıştırılması
- Sentetik veri kümesi oluşturma
- Otomatik agent değerlendirme.pipeline'leri
- Senaryo ve konuşma simülasyonu
- Özenli değerlendirme ölçütleri
- Geliştirilmiş LLM uygulamaları için gerileme testleri
- Sürat performansı ve raporlama için benchmarking
Arize AI
Geliştiriciler ve veri bilimcilerine AI gözlemciliği ve LLM değerlendirmesi platformu, üretimdeki LLM güdümlü uygulamaları takip ederken zaman içinde meseleleri, sapmayı ve performans düşüşlerini gözlemlemek yardımcı olur.
Arize AI, bir LLM değerlendirme platformu ve AI gözlemsellik platformudur. AI geliştiricileri ve veri bilimleri uzmanları tarafından AI modellerinin performansını izlemek, sorun gidermek ve güçlendirmek için yardımcıdır. Platform, kullanıcıların modellerlerinin hassasiyetini ve güvenilirliğini geliştirmesine yardımcı olmak için sorunları belirlemek ve fix önerileri sunan araçlar sağlar. Arize AI, performansını optimize etmek için modellerini iyileştirmek ihtiyacındaki AI geliştiricileri ve veri bilimleri uzmanları için tasarlanmıştır. Platformun yetenekleri, kullanıma sunulur: izleme ve sorun giderme, kullanıcıların sorunları hızla tanımlayarak ve çözümlemek olanak sağlar. Arize AI ayrıca, kullanıcıların zaman içinde modellerini iyileştirmesine izin veren performansını değerlendirmek ve güçlendirmek için özellikler sunar. Arize AI kullandığınızda AI modellerinizin peak performansda çalışmasını sağlamakla kalmaz, ayrıca karar vermede daha iyi sonuçlar elde edebilirsiniz. Platformun gözlemsellik ve değerlendirme odaklı yaklaşımı, diğer AI geliştirme araçlarından onu ayıran bir kıymet ifade eder. Bu, büyük dil modeli ve diğer karmaşık AI sistemleri ile çalışanlar için faydalı bir kaynak sağlar.
Kriterlerin ayrıştırılması
- AI model izleme
- Sorun giderme ve sorun tanımlama
- Önerilen onarım oluşturma
- Model performans değerlendirmesi
- LLM değerlendirme ve optimizasyonu
Edwin AI
İT operasyonları için çalışan bir AI ajansı, ihbarda deteksiyon, triaj ve çözüme gecikmeyi önler.
Edwin AI, IT operasyonlarına özgü bir AI एजenttir ve olay algılama, sıralama ve çözümü hızlandırır. IT takımlarına centralized bir platform sağlar, olayları araştırmalarında, etkisi anlamalarında, varsa çözümleri bulmalarında ya da oluşturmalarında, var olan tüm araçlar arasında sistemler arasında geçiş yapmadan uygulaymalarında yardımcı olur. Edwin AI uyarıları eşler, kök nedenleri tanır ve ilk uyarıdan onaylanmış çözüme kadar otomatik olarak iyileştirme başlatır. Geçmişteki örnekleri ve gözlemleri kullanır, patlakları öngörmeyi ve önlemini sağlar. Tüm gözlemler, performans monitörü, güvenliğe ve varlık tanımı veritabanına ilişkin 3000'den fazla araçla entegre olur, böylece anında, gerçek zamanlı, eylemsel bakış açıları sağlar ve siloları ortadan kaldırır. Forrester'ın bir araştırması, Edwin AI'nin bir kompozit organizasyona 313'üncü % ROI kazandırarak, 6 ayın altındaki ödemesi dönen bir döneme ulaştığını bulmuştur.
Kriterlerin ayrıştırılması
- Alert koruması ve gürültü azaltması
- Aİ-besleyeni neden neden önermeleri
- Tarih diline uygun ihbar özeti oluşturma
- İT operasyonu ve спостровльность platformları ile tümleştirmeler
- Automatik triaj akışları
- Gecmis ihbarlardan bilginin zenginleştirilmesi
FoundryAI, gerçek iş akışı yönetimine odaklı AI agentleri yaratan bir geliştirme platformudur. Agent tasarım, test ve sürekli iyileştirme araçlarını bir araya getirerek, takımlar birlikte ayrı sistemleri birer birer bağlamadan prototip üzerinden üretim hattına geçebilmektedirler. Platform, kuruculara belirledikleri görevlere göre agent performansını ölçmeye ve zamanla davranışları iyileştirmeye yollar sunar. Bu nedenle, müşteri desteği, iç işlemler veya tekrarlayan bilgi işleme gibi güvenilirlik ön planda olduğu organizasyonlarda uygun bir platformdur. FoundryAI, teknik ekipleri hedefleyerek, kodlamadan codeless binacılar sunanlarla daha fazla kontrol isteyen ancak tamamen baştan ajanlar inşa etmek kadar hızlı geliştirme hızını isteyenleri target yapıyor.
Kriterlerin ayrıştırılması
- Ajan oluşturma ortamı
- Değerlendirme ve test araçları
- Performans izleme
- İş akış otomasyonu desteği
- Geleneksel iyileşme döngüleri
- İş sistemleri ile entegrasyon