წარსული ბრძოლა · 2024-01-11 UTC
Observability შერკინება — 11 იანვარი, 2024
Observability კატეგორიიდან. 40 ნიშნები განთავსებული 10 მებრძოლზე. Quotient AI-მა აიღო გვირგვინი.
საბოლოო შედეგები
შემადგენლობა
მებრძოლები
ამ ბრძოლაში მონაწილე ყველა ხელსაწყოს პროფილი, დალაგებული მათი საბოლოო ქულის მიხედვით.
Quotient AI
ნამდინარე მონიტორინგისა და შეფასების პლატფორმა AI-ში მარცხის დროს ძებნა, RAG და აგენტებში.
Quotient AI არის ობსერვაბილიტისა და შეფასების პლატფორმა, რომელიც შექმნილია AI-მყარ ფუნქციების გამოშვებისთვის პასუხისმგებელ გუნდებისთვის. იგი უცდუნებლივ აკვირდება წარმოების AI სისტემებს - მათ შორის ძიება, გენერაცია, რომელსაც ახდენს მოგზაურობა გამოყენებით (RAG) და ავტონომიურ აგენტებს, რათა ამოსავალი მოვლენები, შეცდომები და სხვა ხარისხის პრობლემები ბოლო მომხმარებლების შესვლამდე. პლატფორმა ავტომატურ შეფასებებს რეალურ დროში ალერტებთან აერთებს, რაც ინჟინერიასა და ML გუნდებს დიაგნოზის მთავარ მიზეზებში, მოდელის ან საწყისი ცვლილებების გასწრებაში, და მასშტაბირებადობის შენარჩუნებაში ეხმარება. Quotient AI-ის AI მილების ინსტრუმენტირებით, დეველოპერებს მიეწოდებათ ხილვა იმის შესახებ, თუ როგორ მოქმედებს მათი გამოყენება ველში, ვიდრე მხოლოდ ოფლაინ ბენჩმარკებზე დაყრდნობით.
კრიტერიუმების დაყოფა
- ნამდინარე AI მონიტორინგი და შეტყობინება
- ჰალუცინაციისა და ამოღების შეცდომის დეტექტირება
- RAG პიპლაინების შეფასების ინსტრუმენტები
- აგენტის ქცევის გამოყვლისა და დიაგნოსტიკა
- რეგრესიის ანალიზი მოდელისა და პრომპტის ცვლილებების გასწვავლებაზე
- AI გამოყენებების პროდუქციული დასაკვეთი
Weave
ასე, უკოდი LLM-ებით სამუშაო პროცესების ავტომატიზაციას საშუალებას იძლევს, როდესაც უხილავად წინაპებზე პრომპტის სინთეზისკენ ერთობლივნახვს
W&B Weave არის დეტალური ანგარიშდაღუპვისა და შეფასების პლატფორმა, რომელიც ეხმარება W&B LLM ტექსტურ მოდელებში ფიქსირებასა და გაუმჯობესებაში. ინსტრუმენტებს აქვს სესიების გზამკვლევი, შანტაჟი, აგვეთბა ცვლადნიმფარე ფოლტმი, და მანუალურად შალტი ცვლადნიმფარე არსებებს. API-ს ახლა მნიშვნელოვანი მახასიათებლების შეტანას მოიცავს სესიის ბოლოს. პლატფორმა სასურველი სდკ-ებით და სხვა ჰარნესებით განლაგებულია, აგრეთვე სამთავრობო ეჯენტებისთვის დანიშვნის შესახებ სუპერვიზორული მახსობლობა გვაქვს. Weave ასევე უკეთებს პაიტონსა და ტიპსკრიპტს ლიბრარიებს ინსტალირება და გამოყენებისთვის, რომლებსაც მთავარი დამსავლელის აკეთვებას ძალიან შეასრულებს. უნდა შეიქმელს, რომ Weave ვერტონტსა და ადის (W&B)-ზე განლაგებულია, რისთვისაც a W&B-ს აკეთვება და API კეისთვის აქტივაცია. მომხმარებლები ლმ-ბის პროცესების გვერდგუმბათში Weave UI-ში გვერდგიდებით, ხარისხი და შედეგების განიხილვადობით, აგენტების მეტრიკების ვიზუალიზაციით. მას დამხმარე სისტემებში აი. ის ლმ-ების ავტომატიზაციასა და შეფასებას ეხმარება, მაგრამ იგი არ წარმოადგენს ხმიჯვართან არაკოდურ ა.ი. სამუშაო გზასი შექმნის სისტემას, ევბის ფუძის მიუხედავად.
კრიტერიუმების დაყოფა
- მეტრკეტა და მეთ ოთელეიმეტრის შეკრება
- კუსტომ ეჟენტი ვიზუალიზმი
- LLM - ების პათრომბ ხილავბ
- OpenTelemetry სპენის მხურვალების მხურვალები
- Weights & Biases ინტეგრაცია
- Python და ტაიპსპეინ ლიბრერაშმა
AgentOps არის განვითარებელი პლატფორმა, რომელიც მიეძღვნება აი აგენტების ციკლს, მიძლავს და დებუღების პარინაუბლე სისტემებს, რომლებიც აღნიშნავს, თუ როგორ მოქნიდე, ვინა მოქნიდე, როდი, ლლმ საპიმპოსთან კომენტებს, უკისაზ, ყოსთ, შეცდომა რომ არსებობ, სა ანგომ შეეცნო სნს და დასახლებულია, აშკვეე და დევკი, ცო კოს, შევი, პან, მური,თევკი მიმდ,მარ, კრნი, კოს, ე , ვი,დე,ად. თორ, მარ, პავ,კარი, ვ, ე, ც, ნ, კრე, შ, ს, ლ, ე,დ. კ, ლ,ლ, რე, შ. ვ, ა,ლ ლ,ლ, ა, ლ, ს, კ, ნ,. აგენტოპს შემეცნების პირველად სარგებლით, ეს პლატფორმა ოფერს სესიის ავტორეპლეი, პერფორმანსის ანალიტიკა და უფიქრო დინამიკით API-ებთან ურთიერთდება ცნობილ აგენტის სერვისებთან, როგორიცაა LangChain, CrewAI და AutoGen, რათა ინჟინრებმა ხაზგასმით ბრწყინვალესი რელიაბილით პროტოტიპიდან მძაფრად წაგდაკარგვით ან ლოგ სკრეფთან შეუნდობელ ფრაგმენტებს ან დასჯა. აინტენსიური მასშტაბის განვითარებელებსა და გუნდებს, რომლებიც აგენთურ აპლიკაციებს გთავაზობენ, საჭიროა რეგრესიის მონიტორინგი, ხარჯების კონტროლი, როდესაც საჭიროა დამტკიცდნენ, განსაცდელებზე წინა და შემდეგ გადახვევებში მათი აგენტების უპირატესობა.
კრიტერიუმების დაყოფა
- არხი TMS მსვლელობა და ასახვა
- LLM მოთხრელი და ტოოლების მიმღები გრძელობა
- ღიმილითი და ტოკენის ანალიტიკა
- თავისუფლება და წარუმეტყველობანი დეტექტი
- ფრემვორკ სადყმოები პითონისა და ჯავასკრიპტისთვის
- დაშბორდები აგენტთა პერცენტიფ მეტრიკებისთვის
Confident AI
LLM‑ის შეფასების პლატფორმა, რომელიც დაფუძნებულია DeepEval-ზე, ტესტირებისთვის, მონიტორინგისთვის და AI‑აპლიკაციების გაუმჯობესებისთვის.
Confident AI არის შეფასების და მონიტორინგის პლატფორმა, რომელიც განკუთვნილია დიდი ენის მოდელების (LLM) აპლიკაციების შემქმნელ გუნდებისთვის. ღია წყაროს DeepEval Framework-ით დაფუძნებული, იგი უზრუნველყოფს ერთიან სამუშაო გარემოს benchmarks, regression tests და quality checks –ის გაშვებისთვის prompts, models და retrieval pipelines-ზე. პლატფორმა ეხმარება ინჟინრებს ჰალუცინაციებს, პრომპტის რეგრესებს და ძიების წარუმატებლობებს აღმოაჩენად, სანამ პროდუქტის მიწოდებას, ასევე უზრუნველყოფს წარმოების მონიტორინგს, რათა დაიცვას რეალური მომხმარებლის ურთიერთობები. გუნდებს შეუძლიათ მონაცემთა ნაკრების ცენტრალიზება, ტესტის შედეგების გაზიარება და პრომპტებზე iteration, რაც მათ საშუალებას გაძლევთ მიიღოთ ზომადული უკუკავშირები, მაგიერ არეცენტრირებული მოლოდინების გამოყენება. მისი მიზანი პროგრამისტებისთვის, ML‑ენჟინრების და QA‑ჯგუფებისთვისაა, რომლებიც გსურთ სტრუქტურირებული, მეტრიკებზე დაფუძნებული მიდგომა LLM‑ის ხარისხის გარანტიასად, ნაცვლად შემთხვევითი ხელით გადახედვის.
კრიტერიუმების დაყოფა
- DeepEval‑ით მხარდაჭერილი შეფასების მეტრიკები
- პრიმპტებისა და მოდელების რეგრესიული ტესტირება
- RAG‑ისა და გადანაპოვნების შეფასება
- პროდუქციის ტრეკინგი და მონიტორინგი
- მონაცემთა ნაკრების და ტესტ‑კეისის მართვა
- გუნდული თანამშრომლობა შეფასების შედეგებზე
Fiddler AI
AI-ის ნახვალეობისა და უსაფრთხოების პლატფორმა ML‑სა და LLM‑აპლიკაციების მონიტორინგისთვის, ახსნისთვის და მართვისთვის.
Fiddler AI არის ორგანიზაციული პლატფორმა, რომელიც გუნდებს ეხმარება მონიტორინგში, ანალიზში და მანქანური სწავლის მოდელებისა და გენერაციული AI აპლიკაციების უსაფრთხოების უზრუნველყოფაში პროდუქციაში. ის აძლევს ხედი მოდელის შესრულებაზე, მონაცემთა გადახვებზე, bias-ზე და ხარისხის პრობლემებზე, ასევე უზრუნველყოფს უსაფრთხოების საშუალებებს LLM‑ებთან დაკავშირებულ რისკებზე, როგორიცაა hallucinations, prompt injection და unsafe outputs. ML ინჟინრებმა, მონაცემთა მეცნიერებმა, რისკის და შესაბამისობის გუნდებმა შექმნილია Fiddler AI, რომელიც აერთიანებს განმარტებადობას, რეალურ დროში მონიტორინგს და guardrails-ს ერთ workflow-ში. იგი ინტეგრირდება საერთო ML pipeline-ებით და ღრუბლოვან გარემოებთან, რაც ორგანიზაციებს საშუალებას აძლევს მასშტაბურად operationalize-ს პასუხისმგებლური AI‑ის პრაქტიკები.
კრიტერიუმების დაყოფა
- მოდელის შესრულება და დრიფტის მონიტორინგი
- LLM-ის ჰალუსინაციებისა და უსაფრთხოების გამოვლენა
- პრომპტის ინექციისა და ჯეიკბრეიკისგან დაცვა
- განმარტებადი AI და ძირითადი მიზეზის ანალიზი
- დახრილობისა და სამართლიანობის შეფასებები
- დაფის პანელები და გაფრთხილებები პროდუქციის AI-სთვის
Portkey
გაერთიანებული კონტროლის პლანი AI აპლიკაციების შექმნის, მართვისა და მონიტორინგისთვის
Portkey არის გაერთიანებული კონტროლის სივრცე AI გამოყენებების შექმნის, მართვისა და მონიტორინგისთვის. ის იძლევა კომპლექსურ პლატფორმას AI გუნდებისთვის პროდუქციაში გასვლისთვის, შემდეგი ფუნქციების შეთავაზებით: AI Gateway, Observability, Guardrails, Governance და Prompt Management. პლატფორმა საშუალებას აძლევს მომხმარებლებს 1,600-ზე მეტ LLM-ებზე წვდომის უზრუნველყოფა ერთიანი API-ს მეშვეობით, რაც მოდელების ინტეგრაციის პროცესს ავტომატიზებს და გუნდებს შექმნაზე ფოკუსირების საშუალებას აძლევს, ვიდრე მართვაზე. Portkey ასევე სთავაზობს რეალურ დროში დაკვირვების შესაძლებლობას, რაც მომხმარებლებს საშუალებას აძლევს LLM-ების ქცევის მონიტორინგს, ანომალიების ადრეულ შეტყობას და გამოყენების პროაქტიულ მართვას. გარდა ამისა, პლატფორმა იძლევა კეშირების შესაძლებლობას, რომელიც მომხმარებლებს ვალდებული ტესტების შემცირების შედეგად ათასობით დოლარის დაზოგვაში ეხმარება. Portkey დაპროექტებულია AI გუნდებისთვის და მხარს უჭერს ფართო სპექტრის LLM-ებს, 3000-ზე მეტი GenAI გუნდით და დიდი რაოდენობით ტოკენებით, რომლებიც ყოველდღე გადის.
კრიტერიუმების დაყოფა
- AI შლუზი მრავალი მიმწოდებლის მარშრუტიზაციით
- პრომპტის მართვა და ვერსიონირება
- მოთხოვნის ლოგები, კვალები და ანალიტიკა
- სემანტიკური კეშირება და ხელახლა ცდა
- ინპუტისა და აუთფუთის ვალიდაციისთვის გარდრეილები
- გამოყენებისა და ღირებულების მონიტორინგის პანელები
Relari (YC W24)
ტესტირება, შეფასება და ხელოვნური მონაცემთა გენერაციის პლატფორმა აი აგენტებისთვის.
Relari არის დეველოპერების პლატფორმა, რომელიც მიზნად ისახავს AI აგენტების საიმედოობის გაუმჯობესებას სისტემატიური ტესტირებისა და შეფასების საშუალებით. ის დახმარებას უწევს გუნდებს სინთეტიკური მონაცემთა სეტების გენერაციაში, ავტომატიზირებული შეფასებების ჩატარებაში და აგენტების შესრულების შეფასებაში რეალისტურ სცენარიებში წარმოებაში გაშვებამდე. Y Combinator-ის (W24) მხარდაჭერით, Relari ინჟინერიაში კომპლექსური LLM გამოყენებებისა და მულტი-ნაბიჯიანი აგენტების მშენებლობაზე ითვისებს მიზნად იმ შემთხვევებში, სადაც ტრადიციული QA ვერ ასწრებს. მისი ინსტრუმენტები მიზნად ისახავს სოფტვერის ინჟინერიის ზუსტი მეთოდების, როგორებიცაა ერთეული ტესტები, რეგრესიის შემოწმება და ზომიერი მაჩვენებლები, არა-დეტერმინისტული AI სისტემების გამოყენებაში მოყვანა. პლატფორმა უზრუნველყოფს ინდივიდუალურ შემოწმებადებს, სცენარის სიმულაციასა და უწყვეტ მონიტორინგს, რის გამოც ის საჭიროა როგორც წინასაწარმოო ვალიდაციისთვის, ისე პროდუქტიული აგენტების ხარისხის მუდმივი უზრუნველყოფისთვის.
კრიტერიუმების დაყოფა
- ხელოვნური მონაცემთა გენერაცია
- ავტომატური აგენტის შეფასების პიპლაინები
- სცენარისა და კონვერსაციის სიმულაცია
- შეფასების მეტრიკების კონფიგურაცია
- რეგრესიული ტესტირება LLM აპლიკაციებისთვის
- შესრულების ბენჩმარკინგი და ანგარიშგება
Arize AI
AI‑ის აღკვირვების და LLM‑ის შეფასების პლატფორმა, რომელიც AI‑ის შემუშავებსა და მონაცემთა მეცნიერებს დახმარებას აძლევს მონიტორინგში, პრობლემის აღმოფხვრაში და წარმადობის გაუმჯობესებაში…
Arize AI არის აი დაკვირვებისა და საკონტესტო სამაგისტრო ლანსირების LLM პლატფორმა. მისი მიზანია აი დეველოპერებს და პროგნოზების მეცნიერებს დაეხმარონ თავიანთ ამოცნობცო სისტემათა დაკვირვებად, სიღრმა. უფლება და საკონტროლო სთვლებად. ამ სამაგისტო პლატფორმა კვლებს საშუალებას უკეთებს სერშოდ და პროპოზიკციტ უმნი. დაეხმარონ გვფრელონ მოდელო დაკვირვებად, ზეგებ დამალო სთვლე. მონიტორონგ დისპროზებ, API- ს, API-ს და API-ს ზეგებს, გვფრელონ სამაგისტო პროფესიონალიზაბ. ამ სამარცო პლატფორმა მთავრობები, ბანკები ბანკები ამოწონობერებს.
კრიტერიუმების დაყოფა
- აი-მოდელის მონიტორინგი
- ტროუბლშოტინგი და საკითხის გამოძიება
- სხვადასხვა მოდელის მომვლელის წარმოება
- მოდელის მუშაობის შეფასება
- LLM-ის შეფასება და მაქსიმუმიზაცია
Edwin AI
AI აგენტი IT ოპერაციებისთვის, რომელიც აჩქარებს ინცედენტების აღმოჩენას, ტრაიჯს და გადაჭრას.
Edwin AI არის AI‑აგენტი IT ოპერაციებისთვის, რომელიც აძლიერებს ინციდენტების გამოვლენას, ტრაიაჟს და გადაწყვეტას. იგი სთავაზობს ცენტრალურ პლატფორმას IT გუნდებს, რათა ისინი იკვლიონ ინციდენტები, გაგონონ მათი გავლენა, იპოვენ ან შექმნან გამოსავალები და გადატაროთ ისინი არსებული ინსტრუმენტები სისტემებს შორის გადართვის გარეშე. Edwin AI კორზეალდება გაფრთხილებებს, იდენტიფიცირებს ძირითადი მიზეზებს და ავტომატურად იწყებს შეკეთებას, პირველ გაფრთხილებიდან დამოწმებული გადაწყვეტამდე. იგი იყენებს ისტორიულ ნიმუშებს და observability მონაცემებს, რათა პროგნოზირებინათ და პრევენციალათ ავარიები. ხელსაწყო ინტეგრირებულია 3 000-ზე მეტი ინსტრუმენტთან observability, APM, security და CMDB-ის დარგებში, რაც უზრუნველყოფს რეალურ დროში ქმედითი შეხედულებებს და აცილებს სილოებისგან. Forrester-ის კვლევის მიხედვით, Edwin AI 313 % ROI‑ს აძლიერა კომპოზიტურ ორგანიზაციებში, გადახდის პერიოდი 6 თვის ან ნაკლები.
კრიტერიუმების დაყოფა
- გაფრთხილების კორელაცია და ხმაურის შემცირება
- AI‑ის მხარდაჭერით ძირითადი მიზეზის შემოთავაზებები
- ინცედენტების ნატურალური ენის შეჯამებები
- ინტეგრაციები ITSM და observability პლატფორმებთან
- ავტომატიზებული ტრაიჯის სამუშაო ნაკადები
- ცოდნის შევსება წარსული ინცედენტებიდან
FoundryAI არის განვითარების პლატფორმა, რომელიც ორიენტირებულია AI აგენტების შექმნაზე, რომლებსაც რეალურ ბიზნეს სამუშაო ნაკადებს ახორციელებენ. იგი აერთიანებს აგენტის დიზაინს, ტესტირებას და მუდმივი გაუმჯობესების ხელსაწყოებს, რათა გუნდებს შეძლება პროტოტიპიდან პროდუქციაზე გადასვლა, ცალკე სისტემების შეყოფის გარეშე. პლატფორმა ხაზგასმით უყრდნობა შეფასებას, შემმუშავებლებს აძლევს საშუალებებს აგენტის შესრულების გაზომვისთვის განსაზღვრული დავალებების მიმართ და ქცევის დროის მიხედვით გასაუმჯობესებლად. ეს ქმნის მას შესაფერისს ორგანიზაციებისთვის, რომლებიც მომხმარებლების მხარდაჭერის, შიდა ოპერაციების ან განმეორებადი ცოდნის სამუშაოების ავტომატიზაციას იწვევს, სადაც საიმედოობას აქვს მნიშვნელობა. FoundryAI მიზნად ისახავს ტექნიკურ გუნდებს, რომლებიც მეტი კონტროლს საჭიროებენ, ვიდრე no‑code ბილდერებმა სთავაზობენ, თუმცა სწრაფი იტერაციის სურვილს აჩვენებენ, ვიდრე აგენტების სრულად ნულიდან შექმნა.
კრიტერიუმების დაყოფა
- აგენტის შესაქმნელად გარემო
- შეფასებისა და სატესტო ხელსაწყოები
- წარმადობის მონიტორინგი
- სამუშაო პროცესების ავტომატიზაციის მხარდაჭერა
- იტერაციული გაუმჯობესების ციკლები
- ინტეგრაცია ბიზნესი სისტემებთან