LangSmithObservability, eval. un debugging platform LLM lietojumprogrammām no LangChain komandas

LangSmith ir rīks uzņēmēju platforma, kuru ir izveidojis LangChain komandas darbinieki, lai palīdzību pieejamais komandas daudzumam izpētīt, testēt, pētīt un monitorēt liellopu valodas modeliņu izmantoto lietotni. Tomēr tas saplāvo sīviem sadarbību ar LangChain un LangGraph rīkiem, bet ir neitralizēts un var instrumentēt ne vien tikai to lietotnes, bet arī jebkuras citas LLM lietotnes izmantojot to SDK un APi. Tā galvenais nolūks ir pētīt LLM sistēmu sāpīgumu, kura iespējas ir neapstākļiskas un nolaidības var būt maziskās, piešķirot attīstītājiem redzamību par to, ko to ņemtie lanu ņemtie, agenti un pieprasījumi ir patiesi darbojas runtime. Dziļuma pārskatu nodēvēšanā centrējas: katru reizi kad lietotājs izpilda programmu, tiek radīts noteikts, nodaļu sastāvīgs pārskats, kas rāda katru sarīkojumu, tai skaitā norādīto iespaidu, modeļa atbilstības pierādījumus, tokeņa lietojumu, retardējuma, noudzētu programmētāju ieruunāmās saites un interešu rezultātu plūsmu. Tā tiek veikta dažādu kompleksu multi-step zināšanu iepakojumu un atjaunojamo ģenerācijas plūsmu debesīm izliekumu veikšanas novatne. Veidojums ar to var izpētīt katru izsētīto pārskatu, izvēlas un meklē šeit, kā arī pārvērtas katrā nodaļā esošos ietvērušos un izvadusos rezultātus. Tāpat LangSmith piedāvā arī novērtēšanas rīkus, lai paredzotu programmveida kvalitātes novērtējumu. Komandas var būvēt databāzes no produkcijas traucējumiem vai apskatītiem parauga piemēriem, veikt programmējumu pēc tam pašu databāzi, un atšķirt rezultātus ar saderīgajiem novērtētājiem, lietojot individuālu kodu bāzētos novērtējumus vai LLM kā tiesnesi iespējas. Tas atbalsta atkārtotās testēšanas, kad pieprasījumi vai modeļi mainās un palīdz skaitļot, vai mainījumi faktiski uzlabo rezultātus, nevis atbalstojot intuitīvu domāšanu. Iedarbībai tieši saskaņā ar to, tie piedāvā monitorojamo grafikonu lappuses, kas seko metrikām, tādām kā atvainsbiedība, izmaksas, kļūdu indeksi un atsauksmes laika posmā, kopā ar iespēju vāc vēstījumus un lietotāju piezīmes. Atvainošanas vadītājs un pārgalvi komponente saskarājas ar komandu lai iterētu atvainošanu un versiju atvainošanu, un saliedētu modeļa rezultātus viena otru blīvā līnijā. LangSmith ir pielāgots galvenokārt programmatūras attīstītājiem un komandām, kas tiek izmantotas LLM iespējas pārrakstā, lai pārsteigtu kārtiskas observabilitātes un izvērtējuma sistēmu. Galvenā priekšrocība ir ātruma ar kuru integrēts ar LangChain ecosistēmu un attiecīgās workflows vienota darbība, kas savieno trasešu izvērsošanu, datu setus un izvērtējumu. Brīvi atzītās pretrunās iekļauj tas, ka iespējamāki pieredzējumi tiek pieejami tad, kad attīstītājs ir komfortāblā stāvoklī šīs pasaulē, tas, ka LLM bāzētais izvērtējums patiesībā ir nepareizs un nepieciešams noteikt raksturošais dizains, un tas, ka ir komerciāls produktu pārvalde, kas tiek nodrošināta par lietošanu bāzējas pirciņa, lai gan norāde uz pašizrādāšanos ir pieejama kādu plānu.