LangSmithLLM-sovellusten havaittavuus, arviointi ja ohjelmointipalvelu LangChain-työryhmästä

LangSmith on kehittijäsi ongelmaan saapukas alusta, jota tulee rakentaa LangChain -tiimimme avulla apuanan joukkoihin suorittavuudesta, testaamisesta, arviointeista ja valvontaan suunnitelluista ohjelmista, joiden toimintaan vaikuttaa suuren kielenmallin ohjaaminen. Vaikka se on integroidun tyytyväinen LangChain ja LangGraph-kehysten kanssa, on sen avulla voidettava instrumentoida milloinkin LLM-ohjelmien avulla myös määräaikaisesti. Sen tärkein tehtävänä on välttää suuren kielenmallin perusteella toimivia järjestelmiä ominaiseksi kutsuttu epävarmuus, jossa syötteiden tulokset ovat epäonninen ja epäonnistumiset vähävaraisia, antamalla kehittäjille visuaalista näyttöä siitä, mitä ketjut, agentit ja syötteet tosiasiallisesti tekevät suoritusaikana. Plattformi keskittyy siirtymään: sovelluksen kullekin ajorungolle tuotetaan yhteenvetoista, hajarengastettua merkitsevää siirtymää, joka näyttää jokaisen askelman, mukaan lukien esikatselemia pyyntöjä, mallien vastauksia, tokenien käyttöä, hidastumista, työkalujen kutsuja ja välivaihdeulosteita. Tämä tekee käyttämistä helppoa monitasaisille agentteille ja hakukiristettäviä synteesiputkeille, joissa huono vastaus voi olla aseteltu moniin tasoja syvemmälle. Käyttäjät voivat tarkastella eräitä siirtymiä yksitellen, suoda ja etsiä ylempää siirtymiä vastaan, ja harjailla tarkat syötteet ja ulosteet jokaisen solun kohdalla. LangSmith tarjoaa myös arviointityökalun laadun arvioimiseksi sovellusten laatua varten. Teejoukkueet voivat rakentaa tietokantayhteyksiä tuotantojen jälkikäsiteltävien merkkien tai tarkoitettujen esimerkkien avulla, toteuttavat sovelluksensa näitä tietokantayhteyksiä vastaan ja arvioivat tuotteita sisäisillä arviointijärjestelmin, kustomoiduilla ohjelmistoon perustuvilla tarkistuksilla tai LLM:n-jäsenään-käyttelijnä käytäntö. Tämä tukee tietokonejohdattavaa testausta tilanteissa, joissa käyttäjän esittämät pyynnöt tai modelleja muutetaan ja auttaa myös arvioimaan, toimiiko muutokset todellisissa tuloksissa hyväksyttyinä eikä vain luomalla ymmärrystä. Tuotannon käytössä se tarjoaa seurantapaneelia, joka seuraa mittareita kuten vakaumiaikaa, kustannuksia, virheenmäärää ja palautetta ajan mittaan, samoin kuin mahdollisuusteen keräämistä ja käyttäjän annotaatioita. Alustuksen hallinnan ja leikkitilan komponentti annetaan joukoille iteroida ja säilyttää alustukset sekä vertailla mallien tuloksia sivu toisensa vasten. LangSmith on suunniteltu pääasiassa kehitysstäville ja tihenille, jotka lähettävät SLL:ää käyttäen työkaluita, joilla tarvitsevät siirtyä epätäsmällisiltä print-tilanteen debuggaamisilta kohti systemaattista selvitysmenettelyä ja arviointia. Sen päävoimavaroita on syvyys integrointi LangChain-ekosysteemin kanssa ja yhdenmukainen työvirkkauten yhdistäminen traceeraukseen, datanäyttöön ja arviointiin. Epäkohtaisia tietoja on, että rikkaimman kokemuksen muodostaminen olettaa, että teillä on hyvä tieto LangChain/LangGraph maailmasta. Vastaavasti LLM perusteisessa arvioinnissa käytetyt muuttujat eivät välttämättä toimi kuin täysin epäonnistuneessa muodossa ja vaativat hyvän suunnittelun. Lisäksi on kyse laajasti tarjoamisesta ja kaupalliseen tuotteeseen, jolle voidaan soveltaa käyttöpohjaista maksukelpoisuutta vaikka on myös olemassa vaihtoehtoja itse omistettavalle versiolle. LangSmith kilpailee SLL:ää selvityksen ja arvioinnin työkaluja SLL-fuser, Helicone, Arize Phoenix ja Weigths & Biases Weave kanssa .