localGPTPrivat, offline-dokumentchatt driven av lokala LLM:er pådin egen hårdvara.

4.7 (6)

Granskat av Daniel Nikulshyn·Uppdaterad maj 2026

Open Source Self-Hosted RAG Privacy Local LLM Document Q&A Developer Tools

Översikt

localGPT är ett open-source-projekt som låter dig ställa frågor om dina egna dokument med hjälp av stora språkmodeller, där all bearbetning sker på din lokala maskin. Genom att hålla embeddings, vektorlagring och inferens offline, eliminerar det behovet av att skicka känsliga filer till tredjeparts molntjänster. Verktyget tar emot vanliga dokumentformat, delar upp och infogar innehållet i en lokal vektordatabas och använder sedan ett valt LLM för att generera grundade svar baserat på hämtade passager. Det stöder GPU-acceleration på NVIDIA, Apple Silicon och CPU-baserade konfigurationer, vilket gör det anpassningsbart till en mängd olika maskinvara. Det är bäst lämpat för utvecklare, forskare och användare som värdesätter integritet och som vill ha ett självvärd alternativ till molnbaserade dokumentfrågetjänster och som är bekväma med att arbeta med Python och kommandoradsgränssnitt.

Nyckelfunktioner

Återvinningssatt generering på lokala filer
Lokal vektordatabas för inbäddningar
Stöd för PDF:er, text och kontorsdokument
Konfigurerbara LLM- och inbäddningsmodellsval
Valfri GPU-acceleration
Kommandorads- och grundläggande webbgränssnitt

Priser

Modell: Freemium
Kategori: Artificiell intelligens-agenter
Betyg: 4.7 / 5 (6)

Användningsfall

Privat Q&A på konfidentiella dokument

Fråga känsliga kontrakt, rapporter eller interna filer helt offline, säkerställande att ingen data lämnar din maskin medan du fortfarande får markbaserade LLM-genererade svar.

Offline-forskningsassistent

Forskare kan mata in PDF:er och papper i en lokal vektordatabas och ställa frågor för att hämta och syntetisera information utan att förlita sig på molnapier.

Självvärd kunskapsbas för utvecklare

Utvecklare kan bygga en anpassningsbar RAG-pipeline över tekniska dokument, med möjlighet att välja föredragna LLM- och inbäddningsmodeller på egen GPU- eller CPU-hårdvara.

Lokala AI-arbetsflöden för Apple Silicon

Användare på M-seriens Mac-datorer kan köra dokumentchatt med GPU-acceleration lokalt, utforska LLM-funktioner utan prenumerationer eller externa tjänster.

Fördelar och nackdelar

Fördelar

Kör fullständigt offline för stark dataintegritet
Öppen källkod och självvärd
Stöder flera dokumentformat
Fungerar med olika lokala LLM:er och inbäddningar
Kompatibel med GPU, CPU och Apple Silicon

Nackdelar

Kräver teknisk installation och beroenden
Prestanda beror på lokal hårdvara
Ingen polerad värdgränssnitt ut ur lådan
Mindre lokala modeller kan ge svagare svar

Stridsrekord

I 1 strid i Pantheon.

1:a

2:a

3:e

Last battle

#6
AI Agents Showdown — September 27, 2025
Sep 27, 2025 · #6 of 6

Recensioner

4.7

Genomsnitt från 6 betyg.

Logga in för att lämna en recension.

Nadia Petrova

Mar 6, 2026

Compared a few options

Evaluated this against two competitors. Where it wins: optional GPU acceleration and supports multiple document formats. Where it lags: smaller local models may give weaker answers. On balance the feature set — especially local vector database for embeddings — justifies the 5 stars for our use case.

Tomáš Novák

Mar 1, 2026

Use it every day

Honestly didn't expect to like it this much. Command-line and basic web interface is exactly what I needed, and supports multiple document formats. I do wish no polished hosted UI out of the box, but I reach for it almost every day now and it just clicks.

Devin Walker

Feb 27, 2026

Compared a few options

Evaluated this against two competitors. Where it wins: retrieval-augmented generation on local files and works with various local LLMs and embeddings. Where it lags: no polished hosted UI out of the box. On balance the feature set — especially command-line and basic web interface — justifies the 5 stars for our use case.

Marcus Bell

Jan 3, 2026

Years in this space

I've evaluated a lot of these over the years. What stands out here is retrieval-augmented generation on local files — handled better than most — and supports multiple document formats. Performance depends on local hardware is my one real gripe. Worth the time if this is your use case.

Aisha Khan

Dec 7, 2025

Use it every day

Honestly didn't expect to like it this much. Optional GPU acceleration is exactly what I needed, and gPU, CPU, and Apple Silicon compatible. but I reach for it almost every day now and it just clicks.

Daniel Schmidt

Jul 26, 2025

Skeptical, then convinced

I went in skeptical — most tools in this space overpromise. It actually delivers on command-line and basic web interface, and supports multiple document formats caught me off guard. Performance depends on local hardware is why this isn't a perfect score, still, I'd recommend giving it a real trial.

Frågor

Vilka filtyper stöder localGPT för ingesting?

Det kan hantera vanliga format såsom PDFs, enkelt textfiler, och Microsoft Office dokument, automatiskt delar upp och innehåller innehållet för återvinning och generering.

Asked by Malik Rasheed · Sep 25, 2025

Behöver någon data skickas till externa tjänster när jag frågar dokument?

Ja. all dokumentingestions,embedding,vektor lagring,och svars generation sker lokalt, så känslig data lämnar aldrig din hårdvara.

Asked by Piotr Baranowski · Aug 13, 2025

Kan jag använda min egen LLM eller inmatningsmodell med localGPT?

Ja, verktyget är konfigurerbart; du kan sticka in vilken lokal LLM som helst och välja från flera inmatningsmodeller; det ger dig möjlighet att balansera kostnad, hastighet och svarskälighet.

Asked by Marisol Pena · Jun 27, 2025

Vad tyder på att jag behöver för att köra localGPT effektivt?

localGPT kan köra på NVIDIA-GPUs, Apple Silicon eller maskiner med endast CPU; GPU-accelerering accelererar inmatning och inferens, men du kan fortfarande använda den på standardlaptop med endast en CPU, tillsammans med viss prestandaförsämring.

Asked by Liam O’Connor · Jun 21, 2025