localGPTZasebno, brezmrečno klepetanje z dokumenti, poganjeno z lokalnimi LLM-ji na vaši lastni strojni opremi.

4.7 (6)

Pregledal Daniel Nikulshyn·Posodobljeno maj 2026

Open Source Self-Hosted RAG Privacy Local LLM Document Q&A Developer Tools

Pregled

localGPT je odprtokodni projekt, ki vam omogoča, da zastavljate vprašanja o vaših lastnih dokumentih z uporabo large language models, pri čemer se vsa obdelava izvede na vašem lokalnem računalniku. Z ohranjanjem embeddings, vector storage in inference offline se izognete potrebi po pošiljanju občutljivih datotek na tretje strani oblačne storitve. Orodje localGPT obdeluje običajne formate dokumentov, jih razdeli in vdeluje v lokalno vektorsko podatkovno bazo, nato pa z izbranim LLM generira ustrezne odgovore na podlagi pridobljenih odstavkov. Podpira pospeševanje z GPU na NVIDIA, Apple Silicon in nastavitve, ki uporabljajo le CPU, kar omogoča prilagodljivost na različne strojne platforme. Najprimernejše je za razvijalce, raziskovalce in uporabnike, ki skrbijo za zasebnost, ki iščejo samostojno gostovančno alternativo oblačnih orodij za Q&A z dokumenti in se udobno ukvarjajo s Pythonom ter terminalnim okoljem.

Ključne funkcije

Generiranje, dopolnjeno z iskanjem na lokalnih datotekah
Lokalna vektorska baza za embeddings
Podpora za PDF-je, besedilo in pisarniške dokumente
Konfigurabilne izbire LLM in embedding modelov
Neobvezen GPU pospešek
Ukazna vrstica in osnovni spletni vmesnik

Cene

Model: Freemium
Kategorija: Agnosti AI
Ocena: 4.7 / 5 (6)

Primeri uporabe

Zasebno Q&A o zaupnih dokumentih

Poizvedujte o občutljivih pogodbah, poročilih ali notranjih datotekah popolnoma brezmrečno, pri čemer zagotovite, da nobeni podatki ne zapustijo vaše naprave, medtem ko še vedno dobite ustrezne odgovore, generirane z LLM.

Brezmrečni raziskovalni pomočnik

Raziskovalci lahko vnašajo PDF-je in članke v lokalni vektorski shranjevalnik ter zastavljajo vprašanja za pridobivanje in sintezo informacij brez zanašanja na API-je v oblaku.

Samogostljiva baza znanja za razvijalce

Razvijalci lahko zgradijo prilagodljiv RAG cevovod preko tehničnih dokumentov, izbirajo svoj izbran LLM in embedding modele na svoji lastni GPU ali CPU strojni opremi.

Apple Silicon lokalni AI delovni tok

Uporabniki na M-seriji Macov lahko lokalno izvajajo klepet z dokumenti z GPU pospeškom, raziskujejo zmogljivosti LLM brez naročnin ali zunanjih storitev.

Prednosti in slabosti

Prednosti

Deluje popolnoma brezmrečno za večjo varnost podatkov
Odprtokodno in samogostljivo
Podpira več formatov dokumentov
Deluje z različnimi lokalnimi LLM-ji in embedding modeli
Kompatibilen z GPU, CPU in Apple Silicon

Slabosti

Potrebuje tehnično nastavitev in odvisnosti
Izvedba je odvisna od lokalne strojne opreme
Ni urejenega gostovanega vmesnika po privzeti nastavitvi
Manjši lokalni modeli lahko nudijo šibkejše odgovore

Ocene

4.7

Povprečje iz 6 ocen.

Prijavi se za oddajo ocene.

Nadia Petrova

Mar 6, 2026

Compared a few options

Evaluated this against two competitors. Where it wins: optional GPU acceleration and supports multiple document formats. Where it lags: smaller local models may give weaker answers. On balance the feature set — especially local vector database for embeddings — justifies the 5 stars for our use case.

Tomáš Novák

Mar 1, 2026

Use it every day

Honestly didn't expect to like it this much. Command-line and basic web interface is exactly what I needed, and supports multiple document formats. I do wish no polished hosted UI out of the box, but I reach for it almost every day now and it just clicks.

Devin Walker

Feb 27, 2026

Compared a few options

Evaluated this against two competitors. Where it wins: retrieval-augmented generation on local files and works with various local LLMs and embeddings. Where it lags: no polished hosted UI out of the box. On balance the feature set — especially command-line and basic web interface — justifies the 5 stars for our use case.

Marcus Bell

Jan 3, 2026

Years in this space

I've evaluated a lot of these over the years. What stands out here is retrieval-augmented generation on local files — handled better than most — and supports multiple document formats. Performance depends on local hardware is my one real gripe. Worth the time if this is your use case.

Aisha Khan

Dec 7, 2025

Use it every day

Honestly didn't expect to like it this much. Optional GPU acceleration is exactly what I needed, and gPU, CPU, and Apple Silicon compatible. but I reach for it almost every day now and it just clicks.

Daniel Schmidt

Jul 26, 2025

Skeptical, then convinced

I went in skeptical — most tools in this space overpromise. It actually delivers on command-line and basic web interface, and supports multiple document formats caught me off guard. Performance depends on local hardware is why this isn't a perfect score, still, I'd recommend giving it a real trial.

Vprašanja

What file types does localGPT support for ingestion?

It can process common formats such as PDFs, plain text files, and Microsoft Office documents, automatically splitting and embedding their contents for retrieval‑augmented generation.

Asked by Malik Rasheed · Sep 25, 2025

Is any data sent to external services when I query documents?

No. All document ingestion, embedding, vector storage, and answer generation happen locally, so sensitive files never leave your hardware.

Asked by Piotr Baranowski · Aug 13, 2025

Can I use my own LLM or embedding model with localGPT?

Yes, the tool is configurable; you can plug in any compatible local LLM and choose from various embedding models, allowing you to balance cost, speed, and answer quality.

Asked by Marisol Pena · Jun 27, 2025

What hardware do I need to run localGPT effectively?

localGPT can run on NVIDIA GPUs, Apple Silicon, or CPU‑only machines; GPU acceleration speeds up embedding and inference, but you can still use it on standard laptops with only a CPU, though performance will be slower.

Asked by Liam O’Connor · Jun 21, 2025

Postavi vprašanje

Alternative za Agnosti AI

Zapier's Agents

Agnosti AI

AI‑omogeni agenti, ki avtomatizirajo delovne tokove prek več kot 7 000 povezanih aplikacij

5.0 (6)

Freemium

NexusGPT

Agnosti AI

Platforma no-code za ustvarjanje in uvajanje prilagojenih AI agentov za avtomatizacijo poslovnih delovnih tokov.

5.0 (6)

Freemium

AgentForge

Agnosti AI

Nizkoodni okvir za gradnjo avtonomnih AI agentov in kognitivnih arhitektur

5.0 (6)

Freemium

Maps Scraper AI

Agnosti AI

Orođaj, ki uporablja umetno inteligenco in avtomatizira izvlečevanje podatkov o podjetjih iz Google Maps, kar izboljša generiranje vodil in raziskave trga.

5.0 (6)

Freemium