Jak rozjet AI nad vlastními daty bez cloudu
Postup, který používám u klientů. Jeden server u vás, na něm jazykový model a vaše data zpřístupněná přes RAG tak, aby z nich AI odpovídala a nevymýšlela si. Bez cloudu, bez odesílání dat ven.
- 01Postaví se jeden server u vás, na něm jazykový model a vaše data zpřístupněná přes RAG.
- 02RAG zajistí, že AI odpovídá z vašich dat a nevymýšlí si, a řekne, ze kterého zdroje čerpá.
- 03O výsledku rozhoduje hlavně kvalita dat, ne model ani server.
- 04Tým to používá přes webové rozhraní jako ChatGPT, jen běží uvnitř firemní sítě.
Princip je jednoduchý. Postaví se jeden server u vás, nainstaluje se na něj jazykový model a vaše data se přes takzvaný RAG zpřístupní tak, aby z nich AI brala fakta. Tady je postup, jak to dělám.
011. Sběr a posouzení dat
Začínám tím, že se podívám na vaše data. Katalog, dokumenty, postupy, často i reálné dotazy nebo maily, na které chcete odpovídat. Tenhle krok rozhoduje o všem. Pokud máte u produktů pořádné popisy a parametry, je z velké části hotovo. Pokud je to bordel, většina práce padne na jeho srovnání.
022. Data do RAGu
Data se rozkrájí na kousky a uloží do vektorového vyhledávání. Když se někdo na něco zeptá, systém najde relevantní kousky vašich dat a předá je modelu jako podklad. Díky tomu odpovídá z vašeho a nevymýšlí si. U katalogu o stovkách produktů je to malý a rychlý index.
033. Model a čeština
Vyberu jazykový model, který běží lokálně a slušně umí česky, dneska typicky Qwen nebo Gemma kolem 30B. Otestuju ho přímo na vašich dotazech. Tady se pozná, jestli to bude dávat použitelné odpovědi na maily, nebo lámanou češtinu.
044. Rozhraní a účty
Nad tím nasadím webové rozhraní s uživatelskými účty. Pro lidi ve firmě to vypadá a chová se jako ChatGPT, akorát běží uvnitř vaší sítě a ptá se nad vašimi daty. Můžou nahrávat dokumenty, ptát se na produkty, nechat si připravit text.
055. Zaškolení a předání
Ukážu lidem, jak se ptát, aby z toho dostali maximum, a předám vám to celé tak, abyste nebyli závislí na mně u každé maličkosti.
Nejtěžší na tom nejsou modely ani server. Je to kvalita dat. Garbage in, garbage out platí u AI dvojnásob, a proto na posouzení dat klademe důraz hned na začátku.
Tohle stavím na klíč. Když máte data a chcete nad nimi vlastní AI bez cloudu, ozvěte se.
FAQČasté otázky
- ?Co je RAG a proč ho potřebuju?
- RAG je vyhledávání, ze kterého model bere fakta. Vaše data se rozkrájí na kousky, a když se někdo zeptá, systém najde relevantní úryvky a předá je modelu jako podklad. Díky tomu AI odpovídá z vašich dat a nevymýšlí si.
- ?Nevymýšlí si AI nad firemními daty?
- S dobře postaveným RAGem výrazně méně, protože odpovídá z konkrétních úryvků vašich dokumentů a umí říct, ze kterého zdroje čerpá. U citlivých výstupů se navíc nechává člověk, který odpověď potvrdí.
- ?Funguje to opravdu bez cloudu?
- Ano. Model, vyhledávání i rozhraní běží na jednom serveru u vás ve firmě. Data se nikam neodesílají, celý systém jede uvnitř vaší sítě.
- ?Co když máme data v nepořádku?
- To je nejčastější situace a počítá se s ní. Vyčištění a srovnání dat bývá většina práce. Proto začínám posouzením dat, abych věděl, kolik přípravy vás čeká, ještě než se cokoli staví.
- ?Jak se k tomu tým připojí?
- Přes webové rozhraní v prohlížeči, jako k běžnému webu. Vypadá a chová se to jako ChatGPT s uživatelskými účty, jen to běží uvnitř firemní sítě a ptá se nad vašimi daty.
Stavím firmám AI systémy na míru. Od návrhu po nasazení, sám. Když řešíte něco podobného, ozvěte se na tadeas@raska.eu.
