Lokální AI ve firmě, kde data zůstanou u vás
Spousta firem už nechce házet citlivá data do cizího chatu. Jde to jinak. Výkonný model může běžet u vás na jednom počítači, nad vašimi daty, a ven nepustí ani řádek. Tady je, jak to funguje a co to stojí.
- 01Lokální AI běží na jednom počítači u vás ve firmě a žádná data neodejdou ven.
- 02Hardware vyjde zhruba na 110 až 420 tisíc podle výkonu, model je zdarma a měsíční licence žádné.
- 03Modely Qwen a Gemma kolem 30B dneska zvládají češtinu na běžnou firemní práci slušně.
- 04Začíná se malou placenou ukázkou na vzorku vašich dat, výsledek vidíte dřív, než cokoli koupíte.
Skoro každá firma dneska AI nějak používá. Někdo si nechá od ChatGPT napsat mail, někdo do něj hodí tabulku a nechá ji shrnout. Dokud do toho nelítají citlivá data, je to v pohodě.
Problém začne ve chvíli, kdy do cizího chatu vložíte ceník, smlouvu nebo údaje o zákaznících. Tím to z firmy odchází ven a vy s tím nemáte páku cokoli udělat. V některých oborech to ani nesmíte.
Dá se to ale postavit tak, že model běží u vás ve firmě a ven nepustí ani řádek. Ještě před rokem to byla tak trochu hračka pro nadšence. Dneska je to běžně provozuschopná věc, jen ji v Česku umí postavit málokdo. To je přesně to, co dělám.
01Jak to funguje
Celý systém běží na jednom počítači u vás v kanceláři. Nic v cloudu, nic na cizím serveru. Ten jeden stroj je celá infrastruktura.
- Jazykový model v češtině běží přímo na grafické kartě toho počítače.
- Vaše data, tedy katalog, dokumenty nebo postupy, jdou do RAGu. To je vyhledávání, ze kterého model bere fakta, takže odpovídá z vašich dat a nevymýšlí si.
- Nad tím běží webové rozhraní s účty, v podstatě váš vlastní ChatGPT uvnitř firemní sítě.
- Data ten počítač nikdy neopustí.
Lidi se k němu připojí přes prohlížeč jako k normálnímu webu, jen jede uvnitř vaší sítě. Ptají se na vlastní data, nechají si připravit text nebo návrh odpovědi na mail. Všechno zůstává doma.
02Proč to dělat lokálně
První věc je kontrola nad daty. Když nic neodchází ven, řešíte GDPR i důvěrnost úplně jinak, než když to posíláte třetí straně za oceán. Druhá věc je nezávislost. Ceny cloudových AI jsou dneska dotované investory a nikdo vám nezaručí, jak budou vypadat za rok. Váš vlastní model jede dál bez ohledu na to, co udělá trh.
Když data nemusí opustit firmu, máte z toho konkurenční výhodu. V EU na datovou suverenitu navíc slyší čím dál víc lidí a u řady oborů ji vyžaduje i regulace.
03Co na to potřebujete za hardware
Jeden počítač s pořádnou grafikou. Kupujete ho vy a zůstává váš, já vám jen poradím s konfigurací, ať neplatíte za nic, co nevyužijete. Zhruba tři cenové hladiny:
- Úsporná tichá krabička s velkou pamětí, kolem 110 až 130 tisíc. Utáhne i velký model, na rychlé generování obrázků je slabší.
- Vyvážená sestava s výkonnou kartou, kolem 140 až 160 tisíc. Nejlepší poměr cena a výkon, svižný chat i obrázky.
- Profi karta bez kompromisů, kolem 320 až 420 tisíc. Model i grafika naráz, rezerva na roky.
Na firmu s pěti až dvaceti lidmi, co se ptají nad katalogem nebo dokumenty, bohatě stačí prostřední varianta. Modely jako Qwen nebo Gemma kolem 30B dneska zvládají češtinu slušně. Otestuju je na vašich reálných dotazech, ne podle tabulek z internetu.
04Jak to děláme
Nezačínám tím, že vám naúčtuju celé nasazení naslepo. Nejdřív malý placený krok: vezmu vzorek vašich dat, postavím funkční ukázku a ověřím, jak dobře to odpovídá česky. Z toho vám dám přesný návrh a cenu zbytku. Výsledek uvidíte dřív, než cokoli koupíte, a teprve pak se rozhodujete o hardwaru.
Lokální modely a infrastrukturu u klienta stavím. Pokud řešíte, že nechcete posílat data ven a chcete AI plně pod kontrolou, napište mi. Probereme to nezávazně na vašem konkrétním případu.
FAQČasté otázky
- ?Co znamená lokální nebo on-premise AI?
- Jazykový model i vaše data běží na jednom počítači přímo u vás ve firmě, ne v cloudu. Lidé se k němu připojí přes prohlížeč uvnitř firemní sítě a ven neodejde ani řádek dat.
- ?Opravdu žádná data neopustí firmu?
- Ne. Model i vyhledávání nad vašimi daty běží na vašem stroji a nikam se nepřipojují. Na rozdíl od ChatGPT, kde vaše vstupy odcházejí na cizí servery, tady vše zůstává ve vaší síti.
- ?Jaký hardware na lokální AI potřebuju?
- Jeden počítač s výkonnou grafickou kartou. Na běžnou firmu do dvaceti lidí stačí vyvážená sestava kolem 140 až 160 tisíc. Stroj kupujete vy a zůstává váš.
- ?Umí lokální model dobře česky?
- Modely Qwen a Gemma kolem 30B zvládají češtinu na firemní práci slušně. Vždy je ale otestuju přímo na vašich reálných dotazech, ne podle obecných tabulek z internetu.
- ?Jak dlouho trvá nasazení?
- Záleží hlavně na stavu vašich dat. Vyčištění a příprava dat bývá většina práce. Sama instalace modelu a rozhraní je rychlá, první funkční ukázku na vzorku dat máte řádově v týdnech.
Stavím firmám AI systémy na míru. Od návrhu po nasazení, sám. Když řešíte něco podobného, ozvěte se na tadeas@raska.eu.
