To znamená, že v danom časovom okne máme obmedzený počet použití, a ak nechceme čakať, kým sa limit obnoví, je potrebné zaplatiť za vyššiu úroveň predplatného. Momentálne sa to pohybuje okolo 20 eur mesačne. V prípade, že máte počítač s dostatočným grafickým výkonom, môžete si doma spustiť o niečo slabšieho chatbota, ale bez obmedzení počtu otázok. Pridaná hodnota je, že pri rozumnom nastavení predídete úniku dát alebo otázok tretím stranám, keďže systém, ktorého sa pýtate, beží priamo na vašom zariadení, a nemusíte sa spoliehať na službu bežiacu v dátovom centre o pol Európy ďalej.
Platformy Ollama a Hugging Face umožňujú, aby sme si na svoje zariadenie stiahli už pripravené modely, ktoré môžu slúžiť ako náš osobný chatbot.
Ako postupovať pri výbere správneho modelu? Platí jednoduché pravidlo. Modely na spomenutých platformách mávajú názov, napríklad „qwen3“, a za ním dvojbodku a číslo s písmenom B. Napríklad „qwen3-vl:2B“, kde názov modelu je „qwen3-vl“ a „2B“ znázorňuje veľkosť modelu. Ide o počet parametrov v danej verzii modelu. Odporúča sa najprv stiahnuť menší model na svoje zariadenie, aby ste zistili, aký veľký model váš systém podporuje; postupne môžete skúšať rozsiahlejšie modely. Treba sa však pripraviť na dlhšiu dobu odozvy pri rozsiahlejších modeloch pre ich výpočtovú náročnosť.
Jeden z možných problémov je, že modely, ktoré ste si stiahli, majú znalosti len do určitého bodu, teda po dátum, do ktorého boli trénované. V takom prípade, ak sa spýtate napríklad na to, aké bude počasie alebo na novinky, buď neodpovedia, alebo vygenerujú halucináciu, ktorá bude de facto nepravdivá. Vtedy treba nakonfigurovať takzvané internetové vyhľadávanie. Môžeme si to predstaviť tak, že namiesto toho, aby sme si my pomocou Google/Yahoo/DuckDuckGo vyhľadali informácie na internete, spraví to za nás chatbot.
Dokážeme prehľadávať súbory? Stáva sa napríklad, že by sme chceli navariť jedlo a recepty máme v dokumente v počítači, ale nechceme prehľadávať veľký dokument alebo viacero dokumentov. V tom prípade môžeme „nahrať“ dokumenty do systému, ktorý komunikuje s chatbotom, a keď sa správne spýtame, vráti nám recept v priebehu minúty.
Tutoriál pre OpenWebUI, pomocou ktorého si to viete u vás doma nainštalovať a spojazdniť:
Jednoduchá inštalácia: https://www.youtube.com/watch?…
Nastavenie online vyhľadávača: https://www.youtube.com/watch?…
Prehľadávanie dokumentov: https://www.youtube.com/watch?…
Kompletný kurz: https://www.youtube.com/watch?…
Tipy a odporúčania
- Potrebujeme aspoň 12 GB RAM a grafickú kartu s 12 GB pamäte.
- Menšie modely, ako 7B a menšie, sa dajú spustiť na slabších grafických kartách, ale aj keby sa nám to podarilo, odozva býva pomalá a výkon modelu často nepostačujúci. Preto sa odporúča klásť jasné otázky.
- Menšie modely môžu mať problém so slovenským jazykom — v lepšom prípade odpovedia po česky, v horšom vás nepochopia. Dôvodom je, že dátová vzorka, na ktorej bol model trénovaný, mala prístup k malému množstvu textov v slovenskom jazyku.
- V prípade, že aj napriek konkrétnej otázke je odpoveď nepostačujúca, skúste preformulovať vašu otázku.
Na začiatku to môže byť trocha výzva, ale na konci dňa budete mať vlastného neobmedzeného chatbota na vašom zariadení zadarmo.
