Fine-tuning, alebo lepší prompt? Kedy sa naozaj oplatí vlastný model

„Chceli by sme vlastný model, natrénovaný na našich dátach." Túto vetu počujeme pravidelne a vo väčšine prípadov je moja prvá odpoveď „pravdepodobne ho nepotrebujete". Nie preto, že by sa to nedalo — venujem sa tréningu modelov roky. Ale preto, že tréning je najdrahšia cesta k výsledku, ktorý sa často dá dosiahnuť lacnejšie.

Tu je rozhodovací postup, ktorý používame.

Štyri úrovne, v tomto poradí

Postupuje sa zdola. Na ďalšiu úroveň sa ide až vtedy, keď tá predošlá preukázateľne nestačí.

1. Lepší prompt a štruktúrovaný výstup

Znie to banálne, ale prekvapivo veľa problémov končí tu. Ak model dostane presné inštrukcie, príklady požadovaného výstupu a schému, do ktorej má odpovedať, presnosť často stúpne o desiatky percent.

Cena: hodiny práce. Kedy nestačí: keď model nemá odkiaľ vedieť odpoveď.

2. RAG — dodať kontext

Ak je problém v tom, že model nepozná vaše produkty, smernice alebo históriu zákazníka, riešením nie je tréning, ale dodanie informácie do kontextu. Model netreba učiť fakty, ktoré sa dajú vyhľadať.

Toto je najčastejšie správna odpoveď na požiadavku „natrénujte ho na našich dátach". V deviatich z desiatich prípadov firma nechce model, ktorý má dáta v sebe — chce systém, ktorý sa k nim dostane.

Cena: týždne. Kedy nestačí: keď problém nie je vo faktoch, ale v štýle, formáte alebo doménovom uvažovaní.

3. Fine-tuning

Až tu má tréning zmysel. Fine-tuning je dobrý na to, aby sa model naučil ako má odpovedať, nie čo:

• konzistentný formát výstupu, ktorý sa promptom nedarí ustrážiť,
• odbornú terminológiu a spôsob uvažovania vo vašom odbore,
• zmenšenie modelu — menší fine-tunovaný model často zvládne úzku úlohu lepšie a lacnejšie než veľký všeobecný.

Tá posledná odrážka býva prehliadaná a pritom je ekonomicky najzaujímavejšia. Ak spracúvate státisíce požiadaviek mesačne, rozdiel v cene za token medzi veľkým a malým modelom prebije náklady na tréning veľmi rýchlo.

Cena: nižšie jednotky tisíc eur pri jazykovom modeli, ak máte dáta. Kedy nestačí: keď úloha nie je textová alebo keď potrebujete niečo, čo základný model vôbec nevie.

4. Tréning vlastného modelu

Prakticky sa to týka najmä počítačového videnia a špecializovaných úloh: kontrola kvality na linke, detekcia v satelitných alebo dronových snímkach, meranie z obrazu. Tu často neexistuje základný model, ktorý by vašu úlohu vedel — musí sa natrénovať.

Cena: desaťtisíce eur, hlavne kvôli anotáciám. Kedy to má zmysel: keď je úloha jadrom vášho biznisu, nie doplnkom.

Štyri situácie, keď vlastný model naozaj dáva zmysel

1. Dáta nesmú opustiť firmu. Legislatíva, zmluva so zákazníkom alebo interné pravidlo. Toto je najčastejší legitímny dôvod a je úplne v poriadku.
2. Veľký objem podobných požiadaviek. Nad určitým objemom sa menší vlastný model zaplatí len na ušetrených tokenoch.
3. Nízka latencia alebo offline prevádzka. Výrobná linka nemôže čakať na odpoveď z cloudu a nemôže zastať pri výpadku siete.
4. Úzka doména, kde všeobecné modely zlyhávajú. Špecifické odborné texty, obrazové dáta, ktoré model nikdy nevidel.

Ak neplatí ani jedno, začnite bez vlastného modelu. Vždy ho viete pridať neskôr — a vtedy už budete mať dáta aj testovaciu sadu z prevádzky, čo tréning výrazne uľahčí.

Koľko dát potrebujete

Najčastejšia otázka a odpoveď je nepríjemne neurčitá, lebo závisí od úlohy.

• Fine-tuning jazykového modelu na formát a štýl: často stačí 200–1 000 kvalitných príkladov. Kvalita rozhoduje viac než počet — sto konzistentných príkladov je lepších než tisíc rozporných.
• Klasifikácia textu: rádovo stovky až tisíce príkladov na triedu.
• Počítačové videnie: rádovo tisíce snímok, a hlavne pokrytie variability — rôzne osvetlenie, uhly, chybové stavy.

Podstatnejšie než počet je konzistentnosť anotácií. Ak dvaja ľudia označia tú istú vec inak, model sa naučí ten rozpor. Kontrola zhody medzi anotátormi je krok, ktorý sa oplatí urobiť pred tréningom, nie po ňom.

Čo si vypýtať pred tým, než na tréning kývnete

Tri veci, bez ktorých by sa tréningový projekt nemal začať:

Baseline. Aká je presnosť s existujúcim modelom a dobrým promptom? Bez tohto čísla neviete, či tréning niečo priniesol.

Oddelená testovacia sada. Dáta, ktoré model počas tréningu nevidel. Meranie na tréningových dátach je bezcenné a bohužiaľ sa to stáva.

Reprodukovateľný postup. O rok vyjde lepší základný model. Ak viete tréning zopakovať jedným príkazom, prechod je lacný. Ak nie, začínate odznova.

Zhrnutie

Poradie je prompt → RAG → fine-tuning → vlastný model, a väčšina firiem skončí na druhej úrovni. To nie je prehra, to je úspora.

Ak vás zaujíma, do ktorej úrovne patrí váš problém, AI modely na mieru začínajú práve feasibility štúdiou — a jej výsledkom býva prekvapivo často odporúčanie netrénovať.