Z prototypu do spoľahlivej produkcie
Demo, ktoré funguje na vašom notebooku, nie je produkt. Toto je práca, ktorá z neho produkt spraví. (Technicky: MLOps — evaluácie, monitoring, verzionovanie, kontrola nákladov.)
Kedy nás firmy volajú
- Prototyp funguje, ale nikto sa neodváži pustiť naň zákazníkov.
- Po zmene promptu alebo modelu nikto nevie povedať, či je to lepšie alebo horšie.
- Účet za tokeny prišiel a nikto nevie vysvetliť, z čoho sa skladá.
- Riešenie postavil externista, odišiel a teraz sa toho nikto nechce dotknúť.
Väčšina AI projektov nezomiera na tom, že by model nefungoval. Zomierajú v priestore medzi „na demo to vyzeralo dobre“ a „beží to spoľahlivo pre tisíc používateľov denne a vieme, koľko to stojí“.
Táto služba je presne o tom priestore: nasadenie, monitoring, evaluácie, verzionovanie promptov a modelov, limity nákladov, záložné scenáre pri výpadku poskytovateľa.
Robíme to aj pre riešenia, ktoré sme nestavali my. Ak máte rozrobený AI projekt po niekom inom, vieme ho prevziať — rovnako, ako preberá rozrobené aplikácie.
Ako to robíme
1. Audit súčasného stavu
Čo beží, kde, na čom závisí, čo sa stane pri výpadku a koľko to reálne stojí. Výstupom je zoznam rizík zoradený podľa dopadu.
2. Evaluácie ako prvé
Kým nemáte spôsob, ako zmerať kvalitu, nemá zmysel nič optimalizovať. Postavíme testovaciu sadu a automatické vyhodnocovanie.
3. Nasadenie a monitoring
Kubernetes alebo serverless podľa záťaže, logovanie požiadaviek, alerty na chybovosť, latenciu a náklady.
4. Odovzdanie tímu
Dokumentácia, runbook pre incidenty a zaškolenie. Cieľom je, aby ste nás nepotrebovali na každú zmenu promptu.
Čo dostanete
- Produkčné nasadenie s monitoringom kvality, latencie a nákladov.
- Automatické evaluácie, ktoré zachytia zhoršenie skôr než zákazník.
- Verzionovanie promptov a modelov — viete sa vrátiť k tomu, čo fungovalo.
- Nastavené limity a alerty na náklady, aby vás faktúra neprekvapila.
- Runbook pre incidenty a zaškolený interný tím.
Orientačný rozsah
- Audit existujúceho AI riešenia
- 900 – 2 000 €
- Postavenie evaluácií a monitoringu
- 2 500 – 6 000 €
- Produkčné nasadenie a infraštruktúra
- od 5 000 €
- Prevádzka a dohľad
- od 350 € / mesiac
Ceny sú orientačné a bez DPH. Audit vieme urobiť aj samostatne — nemusíte s nami pokračovať.
Časté otázky
Prevezmete projekt, ktorý staval niekto iný?
Áno, robíme to bežne. Začíname auditom, ktorý povie, čo sa dá zachrániť a čo je lacnejšie prepísať. Výsledok dostanete aj v prípade, že sa rozhodnete pokračovať bez nás.
Čo presne sú tie evaluácie?
Sada vstupov s očakávanými výstupmi, ktorá sa spustí automaticky pri každej zmene. Bez nej je vývoj AI riešenia hádanie — zmeníte prompt, niečo sa zlepší, niečo iné sa nenápadne pokazí.
Ako sa dajú znížiť náklady na tokeny?
Cachovaním, kratším kontextom, smerovaním jednoduchých požiadaviek na menší model a odstránením zbytočných volaní. V praxi sa bežne dá ušetriť výrazná časť účtu bez straty kvality — ale treba to najprv vedieť odmerať.
Musí to bežať v cloude?
Nie. Vieme nasadiť aj na vašej infraštruktúre. Rozhodujú požiadavky na dáta, latenciu a to, kto to bude prevádzkovať.
Ak máte prototyp, ktorý sa bojíte pustiť do sveta, tento krok je presne to, čo vám chýba.