Ako otestovať AI skôr, než ju pustíte k zákazníkom

Väčšina AI funkcií sa spúšťa po vete „vyskúšali sme pár príkladov a vyzeralo to dobre“. Je to presne ten bod, kde sa prototyp líši od produkcie. V aplikácii Expiro sme AI pred spustením preverili na 425 situáciách a počas toho sme zistili, že jeden a ten istý systém vie mať 99 % aj 72 % podľa toho, kto napísal testovacie príklady. Tu je celý postup, aby ste ho mohli použiť aj vo vlastnom projekte.

O akú AI ide

Expiro stráži firmám termíny STK, EK, poistenia a diaľničných známok. Má tlačidlo „Niečo nesedí?“, po ktorom zákazník uvidí štyri najpravdepodobnejšie príčiny svojho problému a pri každej riešenie na jeden klik. Tipy vyberajú pravidlá spolu s AI modelom, ktorý rozumie aj tomu, čo zákazník napíše vlastnými slovami. Prečo práve takáto kombinácia, sme rozpísali v článku Pravidlá alebo AI?.

Úloha je jednoduchá na meranie: problém zákazníka buď je medzi prvými tromi tipmi, alebo nie je. Postup nižšie však platí pre akúkoľvek AI, ktorá niečo triedi, vyberá alebo vyťažuje, od e-mailov cez faktúry po objednávky.

1. Zoznam situácií, pri ktorých poznáte správnu odpoveď

Bez neho sa o AI nedá rozhodovať, dá sa o nej iba debatovať. Poskladali sme 425 situácií. Každá obsahuje stav firmy (balík, autá, termíny), čo zákazník robil v aplikácii, prípadne čo napísal, a správnu odpoveď.

K situáciám sme náhodne pridávali ďalšie problémové autá. Nestačí totiž uhádnuť, že nesedí dátum STK. Treba uhádnuť aj pri ktorom aute. Náhoda má pevné nastavenie, takže každé ďalšie spustenie testu dostane presne tie isté situácie a výsledky sa dajú porovnávať.

2. Testovacie texty nesmie písať autor systému

Toto bolo najdôležitejšie zistenie celého testu. Prvých 98 textov sme napísali my, teda tí istí ľudia, ktorí písali aj pravidlá. Pravidlá na nich mali 99 %. Vyzeralo to, že AI vôbec netreba.

Potom sme nechali ďalších 288 textov napísať iný AI model. Dostal len krátky príbeh, napríklad „auto sme predali, ale stále nám chodia upozornenia“, a mal ho napísať tak, ako by ho napísal nahnevaný, zdvorilý alebo stručný zákazník, s preklepmi aj bez diakritiky. Nevidel naše pravidlá ani opisy, ktoré dostáva AI v aplikácii.

Ten istý systém, iný autor testu a rozdiel 27 percentuálnych bodov. Kto testuje na vlastných príkladoch, meria, ako dobre pozná sám seba. Testovacie príklady má písať niekto, kto nevie, ako systém funguje. Ideálne skutoční zákazníci. Kým ich nemáte, poslúži kolega z iného oddelenia alebo iný model so zadaním bez nápovedy.

3. Porovnajte to s hlúpou verziou

Číslo samo osebe nič nehovorí. 81 % znie dobre, kým nezistíte, že by to isté zvládlo niečo úplne jednoduché. Preto sme merali štyri verzie na tých istých situáciách:

Rovnaký zoznam pre všetkých ukazuje, že hádať má zmysel. Pravidlá ukazujú, koľko dokáže obyčajný program bez AI. Až rozdiel medzi nimi a AI je to, za čo pri AI platíte. V našom prípade bol veľký len pri textoch. Keď zákazník iba klikol, pravidlá mali 97 % a AI 71 %. Preto sme nasadili oboje.

4. Pozerajte sa na chyby, nielen na percentá

Prvé kolo AI dopadlo pri situáciách bez textu slabo, iba 65 %. Percento samo by nám nepovedalo prečo. Pomohlo až prečítať si jednotlivé chyby.

Aplikácia posielala AI udalosti ako kódy, napríklad open:plan pre otvorený cenník. Model si ho vysvetlil ako tlačidlo „Naplánovať“. Kód archive (auto odstránené z flotily) si vyložil ako zošednutie auta. Model sa nemýlil v úsudku. Nerozumel našej skratke.

Oprava bola jednoduchá: udalosti posielame ako obyčajné vety, napríklad „Zákazník otvoril cenník“. Presnosť bez textu stúpla na 71 %. Po zmiešaní s pravidlami na 97 %.

Jedna výhrada: zmenu sme urobili po tom, ako sme videli chyby tej istej testovacej sady. Bola však všeobecná (vety namiesto kódov), nie ladenie na konkrétne prípady. Kto zmení vstup tak, aby prešiel jeden konkrétny test, iba si nafúkne čísla.

5. Overte, či istota modelu niečo znamená

Model ku každej odpovedi vracia, nakoľko si je istý. Má to cenu iba vtedy, keď tomu číslu možno veriť. Preto sme porovnali, čo model tvrdil, s tým, ako často mal naozaj pravdu:

Keď si je model istý, väčšinou má pravdu. Keď váha, mýli sa približne v polovici prípadov. S tým sa dá pracovať: pri vysokej istote môže systém konať rýchlejšie, pri nízkej má ponúknuť viac možností alebo sa opýtať. Model, ktorý tvrdí 95 % pri všetkom, by takú službu neurobil.

6. Cena a rýchlosť patria do testu

Test zmeral aj to, čo býva v ponukách na AI projekty najmenej jasné:

• Cena: 0,11 dolára za tisíc otvorení okna, teda približne stotina centa za jedno.
• Rýchlosť: polovica odpovedí prišla do 0,29 sekundy.
• Záloha: keď AI neodpovie do 2,5 sekundy, tipy poskladajú samotné pravidlá.

Pre porovnanie: jedno overenie auta v registri stojí Expiro podľa balíka kreditov toľko ako 40 až 120 otvorení okna s AI. AI nebola najdrahšia položka v produkte. Dáta boli. Pri AI funkciách to tak býva často a oplatí sa to spočítať skôr, ako sa AI škrtne pre „drahotu“.

Čo všetko započítať do nákladov na AI funkciu:

1. Volania modelu pri realistickom počte použití, nie pri jednom testovacom kliknutí.
2. Testovaciu sadu: jednorazová práca, bez ktorej sa ďalšie zmeny nedajú posúdiť.
3. Zálohu pre prípad, že model neodpovie alebo poskytovateľ vypadne.
4. Sledovanie v prevádzke: záznam každého rozhodnutia, cena a odozva, týždenný súhrn.
5. Ochranu údajov: čo model smie vidieť a čo si poskytovateľ smie ukladať.
6. Ľudí pri výnimkách: prípady, ktoré AI nemá riešiť, musí niekto prevziať.

Všeobecne o rozpočte AI projektov píšeme v článku koľko stojí AI riešenie.

7. Ostrá prevádzka je pokračovanie testu

Testovacia sada povie, či sa oplatí spustiť. Či to funguje, povedia až skutoční zákazníci. Expiro preto beží ako A/B test: každá firma natrvalo dostane buď tipy iba z pravidiel, alebo z pravidiel s AI. Každý týždeň porovnávame:

• ako často zákazník klikol na jeden z prvých troch tipov,
• koľkokrát odpovedal „Pomohlo to? Áno“ bez toho, aby sme museli zasiahnuť my,
• ako rýchlo svoj problém našiel,
• ako často siahol po „Niečo iné, napíšem to“, čo prezrádza, že nám v zozname niečo chýba,
• cenu a odozvu na tisíc otvorení.

Záznam o každom rozhodnutí obsahuje aj to, ktoré tipy sa ukázali a v akom poradí. Keď sa niečo zhorší, dá sa spätne presne zistiť kedy a prečo.

Poctivé výhrady

• Testovacie texty napísal model, nie skutoční zákazníci. Ľudia píšu ešte rozmanitejšie.
• Situácie navrhli tí istí ľudia, ktorí písali pravidlá. Aj preto rozhodujú výsledky z prevádzky, nie z testu.
• Čísla v článku sú z testu pred spustením. Keď budeme mať čísla z A/B testu, zverejníme ich.

Čo si pripraviť pred spustením AI funkcie

1. Zoznam situácií so správnou odpoveďou, pokojne začnite so sto.
2. Aspoň polovicu príkladov od niekoho, kto systém nepozná.
3. Hlúpu verziu na porovnanie a verziu bez AI.
4. Čas na čítanie chýb, nielen percent.
5. Kontrolu, či istota modelu zodpovedá realite.
6. Cenu a odozvu na tisíc použití a zálohu pre výpadok.
7. Plán, ako budete merať v prevádzke.

Toto je rozdiel medzi demom a funkciou, ktorej sa dá veriť. Máte AI prototyp, ktorý vyzerá dobre, ale neviete, ako by obstál pred zákazníkmi? Pozrite si, ako postupujeme pri dotiahnutí AI prototypu do produkcie, alebo nám napíšte. Testovaciu sadu vám pomôžeme postaviť ako prvú vec, ešte pred akoukoľvek úpravou.