Pravidlá alebo AI? Kedy stačí obyčajný rozhodovací strom

Keď sa firma rozhoduje, či do svojho systému pridať AI, zvyčajne sa pýta, ktorý model zvoliť. Lepšie je začať inou otázkou: nestačia na to obyčajné pravidlá? Vyskúšali sme to v aplikácii Expiro. Pravidlá a AI model sme nechali riešiť tú istú úlohu na 425 situáciách a výsledok nás prekvapil. Nevyhral ani jeden prístup. Najlepšie fungovali oba naraz.

Nahnevaný zákazník nepíše

Expiro je služba, ktorá firmám stráži termíny technickej a emisnej kontroly (STK a EK), povinného zmluvného poistenia a diaľničných známok. Firma zadá evidenčné čísla áut, Expiro samo dohľadá termíny v registri a pred každým pošle upozornenie.

Predstavte si správcu firemných áut, ktorý otvorí Expiro a pri jednej dodávke vidí STK „po termíne“. Pritom s ňou bol na kontrole minulý týždeň. Naštve sa.

Na podporu však písať nebude. Nechce sa mu hľadať e-mail, opisovať problém a čakať na odpoveď. Aplikáciu zavrie a možno ju prestane používať. Prevádzkovateľ sa nikdy nedozvie, čo sa stalo, a on si zapamätá, že „tá appka nefunguje“.

Namiesto prázdneho okna štyri tipy

Do aplikácie sme preto pridali tlačidlo „Niečo nesedí?“. Po kliknutí sa neotvorí prázdne okno na písanie. Zákazník hneď uvidí štyri veci, ktoré ho pravdepodobne trápia, poskladané z jeho vlastných áut a z toho, čo práve robil v aplikácii.

Klikne na svoj problém a hneď dostane vysvetlenie aj tlačidlo, ktoré ho vyrieši. Pri nesprávnom dátume je to napríklad „Zadať dátum STK ručne“. Za desať sekúnd má vybavené a nemusel nič písať. Čo sa vyriešiť nedá, príde podpore už roztriedené, aj s autom a kontextom.

Celé to stojí na jednej schopnosti: uhádnuť správne štyri možnosti. Pripravených je vyše päťdesiat, od nesprávneho dátumu cez nefunkčnú pozvánku až po otázku, či sa služba oplatí. Keď zákazník svoj problém medzi štyrmi tipmi nenájde, tlačidlo mu je na nič.

Prvý pokus: obyčajné pravidlá

Najjednoduchšie je napísať pravidlá, teda podmienky typu „ak platí toto, ukáž tamto“:

• Auto má STK po termíne, takže zákazník si možno myslí, že dátum nesedí.
• Trikrát za dve minúty klikol na „Overiť znova“, takže ho asi hnevá toto tlačidlo.
• Neprešla mu platba kartou, takže je to takmer isto platba.

Programátori tomu hovoria rozhodovací strom. Je rýchly, nič nestojí a vždy presne viete, prečo sa rozhodol tak, ako sa rozhodol. Keď zákazník nič nepíše a len klikne na tlačidlo, pravidlá fungujú výborne. Aplikácia totiž vidí, čo sa mu práve deje.

Kde pravidlá narazia: ľudia píšu po svojom

Zákazník však môže kliknúť aj na „Niečo iné, napíšem to“ a napísať napríklad:

vcera sme boli na kontrole a u vas to stale svieti na cerveno

Pravidlo pozná len slová, ktoré mu niekto vopred zadal, napríklad „STK“, „technická“ alebo „kontrolu sme robili“. Zákazník napísal „kontrola“ a „svieti na červeno“, bez diakritiky a po svojom. Človek hneď vie, o čo ide. Pravidlo nie.

Ďalšie slová doplniť môžete. Nikdy však nevymyslíte všetky spôsoby, akými to ľudia napíšu, a s každým novým problémom v zozname treba vymýšľať znova. Z textov, ktoré sme si nechali vopred napísať, pravidlá nerozlúštili napríklad tieto:

• „Toto auto sme dávno odovzdali, prečo to tu furt ukazujete, opravte to konečne!“
• „Mohli by ste mi to davat na mobyl, mail casto nevidim vcas“
• „Neviem, či sa mi to ešte oplatí, keď mám len pár vozidiel, možno prejdem na excel.“

Druhý pokus: AI, ktorá iba vyberá

Na texty sme nasadili model Jev od firmy TypeSafe. Dôležité je, čo nerobí. Nie je to chatbot ako ChatGPT a nepíše žiadne odpovede. Vie iba vybrať z možností, ktoré mu dáte, a povedať, nakoľko si je istý.

Dostane dve veci:

1. Opis situácie: „Zákazník má bezplatný balík. Jedno auto má STK po termíne. Dvakrát klikol na Overiť znova. Napísal: …“
2. Zoznam možností: vyše päťdesiat pripravených problémov.

Vráti čísla, napríklad: „Dátum STK nesedí: 99 %, Overiť znova nefunguje: 1 %…“ Vetu o kontrole a červenej farbe pochopí rovnako ako človek, aj bez diakritiky a s preklepmi.

Prečo práve model, ktorý iba vyberá? Lebo nemôže nič vymyslieť. Všetky texty a tlačidlá, ktoré zákazník uvidí, sme napísali my. AI iba rozhoduje, ktoré z nich ukázať ako prvé. Zákazníkovi nemôže nič sľúbiť ani povedať nesprávnu informáciu, čo pri bežnom chatbote zaručiť nejde.

Test: kto hádal lepšie

Pred spustením sme oba prístupy nechali riešiť tie isté situácie, pri ktorých sme poznali správnu odpoveď. Počítali sme, ako často bol skutočný problém zákazníka medzi prvými tromi ponukami. Pre porovnanie sme pridali aj najjednoduchšiu možnosť: rovnaký zoznam pre všetkých.

Každý prístup je silný tam, kde je druhý slabý:

• Pravidlá vyhrávajú, keď zákazník nič nepíše. Vidia presne, čo sa v aplikácii stalo, a AI im v tom nepridá.
• AI vyhráva, keď zákazník píše. Rozumie slovám, ktoré sme nevedeli predvídať.
• Rovnaký zoznam pre všetkých je takmer nepoužiteľný. Zákazník by svoj problém našiel v jednom prípade z desiatich.

Preto Expiro používa oboje naraz. Každú možnosť ohodnotia pravidlá aj AI, výsledky sa spriemerujú a ukážu sa štyri najlepšie. Keď si je pravidlo úplne isté, napríklad pri neprešlej platbe, táto možnosť sa ukáže vždy.

Jedno otvorenie okna stojí približne stotinu centa (0,11 dolára za tisíc otvorení) a AI odpovie zvyčajne do tretiny sekundy. Ako sme test poskladali, aby nás čísla neklamali, a čo všetko sme merali, píšeme v článku ako otestovať AI skôr, než ju pustíte k zákazníkom.

Poistky, bez ktorých by sme AI nespustili

• AI nerozhoduje o dôležitých veciach. Či je auto po termíne, vždy počíta obyčajný program. AI odhaduje len to, čo zákazníka hnevá.
• AI nevidí osobné údaje. Neposielame jej evidenčné čísla, mená ani e-maily. Autá dostane ako „auto 1“ a „auto 2“.
• Keď AI neodpovie do 2,5 sekundy alebo nefunguje, zoznam poskladajú samotné pravidlá. Zákazník si nič nevšimne.
• Akciu vždy spúšťa zákazník. Model iba zoradí ponuku. Nič nezmaže, nezmení ani neodošle sám.
• Vážne veci idú k človeku. Keď zákazník napíše, že dostal pokutu, hoci Expiro ukazovalo „v poriadku“, žiadna automatická odpoveď nepríde. Ozve sa človek do 24 hodín.

Takže nestačí obyčajný strom?

Úprimne: často stačí. Keď vaši zákazníci iba klikajú a vy viete, čo sa im v aplikácii deje, dobre napísané pravidlá sú rýchlejšie, lacnejšie a rovnako presné. Približne polovicu z našich päťdesiatich problémov spozná obyčajné pravidlo, lebo má jeden jasný signál. AI tam nepotrebujete a nikto by vám ju nemal predávať.

AI sa oplatí tam, kde platí všetko toto:

• Ľudia píšu vlastnými slovami a nedá sa vopred vymyslieť, ako to napíšu.
• Odpoveď je výber z pevných možností, takže AI nemá priestor nič vymyslieť.
• Chyba nie je katastrofa, lebo zákazník vždy vidí viac možností a vyberá sám.
• Existuje záloha, ktorá funguje aj bez AI.

V Expiro platí všetko. Preto sme AI nepostavili namiesto pravidiel, ale vedľa nich. Rovnaký princíp používame pri automatizácii zákazníckej podpory aj pri triedení e-mailov: najprv pravidlá tam, kde stačia, a AI tam, kde začína ľudská reč.

Čo ešte nevieme

Testovacie texty nenapísali skutoční zákazníci. Napísal ich iný AI model podľa krátkych príbehov, aby nepoužíval rovnaké slová ako naše pravidlá. Skutočné čísla ukáže až prevádzka. Polovica firiem preto dostáva tipy len z pravidiel a polovica z pravidiel s AI. Každý týždeň porovnávame, ktorá skupina častejšie trafila, čo zákazník naozaj chcel.

Keď budeme mať výsledky z ostrej prevádzky, napíšeme pokračovanie, aj keby vyzneli inak.

Zhrnutie

• Pravidlá sú výborné na to, na čo boli napísané: jasné signály v aplikácii. Na slovách, ktoré ich autor nepredvídal, klesnú zo 97 % na 72 %.
• AI, ktorá iba vyberá z pevných možností, rozumie hovorovej reči a nemôže si vymýšľať.
• Najlepšie je oboje naraz, so zálohou a s človekom pri vážnych veciach.
• Skôr ako kúpite AI, spýtajte sa, či nestačí pravidlo. Často stačí.

Riešite podobnú otázku vo vlastnom systéme? V AI audite vám povieme, kde stačia pravidlá a kde sa AI naozaj oplatí.