Testovací otázky pro chatbota: 5 dotazů, které odhalí chyby dřív než zákazník

Tým BOTrento12. 11. 20266 min čtení

Jak má test vypadat, aby měl smysl

Většina firem chatbota „vyzkouší“ tak, že se zeptá na ceník a na otevírací dobu. Odpověď vyjde správně, bot se schválí a první problém přijde od zákazníka. Takový test měří jen to, co už víte.

Užitečný test má tři vlastnosti:

• Vychází z reálných zpráv. Vezměte posledních několik skutečných poptávek z e-mailu a přepište je (bez jmen a osobních údajů).
• Hledá selhání, ne potvrzení. Každá otázka má předem určenou „správnou chybu“, tedy to, co bot nesmí udělat.
• Je opakovatelný. Stejnou sadu otázek pustíte znovu po každé změně ceníku, podmínek nebo podkladů.

Pokud teprve chystáte podklady, začněte postupem přípravy dat pro chatbota. Test je jen tak dobrý, jak dobré jsou podklady, na kterých stojí.

5 otázek, které odhalí chyby

1. Otázka, na kterou podklady neodpovídají

Zeptejte se na něco, co ve vašich materiálech opravdu není. Například: „Půjčujete i techniku do zahraničí a řešíte celní doklady?“ Správná reakce je přiznat, že to bot neví, a předat věc člověku. Chyba je sebejistá odpověď, která zní věrohodně. Tohle selhání je nejčastější a nejdražší, protože zákazník ho nepozná. Jak mají vypadat pravidla předání, rozebíráme v článku Chatbot neví odpověď: pravidla eskalace.

2. Otázka na cenu, která se nedávno změnila

Změňte si v hlavě jednu cenu nebo podmínku a zeptejte se na ni. Bot, který čerpá ze starého ceníku nebo staré stránky, odpoví po starém. Zkontrolujte i podmínky kolem ceny: platnost nabídky, doprava, kauce. Pokud odpověď neodpovídá aktuálnímu stavu, problém je v podkladech, ne v „chytrosti“ bota. Návod na výměnu podkladů najdete v článku o aktualizaci cen a parametrů bez programátora.

3. Poptávka s chybějícími údaji

Napište: „Dobrý den, potřebujeme ozvučení a světla na firemní akci, kolik to bude?“ Chybí termín, místo, počet hostů i typ akce. Dobrý bot se zeptá na chybějící údaje, případně navrhne koncept s doplňujícími otázkami. Špatný bot dosadí průměrnou cenu nebo si údaje domyslí.

4. Dva požadavky a dva termíny v jedné zprávě

Reálné zprávy bývají smíšené: „Potřebuji nabídku do pátku a ještě se mi ozvěte příští týden kvůli té druhé akci.“ Ověřte, že bot oba požadavky rozliší, nesmíchá je do jedné odpovědi a termíny nezkomolí. Totéž zkuste v jiném jazyce nebo s překlepy a zkratkami, které vaši zákazníci opravdu používají.

5. Tlak na slib

Napište: „Potvrďte mi prosím termín a dejte nám nějakou slevu, jinak půjdeme jinam.“ Bot nesmí potvrdit dostupnost, které nezná, ani vymyslet slevu. Správná odpověď neslibuje, shrne požadavek a nechá rozhodnutí na obchodníkovi. Tato otázka je zároveň test vašich vlastních pravidel: víte vůbec, kdo u vás o slevách rozhoduje?

Co se pokazí vždycky

Při opakovaném testování se objevují stejné vzorce:

• Vymýšlení místo přiznání nevědomosti. Čím méně podkladů, tím odvážnější odpovědi.
• Staré informace. Změna ceny v ceníku se do odpovědí nepromítne sama od sebe.
• Výjimky a individuální podmínky. Cokoli, co existuje jen v hlavě obchodníka nebo v jednom starém e-mailu, bot nezná.
• Přílohy. Poptávka, kde je to podstatné jen v PDF nebo tabulce, často vyjde špatně, pokud nástroj přílohy nečte. Vědět o tom předem je lepší než to zjistit z reklamace.
• Tón. Odpověď je věcně správně, ale zní jako formulář nebo naopak příliš familiárně.

Nejde o výjimečné chyby, ale o běžný stav. Proto má test smysl a proto by nic nemělo odcházet zákazníkovi bez kontroly člověka.

Postup testu krok za krokem

1. Připravte 10 až 15 vět. Pět otázek výše a k nim několik skutečných poptávek z posledních týdnů, anonymizovaných.
2. U každé napište očekávání. Co je správná odpověď a co je nepřípustná chyba.
3. Pusťte test a zapisujte doslova. Neopravujte odpovědi z paměti, ukládejte je tak, jak přišly.
4. Označte typ chyby. Vymyšlené, zastaralé, chybějící dotaz, slib, tón.
5. Opravte příčinu. Ve většině případů je to podklad, ne nástroj. Doplňte, aktualizujte, vyřaďte duplicity.
6. Test zopakujte. Po každé větší změně ceníku nebo podmínek, ideálně v pravidelném rytmu.

Záznam může vypadat takto:

Šablona testovací zprávy

Takto může vypadat zkušební poptávka, kterou vložíte do e-mailu nebo do testovacího okna. Je záměrně neúplná:

Dobrý den, na konci měsíce pořádáme firemní večer pro větší skupinu. Potřebovali bychom zvuk, světla a nějakého technika. Kolik by to stálo a máte volno? Dejte nám prosím nejlepší cenu, rozhodujeme se do zítřka.

V odpovědi hledejte čtyři věci: ptá se na přesný termín, místo a počet lidí? Nepotvrzuje volný termín? Nevymýšlí konkrétní cenu bez podkladů? A je jasné, že finální slovo má obchodník?

Jak to řeší BOTrento

BOTrento Chief of Staff není chatbot, který odpovídá zákazníkům sám. Je to řízený proces: hlídá poptávky a nabídky ve vaší poště a v nahraných datech, každý pracovní den ráno ukáže přehled Dnes 1+3 a připraví koncepty odpovědí, nabídek a follow-upů. Nic se neodešle bez schválení člověkem a BOTrento nic neodesílá samo. Chyby, které test odhalí, se tak nedostanou k zákazníkovi, ale k vám na stůl.

Testovací otázky můžete použít přímo na svých datech. Ukázku, jak koncept vypadá, najdete v ukázce procesu. Počítejte s tím, že BOTrento vychází z textu e-mailu a nečte obsah příloh, takže i to si můžete ověřit.

Zkušební doba trvá 14 dní zdarma, bez platební karty a bez vlastního API klíče. Začíná až prvním úspěšným nahráním dat (import nebo napojení pošty), na přípravu máte 7 dní. Registrace je asistovaná: do 24 hodin v pracovní dny se ozve náš člověk a pomůže napojit poštu. Můžete zahájit zkušební dobu na vlastních poptávkách. AI je v ceně tarifu s měsíčním limitem spotřeby, přehled tarifů najdete v ceníku. Kdo řeší, kam data míří, ať si projde kontrolní seznam k AI asistentovi a GDPR. U konkrétních případů se poraďte s právníkem.

Nechcete se omezit jen na testování? Dobře fungují i kroky ke zrychlení odpovědí na poptávky, a pokud jste eventová firma, podívejte se na stránku pro eventy a produkci.