Diagnostika chatbota: jak zjistit, co říká špatně, a opravit to bez IT

Tým BOTrento6. 11. 20265 min čtení

Proč chatbot říká špatné věci

Chyby chatbota mají obvykle jednu ze čtyř příčin. Když je umíte rozlišit, víte, kde opravovat.

• Zastaralý zdroj: ceník nebo podmínky se změnily, chatbot čte starou verzi.
• Chybějící informace: odpověď nikde není, a chatbot ji proto „domyslí“.
• Protichůdné zdroje: web říká jedno, nahraný PDF dokument druhé.
• Špatný rozsah: chatbot čte stránky, které do něj nepatří, třeba starý blog nebo interní poznámky.

Chatbot, který „lže“, tedy většinou jen věrně opakuje špatná data nebo vyplňuje mezery. Proto začněte zdroji, ne nastavením modelu. Co do chatbota vůbec patří, rozebíráme v článku AI chatbot z firemních dat: co do něj nahrát.

Postup diagnostiky krok za krokem

První krok: sestavte testovací sadu

Projděte poslední poptávky v Gmailu, Outlooku nebo CRM (třeba Raynet či Pipedrive) a vypište otázky, které se opravdu opakují. Stačí pár desítek, hlavně ať jsou skutečné. Rozdělte je do tří skupin: běžné dotazy, otázky na cenu a podmínky a záludné otázky na věci, které nenabízíte.

Druhý krok: připravte správné odpovědi

Ke každé otázce napište, co je správně, a uveďte zdroj (stránka ceníku, smlouva, interní pravidlo). Bez toho nemáte s čím porovnávat.

Třetí krok: položte otázky a zapište odpovědi

Každou otázku zadejte ve stejném znění a odpověď uložte do tabulky. Zkuste i jinak formulované verze téže otázky, zákazníci se neptají učebnicově. Vyzkoušejte také otázku s překlepem nebo ve zkratkách, jak ji napíše člověk na telefonu.

Čtvrtý krok: ohodnoťte a určete příčinu

U každé chyby si poznamenejte, ze kterého ze čtyř důvodů výše vznikla. Ta poznámka je nejcennější část celé diagnostiky, protože vám říká, co opravit.

Pátý krok: opravte zdroj a test zopakujte

Opravte podklad, ne jednotlivou odpověď. Pak spusťte stejnou sadu znovu a ověřte, že chyba zmizela a nevznikla jiná.

Vzor testovacích otázek

Takto může vypadat začátek sady pro firmu, která pronajímá techniku. Upravte ji podle svého oboru:

Běžná: „Půjčujete i mixážní pult s obsluhou?“
Cena a podmínky: „Kolik stojí pronájem na víkend a jaká je kauce?“
Záludná: „Doručíte techniku do zahraničí?“ (pokud ne, správná odpověď zní, že ne, a odkáže na obchodníka)
Jinak formulovaná: „kolik za sobotu a neděli dohromady?“

Správné odpovědi si k otázkám připište ještě před testem, ne až podle toho, co chatbot řekl. Jinak snadno uvěříte přesvědčivě znějící chybě.

Hodnoticí tabulka bez BI nástrojů

Stačí tabulka v Excelu nebo Google Sheets. Přesnost spočítáte jednoduše: počet správných odpovědí podělíte počtem všech otázek.

Hodnoťte třístupňově. „Částečně správně“ je u cen a termínů v praxi stejně nebezpečné jako chyba, takže si je počítejte zvlášť. Kritické jsou ceny, dostupnost, podmínky a sliby. U těch netolerujte žádnou chybu.

Jak opravit nejčastější chyby bez programátora

• Staré ceny: určete jeden „zdroj pravdy“ pro ceník a každou změnu dělejte vždy tam. Které údaje se mají synchronizovat a které měnit ručně, popisuje článek Aktualizace chatbota automaticky, nebo ručně.
• Domýšlení: doplňte do podkladů výslovné věty typu „Tuto službu neposkytujeme“ a „U individuálních požadavků se obraťte na obchodníka“.
• Protichůdné zdroje: jeden z nich odstraňte nebo sjednoťte, nenechávejte oba.
• Zbytečné stránky: zúžte rozsah jen na ověřené stránky. Jak na to, ukazuje postup s chatbotem z URL adres.
• Osobní údaje v podkladech: nenahrávejte nic, co obsahuje údaje zákazníků. Bezpečné nahrání popisuje článek AI chatbot s vlastními daty.

Nastavte si rutinu: testovací sadu spouštějte po každé změně ceníku a jinak aspoň jednou měsíčně. Praktické tipy na samotné zkoušení najdete i v textu Chatbot na webu: zkouška zdarma a jak poznat, že funguje.

Kde chatbot končí a začíná řízený proces

Webový chatbot odpovídá na obecné dotazy z veřejných podkladů. Poptávky, nabídky a sliby typu „ozvu se do pátku“ ale žijí v poště a v tabulkách, a tam je riziko jiné: nejde o špatnou odpověď, ale o zapomenutý krok. Pokud se vám poptávky ztrácejí, začněte spíš tím, jak zrychlit odpovědi na poptávky, a u nabídek tím, jak nezapomínat na follow-up.

Zásada diagnostiky platí i tady: nic, co jde zákazníkovi, by nemělo odejít bez kontroly člověkem.

Jak to řeší BOTrento

BOTrento Chief of Staff není chatbot pro web, ale řízený proces nad poptávkami a nabídkami. Hlídá poštu (Seznam a další schránky přes IMAP; Gmail, Google Workspace a Microsoft 365 zatím přeposláním nebo importem) i nahraná data z CRM či tabulky ve formátu CSV/XLSX. Každý pracovní den ráno ukáže přehled Dnes 1+3, připraví koncepty odpovědí, nabídek a follow-upů a zachytí sliby, které jste dali.

Nic se neodešle bez schválení člověkem, BOTrento samo nic neodesílá. AI je v ceně tarifu s měsíčním limitem spotřeby. Vlastní API klíč je volitelný (zatím jen Anthropic, Claude), viz nápověda k API klíčům. Data ukládáme na serverech v Německu (EU); text nutný pro úkol zpracuje poskytovatel modelu, takže nejde o uzavřený výpočet. Postup si můžete prohlédnout v ukázce procesu. Hodí se zejména pro B2B služby s ručními nabídkami.

Můžete si ho vyzkoušet 14 dní zdarma na vlastních datech, bez karty a bez vlastního API klíče. Zkušební doba začíná prvním nahráním dat. Otázky k soukromí shrnuje kontrolní seznam k AI asistentovi a GDPR; u konkrétních případů se poraďte s právníkem. Informace o tarifech najdete v ceníku.