Měření relevance chatbota: jak ověřit, že odpovědi nehádá

Tým BOTrento30. 10. 20266 min čtení

Proč nestačí „odpověď zní dobře“

Jazykový model je dobrý v tom, aby odpověď zněla hladce. Správnost je ale jiná vlastnost. U obchodních dotazů se chyby schovávají v detailech:

• Domyšlený fakt: chatbot uvede podmínku, kterou jste nikdy nenapsali.
• Záměna informací: spojí podmínky dvou služeb nebo dvou ceníků.
• Zastaralý údaj: odpoví podle dokumentu, který už neplatí.
• Sebejistý tón u neznámé věci: místo „nevím“ vymyslí věrohodnou odpověď.

Proto je užitečné rozlišovat tři výsledky: odpověď správná, částečně správná (něco chybí nebo je zkreslené) a nesprávná. Nejnebezpečnější je právě ta částečně správná, protože projde letmou kontrolou. Zákazník pak dostane odpověď, která vypadá profesionálně, ale vy za ni neručíte.

Co přesně měřit: čtyři kritéria relevance

Aby bylo hodnocení srovnatelné mezi týdny i mezi lidmi, držte se čtyř kritérií:

1. Pravdivost: sedí každé tvrzení s tím, co firma opravdu nabízí?
2. Úplnost: neschází údaj, bez kterého je odpověď zavádějící (platnost, výjimky, podmínky)?
3. Dohledatelnost: umíte říct, z jakého dokumentu nebo e-mailu odpověď vychází?
4. Vhodnost: je tón a rozsah vhodný pro zákazníka a neslibuje chatbot věci, které firma nemůže splnit?

Každé kritérium hodnoťte jednoduše: 2 body splněno, 1 částečně, 0 nesplněno. Číselné prahy si nastavte podle rizika své oblasti, univerzální pravidlo neexistuje. Odpověď, která v pravdivosti dostane 0, je vždy chyba, ať je zbytek sebelepší.

Postup krok za krokem: testovací sada a týdenní audit

1. Sestavte testovací sadu z reálných dotazů

Projděte poštu a vyberte dotazy z poslední doby. Zahrňte tři druhy: běžné otázky, okrajové případy a dotazy, na které správná odpověď zní „to z našich podkladů nevíme“. Právě ty třetí odhalí hádání. Pro začátek stačí malá sada, kterou skutečně budete každý týden procházet. Lepší je deset pečlivě ohodnocených dotazů než sto, na které nikdo nemá čas.

2. Ke každému dotazu zapište správnou odpověď

Referenční odpověď napíše člověk, který věci rozumí, ne chatbot. Připište i zdroj (ceník, smlouva, interní pravidlo) a datum, kdy jste odpověď naposledy ověřili.

3. Nechte chatbota odpovědět a ohodnoťte

Použijte tabulku:

4. Zapisujte typ chyby

Nestačí „špatně“. Rozlište domyšlení, záměnu, zastaralý údaj a chybějící výhradu. Podle typu poznáte, zda je problém v podkladech (pak opravíte dokument), nebo v nastavení (pak upravíte zadání).

5. Opakujte po každé změně

Po úpravě ceníku, podmínek nebo nastavení pusťte stejnou sadu znovu. Jen tak poznáte, zda se kvalita zlepšila, nebo zhoršila. Tabulku si schovávejte, po pár týdnech uvidíte, ve kterém typu dotazů chatbot opakovaně klopýtá.

Příklad testovací sady pro firmu s ručními nabídkami

Představte si firmu, která půjčuje techniku na akce. Do sady by patřilo například:

• Běžný dotaz: „Jaké jsou podmínky vrácení techniky po akci?“ Správná odpověď vychází z vašich podmínek, nikoli z obecného zvyku v oboru.
• Okrajový případ: „Půjčíte nám to na víkend s dovozem do jiného města?“ Chatbot by neměl domýšlet příplatky ani dostupnost.
• Past na hádání: „Dáte nám stejnou slevu jako loni?“ Správná reakce je, že o minulých dohodách chatbot nemá podklady a věc musí posoudit člověk.
• Dotaz na termín: „Je technika volná poslední týden v měsíci?“ Dostupnost a rezervace potvrzuje člověk, ne text konceptu.

Podobné sady si snadno složí i firmy z oborů pronájmů techniky nebo eventů a produkce, kde se v dotazech opakují podmínky, termíny a rozsah služeb.

Týdenní audit na 15 minut

Audit nemusí být projekt. Zavedený rytmus je důležitější než dokonalost:

1. Pondělí ráno: pusťte testovací sadu a ohodnoťte odpovědi.
2. Přidejte dva nové dotazy z posledního týdne, zejména ty, které vás překvapily.
3. Zapište změny podkladů, které se od minule udály (nový ceník, jiné podmínky).
4. Rozhodněte: provoz beze změny, oprava podkladů, nebo pozastavení.

Hodnotit by měl vždy stejný člověk, ideálně ten, kdo nabídky skutečně píše. Jednou za čas nechte stejné odpovědi ohodnotit i druhého kolegu: když se hodnocení výrazně liší, kritéria nejsou dost jasná a je třeba je zpřesnit.

Kdy chatbota pozastavit

Předem si napište pravidla, ne až v krizi. Rozumné signály k pozastavení:

• chatbot opakovaně uvádí cenu, termín nebo podmínku, kterou nemáte v podkladech,
• slibuje něco jménem firmy (rezervaci, slevu, dodání),
• na dotazy mimo podklady neodpovídá „nevím“, ale vymýšlí,
• po změně podkladů dál cituje starou verzi,
• odpověď by zákazník mohl právně nebo finančně použít proti vám.

U těchto situací je bezpečnější režim, kdy chatbot jen navrhuje a člověk schvaluje. K ochraně osobních údajů v takovém provozu viz kontrolní seznam k GDPR; konkrétní případy konzultujte s právníkem.

Jak to pojímá BOTrento

BOTrento Chief of Staff není chatbot, který odpovídá zákazníkům sám. Je to řízený proces pro poptávky a nabídky: hlídá poštu a nahraná data, každý pracovní den ráno ukáže přehled Dnes 1+3 a připraví koncepty odpovědí, nabídek a follow-upů. Nic se neodešle bez schválení člověkem, takže každý koncept projde vaší kontrolou dřív, než k zákazníkovi dorazí. Hodnotit ho můžete přesně podle kritérií výše.

Vychází z textu e-mailů a nahraných dat; přílohy nečte, což je dobré vědět při hodnocení úplnosti. AI je v ceně tarifu s měsíčním limitem spotřeby (přehled najdete v ceníku) a vlastní API klíč je volitelný (nápověda k API klíčům). Data ukládáme na serverech v Německu (EU); text nutný pro úkol zpracuje poskytovatel jazykového modelu. Jak to vypadá v praxi, ukazuje ukázka procesu.

Zkušební doba trvá 14 dní zdarma, bez karty a bez vlastního API klíče, a začíná prvním nahráním dat. Testovací sadu tak postavíte na vlastních e-mailech a kvalitu konceptů posoudíte sami: vyzkoušejte BOTrento 14 dní zdarma.

Co měřit vedle relevance

Správná odpověď je jen část obrazu. Sledujte i to, co dělá s obchodem: jak rychle odpovídáte (měření doby odpovědi), kolik nabídek skončí zakázkou (výpočet konverze nabídek) a které další ukazatele stačí malé firmě (6 KPI pro týdenní přehled). Pokud chcete zrychlit odpovědi, začněte u 5 kroků ke zrychlení.