Odkud chatbot bere odpověď: jak ověřit zdroje a poznat vymyšlený obsah
Chatbot bere odpověď ze dvou míst: z textů, které mu firma dala (ceník, e-maily, dokumenty, stránky webu), a z obecných znalostí jazykového modelu. Spolehlivě to ověříte tak, že u každé odpovědi požadujete zdroj, ze kterého vychází, a porovnáte ho s originálem.
„Halucinace“ není lhaní ze zlého úmyslu. Model skládá věrohodně znějící text, a když mu chybí podklad, může mezeru vyplnit tím, co zní pravděpodobně. Níže najdete praktický postup kontroly, tabulku pro hodnocení odpovědí a vysvětlení, proč v obchodní komunikaci musí poslední slovo mít člověk.
Odkud chatbot odpověď bere: tři možné zdroje
Když se zeptáte, „jak to chatbot ví“, odpověď je vždy jedna ze tří možností. Pro kontrolu je důležité vědět, která z nich nastala.
- Vaše podklady. Ceník, nabídky, e-maily nebo stránky webu, které jste chatbotu předali. Je to nejlepší případ, protože odpověď jde dohledat.
- Obecné znalosti modelu. Model si z tréninku pamatuje, jak se obvykle píše nabídka nebo co znamená určitý pojem. O vaší firmě ale nic konkrétního neví.
- Doplnění mezery. Chybí-li podklad, model může navrhnout něco, co zní správně. Tady vznikají vymyšlené ceny, termíny nebo podmínky.
Většina chyb, které firmy v praxi vidí, nevzniká tím, že by model „lhal“. Vzniká tím, že podklad byl zastaralý, neúplný nebo se v něm dvě verze ceny odporují. Podrobněji o přípravě podkladů píšeme v článku AI chatbot s vlastními daty: jak je nahrát bezpečně a bez chyb.
Jak poznat halucinaci: typické signály
Vymyšlená odpověď bývá sebejistá a hladká, proto na ni nestačí „pocit“. Hledejte tyto signály:
- Přesný detail bez zdroje. Konkrétní cena, datum nebo podmínka, kterou nenajdete v žádném vašem dokumentu.
- Odpověď na otázku, na kterou podklady neodpovídají. Správně by chatbot měl říct „to nevím“ nebo předat dotaz člověku.
- Neshoda s aktuální verzí. Chatbot cituje starý ceník, protože v podkladech zůstaly obě verze.
- Zmatení pojmů. Spojí podmínky dvou různých služeb nebo produktů do jedné odpovědi.
- Odkaz nebo název dokumentu, který neexistuje.
Jak z těchto chyb udělat opakovatelnou kontrolu, popisuje článek Diagnostika chatbota: jak zjistit, co říká špatně, a opravit to bez IT.
Co znamená „confidence score“ a proč mu nevěřit slepě
Některé nástroje u odpovědi ukazují skóre jistoty. Chápejte ho jako orientační ukazatel, jak dobře se text shoduje s nalezenými podklady, ne jako záruku pravdivosti. Vysoké skóre může mít i odpověď postavená na zastaralém dokumentu a nízké skóre může mít správná odpověď formulovaná jinak než zdroj.
Prakticky z toho plyne jednoduché pravidlo: skóre slouží k třídění, ne ke schvalování. Odpovědi s nízkou jistotou posuďte jako první, ale i ty s vysokou jistotou, které obsahují cenu, termín nebo slib, projdou kontrolou člověka. Skóre také nemusí být dostupné vždy a jeho význam se mezi nástroji liší, takže si ho u konkrétního nástroje nechte vysvětlit.
Postup kontroly krok za krokem
Tento test zvládnete za odpoledne bez programátora. Potřebujete sadu skutečných dotazů z vaší pošty, tolik, kolik jich stihnete poctivě projít.
- Sesbírejte dotazy. Vyberte skutečné otázky zákazníků, včetně neobvyklých a těch, na které odpověď v podkladech není.
- Připravte správné odpovědi. U každého dotazu si poznamenejte, jaká odpověď je správná a v jakém dokumentu ji najdete.
- Položte dotazy chatbotu. U každé odpovědi si vyžádejte zdroj: dokument, odstavec nebo stránku.
- Porovnejte s originálem. Otevřete uvedený zdroj a ověřte, že tvrzení v něm opravdu je.
- Zahrňte „pasti“. Zeptejte se na něco, co v podkladech není. Správná reakce je přiznání, že odpověď neví.
- Opravte příčinu. Neopravujte jen odpověď, ale zdroj: smažte starou verzi, sjednoťte ceny, doplňte chybějící informaci.
- Test opakujte po každé větší změně ceníku nebo podmínek.
Hodnoticí tabulka
| Dotaz | Uvedený zdroj | Souhlasí s originálem? | Verdikt |
|---|---|---|---|
| Platnost nabídky | Obchodní podmínky, kapitola o platnosti | Ano | V pořádku |
| Cena dopravy do zahraničí | Zdroj chybí | Nelze ověřit | Halucinace, doplnit podklad |
| Sleva pro stálé klienty | Starý ceník | Ne | Odstranit starou verzi |
Související postupy najdete také v článcích o chatbotu z ceníku a zkoušce chatbota na webu.
Pravidla, která snižují riziko vymyšlených odpovědí
- Jedna pravdivá verze. V podkladech nenechávejte staré ceníky a rozpracované nabídky.
- Povinné „nevím“. Chatbot má u dotazů mimo podklady předat věc člověku, ne hádat.
- Zdroj u každé odpovědi s číslem. Cena, termín nebo sleva bez zdroje se nepoužije.
- Schválení člověkem. Cokoli, co odchází zákazníkovi, projde kontrolou.
- Pravidelná revize. Po každém zdražení nebo změně podmínek spusťte kontrolní test znovu.
Pokud chatbot pracuje s osobními údaji z pošty, projděte také kontrolní seznam k AI asistentovi a GDPR. U konkrétních případů se poraďte s právníkem.
Jak to řeší BOTrento
BOTrento Chief of Staff není chatbot, který volně odpovídá na cokoli. Je to řízený proces pro poptávky, nabídky a follow-upy. Pracuje s textem vašich e-mailů a nahraných dat (CSV/XLSX z CRM nebo tabulky) a připravuje koncepty odpovědí, nabídek a follow-upů ve 4 jazycích. Nic se neodešle bez schválení člověkem, takže případná nepřesnost se k zákazníkovi nedostane, dokud ji někdo nezkontroluje.
Každý pracovní den ráno ukáže přehled Dnes 1+3 a zachytí sliby typu „ozvu se do pátku“. Vychází z textu e-mailu, obsah příloh nečte, proto u údajů z příloh kontrolu nevynechávejte. Data ukládáme na serverech v Německu (EU); text nutný pro úkol zpracuje poskytovatel modelu a server v EU s voláním externího AI API není uzavřený výpočet. Volitelně lze použít vlastní API klíč, zatím jen Anthropic (Claude), viz nápověda k API klíčům.
Zkušební doba trvá 14 dní zdarma, bez platební karty a bez vlastního API klíče. Začíná prvním nahráním dat, takže koncepty uvidíte na svých skutečných poptávkách. Vyzkoušet BOTrento na vlastních datech můžete hned, jak proces vypadá, ukazuje ukázka procesu. Orientační přehled nákladů najdete v ceníku.
Časté otázky
Odkud chatbot bere odpověď?
Z podkladů, které mu firma dala (ceník, e-maily, dokumenty), a z obecných znalostí jazykového modelu. Pokud podklad chybí, může model mezeru doplnit věrohodně znějícím textem, proto je důležité kontrolovat zdroj.
Co je halucinace chatbota?
Je to odpověď, která zní přesvědčivě, ale nemá oporu v podkladech ani ve skutečnosti. Typicky jde o vymyšlenou cenu, termín nebo podmínku.
Lže chatbot schválně?
Ne. Model skládá pravděpodobný text a nemá záměr klamat. Riziko snížíte kvalitními podklady, povinným uvedením zdroje a kontrolou člověka.
Stačí se řídit skóre jistoty (confidence score)?
Nestačí. Skóre je orientační a pomáhá odpovědi třídit, ale vysoké skóre nezaručuje správnost, zejména při zastaralém zdroji.
Jak často chatbota kontrolovat?
Po každé změně ceníku nebo podmínek a pak pravidelně na stejné sadě testovacích dotazů. U odpovědí s cenou nebo slibem pro zákazníka kontrolujte vždy.
Shrnutí
- Chatbot odpovídá z vašich podkladů, z obecných znalostí modelu, nebo doplňuje mezeru. Poznejte, který případ nastal.
- Halucinaci poznáte podle přesného detailu bez zdroje, staré verze ceny nebo odpovědi na otázku mimo podklady.
- Skóre jistoty slouží k třídění, ne ke schvalování.
- Otestujte sadu skutečných dotazů včetně „pastí“ a opravujte zdroje, ne jen odpovědi.
- Cokoli odchází zákazníkovi, má schválit člověk.
Jak zrychlit reakce na poptávky a přitom je nechat zkontrolovat, shrnuje odpověď o zrychlení reakcí na poptávky.
Vyzkoušejte BOTrento 14 dní zdarma
Nahrajte své poptávky a ověřte si, z čeho koncepty vycházejí, dřív než cokoli odejde zákazníkovi. Zkušební doba 14 dní zdarma začíná prvním nahráním dat. Vyplňte pár údajů a přístup vám hned přijde e-mailem. S napojením pošty rádi pomůžeme.
14 dní zdarma, bez karty a bez vlastního API klíče. Zkušební doba začíná až prvním nahráním vašich dat. Pak od 1 990 Kč měsíčně bez DPH, AI v ceně.
Nic se neodešle bez vašeho schválení. Kartu přidáte až na konci, pokud budete pokračovat; bez platby se přístup zablokuje do úhrady, data držíme 30 dní a export je dostupný. Ceník · Prohlédnout ukázku procesu
Děkujeme, registraci máme.
Na váš e-mail jsme poslali odkaz pro přihlášení a první kroky. Pokud nedorazí do pár minut, zkontrolujte hromadnou poštu.