AI agent odpověděl špatně. Jak najít příčinu a ověřit opravu
Praktický postup od chybné odpovědi přes kontrolu dokumentů a synchronizaci až po nový test. Kdy pomůže znalostní báze, produktový katalog nebo vlastní akce.
Zákazník se zeptá: „Když objednám za 1 200 Kč, mám dopravu zdarma?“ Váš AI agent odpoví ano. Jenže aktuální hranice je 1 500 Kč. Jak zjistíte, co opravit, aby se stejná chyba nevrátila při trochu jinak položené otázce?
Projdeme jeden modelový případ od konverzace až po kontrolu výsledku. Částky i obchodní podmínky jsou příklad. Při práci je nahraďte vlastními údaji. Cílem je najít příčinu a ověřit, že zákazník dostává správnou informaci také u souvisejících dotazů.
1. Uchovejte otázku i předchozí konverzaci
V historii konverzací si otevřete chybnou odpověď a přečtěte zprávy před ní. Zákazník mohl nejdřív uvést Slovensko, jinou měnu nebo nadrozměrný produkt. Samotná poslední věta nemusí obsahovat všechno, podle čeho měl agent odpovídat.
Zapište si přesné znění dotazu, skutečnou odpověď, správný výsledek a dokument, který ho potvrzuje. Pokud problém vznikl na konkrétní produktové stránce, poznamenejte si i její adresu. Pro první opakování ponechte stejného agenta, jazyk a model. Změníte-li zároveň zdroje, instrukce i model, nezjistíte, co pomohlo.
V našem příkladu má výsledek splnit tři podmínky: odmítnout dopravu zdarma při 1 200 Kč, uvést platnou hranici 1 500 Kč a vztáhnout ji ke správné zemi a dopravě.
2. Zkontrolujte, jaké podklady má agent k dispozici
U chybné odpovědi v historii konverzace zvolte Zobrazit zdroje odpovědi. Na počítači se toto tlačítko objeví po najetí na zprávu. Pokud jsou u odpovědi uložené zdrojové úryvky, panel Zdroje ukáže jejich text a dostupné údaje o zdroji. Porovnejte částku i její podmínky s tím, co agent skutečně napsal. Staré pravidlo v úryvku vás navede ke konkrétnímu podkladu; správný úryvek a chybná odpověď zase ukazují, že samotný obsah nemusí být příčinou.
V Breezaru vyberte příslušného agenta a otevřete Zdroje → Dokumenty a weby. Najděte stránku dopravy, nahrané FAQ a případné další dokumenty se stejnou informací. Otevřete náhled jejich zpracovaného textu. Hezká tabulka na webu může po načtení vypadat jinak, než očekáváte.
Zkontrolujte zejména:
- Je aktuální hranice skutečně v uloženém textu?
- Zůstala u částky země, měna a příslušný dopravce?
- Neobsahuje staré PDF předchozí hranici 1 000 Kč?
- Nechybí výjimka pro zboží, na které běžná doprava neplatí?
Kontrola dokumentů ukazuje, co měl agent k dispozici. Sama nedokazuje, který konkrétní úryvek použil při chybné odpovědi. Pokud obsah vypadá správně, ponechte si i tuto možnost: problém může být ve výběru podkladů, porozumění otázce nebo instrukcích.
Pokud ke znalostem připojujete také příspěvky ze sociálních sítí, prohlédněte starší kampaně. Neaktuální nabídka dopravy zdarma může zůstávat právě v jejich popisku.
3. Opravte pravidlo i jeho podmínky
Nejasný text „Doprava zdarma nad 1 500 Kč“ ponechává několik otázek otevřených. Započítávají se slevy? Platí i do zahraničí? Je samotná částka 1 500 Kč už dostatečná?
Lépe připravený modelový podklad může znít:
Doručení na výdejní místo v České republice je zdarma při hodnotě zboží alespoň 1 500 Kč po slevách. Samotné dopravné se do této částky nezapočítává. Toto pravidlo se nevztahuje na jiné země ani na nadrozměrné zboží.
Takové podmínky samozřejmě doplňte pouze tehdy, pokud je skutečně používáte. Když je nemáte stanovené, nejprve je potvrďte s člověkem odpovědným za dopravu.
Opravte hlavní zdroj a odstraňte zastaralé kopie z podkladů agenta. Pokud chyba pochází z webové stránky, upravte také samotný web. Ruční změna pouze načteného textu v Breezaru neopraví informaci, kterou zákazník dál čte v obchodě.
V sekci Dokumenty a weby můžete zpracovaný text upravit. Pokud vám krátké vysvětlení dosud chybí, můžete zde vytvořit i vlastní dokument. Dejte mu konkrétní název, například „Doprava v ČR: ceny a výjimky“, a soustřeďte do něj jedno téma. S přípravou pomůže FAQ šablona pro e-shop.
4. Dokončete načtení a přetrénování
Oprava stránky na webu sama o sobě neznamená, že už ji agent používá. U webového podkladu spusťte nové načtení příslušné stránky nebo aktualizaci zdroje a zkontrolujte výsledek. U dokumentu uložte změnu. Pokud Breezaro hlásí nezpracované podklady, použijte Přetrénovat model a počkejte na dokončení.
Před dalším testem znovu otevřete obsah a ověřte opravenou částku. Sledujte také stav zdroje: neúspěšné načtení nebo vyčerpaná kapacita se nevyřeší opakováním stejné otázky v chatu. Test má smysl až ve chvíli, kdy jsou opravené podklady zpracované.
5. Otestujte původní dotaz a jeho blízké varianty
V náhledu agenta začněte novou konverzaci. Vložte původní otázku přesně tak, jak ji napsal zákazník, včetně případného překlepu. Potom v samostatných konverzacích vyzkoušejte několik obměn.
| Modelový dotaz | Co má odpověď zachovat |
|---|---|
| „Za 1 200 Kč už neplatím poštovné?“ | Podle příkladu hranice ještě není splněna. |
| „Košík mám přesně za 1 500 Kč. Výdejní místo v ČR je zdarma?“ | Správně vyhodnotí hraniční částku. |
| „Před slevou 1 600 Kč, po slevě 1 400 Kč. Jak je to s dopravou?“ | Použije cenu po slevě. |
| „A platí to také na Slovensko?“ | Nepřenese české podmínky na jinou zemi. |
| „Máte dopravu zdarma?“ | Uvede podmínku nebo si vyžádá chybějící upřesnění. |
Nakonec zopakujte i původní sled zpráv ve společné konverzaci. Samostatné otázky prověří pravidlo; navazující dotaz odhalí, jestli agent správně zpracuje změnu země či částky. Zaznamenejte skutečné odpovědi. Jeden úspěšný pokus neprokazuje, že je každý podobný případ vyřešený.
6. Rozlište znalosti, katalog a živá data
U ceny konkrétního výrobku hledejte chybu také v produktovém katalogu a jeho zdroji. Zkontrolujte měnu, variantu, dostupnost a poslední synchronizaci. Opravené FAQ nepomůže, když katalog dál posílá starou cenu. Cenové rozmezí při hledání produktů je užitečné právě tehdy, když produktové údaje odpovídají nabídce.
Dotaz „Kde je moje objednávka?“ zase potřebuje přístup ke konkrétnímu záznamu. Obecný dokument o expedici nemůže potvrdit stav zákazníkovy zásilky. K tomu slouží správně nastavená vlastní akce, která získá údaje z připojeného systému. Její dostupnost závisí na tarifu a oprávnění účtu. V průvodci otestujte odpověď API a pole, která agent smí použít. U soukromých údajů nastavte potřebné ověření zákazníka a přístupová pravidla.
Podrobnou ukázku najdete v článku o vlastních akcích a webhoocích. Webhook můžete využít pro navazující upozornění nebo evidenci události. Samotné odeslání webhooku ale nenahrazuje opravu zdroje ani ověření odpovědi.
7. Instrukce a model měňte s konkrétním cílem
Pokud jsou podklady správné a zpracované, zkontrolujte instrukce agenta. Požadavek „vždy zákazníkovi vyhovte“ může vést k nevhodným příslibům. Užitečnější je přesně určit, kdy má agent ověřit chybějící údaj, položit otázku nebo nabídnout člověka. Nevkládejte obchodní podmínky do několika různých míst, kde je později zapomenete aktualizovat.
Breezaro má také Porovnávač: stejnou otázku můžete zadat více modelům vedle sebe a sledovat jejich odpovědi i spotřebu kreditů. Použijte stejnou sadu případů a hodnoťte správnost, práci s nejistotou i další krok pro zákazníka. Delší odpověď sama o sobě není lepší.
Po opravě si ponechte krátký seznam těchto otázek. Projděte ho znovu při změně dopravy, katalogu nebo instrukcí. Další případy můžete převzít z checklistu pro testování AI chatbota. Kvalitu vašeho AI agenta pak zlepšujete na konkrétních zákaznických situacích a máte s čím porovnat příští změnu.