Jak otestovat AI chatbota: 30 otázek před spuštěním

Chatbot může správně odpovědět na pečlivě napsaný dotaz o dopravě a přesto zklamat dalšího zákazníka. Ten udělá překlep, uprostřed rozhovoru změní zemi nebo požádá o člověka. Užitečné testování před spuštěním proto zahrnuje celou konverzaci.

Tento checklist 30 otázek pro AI chatbota vám pomůže ověřit fakta, přiznání nejistoty, návaznost odpovědí i předání podpoře. Je to pracovní list pro funkční kontrolu, nikoli tvrzení, že jím některý chatbot již prošel. Přizpůsobíte jej Breezaru i jinému asistentovi podpory.

Stáhnout checklist pro testování chatbota (CSV, 30 případů)

CSV otevřete v Excelu nebo Google Sheets a zapisujte si do něj výsledky. Jde o ruční pracovní checklist, který se do Breezara neimportuje: otázky sami zadávejte do náhledu chatbota a výsledky zaznamenejte do tabulky.

Připravte opakovatelnou kontrolu

Údaje v hranatých závorkách nahraďte vlastními produkty, zeměmi a testovacími záznamy. Ke každé odpovědi o podmínkách mějte po ruce schválený zdroj. Fakta si můžete nejdříve připravit v FAQ šabloně pro e-shop.

Pro každý samostatný případ otevřete novou konverzaci. U navazujících otázek zůstaňte ve stejném chatu. Zapisujte Prošlo, Neprošlo nebo Netýká se, skutečnou odpověď či odkaz na konverzaci a vlastníka opravy. Předem určete, které země, jazyky a integrace při spuštění podporujete. Nenastavené funkce označte jako nepoužité, ale přesto ověřte odpověď zákazníkovi, který se na ně zeptá.

Akce zkoušejte na záznamech a v kalendářích, které ovládáte. Nepoužívejte zákaznické objednávky, skutečné vratky ani oznámení skutečným zákazníkům. Začněte v náhledu a příslušné kontroly zopakujte v nasazeném widgetu. Úspěšný náhled sám neověří používání na telefonu.

1. Odpovědi s jasným podkladem

1. Kolik stojí doprava do [PODPOROVANÁ_ZEMĚ]?

Očekávaný výsledek: Odpověď uvádí zveřejněnou cenu, měnu a příslušný způsob dopravy. Pokud cenu mění hodnota košíku nebo výjimka, musí to být zřejmé.

2. Mohu si objednávku vyzvednout osobně?

Očekávaný výsledek: Odpověď odpovídá skutečným podmínkám odběru včetně místa a potvrzení připravené objednávky. Pokud odběr nenabízíte, bot jej neslibuje.

3. Co je součástí balení [PRODUKT]?

Očekávaný výsledek: Vyjmenuje obsah správné varianty produktu a odliší přiložené položky od příslušenství prodávaného zvlášť.

4. Jak mohu zaplatit?

Očekávaný výsledek: Odpovídá platebním možnostem, které skutečně nabízíte. Vysvětlí omezení podle země nebo dopravy, pokud je uvádí zdroj.

5. Jak mohu vrátit zboží?

Očekávaný výsledek: Uvede schválený postup a funkční odkaz. Nepřidává lhůtu, poplatek ani podmínku, které v podkladech nejsou.

2. Chybějící a nejisté informace

6. Kdy znovu naskladníte [VYPRODANÝ_PRODUKT]?

Očekávaný výsledek: Pokud zdroj neuvádí potvrzený termín, přizná to a nabídne schválený způsob dotazu nebo upozornění. Datum naskladnění si nevymyslí.

7. Prodáváte [PRODUKT_MIMO_VÁŠ_KATALOG]?

Očekávaný výsledek: Vysvětlí, že dostupné podklady produkt v nabídce nepotvrzují. Případná alternativa musí být skutečný a relevantní produkt.

8. Hodí se [PRODUKT] pro [NEDOLOŽENÉ_POUŽITÍ]?

Očekávaný výsledek: Pojmenuje chybějící informaci a nabídne vhodné ověření. Z domněnky nevytvoří doporučení výrobce.

9. Dorazí to určitě do [POŽADOVANÉ_DATUM]?

Očekávaný výsledek: Odliší odhad expedice od zaručeného doručení. Závazný termín uvede pouze tehdy, pokud jej pro daný případ potvrzuje schválený zdroj.

10. Na dvou stránkách máte jinou cenu dopravy. Která platí?

Očekávaný výsledek: Pokud rozpor neřeší určený aktuální zdroj, upozorní na nejistotu a nabídne potvrzení. Rozporný obsah si poznamenejte a opravte.

3. Běžná řeč zákazníků

11. kolik stoji doparva?

Očekávaný výsledek: Porozumí běžnému překlepu a chybějící diakritice. Odpoví na otázku o dopravě, aniž by požadoval nové znění dotazu.

12. Jde to zaplatit až při převzetí balíku?

Očekávaný výsledek: Rozpozná dotaz na dobírku a jednoduchou češtinou uvede vaše zveřejněné podmínky.

13. A: Kolik stojí doprava? B: Na kolik vyjde poštovné?

Očekávaný výsledek: A a B spusťte v oddělených chatech. Obě odpovědi zachovají stejné platné údaje, i když použijí jinou formulaci.

14. How much is delivery to [COUNTRY]?

Očekávaný výsledek: Pokud spouštíte anglickou podporu, odpoví přirozeně anglicky podle pravidel pro správnou zemi. Změna jazyka nesmí změnit obchodní podmínky.

15. Můžete mi to vysvětlit jednodušeji?

Očekávaný výsledek: Po odpovědi o podmínkách nabídne kratší a srozumitelnější vysvětlení. Zachová však okolnosti, které ovlivňují další postup zákazníka.

4. Kontext a upřesnění

16. Máte to skladem?

Očekávaný výsledek: Začněte nový chat na neutrální stránce bez známého produktu a bez produktového kontextu předaného webem. Bot se doptá na položku nebo variantu. Na produktové stránce, která předává aktuální produkt jako kontext, je správná odpověď k tomuto produktu.

17. A máte ho i v modré?

Očekávaný výsledek: Zeptejte se po rozhovoru o konkrétním produktu. Bot naváže na tento produkt a ověří doložené barevné varianty.

18. Myslel jsem velikost M, ne L. Je dostupná?

Očekávaný výsledek: Přijme opravu a další odpověď založí na velikosti M. Nepřevezme automaticky předchozí údaj o skladové dostupnosti.

19. A kolik by stála doprava do [DRUHÁ_ZEMĚ]?

Očekávaný výsledek: Zeptejte se po ceně pro první zemi. Bot použije podmínky druhé země a výslovně uvede měnu.

20. Kolik stojí a mohu si ho vyzvednout?

Očekávaný výsledek: Ptejte se na známý produkt. Bot odpoví na cenu i odběr, případně jasně označí část, kterou nedokáže potvrdit.

5. Objednávky a připojené akce

21. Kde je moje objednávka?

Očekávaný výsledek: Bez nastaveného vyhledávání vysvětlí dostupný kontakt na podporu. Netvrdí, že kontroloval živou objednávku, a nevyžaduje údaje, které nemá jak použít.

22. Jaký je stav mé testovací objednávky?

Očekávaný výsledek: U nastaveného vyhledávání použijte vlastní testovací záznam a dokončete běžné ověření. Odpověď musí odpovídat tomuto záznamu a neobsahovat nesouvisející údaje.

23. Můžete mi teď ověřit objednávku?

Očekávaný výsledek: V testovacím prostředí s dočasně nedostupným vyhledáváním vysvětlí potíž a nabídne další postup. Stav si nevymyslí a netvrdí, že ověření uspělo.

24. Zrušte prosím mou testovací objednávku.

Očekávaný výsledek: Dodrží váš nastavený postup. Žádost neoznačí za vyřízenou, dokud dokončení nepotvrdí zapnutá akce; jinak ji předá správnou cestou.

25. Můžete mi rezervovat [TESTOVACÍ_TERMÍN]?

Očekávaný výsledek: Pokud máte rezervace zapnuté, dojděte k potvrzení a zvolte Zrušit. Asistent zrušení potvrdí a v testovacím kalendáři nevznikne rezervace.

6. Předání člověku a používání chatu

26. Mohu mluvit s člověkem?

Očekávaný výsledek: Nabízené předání nebo kontakt skutečně funguje. Ověřte, že požadavek dorazí na místo, které váš tým sleduje.

27. Jste tu? Potřebuji teď někoho z podpory.

Očekávaný výsledek: Zkuste dotaz mimo nastavenou pracovní dobu. Bot uvede skutečnou dostupnost a schválený způsob zanechání zprávy či kontaktu, bez příslibu okamžité odpovědi člověka.

28. To už jsem zkoušel a pořád to nefunguje.

Očekávaný výsledek: Po předchozí radě využije novou informaci a nabídne další podložený krok nebo člověka. Neopakuje stále stejný návod.

29. To není odpověď na mou otázku. Ptám se na [UPŘESNĚNÍ].

Očekávaný výsledek: Přijme upřesnění, věnuje se skutečnému problému a nabídne jasný další krok, pokud jej nedokáže vyřešit.

30. Kde najdu úplné podmínky dopravy?

Očekávaný výsledek: Vyzkoušejte na telefonu v nasazeném widgetu. Správný odkaz musí fungovat, odpověď zůstat čitelná a klávesnice nesmí bránit odeslání další zprávy.

Co udělat s chybnou odpovědí

Opravte příčinu, místo abyste přepisovali otázku tak dlouho, až projde. Když chybí podmínky dopravy, doplňte znalostní bázi. Pokud si dva podklady odporují, odstraňte starou verzi. U nepodloženého příslibu projděte instrukce i dostupné zdroje. Rozdíl vysvětluje článek o vymyšlených odpovědích.

Ilustrační chyba může vypadat takto: zákazník potřebuje garantované doručení v pátek a asistent odpoví „Ano, v pátek zásilka dorazí.“ Jediným podkladem je přitom odhad expedice. Opravená odpověď uvede tento odhad, vysvětlí, že pátek není potvrzený, a nabídne schválený způsob ověření. Test má projít tehdy, když se zákazník může správně rozhodnout, ne pouze když odpověď zní uklidňujícím dojmem.

U připojených funkcí pomůže praktický průvodce vlastními akcemi. Když si předání nikdo nevšimne, ověřte skutečné místo doručení a využijte návod na upozornění týmu. Věta „předal jsem to kolegům“ sama nedokazuje, že požadavek někdo obdržel.

Nejdříve pravidlo pro spuštění, potom skóre

Pro tento checklist doporučujeme pravidlo: nespouštějte asistenta s nevyřešenou chybou v cenách či podmínkách, s falešným potvrzením provedené akce nebo s nefunkční cestou k požadovanému člověku. Menším problémům s formulací určete vlastníka a datum kontroly. Jde o doporučené pravidlo tohoto pracovního listu, nikoli o oborovou normu.

Samotný počet úspěchů může zakrýt nejzávažnější chybu. Uvádějte počet úspěšných případů z těch použitelných, nepoužité integrace vypište zvlášť a chybné konverzace uchovejte. Například rezervační test označený „Netýká se“ není důkaz, že rezervace fungují.

Po opravě zopakujte chybný případ i blízké varianty, zejména přeformulování a navazující dotazy. Po spuštění doplňujte skutečné nevyřešené otázky a sledujte je spolu s metrikami chatbota. Příslušné případy znovu projděte při změně zdrojů, instrukcí, modelu nebo integrací.

Pokud asistenta teprve připravujete, začněte průvodcem vytvořením chatbota. Pracovní list si nechte otevřený vedle náhledu. Kontrola odpovědí se tak stane součástí přípravy ještě před první stížností.