Jak měřit úspěšnost chatbota, a která čísla vás klamou

Chatbot běží měsíc. Funguje? Většina lidí se podívá na počet konverzací, uvidí číslo, které roste, a je spokojená. Jenže rostoucí počet konverzací může znamenat úspěch stejně jako to, že máte na webu něco tak nesrozumitelného, že se na to lidé musí ptát. Tady jsou čísla, ze kterých se to pozná, a upozornění na ta, která klamou.

Poměr návštěva na chat

První užitečné číslo není počet konverzací, ale jejich poměr k zobrazením stránek. Deset chatů na sto zobrazení je něco úplně jiného než deset chatů na deset tisíc.

Dvě věci k tomu patří, protože bez nich se to čte špatně:

• Počítá se jen widget na webu. Konverzace z WhatsAppu, Messengeru a Instagramu do tohohle poměru nevstupují, ty najdete zvlášť v rozpadu podle kanálů.
• Jmenovatel jsou zobrazení, ne lidé. Jeden návštěvník, který si projde pět stránek, je v něm pětkrát. Není to tedy podíl návštěvníků, kteří začali psát, i když se to tak čte.
• Může vyjít přes sto procent. Není to chyba. Jeden návštěvník může na jedno zobrazení stránky založit víc konverzací, a v číslech se objeví i konverzace starší než měření návštěvnosti. Zastropovat to na sto procentech by vypadalo důvěryhodněji a lhalo by to.

Trychtýř, který ukáže, kde lidé mizí

Poměr říká výsledek, trychtýř říká proč. Má tři patra: zobrazení stránek, otevření chatu a konverzace.

Mezi prvním a druhým patrem se pozná, jestli je widget vidět a jestli lidi láká. Když sem propadne skoro všechno, řešte umístění, barvu a uvítací zprávu. Mezi druhým a třetím patrem se pozná něco jiného: lidé chat otevřeli, ale nenapsali. To bývá o tom, že úvodní zpráva neřekne, s čím bot pomůže, takže návštěvník neví, co se ptát.

Dvě metriky, na kterých opravdu záleží

Tady se odděluje chatbot, který šetří práci, od toho, který ji vyrábí.

• Míra zvládnutí říká, jaká část konverzací doběhla bez člověka. Tohle je to číslo, které se promítá do úspory. Čím výš, tím míň práce na vaší straně.
• Míra předání je její druhá strana, tedy jak často si konverzaci vzal operátor. Nízká sama o sobě není výhra. Když je u dna a zákazníci si přesto stěžují, znamená to, že bot nepředává, i když by měl.

Zdravý stav není sto procent zvládnutých konverzací. Je to stav, kdy bot zvládne rutinu a spolehlivě pustí dál to, na co nemá.

Fallbacky, tedy kde bot neví

Míra fallbacků ukazuje konverzace, ve kterých bot nenašel odpověď. Je to nejpřímější seznam úkolů, jaký k chatbotovi dostanete: každý fallback je otázka, na kterou nemáte obsah.

Nečtěte to jako známku. Čtěte to jako zadání pro doplnění znalostní báze, postup je v článku jak chatbota natrénovat. Pozor na jednu záměnu: fallback znamená, že bot přiznal, že neví. To je správné chování. Horší je, když si odpověď vymyslí, což se v téhle metrice neprojeví a řeší to článek proč si AI chatbot vymýšlí.

Rychlost, ve dvou různých číslech

Sledují se dvě doby a pletou se často. Průměrná doba první odpovědi bota je o technice a bývá v jednotkách vteřin. Průměrná doba, než odpoví operátor, je o vás. Měří se od poslední zprávy návštěvníka k první odpovědi člověka, takže v ní není jen vaše prodleva, ale i čas, kdy to ještě zkoušel bot. Zákazník ale čeká přesně tuhle dobu, takže je to poctivé číslo.

Když je vysoké, nepomůže lepší prompt. Pomůžou notifikace do mobilu.

Kde chodí a na co se ptají

Zbytek přehledu je spíš vodítko než hodnocení, ale dva pohledy stojí za pravidelné čtení.

Top stránky ukážou nejnavštěvovanější stránky podle počtu zobrazení. Pozor na obvyklou záměnu: nejsou to stránky, ze kterých se nejčastěji píše, ta vazba se tu nepočítá. První řádek tedy klidně může být stránka, ze které nikdo chat nezaložil. Čtěte je jako kontext k tomu, kde vaši návštěvníci tráví čas.

Kliky na úvodní otázky řeknou, jestli jste je uhodli. Otázka, na kterou nikdo neklikne, jen zabírá místo. Vyměňte ji za tu, kterou vidíte ve fallbacích.

K tomu jsou zdroje návštěv, zařízení a nejrušnější hodiny. Ty poslední se hodí na provozní rozhodnutí, tedy kdy má smysl mít po ruce operátora.

Proaktivní bubliny mají vlastní trychtýř

Pokud používáte proaktivní scénáře, měří se zvlášť ve třech krocích: kolikrát se bublina zobrazila, kolikrát ji návštěvník zavřel a kolikrát chat otevřel. Poměr mezi zobrazením a otevřením je jediné poctivé měřítko toho, jestli oslovení dává smysl, nebo jenom otravuje.

Jak to číst dohromady

Vezměte si jednou za měsíc čtyři čísla a porovnejte je s předchozím obdobím, které se v přehledu zobrazuje vedle: poměr návštěva na chat, míru zvládnutí, míru fallbacků a dobu první reakce operátora. První dvě říkají, jestli chatbot pomáhá. Třetí říká, co doplnit. Čtvrtá říká, jestli funguje ta část, kde přebírá člověk.

Všechno ostatní je kontext. A pokud chcete z těch čísel udělat korunovou úsporu, kalkulačka je v článku kolik vám ušetří AI chatbot.

Časté dotazy

Jaká míra zvládnutí je dobrá? Záleží na tom, co se u vás lidé ptají. Místo cizích čísel sledujte vlastní trend a to, jestli s rostoucí mírou zvládnutí neroste počet stížností.

Proč mi poměr návštěva na chat vyšel přes sto procent? Protože se nezastropovává. Jeden návštěvník může na jedno zobrazení stránky začít víc konverzací a započítají se i konverzace starší než měření návštěvnosti.

Počítají se do toho poměru i konverzace z WhatsAppu? Ne. Ten poměr se týká jen widgetu na webu. Konverzace podle kanálů najdete v samostatném rozpadu.

Co s vysokou mírou fallbacků? Berte ji jako seznam chybějícího obsahu. Projděte konverzace, kde bot nevěděl, a doplňte znalostní bázi.

Chatbota nevyhodnotíte jedním číslem. Ale čtyři čísla stačí, a všechna jsou v přehledu Analytika, za posledních sedm nebo třicet dní, vždy s porovnáním proti předchozímu období.

Související: Kolik vám ušetří AI chatbot · Jak chatbota natrénovat.