Opravili jsme podklady chatbota: výsledky testu 30 stejných otázek

Přesnější podklady v tomto testu pomohly, ale neodstranily všechny chyby. Při stejných 30 otázkách jsme jako obsahově úplné a správné vůči referenčním pravidlům vyhodnotili 13 odpovědí s původním dokumentem a 27 s opraveným. Po dodatečné kontrole opory v dodaném zdroji z těchto odpovědí obstálo 10 před úpravou a 27 po ní. Po úpravě zůstaly dvě neúplné odpovědi a jedno příliš určité tvrzení o expedici.

Experiment jsme provedli 21. října 2026 přes skutečné API jazykového modelu. Použili jsme smyšlený e-shop Severka, nikoli zákaznický účet. Jde o laboratorní ukázku vlivu podkladů na odpovědi. Není to měření přesnosti Breezaro v produkci, úspory práce ani růstu prodejů.

Co přesně jsme porovnávali

Před spuštěním jsme připravili dva české dokumenty, 30 českých otázek a kritérium pro každou odpověď. Opravený dokument zároveň určuje referenční pravidla modelového obchodu. Původní verze záměrně obsahuje starý limit dopravy zdarma a chybějící podmínky. Nejde o náhodný vzorek běžných firemních podkladů.

Instrukce zůstala stejná: odpovídat pouze z dodaných podkladů, přiznat chybějící informaci a nevymýšlet provedené akce. Všech 60 odpovědí doběhlo se stavem completed. Model se nedotrénovával. Změnil se pouze dokument přiložený k otázce.

Celý text jsme vložili přímo do kontextu. Netestovali jsme načítání webu, dělení dokumentů, vyhledávání relevantních pasáží ani produkční zpracování konverzace v Breezaro. I dobře napsaná informace musí být v reálné instalaci nejprve správně načtena a nalezena.

Co se v podkladech změnilo

Původní dokument říkal například „odesíláme rychle“ a „obvykle doručujeme za 2 až 3 dny“. U slevového kódu chyběly výjimky a datum konce. U batohu byla pouze úhlopříčka notebooku. Podle aktuálních pravidel modelového obchodu byl chybný i limit dopravy zdarma.

Do nové verze jsme doplnili:

• hranici 1 990 Kč pro dopravu zdarma, počítanou po slevách a bez dopravného;
• přijatou platbu do 12:00 jako podmínku expedice tentýž pracovní den;
• rozdíl mezi předáním dopravci a odhadovaným doručením;
• podmínky slevy, výjimky a konec platnosti včetně časového pásma;
• rozměry kapsy notebooku místo samotné úhlopříčky;
• postupy pro dotazy, které musí rozhodnout podpora nebo ověřit připojený systém.

Část změn tedy opravila neaktuální informaci a část přidala chybějící fakta. Výsledek nelze přičíst jen lepším nadpisům nebo přehlednějšímu formátování. Uvedené obchodní podmínky jsou výhradně součástí smyšleného testu, nikoli doporučením právních pravidel pro váš e-shop.

Výsledky kontroly vůči referenčním pravidlům

Za neúplnou jsme považovali také bezpečné „nevím“, pokud referenční pravidla požadovanou informaci obsahovala. Taková odpověď je vhodnější než výmysl, ale zákazníkovi ještě nedává potřebnou informaci. Naopak u dotazu na živý sklad bez připojeného systému bylo přiznání omezení správným výsledkem.

Otázky měly tři skupiny:

Hodnocení provedl samostatný AI asistent podle zveřejněných kritérií. Nejde o nezávislé lidské posouzení ani zaslepenou studii. Soubor s hodnocením obsahuje zdůvodnění každé odpovědi a sporné výklady. Například jsme důsledně vyžadovali rozlišení kalendářních dnů a uvedení okamžiku, od kterého běží doručení.

Původní metodika měla nejednoznačnost: vyžadovala nevymýšlet tvrzení, ale definice kategorií vycházely z referenčních pravidel. Při hodnocení jsme proto oddělili obsahovou správnost vůči referenci od opory v právě dodaném dokumentu. Tři původní odpovědi odpovídaly referenčním pravidlům, přestože jejich jisté tvrzení původní dokument dostatečně nepodporoval. Po obou kontrolách tedy obstálo 10 odpovědí před úpravou a 27 po ní. Tento dodatečný rozbor nebyl předem stanovenou metrikou; v příloze je veden samostatně a původní zadání jsme zachovali beze změny.

Dva konkrétní rozdíly

Doprava po slevě, otázka 3. Zákazník měl zboží za 2 100 Kč a kód na desetiprocentní slevu. Původní odpověď slíbila dopravu zdarma a navíc si doplnila pravidlo, že se hranice počítá z ceny před slevou. Opravená odpověď spočítala 1 890 Kč a správně přidala dopravné 89 Kč.

Rozměry notebooku, otázka 14. Zákazník uvedl zařízení 35 × 23 × 1,8 cm. Původní odpověď potvrdila, že se vejde, pouze podle údaje „do 15 palců“. Po doplnění rozměrů kapsy 34 × 24 × 2 cm model odpověděl záporně a použil skutečný rozměrový limit.

První příklad ukazuje cenu chybějícího pravidla. Druhý ukazuje, proč je přesná specifikace užitečnější než obecný štítek kompatibility.

Co nevyšlo ani po opravě

U otázky 4 odpověď zopakovala zaplacení do poledne, ale vynechala, že peníze musí být přijaté. U otázky 6 správně vyloučila víkendy, ale neuvedla, že se odhad počítá od předání dopravci. Obě proto zůstaly neúplné.

U otázky 17 model správně rozlišil odeslání převodu a připsání peněz, potom však napsal: „Pokud peníze přijdou až zítra, expedice začne až zítra.“ Nevěděl přitom, v kolik peníze přijdou ani zda jde o pracovní den. Při přísném výkladu je to nepodložený slib. Mírnější výklad „ne dříve než zítra“ by změnil hodnocení; tuto nejistotu příloha výslovně uvádí.

Jak podobný test použít u vás

Vyberte opakující se otázky, přidejte podmínky a několik situací, kde má asistent přiznat omezení. Očekávané odpovědi napište před testem. Změňte podklady, zachovejte model a otázky a ponechte v záznamu i neúspěchy.

V Breezaro potom ověřte celý postup: načtení zdroje, jeho aktualizaci, skutečnou odpověď ve widgetu a případné předání operátorovi. Začněte testovacím seznamem 30 otázek a návodem pro opravu chybných odpovědí.

Tento jediný běh ukazuje zlepšení na připravené sadě. Neurčuje očekávanou úspěšnost jiného obchodu, modelu nebo jazyka. Ani teplota 0 nezaručuje totožné odpovědi při opakování.

Podklady ke stažení a ověření

• Oba dokumenty, instrukce, 30 otázek a původní kritéria
• Všech 60 neupravených odpovědí a metadata běhu
• Hodnocení, zdůvodnění a nejistoty
• Skript pro opakování experimentu

Skript potřebuje vlastní API klíč v proměnné OPENAI_API_KEY, soubor input.json ve stejné složce a argumenty --run-live --output=/absolutni/cesta/nove-vysledky.json. Provede 60 placených požadavků a nepřepíše existující soubor. Kontrolní otisk vstupu v uložených výsledcích umožňuje ověřit, které přesné podklady byly použity.