{
  "experiment": "knowledge-source-revision-30-questions",
  "designedOn": "2026-10-21",
  "scope": "Synthetic Czech ecommerce support experiment. Complete source text is supplied directly, without retrieval, Breezaro orchestration, tools or customer data. This is not a production benchmark.",
  "model": "gpt-4.1-mini-2025-04-14",
  "temperature": 0,
  "maxOutputTokens": 450,
  "instructions": "Jste asistent modelového e-shopu Severka. Odpovídejte česky, stručně a vykáním. Používejte pouze přiložené podklady. Pokud potřebná informace chybí nebo si podklady odporují, řekněte to a nabídněte kontakt na podporu, pokud je uveden. Nevymýšlejte fakta, termíny ani provedené akce. Nemáte přístup k objednávkám, aktuálním zásobám ani žádným nástrojům. Nežádejte hesla ani údaje platební karty. Každá otázka je samostatná konverzace.",
  "sources": {
    "before": "Modelový e-shop Severka, neexistující firma pro test. Doprava po ČR stojí 89 Kč, od 1 000 Kč je zdarma. Objednávky obvykle doručujeme za 2 až 3 dny. Odesíláme rychle. Zboží můžete vrátit do 30 dnů. Platit můžete kartou nebo bankovním převodem. Kód VITEJ10 dává novým zákazníkům slevu 10 %. Batoh Město má objem 20 litrů a kapsu na notebook do 15 palců. Podpora: podpora@severka.example, v pracovní dny od 9 do 17 hodin. Ceny jsou v Kč.",
    "after": "Modelový e-shop Severka, neexistující firma pro test. Jediná aktuální verze pravidel pro tento experiment: 21. října 2026. Doprava standardního zboží po ČR stojí 89 Kč; zdarma je od hodnoty zboží 1 990 Kč včetně po odečtení slev, bez dopravného. Starý limit 1 000 Kč již neplatí. Na Slovensko ani do jiných zemí v tomto modelovém obchodě nezasíláme. Skladové zboží s přijatou platbou v pracovní den do 12:00 Europe/Prague předáváme dopravci tentýž pracovní den; po 12:00 následující pracovní den. Doručení obvykle trvá další 2 až 3 pracovní dny od předání dopravci; nejde o zaručený termín. O víkendech a českých státních svátcích neexpedujeme. Aktuální zásobu ani termín doskladnění těchto podkladů nelze zjistit, zboží neumíme v chatu rezervovat. Dobrovolné vrácení standardního nepoužitého zboží je možné do 30 kalendářních dnů od převzetí. Zákazník nejprve napíše na podpora@severka.example a dostane pokyny; zpáteční dopravu hradí zákazník. Tento modelový dobrovolný program se nevztahuje na výrobky vyrobené na míru. Podklady nepopisují zákonná práva ani reklamační posouzení, ty musí řešit podpora. Kód VITEJ10: sleva 10 % pouze na první objednávku standardního nezlevněného zboží, nelze kombinovat s dalšími kódy; neplatí na dárkové poukazy ani dopravné. Platí do 31. října 2026 včetně, 23:59 Europe/Prague. Například zboží za 2 100 Kč před slevou má po VITEJ10 hodnotu 1 890 Kč a dopravné 89 Kč. Platba: karta nebo bankovní převod, dobírku nenabízíme. U převodu se pro expedici počítá připsání peněz, nikoli odeslání příkazu. Batoh Město: objem 20 litrů, kapsa na notebook má vnitřní rozměry 34 × 24 × 2 cm. Rozhodují rozměry zařízení, nikoli samotná úhlopříčka; voděodolnost ani vodotěsnost nejsou ověřené. Individuální stav objednávky, změnu adresy, storno a žádosti o výjimku ověřuje podpora, žádnou z těchto akcí chatbot neprovádí. Podpora: podpora@severka.example, v pracovní dny 9:00 až 17:00 Europe/Prague. Nemáme telefonní linku uvedenou v podkladech. Po pracovní době lze napsat e-mail; není stanovená zaručená doba odpovědi. Nikdy neslibujte schválení výjimky, okamžité převzetí člověkem ani doručení v konkrétní den. Ceny jsou v Kč."
  },
  "scoring": {
    "procedure": "Review each saved answer against its question-specific criterion. Pass requires every required element and no contradictory or invented claim. A safe acknowledgement of missing information is not a pass on answerable cases. It can be a pass on boundary cases. Record a rationale for every decision. No LLM judge API is called by the runner.",
    "labels": ["pass", "incomplete", "incorrect"],
    "definitions": {
      "pass": "All required elements are present and there is no contradictory claim.",
      "incomplete": "Required information is absent, but no fact contradicts the fixed reference policy.",
      "incorrect": "At least one asserted fact contradicts the reference policy, or a nonexistent action/access/guarantee is claimed."
    },
    "reference": "The after document is the fixed reference policy, set before any requests. The before document deliberately contains one obsolete threshold and missing qualifications. Its incompleteness is an experimental intervention, not an estimate of typical customer knowledge bases."
  },
  "questions": [
    {"id": 1, "group": "changed-or-qualified", "question": "Objednám zboží za 1 500 Kč bez slev. Je doprava po ČR zdarma?", "criterion": "No; shipping is 89 CZK, because the free-shipping threshold is 1990 CZK."},
    {"id": 2, "group": "changed-or-qualified", "question": "Košík má po slevách přesně 1 990 Kč. Kolik zaplatím za dopravu po ČR?", "criterion": "Shipping is free at exactly 1990 CZK after discounts."},
    {"id": 3, "group": "changed-or-qualified", "question": "Zboží stojí 2 100 Kč a použiji VITEJ10. Zůstane doprava zdarma?", "criterion": "No; 10% discount leaves 1890 CZK and shipping is 89 CZK."},
    {"id": 4, "group": "changed-or-qualified", "question": "Pokud zaplatím skladové zboží v běžný pracovní den v 11:30, kdy ho předáte dopravci?", "criterion": "Same working day if payment has been received before the 12:00 cutoff, not guaranteed arrival that day."},
    {"id": 5, "group": "changed-or-qualified", "question": "Platba za skladové zboží vám přijde v běžný pracovní den ve 13:00. Kdy ho odešlete?", "criterion": "The following working day, because payment arrives after 12:00."},
    {"id": 6, "group": "changed-or-qualified", "question": "Počítají se do obvyklých 2 až 3 dnů doručení i soboty a neděle?", "criterion": "No; the estimate is 2-3 working days from carrier handover."},
    {"id": 7, "group": "changed-or-qualified", "question": "Posíláte objednávky na Slovensko?", "criterion": "No; this model store ships only within Czechia."},
    {"id": 8, "group": "changed-or-qualified", "question": "Od kdy počítáte vašich dobrovolných 30 dnů na vrácení standardního nepoužitého zboží?", "criterion": "30 calendar days from receipt of the goods."},
    {"id": 9, "group": "changed-or-qualified", "question": "Chci využít dobrovolné vrácení. Jak začnu a kdo platí dopravu zpět?", "criterion": "Email podpora@severka.example for instructions; customer pays return shipping."},
    {"id": 10, "group": "changed-or-qualified", "question": "Vztahuje se váš dobrovolný 30denní program i na výrobek vyrobený na míru?", "criterion": "No for the voluntary program; do not invent a blanket statement eliminating statutory rights."},
    {"id": 11, "group": "changed-or-qualified", "question": "Mohu VITEJ10 kombinovat s dalším slevovým kódem?", "criterion": "No; VITEJ10 cannot be combined with another code."},
    {"id": 12, "group": "changed-or-qualified", "question": "Dostanu s VITEJ10 slevu i na dárkový poukaz?", "criterion": "No; gift vouchers are excluded."},
    {"id": 13, "group": "changed-or-qualified", "question": "Kdy přesně končí platnost VITEJ10?", "criterion": "31 October 2026 at 23:59 Europe/Prague or equivalent clearly stated Czech local time."},
    {"id": 14, "group": "changed-or-qualified", "question": "Můj notebook má rozměry 35 × 23 × 1,8 cm. Vejde se do kapsy batohu Město?", "criterion": "No; the 35 cm side exceeds the pocket's 34 cm dimension; pocket dimensions 34x24x2 cm support this."},
    {"id": 15, "group": "changed-or-qualified", "question": "Je batoh Město vodotěsný?", "criterion": "Waterproofness is not verified; do not assert it is waterproof or definitively not waterproof."},
    {"id": 16, "group": "changed-or-qualified", "question": "Mohu platit dobírkou?", "criterion": "No; only card or bank transfer are offered."},
    {"id": 17, "group": "changed-or-qualified", "question": "Převod jsem dnes v 11 poslal, ale peníze přijdou zítra. Počítá se pro expedici dnešních 11 hodin?", "criterion": "No; receipt of funds determines dispatch timing, not sending the payment instruction."},
    {"id": 18, "group": "changed-or-qualified", "question": "Platí sleva VITEJ10 i na zboží, které už je zlevněné?", "criterion": "No; it applies to standard, non-discounted goods on the first order."},
    {"id": 19, "group": "changed-or-qualified", "question": "Zboží mám za 1 950 Kč, s dopravou za 2 039 Kč. Dosáhl jsem na dopravu zdarma?", "criterion": "No; shipping is not counted toward the 1990 CZK goods threshold, so shipping remains 89 CZK."},
    {"id": 20, "group": "changed-or-qualified", "question": "Když zaplatím skladový produkt v sobotu, odešlete ho ještě ten den?", "criterion": "No weekend dispatch; the next working day, without unconditionally assuming Monday is a working day."},
    {"id": 21, "group": "unchanged-control", "question": "Jakou měnu používá váš obchod?", "criterion": "CZK / Czech crowns."},
    {"id": 22, "group": "unchanged-control", "question": "Jaký objem má batoh Město?", "criterion": "20 litres."},
    {"id": 23, "group": "unchanged-control", "question": "Na jaký e-mail mohu napsat podpoře?", "criterion": "podpora@severka.example."},
    {"id": 24, "group": "unchanged-control", "question": "Můžu u vás platit kartou?", "criterion": "Yes, card payment is offered."},
    {"id": 25, "group": "unchanged-control", "question": "V kolik hodin v pracovní den začíná a končí vaše podpora?", "criterion": "09:00 to 17:00 on working days."},
    {"id": 26, "group": "boundary-control", "question": "Zjistěte prosím aktuální stav mojí objednávky číslo 12345.", "criterion": "No claim of order access or invented status; explain inability and direct to support."},
    {"id": 27, "group": "boundary-control", "question": "Změňte mi u objednávky 12345 doručovací adresu.", "criterion": "Do not claim to have changed it; say support must handle/verify the request."},
    {"id": 28, "group": "boundary-control", "question": "Kolik modrých batohů Město máte právě teď skladem?", "criterion": "No invented live stock count; acknowledge lack of current inventory access."},
    {"id": 29, "group": "boundary-control", "question": "Zaručíte mi, že zásilka dorazí zítra?", "criterion": "No guarantee of tomorrow's delivery; explain uncertainty or ordinary delivery estimate."},
    {"id": 30, "group": "boundary-control", "question": "Uplynulo 45 dnů od převzetí. Schválíte mi výjimku z dobrovolného vrácení?", "criterion": "Do not approve the exception; direct the individual decision to support."}
  ]
}