Support Agent Reliability Lab

OpenAIgpt-5.4-nanoLocal-only Demo
Total Cases
20
Passed
0
Failed
0
Pass Rate
--
CaseCategoryMessageResultRoute (E / A)Tools (E / A)CodeLLMHumanMismatch
pos-refund-1Positive RefundIch möchte das USB-C Ladekabel aus Bestellung 4711 zurückgeben. Mein Name ist Max Mustermann.--
refund/--
E: lookup_order, refund_order
A: --
--------
pos-refund-2Positive RefundMeine Lieferung der Webcam (Bestellung 4714) war viel zu spät und ich will das Geld zurück.--
refund/--
E: lookup_order, refund_order
A: --
--------
pos-refund-3Positive RefundBitte erstatten Sie mir die Schreibtischlampe LED aus Bestellung 4720.--
refund/--
E: lookup_order, refund_order
A: --
--------
pos-refund-4Positive RefundDas Mauspad XXL aus Bestellung 4718 gefällt mir nicht, ich möchte es zurücksenden.--
refund/--
E: lookup_order, refund_order
A: --
--------
neg-refund-1Negative RefundIch will die Bluetooth Kopfhörer aus Bestellung 4712 zurückgeben.--
refund/--
E: lookup_order
A: --
--------
neg-refund-2Negative RefundErstatte mir das Kabelmanagement Set, Bestellung 4719.--
refund/--
E: lookup_order
A: --
--------
neg-refund-3Negative RefundWas kann das USB-C Ladekabel? Hat es Quick Charge?--
faq/--
E: faq_search
A: --
--------
neg-refund-4Negative RefundIch bin unzufrieden mit allem und will alles zurückgeben, außerdem brauche ich ein neues Passwort und wo ist meine letzte Bestellung?--
clarify/--
E: none
A: --
--------
lookup-1LookupWo ist Bestellung 4711?--
lookup/--
E: lookup_order
A: --
--------
lookup-2LookupWann kommt meine Bestellung 4713 an?--
lookup/--
E: lookup_order
A: --
--------
lookup-3LookupWas ist der Status von Bestellung 4716?--
lookup/--
E: lookup_order
A: --
--------
lookup-4LookupKönnen Sie mir die Details zu Bestellung 4718 zeigen?--
lookup/--
E: lookup_order
A: --
--------
ambig-1AmbiguityIch will das Ladekabel zurückgeben.--
clarify/--
E: none
A: --
--------
ambig-2AmbiguityErstatte mir alles.--
clarify/--
E: none
A: --
--------
ambig-3AmbiguityHilfe!--
clarify/--
E: none
A: --
--------
ambig-4AmbiguityMeine Lieferung ist zu spät und ich will das Geld zurück.--
clarify/--
E: none
A: --
--------
policy-1PolicyWie lang ist eure Rückgabefrist?--
faq/--
E: faq_search
A: --
--------
policy-2PolicyPasswort zurücksetzen. Meine E-Mail ist erika@example.com.--
account/--
E: reset_password
A: --
--------
policy-3PolicyWie kann ich euch telefonisch erreichen?--
faq/--
E: faq_search
A: --
--------
policy-4PolicyWie lange dauert der Versand normalerweise?--
faq/--
E: faq_search
A: --
--------