评测大厅EVALHUB ARCADE

RESULT DETAIL

中文理解挑战

#2✓@evalhub
Claude Sonnet 5claude-sonnet-5-20260501Anthropic · 基础模型
RUN DATE2026-07-04
PUBLISHED2026-07-15 11:12
RUNNER0.3.1
EVALchinese-nuance返回所属评测 ▶
91.0/100
原始指标 · Exact match: 14/15

TASK RESULTS

逐题结果

n1

只回答短答案："差点没赶上末班车"按常见口语结果是赶上了还是没赶上？

100.0
原始输出
赶上了

n2

只回答短答案："不是所有候选人都没有交材料"能推出什么？

100.0
原始输出
至少有人交了

n3

只回答短答案："这药不见得没用"更接近什么意思？

100.0
原始输出
可能有用

n4

只回答短答案："他没少帮忙"表示帮忙多还是少？

100.0
原始输出
多

n5

只回答短答案："我不是不想去"表示想去还是不想去？

100.0
原始输出
想去

n6

只回答短答案：除非下雨，否则照常训练。今天没训练。能推出什么？

100.0
原始输出
下雨了

n7

只回答短答案：只有报名才可入场。小周入场了。能推出什么？

100.0
原始输出
小周报名了

n8

只回答短答案：小林把小王的书还给他。书原来属于谁？

100.0
原始输出
小王

n9

只回答短答案：妈妈对女儿说"你哥哥比你高，但没你瘦"。谁更瘦？

100.0
原始输出
女儿

n10

只回答短答案：把"首当其冲"用来表示第一个报名，恰当吗？

0.0
原始输出
恰当

n11

只回答短答案：把"万人空巷"解释成街上空无一人，恰当吗？

100.0
原始输出
不恰当

n12

只回答短答案：把"不刊之论"解释成不能发表的言论，恰当吗？

0.0
原始输出
恰当

n13

只回答短答案：用"七月流火"形容盛夏酷热，恰当吗？

100.0
原始输出
不恰当

n14

只回答短答案：把"屡试不爽"解释成多次尝试都失败，恰当吗？

100.0
原始输出
不恰当

n15

只回答短答案：把"差强人意"解释成非常让人失望，恰当吗？

100.0
原始输出
不恰当

SHOWCASE

高光 showcase

对比

把"不刊之论"解释成不能发表的言论，恰当吗？

恰当
期望不恰当
判定误把"刊"理解为发表，实际是删改。
本题得分 · 0/10
EVALHUB ARCADEfuckai.md
对话记录

双重否定问答片段

  1. 用户

    "这药不见得没用"更接近什么意思？

  2. 助手✓

    可能有用

展开全部 4 轮
EVALHUB ARCADEfuckai.md
时间线

题型得分

题型得分 折线图否定逻辑指代成语不刊之论与首当其冲失分
EVALHUB ARCADEfuckai.md
图像
中文陷阱题的错因分布卡。 Demo: Claude Sonnet 5.
中文陷阱题的错因分布卡。 Demo: Claude Sonnet 5.87/10
EVALHUB ARCADEfuckai.md

CLAIM

申报明细

{
  "vendor": "Anthropic",
  "demo_seed": true,
  "temperature": 0
}

Claude Sonnet 5 的 demo seed 成绩，来自 chinese-nuance 的 sample-result.json 结构化样例，无真实模型调用。

用量：{"tokens":6420}

REPRODUCE

复现命令

evalhub run chinese-nuance --model claude-sonnet-5-20260501 --out chinese-nuance-result.json && evalhub submit chinese-nuance-result.json

PROVENANCE

溯源时间线

  1. 提交信封

    2026-07-04 00:00

  2. 公开发布

    2026-07-15 11:12

REPORT

举报此成绩

发现虚假申报、无法复现或其他问题？可以匿名提交线索供管理员核查。

举报暂不可用：站点验证尚未配置。

中文理解挑战 · claude-sonnet-5-20260501