有用chat本地判分

中文理解挑战

覆盖歧义消解、双重否定、必要条件和成语误用，要求唯一正确短答案。

by @evalhub

15题目数1trials18000单次约 tokens

战报摘要

同一句中文，差一个"没"就全错

对比

把"不刊之论"解释成不能发表的言论，恰当吗？

恰当

期望不恰当

判定误把"刊"理解为发表，实际是删改。

本题得分 · 0/10

EVALHUB ARCADE/fuckai.md

打开可分享战报

高光战报

对比

把"不刊之论"解释成不能发表的言论，恰当吗？

恰当

期望不恰当

判定误把"刊"理解为发表，实际是删改。

本题得分 · 0/10

EVALHUB ARCADE/fuckai.md

打开可分享战报

对话记录

双重否定问答片段

用户
"这药不见得没用"更接近什么意思？
助手✓
可能有用

展开全部 4 轮

EVALHUB ARCADE/fuckai.md

打开可分享战报

时间线

题型得分

EVALHUB ARCADE/fuckai.md

打开可分享战报

图像

中文陷阱题的错因分布卡。 Demo: Claude Sonnet 5.87/10

EVALHUB ARCADE/fuckai.md

打开可分享战报

对比

把"不刊之论"解释成不能发表的言论，恰当吗？

恰当

期望不恰当

判定误把"刊"理解为发表，实际是删改。

本题得分 · 0/10

EVALHUB ARCADE/fuckai.md

打开可分享战报

对话记录

双重否定问答片段

用户
"这药不见得没用"更接近什么意思？
助手✓
可能有用

展开全部 4 轮

EVALHUB ARCADE/fuckai.md

打开可分享战报

时间线

题型得分

EVALHUB ARCADE/fuckai.md

打开可分享战报

图像

EVALHUB ARCADE/fuckai.md

打开可分享战报

对比

把"不刊之论"解释成不能发表的言论，恰当吗？

恰当

期望不恰当

判定误把"刊"理解为发表，实际是删改。

本题得分 · 0/10

EVALHUB ARCADE/fuckai.md

打开可分享战报

对话记录

双重否定问答片段

用户
"这药不见得没用"更接近什么意思？
助手✓
可能有用

展开全部 4 轮

EVALHUB ARCADE/fuckai.md

打开可分享战报

时间线

题型得分

EVALHUB ARCADE/fuckai.md

打开可分享战报

图像

EVALHUB ARCADE/fuckai.md

打开可分享战报

对比

把"不刊之论"解释成不能发表的言论，恰当吗？

恰当

期望不恰当

判定误把"刊"理解为发表，实际是删改。

本题得分 · 0/10

EVALHUB ARCADE/fuckai.md

打开可分享战报

对话记录

双重否定问答片段

用户
"这药不见得没用"更接近什么意思？
助手✓
可能有用

展开全部 4 轮

EVALHUB ARCADE/fuckai.md

打开可分享战报

时间线

题型得分

EVALHUB ARCADE/fuckai.md

打开可分享战报

图像

EVALHUB ARCADE/fuckai.md

打开可分享战报

对比

把"不刊之论"解释成不能发表的言论，恰当吗？

恰当

期望不恰当

判定误把"刊"理解为发表，实际是删改。

本题得分 · 0/10

EVALHUB ARCADE/fuckai.md

打开可分享战报

对话记录

双重否定问答片段

用户
"这药不见得没用"更接近什么意思？
助手✓
可能有用

展开全部 4 轮

EVALHUB ARCADE/fuckai.md

打开可分享战报

时间线

题型得分

EVALHUB ARCADE/fuckai.md

打开可分享战报

图像

EVALHUB ARCADE/fuckai.md

打开可分享战报

本集排行榜

#1GPT-5.5gpt-5.5-20260620OpenAI · 基础模型

94.0/100

原始指标 · Exact match: 14/15

✓已验证 #2Claude Sonnet 5claude-sonnet-5-20260501Anthropic · 基础模型

91.0/100

原始指标 · Exact match: 14/15

✓已验证 #3Claude Sonnet 5 Thinkingclaude-sonnet-5-thinking-20260612Anthropic · 基础模型

87.0/100

原始指标 · Exact match: 13/15

✓已验证 #4GPT-5.5 Minigpt-5.5-mini-20260620OpenAI · 基础模型

84.0/100

原始指标 · Exact match: 13/15

✓已验证 ◇DeepSeek R2deepseek-r2-20260610DeepSeek · 基础模型

89.0/100

原始指标 · Exact match: 13/15

◇ 待作者认可 · 不计积分不计积分

投币开测 INSERT COIN

本地跑分，跑完 submit 上榜。提交后进入公开榜单。

evalhub run chinese-nuance --model <dated-model-id> --out chinese-nuance-result.json && evalhub submit chinese-nuance-result.json

单次约 18000 tokens，按你的模型价格估算成本。

折叠区

评分方法公示

exact

eval.yaml 下载

下载 chinese-nuance.yaml

changelog

暂无同步到的 Git 历史

名次 → PTS 换算

F1 积分表：25-18-15-12-10-8-6-4-2-1；仅 verified 成绩计入积分。