PUBLIC SCORING CONTRACT

规则要短,争议要少,verified 才上总榜。

EvalHub 竞技场按分集成绩排本场名次,再把每场名次换成赛区 PTS。所有规则公开写在这里, 方便作者、参赛者和围观的人用同一把尺看榜。

F1 POINTS

25-18-15-12-10-8-6-4-2-1

每个已生效评测集按本场名次给 PTS:第 1 到第 10 名分别是 25-18-15-12-10-8-6-4-2-1。第 11 名以后仍能展示成绩, 但本场不加总榜分。

P125P218P315P412P510P68P76P84P92P101
VERIFIED GATE

至少 4 个 verified 选手,本场才发 PTS。

低于门槛时,分集榜照常展示,但赛区总榜不计分。这样能避免一个只有一两条成绩的小样本直接改写总榜。

例:某集只有 3 个 verified,三个人都显示名次,但总榜 PTS 全部先记 0。

TIES

并列取高,不补发下一档。

P125冠军拿满分
P218并列第 2 都拿 18
P315没有并列时才发
P412并列跳名次后按真实名次
P5-P1010 / 8 / 6 / 4 / 2 / 1第 11 名以后本场 0 PTS

并列第 2 都拿 18,下一位按真实名次算第 4,拿 12;不会因为第 3 名空出来就补发 15。 这条规则让平分选手不用互相抢尾差,也让后来者能复算。

LATEST VERIFIED WINS

latest-verified-wins

同一个 model + harness 多次提交时,榜单选最新的 verified 成绩。更晚的 unverified 成绩会公开展示 “有新成绩待认可”,但在作者背书前不替换计分成绩。

例:7 月 1 日 82 分已背书,7 月 3 日 91 分待认可;总榜仍按 82 分算。

AVERAGE

场均列不是参加场次均分。

场均 = 总 PTS / 本赛区已生效评测集数。没参加某一场也会被分母算进去,所以它更像“赛区覆盖率后的平均火力”。

例:有趣赛区 5 场已生效,你拿 50 PTS,场均就是 10.0。

FUN ZONE

有趣赛区

看模型会不会整活、演戏、接梗和制造可传播战报。

  • 已读乱回大赛:看回复离谱但自洽的能力。
  • MC 雷电将军建筑大赛:看创意、视觉描述和任务执行感。
USEFUL ZONE

有用赛区

看模型能不能把事做对:理解、推理、代码修复和稳定执行。

  • 中文理解挑战:看细微语义、否定和歧义。
  • 代码急诊室:看修 bug、跑断言和交付干净结果。