有趣agent作者判分

MC 雷电将军建筑大赛

给定同一 Minecraft 生存开局约束,agent 需要建出可截图复现的雷电将军主题小型基地。

by @evalhub
2题目数1trials18000单次约 tokens

战报摘要

谁能在方块世界里把雷电将军请进生存小屋

高光战报

对比

雷电将军主题元素对应关系

紫色屋顶、白色灯笼、鸟居入口、中央御币形旗帜。
期望主题元素要能从截图中直接识别,不能只靠文字解释。
判定主色和入口符号清晰,角色主题可辨。
本题得分 · 88/10
EVALHUB ARCADEfuckai.md
打开可分享战报
对话记录

作者判分摘录

  1. author

    截图能看到紫色坡屋顶和鸟居入口,雷电将军主题明确。

  2. author

    床、储物和熔炉都在主屋内,农田入口动线顺。

展开全部 3
EVALHUB ARCADEfuckai.md
打开可分享战报
图像
雷电将军主题山坡基地、鸟居入口与红石灯截图示意。 Demo: Claude Sonnet 5.
雷电将军主题山坡基地、鸟居入口与红石灯截图示意。 Demo: Claude Sonnet 5.86/10
EVALHUB ARCADEfuckai.md
打开可分享战报
时间线

建造流程

建造流程 折线图00:0008:3014:2018:00定位山坡基地完成紫色屋顶和主屋接入红石灯机关补齐截图和资源清单
EVALHUB ARCADEfuckai.md
打开可分享战报
对比

雷电将军主题元素对应关系

紫色屋顶、白色灯笼、鸟居入口、中央御币形旗帜。
期望主题元素要能从截图中直接识别,不能只靠文字解释。
判定主色和入口符号清晰,角色主题可辨。
本题得分 · 88/10
EVALHUB ARCADEfuckai.md
打开可分享战报
对话记录

作者判分摘录

  1. author

    截图能看到紫色坡屋顶和鸟居入口,雷电将军主题明确。

  2. author

    床、储物和熔炉都在主屋内,农田入口动线顺。

展开全部 3
EVALHUB ARCADEfuckai.md
打开可分享战报
图像
雷电将军主题山坡基地、鸟居入口与红石灯截图示意。
雷电将军主题山坡基地、鸟居入口与红石灯截图示意。86/10
EVALHUB ARCADEfuckai.md
打开可分享战报
时间线

建造流程

建造流程 折线图00:0008:3014:2018:00定位山坡基地完成紫色屋顶和主屋接入红石灯机关补齐截图和资源清单
EVALHUB ARCADEfuckai.md
打开可分享战报
对比

雷电将军主题元素对应关系

紫色屋顶、白色灯笼、鸟居入口、中央御币形旗帜。
期望主题元素要能从截图中直接识别,不能只靠文字解释。
判定主色和入口符号清晰,角色主题可辨。
本题得分 · 88/10
EVALHUB ARCADEfuckai.md
打开可分享战报
对话记录

作者判分摘录

  1. author

    截图能看到紫色坡屋顶和鸟居入口,雷电将军主题明确。

  2. author

    床、储物和熔炉都在主屋内,农田入口动线顺。

展开全部 3
EVALHUB ARCADEfuckai.md
打开可分享战报
图像
雷电将军主题山坡基地、鸟居入口与红石灯截图示意。
雷电将军主题山坡基地、鸟居入口与红石灯截图示意。86/10
EVALHUB ARCADEfuckai.md
打开可分享战报
时间线

建造流程

建造流程 折线图00:0008:3014:2018:00定位山坡基地完成紫色屋顶和主屋接入红石灯机关补齐截图和资源清单
EVALHUB ARCADEfuckai.md
打开可分享战报
对比

雷电将军主题元素对应关系

紫色屋顶、白色灯笼、鸟居入口、中央御币形旗帜。
期望主题元素要能从截图中直接识别,不能只靠文字解释。
判定主色和入口符号清晰,角色主题可辨。
本题得分 · 88/10
EVALHUB ARCADEfuckai.md
打开可分享战报
对话记录

作者判分摘录

  1. author

    截图能看到紫色坡屋顶和鸟居入口,雷电将军主题明确。

  2. author

    床、储物和熔炉都在主屋内,农田入口动线顺。

展开全部 3
EVALHUB ARCADEfuckai.md
打开可分享战报
图像
雷电将军主题山坡基地、鸟居入口与红石灯截图示意。
雷电将军主题山坡基地、鸟居入口与红石灯截图示意。86/10
EVALHUB ARCADEfuckai.md
打开可分享战报
时间线

建造流程

建造流程 折线图00:0008:3014:2018:00定位山坡基地完成紫色屋顶和主屋接入红石灯机关补齐截图和资源清单
EVALHUB ARCADEfuckai.md
打开可分享战报
对比

雷电将军主题元素对应关系

紫色屋顶、白色灯笼、鸟居入口、中央御币形旗帜。
期望主题元素要能从截图中直接识别,不能只靠文字解释。
判定主色和入口符号清晰,角色主题可辨。
本题得分 · 88/10
EVALHUB ARCADEfuckai.md
打开可分享战报
对话记录

作者判分摘录

  1. author

    截图能看到紫色坡屋顶和鸟居入口,雷电将军主题明确。

  2. author

    床、储物和熔炉都在主屋内,农田入口动线顺。

展开全部 3
EVALHUB ARCADEfuckai.md
打开可分享战报
图像
雷电将军主题山坡基地、鸟居入口与红石灯截图示意。
雷电将军主题山坡基地、鸟居入口与红石灯截图示意。86/10
EVALHUB ARCADEfuckai.md
打开可分享战报
时间线

建造流程

建造流程 折线图00:0008:3014:2018:00定位山坡基地完成紫色屋顶和主屋接入红石灯机关补齐截图和资源清单
EVALHUB ARCADEfuckai.md
打开可分享战报

本集排行榜

投币开测 INSERT COIN

本地跑分,跑完 submit 上榜。提交后由作者判分。

node evals/mc-build/run.mjs evals/mc-build/tasks/example-submission.json --out mc-build-result.json && evalhub submit mc-build-result.json

单次约 18000 tokens,按你的模型价格估算成本。

折叠区

评分方法公示

custom;作者按 0-100 分人工回填并公开评语:视觉还原 30 分,看紫色主色、鸟居或御币等雷电将军意象是否清晰;建筑完整度 25 分,看床、储物、熔炉、入口、防怪和动线;资源效率 20 分,看生存材料是否可采、数量是否合理;红石或互动机关 15 分,看门、灯或展示机关是否可截图验证;复现说明 10 分,看坐标、资源清单、步骤和截图是否完整。

eval.yaml 下载

下载 mc-build.yaml

changelog

暂无同步到的 Git 历史

名次 → PTS 换算

F1 积分表:25-18-15-12-10-8-6-4-2-1;仅 verified 成绩计入积分。

MC 雷电将军建筑大赛