id: rsibench-data
protocol_revision: 3
name: RSIBench-Data（数据中心型自改进）
category: useful
display_category: agent
description: RSIBench-Data 评测研究者 Agent 能否在固定训练、服务和评测栈及资源预算下，诊断目标模型缺陷、合成训练数据、迭代 LoRA SFT 并选择检查点，最终以六类软件工程、终端、科学问答与数学任务的原生分数衡量数据中心型研究能力。
hook_title: Agent 能把失败证据变成真正有效的训练数据吗
dimensions: [推理, 代码]
interface: agent
runner: custom
custom_mode: external_workflow
scoring: custom
scored_by: author
score_policy: required
baseline_policy: required
score_unit: 分
scoring_note: 每个参赛研究者系统必须按论文主协议完成六个相互独立的预算运行：固定 RSIBench-Data 来源 commit、Qwen/Qwen3.5-35B-A3B-Base 目标模型、Claude Opus 4.8 外部 rollout 模型、每项名义 16 小时墙钟和 500 USD Tinker 预算，并使用各 profile 锁定的 Harbor/E2B 数据集、agent、并发数、步数和尝试数。六个 task_result 由整数 successful_trials 除以固定 n_tasks × n_attempts 后乘 100 唯一派生，并须与所选检查点官方 harbor_score 一致；SWE 三项为 resolved rate，Terminal-Bench 2.0 为 task success rate，GPQA Diamond 与 AIME 为 accuracy，AIME 的固定分母是 30 题 × 每题 4 次解码。上游没有定义跨六项总分；为适配 EvalHub，score 是六项百分制分数的等权算术平均，是 EvalHub 派生指标而非上游官方指标。转换器在结构、固定协议、整数计数范围和证据指纹全部合法后确定性写入数值 score，不产生 null；scored_by=author 表示非作者提交仍须由评测作者核对公开 artifact、原始 Harbor 结果、预算状态、先选检查点后官方评测、数据隔离、完整性审计、研究者身份与 harness 配置后认可。来自钉死官网快照的四份上游官方发表成绩以 upstream_author_publication 导入，必须带非空数值和来源指纹，表示来源复现而非 EvalHub 独立复跑。缺任一 profile、证据不可信或协议不符则转换失败；上游记入分数的任务失败和超时保持为失败，不另行豁免或重试加分。
command_template:
  argv: [node, evals/rsibench-data/pack-to-result.mjs, "{input}", --out, "{output}"]
  output: rsibench-data-result.json
trials: 1
tasks:
  - id: swe-bench-verified
    prompt: 在钉死的 RSIBench-Data 主协议中，以 SWE-bench Verified profile 启动一次独立的 16 小时 / 500 USD 数据研究运行。研究者 Agent 只能改变合规的训练数据与白名单训练配置，必须从历史尝试中选择检查点后再做官方评测；不得把评测任务、标签、轨迹或其他受保护材料转化为训练监督。
    expected: 所选检查点在固定 seed=23 的 100 题子集上由 Mini-SWE-Agent 与官方 verifier 得到的 resolved rate，范围 0 至 1；EvalHub 分项分数为该值乘 100。
  - id: swe-bench-multilingual
    prompt: 在钉死的 RSIBench-Data 主协议中，以 SWE-bench Multilingual profile 启动一次独立的 16 小时 / 500 USD 数据研究运行，并遵守固定训练服务、数据隔离、检查点预先选择与 Harbor/E2B 官方复评边界。
    expected: 所选检查点在固定 seed=23 的 100 题多语言子集上由 Mini-SWE-Agent 与语言特定测试得到的 resolved rate，范围 0 至 1；EvalHub 分项分数为该值乘 100。
  - id: swe-bench-pro
    prompt: 在钉死的 RSIBench-Data 主协议中，以 SWE-bench Pro profile 启动一次独立的 16 小时 / 500 USD 数据研究运行，并遵守固定训练服务、数据隔离、检查点预先选择与 Harbor/E2B 官方复评边界。
    expected: 所选检查点在固定 seed=23 的 100 题子集上由 Mini-SWE-Agent 与 issue-specific tests 得到的 resolved rate，范围 0 至 1；EvalHub 分项分数为该值乘 100。
  - id: terminal-bench-2
    prompt: 在钉死的 RSIBench-Data 主协议中，以 Terminal-Bench 2.0 profile 启动一次独立的 16 小时 / 500 USD 数据研究运行，并遵守固定训练服务、数据隔离、检查点预先选择与 Harbor/E2B 官方复评边界。
    expected: 所选检查点在完整 89 题集合上由 Terminus-2 与任务 verifier 得到的 task success rate，范围 0 至 1；EvalHub 分项分数为该值乘 100。
  - id: gpqa-diamond
    prompt: 在钉死的 RSIBench-Data 主协议中，以 GPQA Diamond profile 启动一次独立的 16 小时 / 500 USD 数据研究运行，并遵守固定训练服务、数据隔离、检查点预先选择与 Harbor/E2B 官方复评边界。
    expected: 所选检查点在固定 seed=23 的 100 题子集上由 Terminus-2 与 exact answer verifier 得到的 accuracy，范围 0 至 1；EvalHub 分项分数为该值乘 100。
  - id: aime
    prompt: 在钉死的 RSIBench-Data 主协议中，以 AIME 2026 profile 启动一次独立的 16 小时 / 500 USD 数据研究运行，并遵守固定训练服务、数据隔离、检查点预先选择与 Harbor/E2B 官方复评边界。
    expected: 所选检查点在完整 30 题集合、每题 4 次解码下由 Terminus-2 与整数答案 verifier 得到的 avg@4 accuracy，范围 0 至 1；EvalHub 分项分数为该值乘 100。
