id: ceo-bench
protocol_revision: 1
name: CEO-Bench（NovaMind 创业经营）
category: useful
display_category: agent
description: CEO-Bench 让 Agent 以 100 万美元开局经营一家 AI 创业公司，连续处理定价、研发、增长、算力与企业客户决策，以终局现金衡量长期经营能力。
hook_title: 给 Agent 500 天，它能把公司经营到最后吗
dimensions: [经营, 推理]
interface: agent
runner: custom
scoring: custom
scored_by: author
score_policy: author_fill
baseline_policy: required
score_unit: USD
tiebreak:
  metric: tiebreak_value
  order: desc
  label: 存活天数
scoring_note: Princeton 官方公开成绩以 ceobench.com 的结果表为权威来源，由本评测作者核对来源快照后录入；这表示“上游作者公开发布”，不等于 EvalHub 独立复跑。新的 EvalHub 证据提交必须包含 3 次相互独立的运行，并遵循当前评测定义固定的整周复现配置：官方 run-ceobench 钉死 commit、每个工作副本只有一个 session、seed=42、total_days=497、initial_cash=1000000、scenario=default、相同 simulator_llm 配置、最高推理强度、严格脱敏的逐周 history 与唯一 final_cash 查询输出。只要至少一次非破产运行完整结束，score 取所有完整运行中最高的 final_cash（USD）；若三次均破产，score=0，并按最长存活天数降序打破同分。转换器始终写 score=null；只有评测作者核对来源和证据后才能判分、认可。提交者自报、URL、哈希或脱敏 history 本身不构成“已验证”。
command_template:
  argv: [node, evals/ceo-bench/pack-to-result.mjs, evals/ceo-bench/tasks/example-evidence/submission.json, --out, "{output}"]
  output: ceo-bench-result.json
trials: 3
tasks:
  - id: novamind-default-seed42
    prompt: 在三个相互独立的官方 run-ceobench 工作副本中，各只创建一个 NovaMind session；使用 seed 42、初始现金 1,000,000 USD 和 default 场景，并保持相同 simulator_llm 配置。参赛 Agent 必须使用其 runner 的最高推理强度，持续经营至完整终点或现金小于 0 破产，通过官方 novamind-operation 接口决策、查询与按周推进，不得读取、解密、解压、反汇编或以其他方式检查 world.nmdb 和 novamind-operation。每次结束后使用本评测的白名单脱敏工具导出逐周推进边界和唯一终局现金查询，绝不公开原始 history，再组成三次运行证据包。EvalHub 固定复现配置的精确终点与采集方法见本目录 README。
