成功率与平均成本
Harbor 官方榜单
| # | 模型 / Agent | 推理强度 | 官方成功率 | Tokens | 成本 | 已归档轨迹 |
|---|
按有评分的运行计算;点击单元格查看轨迹。
Harbor 官方榜单
按同题平均 reward 比较,保留所有独立运行。
数据来自 Harbor Hub 的 Terminal-Bench Science 公开榜单,按 trial ID 去重。每条轨迹附有原始页面链接。
未公开、私有或已删除的轨迹无法取得。缺失、错误和等待下载均保留状态。
dataset/models/<model>/<configuration-id>/<task>.jsonl 每行 = 一次独立运行 model / agent / reasoning_effort task_name / trial_id / job_id source_url / fetched_at download_status / download_error trial 原始运行指标与元数据 trajectory 原始合法 ATIF 对象(完整 steps) raw_trajectory 源文件不是合法 JSON 时的完整原文 reading_trajectory 脱敏数值留空的阅读副本
同题的重复运行分别保留。网页 JSONL 若为文本版会明确标记;完整无损数据保存在本地及 HF 归档中,HF 上传进度以 upload-status.json 为准。
模型概览与成本图使用 Harbor 官方指标。题目矩阵仅统计有数值评分的运行,reward = 1 为成功,未知评分不作为失败。
配对比较仅使用双方都有完整预期评分的题目,按每题平均 reward 统计胜 / 平 / 负。不同模型的运行序号不代表相同随机种子。
步骤与工具调用来自 ATIF;耗时包含环境和验证时间。推理仅展示源轨迹实际公开的内容。
python3 crawl.py crawl python3 crawl.py build python3 crawl.py serve --port 8765 # 仅下载指定题目 / 模型 python3 crawl.py crawl --task traffic-flux-inversion python3 crawl.py crawl --model "GPT-6 Astra" # 重新发现榜单,保留成功下载 python3 crawl.py crawl --rediscover
下载脚本支持断点续传。Markdown、公式与字体已随网页打包。GitHub 代码与 HF 数据集均已公开,可直接访问。完整归档的上传状态见 HF 仓库中的 upload-status.json。
下载 manifest