我们的测评方法:让过程和结果都能被检查
公开记录条件与判定方式;已有单次网页案例分析,尚无标准化评分或模型排名。
读完这篇,你将能够
看懂未来测评将如何记录,哪些结论需要实际证据。
本篇目录
01当前状态:已有案例,尚无标准化评分
这是一份测评方法说明
目前没有已发布的标准化测试结果、评分或模型排行。本页展示本网站计划使用的记录方式。
教程侧重帮助你复现一个任务,测评则需要记录条件和实际表现。两者可以引用同一个案例,但不会把一次顺利演示直接当作普遍结论。
已经有一份个人网页任务演示记录,提供产物与截图,但它不是标准化模型测评,不计入评分或排名。
新增:Lin 个人网页案例实测,基于已有产物分析本次完成程度,保留未验证事项,不计入模型排名。
02每次测评记录六项信息
- 环境:测试日期、操作系统、应用版本、模型与推理设置。
- 输入:完整需求、初始材料和预先约定的完成标准。
- 过程:开始与结束时间、重试、人工修改和权限交互。
- 产物:源文件、可查看的结果、关键截图。
- 验证:哪些检查通过,哪些失败或没有执行。
- 成本:仅记录可见的实际用量与费用;无法获得时标为“未获取”。
03怎样判定结果
- 完成
- 预先约定的检查全部通过,产物可以检查。
- 部分完成
- 有可用产物,但仍有明确未满足的要求。
- 未完成
- 核心目标未实现,并说明最后停在哪一步。
- 未验证
- 没有完成必要检查,暂不作成功或失败的结论。
将来比较不同模型时,会尽量使用相同任务、材料和约束,并明确披露不能保持一致的条件。单次测试只对该次任务提供证据。
内容说明
本文为本手册编写的测评记录方法,不包含实测结论。 更新日期:2026-10-02。