EVALUATION TRACK / 02
意图识别.
这条评测线关注通用大模型能否理解多轮问答中的最终要求，并完成用户真正要做的任务。每道题先确认最终意图、保留约束与通过条件，再进入模型答题和人工复核。
EVALUATION FLOW
一次评测怎么走
让题目、模型结果和人工判断有可追溯的先后顺序，避免先看到模型答案再写人工基线。
- 01建设并确认题库
从 Word 或主题材料整理题目，逐题确认最终意图、考点、通过条件和失败信号；草稿不进入正式评测。
- 02模型先答
固定题目版本与模型信息，让模型通过 API 或 Agent 平台完成用户要求的实际任务，保留原始回答。
- 03人工独立作答
在看不到模型答案时对同题做一遍，保存初稿；后续修订单独记录。
- 04核验并做 GSB
先看人与模型是否完成最终意图，再并排比较两份模型回答：左边好、右边好、一样好或一样差。
- 05输出报告
分别呈现意图完成率、人机任务结果一致率、GSB 记录与失败案例；样本不足时不生成总体排名。
AUTOMATION
可自动完成的步骤
Word 按题号和轮次拆成待审草稿；确认后冻结题目，通过 API 批量答题或导入 Agent 结果，自动检查缺题与版本，再汇总核验和 GSB 记录。
HUMAN REVIEW
需要人工把关的步骤
审核切题边界、补齐依赖材料、确认最终意图与通过条件；独立作答，核验任务完成情况并打四档 GSB。公开查看无需 Token，管理工作台的私有数据仍须授权。