MORGAN / EVALUATION

Morgan
评测系统.

同屏比较模型结果,用 GSB 记录你的判断和备注。系统自动汇总胜负、同好与同差,按任务查看表现,再整理成可追溯的评测报告。

进入评测工作台

EVALUATION WORKSPACE

当前评测方向

按自己的评分查看统计,结合备注形成场景结论。

VIDEO / GSB WORKSPACE可直接评分

视频模型对比

同题、同参考图,两个模型同时播放

VGI-Bench 的 27 道视觉推理与操作任务,覆盖 Seedance 2.0、可灵 3.0、Gen-4.5、Veo 3.1、万相 2.7、MiniMax H3。中文提示词、来源和模型版本可核对。

任务
27 道
对比
81 组
模型
6 个
进入视频评测工作台 查看我的统计与报告
  1. 01工作台选择评测批次
  2. 02左右同时播放
  3. 03人工 GSB,保存后自动下一组
  4. 04自动统计模型表现与备注
  5. 05生成草稿,导出报告或 AI 资料包
02 / INTENT EVALUATION流程公开

意图识别

看模型是否理解并完成最终要求

围绕多轮问答的最终意图建题:模型先答、人工独立作答,再核验任务完成情况并进行四档 GSB。题库与结果尚未对外发布。

查看评测流程
  1. 01题目与标准人工确认
  2. 02模型先答
  3. 03人工独立作答
  4. 04核验意图并打 GSB
  5. 05汇总报告
03 / AGENT EVALUATION题库公开 · 采集中

Agent 系统评测

真实任务 + 完整轨迹 + 三层评分

给 agent 出真实任务(数据对账、流水线修复、多源简报、需求变更、预算编排),采证完整轨迹,按核对清单完成率、六模块规则扣分与四档 GSB 三层口径评分。任务环境与核验脚本随题库公开,任何人可复跑。

任务
5 道
核验
全自动
口径
三层
进入 Agent 评测题库 评分工作台
  1. 01任务环境 + 多轮指令
  2. 02运行 agent 采证轨迹
  3. 03核验脚本判完成条件
  4. 04清单 + 规则扣分 + GSB
  5. 05按维度汇总报告

AUTOMATION / WHAT RUNS

自动化具体发生在哪里

视频 GSB 可直接在网页操作;创意编程运行由本地工作台处理。

环节系统现在能做什么人的参与
视频素材与配对元数据自动整理读取公开题目、模型和媒体链接,核对同一实例的提示词与参考图,检查外链后组成对比,不下载视频副本。抽查素材是否对题,在线观看并记录 GSB 与现象备注
题库建设自动整理与检查输入主题或 TXT / MD / DOCX 资料,导出 Agent 出题包,或配置 API 生成候选题;系统检查结构与重复。审核发布后冻结题面、GSB 指南和采证计划。编辑候选,核对资料、通过条件与规则,确认后发布
模型答题配置后自动已接 API 批次生成,记录原文、实际模型、耗时和 token;也能上传 Agent 作品。填自己的 API,选题与模型后启动
运行与采证自动生成作品入队,隔离运行,截图、录屏并检查证据完整性。处理失败或异常运行
匿名配对自动API 批次内按同题、版本、参数与运行条件配对;Agent 作品按已记录的平台和配置配对。补齐缺少对照的作品
GSB 与人机协同人工判断系统计算已有人工票与独立 AI 票的一致率,只列分歧;AI 票目前需导入。同屏观看、四档 GSB、复核分歧
报告自动统计视频页按已保存人票汇总模型胜负、同好同差与任务表现,汇集备注,导出报告或 AI 总结资料包。结论撰写 API 待接入。补充现象和时间点,核对统计与备注,审核结论后再发布

题库工厂已支持出题包、候选导入、自动检查和人工审核发布;API 出题与模型作答通道均已具备,真实模型 API 尚未配置。API 视觉评审仍未接入。GSB 由人判断,机器参考票独立保存。

展示口径 视频页统计你当前浏览器保存或导入的评分,不是全站访客榜单。AI 总结先支持资料包导出,模型 API 尚未配置。创意编程目前只有鹈鹕有真实作品与成绩;意图识别展示流程。