创建阅卷任务

本篇解决:怎么把一个项目里需要评分的作答组织成一个阅卷任务——圈定测验、按测验定评分方式、配置评卷组与组长专家,并在开始前确认没有漏配;任务开始后又能在详情页做些什么。

阅卷管理员在阅卷评分列表页(页面地址 /gradingMgt/list)点 新建任务 打开建任务抽屉。抽屉分两步:第一步定基本信息与评分方式,第二步做人员分配;第二步顶部有第一步的摘要,随时可以点「上一步」回改。


第一步:基本信息与评分方式

(图:新建阅卷任务 · 第一步)

选项目和测验

先填任务名称,再选一个项目,然后勾选这个任务要覆盖的测验:

  • 可多选:一个任务覆盖该项目下的一组测验。默认帮你全选可评的测验,不需要的取消勾选即可。
  • 不可评的测验勾不上:没配好答案与分值的测验会置灰,并在名称后标出原因。去评分配置补配后重开抽屉即可选择。

被试范围按项目取——该项目下有作答的被试都是候选,不必按测验分别挑人。

建好后测验集合不再变动。勾错了就删掉草稿重建;项目后续新增的测验也不会自动进入已有任务,需要另建任务。

选评分方式

两张卡二选一:

  • AI 评分:整个任务只用 AI 给分,无需评卷员与人工仲裁,AI 预评完成后自动终评;AI 失败的作答保留未评。要求所勾选的测验都已启用 AI 评分——未启用的测验会置灰不可勾选(标签注明原因)。
  • 人工评分:卡内选默认轮数(评几轮,1~5)。每份作答由 N 名不同的评卷员各独立评一轮。

各测验评分方式:选人工评分后,下方按测验逐行列出评分方式,默认显示「跟随默认」。每份测验都可以单独覆盖——

  • 覆盖成不同的轮数:比如默认双评,其中一份改成单评;
  • 覆盖成 AI 评分:该测验不安排评卷员,AI 出分后自动终评,人工仍可抽查改判(要求该测验已启用 AI 评分);
  • 轮数 2 及以上的测验,还可以单独覆盖分歧仲裁阈值、计分规则与盲评。

任务级的这几项配置就是全部测验的默认值:

  • 分歧仲裁阈值:各轮给分的极差超过「满分 × 阈值」就进仲裁队列,默认 20%。极差在阈值内时,按下面的计分规则把各轮给分合成为最终分。

  • 计分规则:评 3 轮及以上才出现,二选一——

    • 中位数(默认):各轮给分排序后取中间值,如 7、7、8 → 7。少数偏离的给分不会把最终分整体拉走。
    • 平均分:取各轮算术平均,如 7、7、8 → 7.3。

    评 2 轮时两种算法结果一样,所以不显示这一项,按中位数处理即可。

  • 多评盲评:开启后各轮评卷员互相看不到对方的分,也看不到 AI 参考分,避免相互锚定;仲裁时才展示全部信息。只对多评的测验生效。

配 AI 预评(可选)

打开 AI 预评,创建任务时就让 AI 先跑一版参考分供评卷员参考。AI 依据评分方案(正确答案 / 分值 / 参考答案 / 评分标准 / 知识库)打分,方案有两种来源:

  • 测验默认方案:直接采用测验「评分」里配好的标准与知识库。
  • 自定义方案:只在本任务内生效的一套标准,可整体覆盖、也可逐题覆盖。用它能让同一批作答跑出多套 AI 口径再做对比,详见方案对比。

任务覆盖多份测验时,这里按测验逐份给出配置入口,各自的答案与分值分开配。选「AI 评分」方式(或某测验覆盖成 AI)时,对应测验的 AI 评分必然执行。

填完点 下一步 进入人员分配。


第二步:人员分配

(图:新建阅卷任务 · 第二步)

选「AI 评分」方式时这一步只有专家一个区;人工评分时依次配置评卷组、题目组长、科目组长与专家。

评卷组:核心规则是"组员数 = 轮数"

点 添加评卷组,每个组配置:

项说明
成员直接搜索姓名 / 账号选人。成员数必须恰好等于该组测验的轮数——双评的组正好 2 人、单评的组正好 1 人,不符会标红并拒绝保存;一名评卷员只能属于一个组
本组小组长可选,直接选人,管辖本组成员;旁边的参与仲裁开关打开后,本组的分歧卷先由他处理
选择测验本组只评哪几份测验,留空 = 全部人工评分的测验(任务覆盖多份测验时才出现)。一个组圈的测验轮数必须一致,轮数不同的测验请分别建组;AI 评分的测验不参与分工,不会出现在候选里
选择题目本组只评哪些题,留空 = 全部题。选题弹窗按「测验 > 模块」分节,可整块勾选
选择被试本组只评哪些被试,留空 = 全部被试

组标题实时显示该组的范围与估算份数(题 × 被试)。人多时按范围拆组分担:比如 4 个人做双评,就建两个组、每组 2 人,各评一半被试(在两个组里分别「选择被试」划开范围)。

因为组员数固定等于轮数,每个人评哪些卷在分配时就完全确定,组内不存在先到先得的抢卷,工作量一目了然。

题目组长与科目组长

组之外的管辖层,一行 = 一名组长 × 管辖范围 × 参与仲裁开关:

  • 题目组长:选题(可跨测验),管辖指定的题。
  • 科目组长:选测验,管辖该测验的全部题。

打开「参与仲裁」的身份即进入仲裁链,管理范围就是仲裁范围,详见仲裁。不需要组长可以全部留空。

专家(项目级)

专家名单作用于该项目的全部阅卷任务(跨任务只读监控 + 抽查改判),不限于当前这一个任务;选定即刻生效,之后取消建任务也不会回退。专家行上的参与仲裁开关默认打开,表示他是仲裁链的末级。

分配预览

提交前点底部的 分配预览:一张人员总览(谁评什么、各级组长与专家)加一份覆盖体检——总待评份数、每人应评多少份、哪里有缺口。建议每次提交前都看一眼,范围是手工划分的,预览是发现漏排与重叠的最直接方式。


开始前的覆盖检查

任务创建后处于草稿状态,可以继续调整人员与评分方式,点 开始阅卷 才正式进入评卷。开始前系统会做一次覆盖完备性检查:

  • 每道题、每位被试都要有恰好等于该测验轮数的可评评卷员——排少了评不满轮次,排多了(不同组的范围重叠)会造成重复安排,两种情况都会被拒绝;
  • 检查不通过时会列出缺口清单(哪份测验、哪些题、哪些被试的人手不对),按清单调整分工后再开始即可。

评 2 轮及以上却没有任何「参与仲裁」的身份时,提交会二次确认:分歧卷将由任务创建者兜底处理(若项目已有参与仲裁的专家,则由专家处理)。


任务详情:阅卷总控台

任务详情页(页面地址 /gradingMgt/task/)是这个任务的总控台。

(图:任务详情)

顶部汇总卡给出待评总数、已终评、待仲裁、待评分、作废、已抽查,随测验页签联动:「全部」页签是整个任务的口径,切到某份测验就是该测验的数字。每张卡都可以点,直接跳到工作台里对应的过滤视图。

「全部」页签下方是各测验的概览行:每行显示测验名、评分方式、完成进度与待仲裁数,点击进入该测验页签看明细。

测验页签下依次是:

区块内容
评卷员质量均分对比、标准差对比、给分分布、工作量四张图,可切换为数字表,可按题过滤;抽查统计单列一表
题目进度每题一行的堆叠条(已终评 / 仲裁中 / 待评 / 作废),可切换为表格
题 × 人 分工矩阵行是题、列是评卷员,格里是「已评 / 应评」,可切换为热力图
仲裁链一行摘要(各级人数),点开看四级明细。见仲裁
作答分组参照默认折叠,导入或生成作答分组后为评卷员提供打分参照,见下

只覆盖一份测验时没有页签条,直接铺开明细。

AI 评分任务没有人工评分环节,详情页是简化形态:汇总卡只有待评总数、已终评、待评分、作废四张,页面仅保留 AI 预评、题目进度与评分结果、查看单元入口,不出现评卷员质量、分工矩阵、仲裁链与抽查复核。

头部操作只留几个高频主按钮,其余收在 更多 里,都按任务状态与你的身份显示:

位置操作说明
主按钮开始阅卷草稿状态下可用,通过覆盖检查后正式开评
主按钮进入阅卷 / 仲裁队列 / 查看单元按你在本任务中的身份进入工作台
主按钮人员管理调整评分方式与分工、维护项目专家,见下
更多评分结果打开只读成绩单;覆盖多份测验时先选一份测验
更多制定评分标准按作答分组制定采分标准,评卷员选类打分,见评卷员工作台
更多抽查复核组长、专家与管理员的复核入口,见评卷员工作台
更多同步新作答被试后续新交的卷子增量补进任务,已评的不受影响
更多导出阅卷表 / 导入评分离线用 Excel 评分,见评卷员工作台
更多归档 / 删除草稿全部评完后归档,归档后评分记录只读;草稿可直接删除

归档时若还有没评完的卷子,会二次确认——未评的卷子记为「放弃」,不计入总分。


人员管理:阅卷中也能调分工

任务详情头部的 人员管理(任务列表行也有同名入口)打开弹窗:

(图:人员管理)

  • 评分方式:弹窗顶部展示各测验的评分方式。草稿状态可以直接修改(改默认轮数、改某测验的覆盖),点「保存评分方式」生效;开始阅卷后只读——轮数关系到每份卷评几轮,开评后不允许变。
  • 分工:先展示当前分配的只读总览(谁评什么、各级组长与专家),点 修改分工 进入编辑——与建任务第二步同一套界面,改完点 保存分工。草稿与阅卷中都能提交,硬约束由系统校验:已有评分记录的评卷员不可移出、调整后覆盖必须仍然完整(每个单元的可评人数恰好等于轮数)。被拒时会在面板顶部显示具体原因,按提示改回即可。
  • 专家:维护本项目的专家名单(项目级,作用于该项目全部阅卷任务,增删即时生效)。

作答分组参照

作答高度同质时(大量相似答案),可以借助作答分组帮助评卷员对同类答案给出一致的分数。分组有两个来源:

(图:作答分组)

  • 平台生成:在「制定评分标准」页对某道题一键生成作答分组(可调粒度)。
  • 导入:点 导入分组结果(Excel),表头需含:被试标识、题目编码、组号、是否代表卷、置信度(可选)。再次导入按「被试 × 题」覆盖同一份清单。

分好组后有两种用法:

  1. 只做参照:评卷员在工作台看到该份作答所在的组、组规模、同组已评参考分与代表答案摘要(见评卷员工作台),打分方式不变,仍由人工输入分数。
  2. 进一步制定采分标准:在「制定评分标准」页把相似的组合并、命名、定分,产出该题的采分标准——之后评卷员改为选类型打分(系统按作答所在组预选类型,确认或改选即可,不敲数字),AI 也按同一套标准选类给分。

分组要在开评前做:已终评的作答不再变更分组归属。未入组 / 离群的作答不受影响,照常人工打分。


相关功能