ICO Std 2002:2026 — 中文版 — SE-07 教育与学术排名
SE-07 教育与学术类
本扩展模块规定了教育机构、学术项目及学术产出的排名与评价方法论要求。教育排名对机构战略、资源分配、学生福祉和公共政策具有超比例的影响力。因此,本模块对方法论严谨性、跨机构公平性和学术诚信保障施加额外要求。它在核心层(第4至10章)基础上扩展了领域特定指标、同行评审机制和教育公平性条款。
SE-7.1 范围与适用对象
SE-7.1.1 范围
本模块应适用于以下评估对象排名系统的设计、执行与治理:
高等教育机构(大学、学院、理工学院);
学术院系与学科专业项目;
个人学者与研究成果;
中等和初等教育机构,在方法论适配有据可查时;
职业与继续教育提供者。
SE-7.1.2 规范性引用
以下引用应指导教育排名方法论的设计:
- ISO 21001:2018 — 教育组织——教育组织管理体系——要求及使用指南
- ISO 30401:2018 — 知识管理体系——要求
- QS 世界大学排名方法论——指标框架与权重
- THE 泰晤士高等教育世界大学排名方法论
- ARWU 世界大学学术排名方法论
- 上海排名咨询——方法论文件
SE-7.1.3 与核心层的关系
本模块应按以下方式符合核心层:
第4章(原则):公平性原则应解释为要求对机构间语境差异(规模、使命、资源禀赋、地理语境)的明确处理。
第5章(指标设计):指标在纳入前应验证跨语境可比性。
第6章(权重):权重决定应考虑机构使命多样性,不应系统性地偏重研究密集型而非教学聚焦型机构,除非排名明确声明仅限研究范围。
第9章(发布):结果应连同方法论、局限性和语境说明一同发布,以支持知情解读。
SE-7.2 指标体系
SE-7.2.1 指标层级
教育评价的指标体系应由五个维度构成:
| 代码 | 维度 | 权重范围 | 说明 |
| SE-7.2.1.1 | Teaching Quality | 20 %–35 % | 教学质量 |
| SE-7.2.1.2 | Research Performance | 20 %–35 % | 科研表现 |
| SE-7.2.1.3 | Faculty Quality | 10 %–20 % | 师资水平 |
| SE-7.2.1.4 | Student Development & Outcomes | 10 %–25 % | 学生发展与成果 |
| SE-7.2.1.5 | Social Contribution & Impact | 5 %–15 % | 社会贡献与影响 |
排名实体应记录其具体权重选择的依据,并应披露权重是否偏重研究密集型或教学聚焦型机构模型。
SE-7.2.2 教学质量
教学质量指标应包括直接度量与代理度量:
直接度量 使用验证工具且记录回复率的学生满意度调查(纳入最低回复率30%); 结构化同行观察的教学评价分数; 学习增益评估(增值度量),在可获取时。
代理度量 师生比(经学科规范调整); 完成率与毕业率(经学生入学选择性和社会经济特征调整); 教学奖项与每位教员的专业发展投入。
代理度量应明确标注,不应作为教学质量的直接度量呈现。
排名实体应在可获取时优先使用直接度量,并应投资或倡导开发支持跨机构比较的学习增益指标。
SE-7.2.3 科研表现
科研表现指标应受以下要求约束:
文献计量指标——出版物、引用、h指数和学科归一化指标(如学科加权引用影响)应在承认局限性的情况下使用。文献计量数据应来源于至少两个独立数据库以缓解数据库偏差。
学科归一化——所有基于引用的指标应进行学科归一化。未经归一化的跨学科比较不应用于排名目的。
自引控制——排名实体应适用自引排除或上限(每篇文章最高25%自引)以防止膨胀。
产出量与影响——科研表现应平衡数量与质量。仅奖励发表数量而无质量调整的指标不应使用。
排名实体应披露所用文献计量数据库、归一化方法和自引处理方式。
SE-7.2.4 师资水平
师资水平应通过以下方式评估:
在其领域拥有最高学位的教员比例; 教员多样性(国际、跨学科、行业经验构成); 教员留任与职业发展率; 全职常任教员与总教学人员比率(非正规化指标); 每位教员的科研产出,经学科归一化。
排名实体应将全职常任教员授课比例视为正向质量信号,将过度依赖临时/兼职教员视为负向信号,而不规定具体比率。
SE-7.2.5 学生发展与成果
学生成果指标应包括:
就业成果(就业率、就业时间、薪资水平)——经宏观经济条件和学习领域调整; 继续深造率; 校友成就指标(适当时间滞后——职业成就度量至少毕业后10年); 学生满意度与参与度指标; 学生群体的多样性(社会经济、地理、人口统计)。
就业和薪资数据应按地理生活成本差异和测量时的宏观经济条件调整。
校友成就指标应使用适当时间滞后。职业成就度量不应适用于近期毕业生(毕业10年内)。
SE-7.2.6 社会贡献与影响
社会贡献指标可包括:
知识转移与产业合作(专利、衍生企业、产业资助研究); 社区参与与公共服务; 政策影响(政策文件引用、政府顾问角色); 对可持续发展目标(SDGs)的贡献,按THE影响排名方法论或等效方法度量; 文化与艺术贡献。
社会贡献指标应根据机构使命加权。具有明确公共服务使命的机构应对这些指标给予更高权重。
SE-7.3 对标既有排名
SE-7.3.1 QS世界大学排名
排名实体应按以下方式记录与QS方法论的关系:
QS指标(学术声誉30%、雇主声誉15%、师生比10%、师均引用20%、国际教员5%、国际学生5%、国际研究网络5%、就业成果5%、可持续性5%)应被引用,偏差应有依据。
排名实体应指出QS严重依赖声誉调查(合并权重45%),该调查受已知偏见影响,包括光环效应、地区偏见和回复偏见。当排名实体使用声誉数据时,应实施SE-7.3.4规定的缓解措施。
SE-7.3.2 THE世界大学排名
THE指标(教学30%、研究环境30%、研究质量30%、国际展望5%、产业5%)应被引用。排名实体应指出THE使用的文献计量归一化和声誉调查方法论。
排名实体应考虑THE对研究质量指标(学科加权引用影响、研究卓越度、研究环境)的处理作为学科归一化文献计量设计的参考。
SE-7.3.3 ARWU(上海排名)
ARWU指标(校友诺奖/菲尔兹奖10%、教员诺奖/菲尔兹奖20%、高被引学者20%、N&S论文20%、国际论文20%、人均表现10%)应被引用。
排名实体应指出ARWU的已知局限:严重依赖奖项指标(30%)、英语发表偏差、偏重STEM和生物医学领域。若排名实体采用类似指标,应记录这些局限性。
SE-7.3.4 声誉调查方法论要求
当排名实体使用声誉调查数据时:
调查工具应验证信度(Cronbach’s α ≥ 0.80),应以记录的程序进行样本选择、邀请和回复跟踪。
回复率应披露。声誉数据纳入排名应要求最低回复率15%。
排名实体应实施以下偏见缓解措施: 按地理区域和学科配额抽样以确保代表性; 移除或降权自提名和互惠提名; 年际稳定性分析——声誉分数在单年内变化超过10%的应在纳入前调查。
SE-7.4 学术诚信与反学术不端机制
SE-7.4.1 数据完整性验证
排名实体应实施检测和处置被排名机构数据操纵的程序,包括:
异常值检测——偏离预期范围2个标准差以上的机构数据点应标记以供验证。
一致性检查——机构提交的数据应与独立来源(政府数据库、文献计量数据库、认证记录)交叉验证。
时间序列分析——关键指标的突然、无法解释的改善应触发验证请求。
被发现故意提交伪造数据的机构应至少被排除在排名之外三(3)个评估周期,排除情况应公开披露。
SE-7.4.2 引用操纵检测
排名实体应实施引用完整性筛查,包括:
超额自引集群(超出SE-7.2.3规定的上限); 引用卡特尔——少数作者或机构间互引模式与被引工作的影响力不成比例; 强制引用——在编辑压力而非学术价值下添加的引用。
检测到的引用操纵应导致受影响文献计量指标的调整,调整方法应记录。
SE-7.4.3 发表策略扭曲
排名实体应监测并缓解排名诱发的发表策略扭曲,包括:
论文工厂——以质量为代价增加发表数量; 萨拉米切片——将一项实质性研究拆分为多个最小可发表单元; 期刊定向——按影响因子而非学科适配选择期刊。
仅奖励发表数量的指标不应使用。所有基于数量的指标应配对质量调整对应指标。
SE-7.5 教育公平性考量
SE-7.5.1 语境公平性
排名方法论应考虑以下影响机构表现的语境差异:
资源禀赋——人均学生经费较低的机构不应在未调整情况下直接与经费充裕的机构比较。排名实体应实施资源调整评分模型或提供语境分档。
地理语境——发展中地区的机构在基础设施、经费和国际可见性方面面临系统性劣势。排名实体应提供区域子排名或语境调整因子。
机构使命——研究密集型、教学聚焦型和综合性机构服务不同使命。排名实体应将范围限制为单一使命类型或实施使命调整权重。
学生入学选择性——高选择性机构的结果应按入学质量调整以分离机构的增值贡献。
SE-7.5.2 包容与准入
排名实体应包含奖励教育准入和包容性的指标:
欠代表性或弱势背景学生比例; 助学金与奖学金覆盖率; 第一代大学生参与率; 残障学生的无障碍措施。
这些指标不应具有惩罚性——因结构性约束导致的较低准入在约束超出机构控制范围时不应惩罚机构。
SE-7.5.3 语言与地区偏见缓解
排名实体应实施缓解英语发表偏差的措施,该偏差系统性地使非英语地区的机构处于不利地位:
在可获取时纳入区域语言发表数据库; 考虑不同语言社区引用实践的学科归一化; 明确披露数据收集中仅英语来源的百分比。
声誉调查中的地区偏见应通过平衡的地理抽样和(在可能时)声誉分数的地区校准来缓解。
SE-7.6 同行评审机制
SE-7.6.1 专家组组成
排名实体应召集专家组进行方法论设计和验证,组成包括:
来自不同学科和地区的资深学者; 教育评估与测量专家; 院校研究专业人员; 学生与校友代表; 政策与治理专家。
专家组应不少于15名成员,来自至少5个国家和5个学科集群。
SE-7.6.2 方法论评审过程
排名方法论应接受不超过三(3)年间隔的定期同行评审。评审应评估:
指标的有效性与信度; 权重依据与稳定性; 公平性与公平性条款; 数据质量与验证程序; 与教育研究和政策演变的对齐。
评审发现应记录并发布,方法论变更应响应评审建议实施,并附有对每项建议的记录回应。
SE-7.6.3 利益相关方咨询
排名实体应在实施重大方法论变更前咨询受影响的机构和利益相关方。咨询应包括:
不少于60天的公众咨询期; 对收到的所有实质性反馈的记录考虑; 发布收到的反馈摘要及排名实体的回应。
SE-7.7 数据收集标准
SE-7.7.1 数据来源
机构数据应按以下来源层级收集,按优先顺序:
经审计的机构数据——由机构审计师、政府审计或认证机构验证的数据; 政府统计数据库——国家教育统计、经费记录、招生数据; 文献计量数据库——按SE-7.2.3规定进行跨库验证; 机构自报数据——仅在按SE-7.4.1规定验证后接受; 调查数据——附有方法论、样本组成和回复率说明。
排名实体应披露每项指标中各来源类型的数据比例。
SE-7.7.2 数据时效性
排名中使用的数据应在发布日期前不超过三(3)个学年,校友成就指标可按SE-7.2.5规定使用更长的时间窗口。
排名实体应披露每项指标的参考年份,并应注明参考年份与发布年份之间的滞后。
SE-7.8 发布与透明性
SE-7.8.1 方法论披露
排名实体应发布完整的方法论文件,包括:
所有指标及其定义、数据来源和计算方法; 指标权重及依据; 评分与归一化程序; 数据验证程序; 缺失数据处理; 机构分类与分组准则。
方法论文件应免费公开访问,并应版本化附变更日志。
SE-7.8.2 结果呈现
发布结果应包括每个排名机构的以下信息:
总分与排名; 各维度分数及(在适用时)各指标分数; 数据完整性指标——有数据可用的指标百分比; 语境注释——机构规模类别、使命类型、地理区域和资源档位。
排名实体应提供允许用户重新加权指标并观察排名影响的工具或格式,从而促进对结果的知情和批判性使用。
注意:本扩展模块属于 ICO Std 2002(天机排名方法论标准)。教育排名具有重大的机构和公共政策后果。本模块的要求旨在确保此类影响力在方法论严谨性、语境公平性和透明性的条件下行使。本模块的实施应由SE-07工作组验证,工作组应包括教育评估专家、学术治理专家和院校研究专业人员。