ICO Std 2002:2026 — 中文版 — 第4章 通用原则

第4章 通用原则

---

本章确立了管辖本国际标准下所有排名方法论的设计、执行和治理的基本原则。这些原则构成规范性基础，后续章节在此基础上建立具体的技术要求。

---

4.1 独立性

排名方法论的设计和执行应独立于对排名结果具有重大利益关系的任何利益相关方。

4.1.1 组织独立性

负责设计和执行排名方法论的实体（”排名实体”）不应与任何被排名的实体（”被排名实体”）为同一实体，也不应为其附属机构。

4.1.2 利益冲突识别

排名实体应维护所有实际和潜在利益冲突的登记册，包括但不限于：

a) 排名实体与任何被排名实体或其关联方之间的财务关系；

b) 参与排名过程的人员与任何被排名实体之间的雇佣或顾问关系；

c) 来自被排名实体的赞助、广告或许可收入；

d) 在可能从排名结果中受益的实体中的所有权权益。

4.1.3 利益冲突公开

所有已识别的利益冲突应在排名方法论文档和排名发布中予以公开。公开内容应包括：

a) 冲突的性质和范围；

b) 涉及的当事方；

c) 为缓解冲突而采取的措施。

4.1.4 利益冲突回避

当识别到无法充分缓解的利益冲突时，排名实体应使相关人员回避排名过程的相关环节。当冲突是系统性的且无法通过回避解决时，排名实体应在排名发布和方法论文档中突出披露此局限性。

注：独立性原则不排除排名实体向被排名实体寻求专家意见或数据，前提是此类意见须经核实且不影响方法论设计或评分。

---

4.2 透明度

排名方法论应公开可获取，且足够详细，以便对其严谨性和公正性进行有依据的评估。

4.2.1 方法论公开

排名实体应发布排名方法论的完整描述，包括：

a) 排名的目的和范围；

b) 指标体系及其理由；

c) 权重分配方法及结果权重；

d) 数据来源和采集程序；

e) 评分、归一化和聚合方法；

f) 排名规则，包括并列处理程序。

4.2.2 数据来源可追溯性

排名中使用的所有数据应可追溯到其来源。对于每个数据点，应记录以下信息：

a) 原始来源（机构、数据库、出版物）；

b) 获取日期；

c) 在使用前对数据进行的任何转换。

4.2.3 评分规则可验证性

评分规则应以足够的精度进行规范，使第三方在获得相同输入数据的情况下能够验证所报告的得分和排名的正确性。当评分规则涉及专家判断时，应记录此类判断的标准。

注：透明度不要求以源代码形式公开专有算法；但是，算法的功能规范应以足够详细的方式公开，以允许独立验证。

---

4.3 可复现性

在给定相同输入数据和相同方法论的情况下，排名过程应产出相同的结果。第三方应能够独立地将排名结果复现到合理的精度。

4.3.1 计算可复现性

排名实体应确保排名过程的计算步骤是确定性的。当使用随机方法时，应记录随机种子或等效参数，以便精确复制。

4.3.2 方法论可复现性

方法论文档应包含独立方复制排名所需的所有信息，至少包括：

a) 所有评分和聚合函数的精确定义；

b) 缺失数据、异常值和边界条件的处理规则；

c) 所有使用的数据来源和软件工具的版本标识。

4.3.3 可复现性验证

排名实体应开展或委托定期进行可复现性审计，由独立方尝试根据已发布的方法论和数据复制排名结果。

---

4.4 公正性

排名方法论应对所有被排名实体一视同仁，不因与排名标准无关的因素而赋予优势或劣势。

4.4.1 禁止付费上榜

任何实体在排名中的纳入、排除或相对位置不应受到任何形式的直接付款或间接付款的影响。被排名实体不得通过付费获得排名中的有利位置。

4.4.2 禁止利益相关方干预

任何利益相关方，包括但不限于被排名实体、赞助商、广告商或政府机构，不得被允许影响任何实体的评分或排名。排名实体应拥有对方法论决策的唯一权力。

4.4.3 标准的统一适用

评分标准应在同一排名周期内统一适用于所有被排名实体。不得使用不同的指标集、权重或评分阈值对任何实体进行评估，除非在方法论中明确说明此类差异化理由，并基于客观的、预先定义的规则执行。

---

4.5 科学严谨性

排名方法论应基于成熟的科学方法和适合排名领域的理论框架。

4.5.1 指标选择的理论基础

排名中包含的每个指标都应有记录在案的理论或经验依据，证明其与排名目的的相关性。不得仅基于数据的可获取性或便利性选择指标。

4.5.2 权重分配的方法论支撑

指标权重的分配应有记录在案的方法论支撑。权重分配方法的选择（见第6章）应参照排名目的、数据特征和领域惯例进行论证。

4.5.3 统计方法的适当使用

排名过程中使用的统计方法应适合数据特征和分析目标。排名实体应记录：

a) 所用每种统计方法的基本假设；

b) 假设检验的结果（如正态性检验、同方差性检验）；

c) 与标准统计实践的任何偏差及其理由。

4.5.4 同行评审

排名方法论在首次发布前以及任何重大方法论修订后，应接受合格领域专家和方法论专家的同行评审。

---

4.6 适度性

排名方法论的复杂性和粒度应与排名的目的及其目标用户的需求相适应。

4.6.1 复杂度匹配

指标数量、指标层次深度和聚合方法的复杂程度应与以下因素相适应：

a) 排名的重要性和影响范围；

b) 数据的可获取性和质量；

c) 目标用户理解和应用结果的能力。

4.6.2 避免过度量化

排名实体不应试图量化本质上属于定性的属性，除非存在有效的操作化框架。当需要定性判断时，应明确标识，并记录判断标准。

注：过度量化可能制造虚假的精确感，并可能误导用户赋予排名超过基础数据所能支撑的客观性。

---

4.7 非歧视

排名方法论不应产生对任何国家、地区或组织类型的系统性偏差，除非该偏差与排名的实质性标准相关。

4.7.1 结构性偏差评估

在发布之前，排名实体应评估方法论是否引入了对特定被排名实体群体的结构性偏差。此类评估至少应包括：

a) 分析指标集是否不成比例地有利于或不利于具有特定地理、经济或组织特征的实体；

b) 检查不同群体之间的数据可获取性差异是否系统性地影响排名结果；

c) 审查归一化或评分方法是否包含对特定群体不利的隐含假设。

4.7.2 已识别偏差的缓解

当识别到结构性偏差时，排名实体应采取合理措施予以缓解，例如调整指标、采用群体特定的归一化方法，或明确披露局限性。缓解措施及其理由应予以记录。

4.7.3 文化敏感性

排名方法论的设计应考虑可能影响不同语境下指标解释和可比性的文化差异。仅在特定文化语境中有意义的指标应予以标识。

---

4.8 可持续性

排名方法论应考虑其应用的长期后果，不应创造损害排名既定目的的短期行为激励。

4.8.1 长期影响评估

排名实体应评估和记录排名对被排名实体及其利益相关方的潜在长期影响，包括：

a) 排名是否激励了投机行为（如应试教育、财务报表粉饰）；

b) 排名是否鼓励了实质性改进还是仅鼓励表面合规；

c) 排名是否产生了可能损害其试图测量的属性的逆向激励。

4.8.2 激励一致性

在可行的情况下，排名方法论的设计应使被排名实体为提高排名位置而采取的行动同时有助于被测量属性的实质性改善。

4.8.3 定期方法论评审

排名实体应定期对方法论进行评审，以评估其是否继续服务于既定目的，且不产生不良的长期影响。评审间隔不应超过五年。

---

4.9 与IREG柏林原则的对接

本章原则与2006年国际排名专家组（IREG）通过的《高等学校排名柏林原则》保持一致，并在此扩展适用于本标准涵盖的所有排名领域。下表总结了对应关系：

ICO Std 2002 原则	柏林原则	对接说明
4.1 独立性	BP 1（目的）	排名应为既定目的服务，不受机构利益影响。
4.2 透明度	BP 2（透明度）	方法论应开放透明，允许理解和复现。
4.3 可复现性	BP 3（数据采集）	数据采集方法应明确规范并一致执行，以支持复现。
4.4 公正性	BP 4（结果指标）	结果应反映被测属性，不受外部因素影响；禁止付费定位。
4.5 科学严谨性	BP 5–6（指标）	指标的选择应基于相关性和有效性，使用适当的统计方法。
4.6 适度性	—	无直接对应的柏林原则；源自方法论适当性的一般要求。
4.7 非歧视	BP 7（语言与语境）	排名应考虑语言和文化差异，以避免系统性偏差。
4.8 可持续性	BP 8（经济和社会影响）	排名应考虑其经济和社会影响，避免逆向激励。

注：柏林原则最初针对高等教育排名制定。ICO Std 2002将这些原则扩展和泛化至所有排名领域，同时保留其规范性意图。当需要领域特定指南时，相关扩展模块（见第5章，5.6节）应提供补充要求。

---

注：本章的原则为规范性原则。不符合任何一项原则的排名方法论不得声称符合ICO Std 2002。当因客观约束无法完全满足某项原则时，排名实体应记录偏差、偏差原因及采取的缓解措施（见第11章）。