ICO Std 2002:2026 — 中文版 — 附录A 柏林原则映射
附录A IREG柏林原则对标映射
目的
本附录提供IREG《高等教育机构排名柏林原则》(2006年5月20日通过,柏林)与ICO Std 2002相应条款之间的详细映射。它展示两个框架之间的一致程度,并识别ICO Std 2002超出柏林原则要求的领域。
A.1 柏林原则概览
A.1.1 历史与背景
高等教育机构排名柏林原则》于2006年5月20日在国际排名专家组(IREG)第二次会议上通过。IREG于2004年由联合国教科文组织欧洲高等教育中心(UNESCO-CEPES)和华盛顿高等教育政策研究所(IHEP)共同创立。该原则包含16项条款,分为四个部分: | Section | Title | Principles | 章节 | 标题 | 条款 | |———|——-|———–|——|——|——| | A | Purposes and Goals of Rankings | R1–R5 | A | 排名的目的与目标 | R1–R5 | | B | Design and Weighting of Indicators | R6–R9 | B | 指标设计与权重 | R6–R9 | | C | Collection and Processing of Data | R10–R14 | C | 数据采集与处理 | R10–R14 | | D | Presentation of Ranking Results | R15–R16 | D | 排名结果的呈现 | R15–R16 |
A.1.2 适用范围
柏林原则适用于高等教育机构排名。ICO Std 2002适用于任何使用结构化方法论评估实体的排名系统,不限于特定领域。本附录的映射涵盖全部16项柏林原则,并对每项原则识别: 中处理同一要求的具体条款; 完全覆盖 Full / 部分覆盖 Partial / 超出覆盖 Exceeds 覆盖程度; 任何重大扩展或差异。
A.2 逐原则对照
A.2.1 排名作为多种评估方法之一
柏林原则R1
“排名应是评估高等教育投入、过程和产出的多种不同方法之一。排名可以提供比较信息和增进对高等教育的理解,但不应成为评估高等教育本质和功能的主要方法。” | Aspect | Berlin Principle | ICO Std 2002 | Coverage | |——–|—————–|————–|———-| | Ranking as complementary assessment | R1 | §4.1 (Independence), §01 (Scope) | 完全覆盖 | | Limitations of ranking scope | R1 | §9.1.4 (Limitations Disclosure) | 完全覆盖 | 范围)确立本标准适用于排名系统作为比较评估的一种形式,而非综合评估的替代。§9.1.4要求明确披露指标体系的概念局限性,包括
A.2.2 明确目的与目标群体
柏林原则R2 “应明确其目的和目标群体。排名的设计必须充分考虑其目的。” | Aspect | Berlin Principle | ICO Std 2002 | Coverage | |——–|—————–|————–|———-| | Purpose statement | R2 | §4.1.1 (Organisational Independence), §9.1.2(a) | 完全覆盖 | | Target group identification | R2 | §9.1.2(a) | 完全覆盖 | | Design aligned with purpose | R2 | §05.1 (Indicator Selection Criteria) | 完全覆盖 | §9.1.2(a)要求方法论声明包含”排名目的和目标受众”。§05.1(指标选取准则)要求指标根据其与声明排名目的的相关性和有效性进行选择。这确保指标体系的设计充分考虑排名目的,符合R2要求。
A.2.3 认识机构多样性
柏林原则R3 “认识机构的多样性,并将机构的不同使命和目标纳入考量。” | Aspect | Berlin Principle | ICO Std 2002 | Coverage | |——–|—————–|————–|———-| | Diversity recognition | R3 | §4.4.3 (Uniform Application of Criteria), §05.2 (Indicator Hierarchical Structure) | 完全覆盖 | | Mission differentiation | R3 | §06.1 (Weight Assignment Methods), SE modules | 完全覆盖 | 将R3推广至高等教育机构之外。§4.4.3要求评分标准在所有被排实体中一致适用,而§05.2允许通过层级结构容纳不同实体类型的指标体系。扩展模块(SE-01至SE-09)定义了反映不同排名领域多样性的领域特定指标。§06.1提供差异加权,可考虑被排实体的不同使命和目标。
A.2.4 信息来源与信息含义
柏林原则R4 “明确排名的信息来源范围及每个来源所产生的信息含义。” | Aspect | Berlin Principle | ICO Std 2002 | Coverage | |——–|—————–|————–|———-| | Information source identification | R4 | §7.1 (Data Source Classification), §4.2.2 (Data Source Traceability) | 完全覆盖 | | Source-specific messages | R4 | §9.1.3 (Data Summary) | 完全覆盖 | §7.1建立了三级数据源分类体系(一级:官方/审计;二级:调查/专家;三级:未验证/公开),通过提供评估每个数据源可靠性和局限性的结构化框架,超越了柏林原则的一般要求。§4.2.2要求所有数据可追溯至其来源。§9.1.3要求发布数据摘要,包括来自每层级的数据比例。
A.2.5 明确语言、文化、经济和历史背景
柏林原则R5 “明确被排名教育系统的语言、文化、经济和历史背景。” | Aspect | Berlin Principle | ICO Std 2002 | Coverage | |——–|—————–|————–|———-| | Context specification | R5 | §4.2.2 (Data Source Traceability), §9.1.4 (Limitations Disclosure) | 完全覆盖 | | Cultural sensitivity | R5 | §4.2.2 (Cultural Sensitivity extension), SE-05 (Cultural Heritage) | 超出覆盖 | 通过§9.1.4满足R5的要求,该条款要求披露包括语境因素在内的概念和方法论局限性。此外,ICO Std 2002通过在SE-05(文化遗产)中纳入明确的文化敏感性要求,并通过在所有扩展模块中要求领域特定语境考量,超越了R5。DPP-CQ整合框架(§10.4)提供了处理跨领域排名中文化和语境差异的机制。
A.2.6 方法论透明度
柏林原则R6 “排名方法论的透明度。用于编制排名的方法选择应清晰明确。透明度应包括指标的计算和数据的来源。” | Aspect | Berlin Principle | ICO Std 2002 | Coverage | |——–|—————–|————–|———-| | Methodology disclosure | R6 | §4.2.1 (Methodology Disclosure), §9.1.2 (Methodology Statement) | 完全覆盖 | | Indicator calculation transparency | R6 | §8.2 (Normalisation), §8.3 (Aggregation), §4.2.3 (Scoring Rule Verifiability) | 完全覆盖 | | Data origin transparency | R6 | §4.2.2 (Data Source Traceability), §7.1 (Data Source Classification) | 完全覆盖 | | Four-level transparency system | — | §9.2 (Transparency Levels) | 超出覆盖 | 通过其全面的透明度框架完全满足R6。§4.2.1要求发布完整方法论描述。§4.2.3要求评分规则具有足够的精确度以供第三方验证。§9.2建立了四级透明度分类体系(一级:摘要透明;二级:方法论透明;三级:数据透明;四级:完全可复现),通过提供评估和改进透明度的分级框架,显著超越了柏林原则的一般透明度要求。
A.2.7 指标相关性与有效性
柏林原则R7 “根据指标的相关性和有效性进行选择。数据选择应基于对每项度量代表质量和学术与机构实力能力的认识,而非数据的可用性。” | Aspect | Berlin Principle | ICO Std 2002 | Coverage | |——–|—————–|————–|———-| | Relevance criterion | R7 | §05.1 (Indicator Selection Criteria) | 完全覆盖 | | Validity criterion | R7 | §05.1 (Indicator Selection Criteria), §8.5 (Ranking Result Verification) | 完全覆盖 | | Data availability warning | R7 | §05.1 (prohibition of data-driven selection) | 完全覆盖 | §05.1确立了指标选取准则,要求指标根据其与排名目的的相关性和有效性进行选择,而非仅仅基于数据可用性。§8.5(排名结果验证)规定内部一致性检验(克朗巴赫α ≥ 0.70)、外部效度检验和稳健性检验,共同验证指标体系的有效性。这完全满足R7。
A.2.8 优先衡量产出而非投入
柏林原则R8 “尽可能优先衡量产出而非投入。产出度量能更准确地评估给定机构或项目的地位和/或质量。” | Aspect | Berlin Principle | ICO Std 2002 | Coverage | |——–|—————–|————–|———-| | Outcome preference | R8 | §05.1 (Indicator Selection Criteria), §05.2 (Indicator Hierarchical Structure) | 完全覆盖 | | Input-output balance | R8 | §05.2 (Indicator classification by type) | 完全覆盖 | §05.2要求指标体系包含按类型(投入、过程、产出、结果)对指标进行的分类,§05.1要求在选择过程中优先考虑结果指标。第6章的权重规定允许反映结果指标更高重要性的差异加权。这满足R8。
A.2.9 权重透明度与稳定性
柏林原则R9 “应使不同指标的权重分配(若使用)显著可见,并限制权重变更。权重变更使消费者难以辨别机构或项目在排名中的地位变化是由于内在差异还是方法论变更。” | Aspect | Berlin Principle | ICO Std 2002 | Coverage | |——–|—————–|————–|———-| | Weight prominence | R9 | §9.1.2(d) (Weighting scheme disclosure) | 完全覆盖 | | Weight stability | R9 | §06.3 (Weight Change Control) | 完全覆盖 | | Weight change justification | R9 | §06.3.2 (Methodological Change Documentation) | 完全覆盖 | §9.1.2(d)要求披露权重方案及权重确定方法。§06.3(权重变更控制)规定了限制和记录权重变更的要求,包括变更应基于方法论或概念考虑而非用于产生不同结果的要求。这完全满足R9。
A.2.10 道德标准与良好实践
柏林原则R10 “应充分关注道德标准和本原则中阐述的良好实践建议。为确保排名的可信度,负责收集和使用数据以及进行现场访问的人员应尽可能客观和公正。” | Aspect | Berlin Principle | ICO Std 2002 | Coverage | |——–|—————–|————–|———-| | Ethical standards | R10 | §4.1 (Independence), §4.4 (Impartiality) | 完全覆盖 | | Objectivity and impartiality | R10 | §4.1.2 (Conflict of Interest Identification), §4.4.2 (Prohibition of Stakeholder Interference) | 完全覆盖 | | Paid listing prohibition | — | §4.4.1 (Prohibition of Paid Listing) | 超出覆盖 | 通过其全面的独立性和公正性框架满足R10。§4.1确立独立性原则,包含利益冲突识别、披露和回避的具体要求。§4.4确立公正性原则,包括禁止付费上榜(§4.4.1)和利益相关方干预(§4.4.2),通过提供确保客观性的具体操作规则,超越了柏林原则。
A.2.11 审计与可验证数据
柏林原则R11 “尽可能使用审计和可验证的数据。此类数据具有多个优势,包括已被机构接受且在机构间具有可比性和兼容性。” | Aspect | Berlin Principle | ICO Std 2002 | Coverage | |——–|—————–|————–|———-| | Verifiable data requirement | R11 | §7.1 (Data Source Classification), §7.2 (Data Collection Procedures) | 完全覆盖 | | Data audit trail | R11 | §10 (Audit and Traceability) | 完全覆盖 | | Data quality assurance | R11 | §7.3 (Data Quality Metrics) | 超出覆盖 | §7.1按可靠性层级对数据源进行分类,优先使用一级(官方/审计)数据。§7.2要求记录数据采集程序并使其可验证。§10(审计与可追溯性)为所有数据和方法论决策建立完整的审计追踪。§7.3(数据质量度量)通过建立包括准确性、完整性、时效性和一致性度量在内的定量数据质量要求,超越了R11。
A.2.12 科学数据采集程序
柏林原则R12 “应包含以科学数据采集程序收集的数据。从不具代表性或偏斜的学生、教师或其他群体子集中收集的数据可能无法准确代表机构或项目,应予排除。” | Aspect | Berlin Principle | ICO Std 2002 | Coverage | |——–|—————–|————–|———-| | Scientific data collection | R12 | §7.2 (Data Collection Procedures), §7.4 (Missing Data and Outliers) | 完全覆盖 | | Representativeness | R12 | §7.2 (Sampling requirements), §7.3 (Data Quality Metrics) | 完全覆盖 | | Exclusion of skewed data | R12 | §7.4 (Outlier handling) | 完全覆盖 | §7.2规定数据采集程序必须符合科学数据采集标准,包括抽样设计、回应率阈值和数据验证的要求。§7.4提供处理缺失数据和异常值的规则,包括排除不具代表性或偏斜子集数据的要求。§7.3建立数据质量度量,可用于识别和排除低质量数据。这完全满足R12。
A.2.13 排名过程的质量保证
柏林原则R13 “对排名过程本身实施质量保证措施。排名应是学习系统,持续利用专业知识来发展方法论。” | Aspect | Berlin Principle | ICO Std 2002 | Coverage | |——–|—————–|————–|———-| | QA of ranking process | R13 | §10 (Audit and Traceability), §11 (Compliance) | 完全覆盖 | | Continuous improvement | R13 | §10.3 (Continuous Improvement), §06.3 (Weight Change Control) | 完全覆盖 | | Internal audit | R13 | §10.2 (Internal Audit) | 完全覆盖 | 建立全面的审计和可追溯性框架,包括内部审计要求(§10.2)和持续改进条款(§10.3)。§11(合规)规定了证明与本标准一致性的要求。DPP-CQ整合框架(§10.4)提供持续质量改进的机制。这完全满足R13。
A.2.14 增强可信度的组织措施
柏林原则R14 “采取增强排名可信度的组织措施。这些措施可包括顾问机构甚至监督机构,最好有国际参与。” | Aspect | Berlin Principle | ICO Std 2002 | Coverage | |——–|—————–|————–|———-| | Advisory/supervisory bodies | R14 | §10.1 (Governance), §10.2 (Internal Audit) | 完全覆盖 | | International participation | R14 | §10.1 (Governance requirements) | 完全覆盖 | | External audit | R14 | §10.2 (External audit provisions) | 完全覆盖 | §10.1确立排名实体的治理要求,包括建立顾问和监督机构。§10.2规定内部和外部审计机制。本标准建议顾问机构有国际参与,特别是国际排名。这满足R14。
A.2.15 消费者理解与选择
柏林原则R15 “使消费者清晰了解排名开发中使用的所有因素,并提供排名展示方式的选择。此外,消费者应有机会自行决定指标权重。” | Aspect | Berlin Principle | ICO Std 2002 | Coverage | |——–|—————–|————–|———-| | Factor disclosure | R15 | §9.1.1 (Minimum Disclosure Set), §9.1.2 (Methodology Statement) | 完全覆盖 | | Display choice | R15 | §9.2 (Transparency Levels), §8.6 (Ranking Publication Format) | 完全覆盖 | | User-weighted ranking | R15 | §06.4 (User-Adjustable Weights) | 超出覆盖 | §9.1.1和§9.1.2要求全面披露所有排名因素。§8.6提供灵活的排名发布格式。§06.4(用户可调权重)通过建立交互式排名工具框架,允许用户调整指标权重并实时重新计算排名,超越了R15,但要求默认(排名实体)权重与任何用户调整结果一并显著展示。
A.2.16 错误纠正与数据完整性
柏林原则R16 “以消除或减少原始数据错误的方式编制,并以可纠正错误和缺陷的方式组织和发布。应将发生的错误通知机构及公众。” | Aspect | Berlin Principle | ICO Std 2002 | Coverage | |——–|—————–|————–|———-| | Error prevention | R16 | §7.2 (Data Collection Procedures), §7.3 (Data Quality Metrics) | 完全覆盖 | | Error correction | R16 | §9.3 (Error Correction and Retraction) | 完全覆盖 | | Public notification | R16 | §9.3.1 (Error Notification) | 完全覆盖 | | Retraction procedures | — | §9.3.2 (Retraction Procedures) | 超出覆盖 | §7.2和§7.3建立防止和检测错误的数据质量措施。§9.3(错误纠正与撤回)通过建立正式的错误纠正和撤回程序,包括错误通知(§9.3.1)、纠正时限和重大错误撤回程序(§9.3.2),超越了R16的要求。
A.3 汇总映射表
| Principle | Berlin R# | ICO Std 2002 Reference | Coverage | 备注 | |———–|———–|———————-|———-|——| | Ranking as complementary approach | R1 | §01, §4.1, §9.1.4 | 完全覆盖 | — | | Clear purpose and target groups | R2 | §4.1.1, §9.1.2(a), §05.1 | 完全覆盖 | — | | Recognise diversity | R3 | §4.4.3, §05.2, §06.1, SE modules | 完全覆盖 | 推广至所有排名领域 | | Information sources clarity | R4 | §7.1, §4.2.2, §9.1.3 | 完全覆盖 | 三级数据源分类体系 | | Specify contexts | R5 | §4.2.2, §9.1.4, SE-05 | 超出覆盖 | 文化敏感性扩展 | | Methodology transparency | R6 | §4.2.1, §4.2.3, §9.2 | 超出覆盖 | 四级透明度体系 | | Indicator relevance and validity | R7 | §05.1, §8.5 | 完全覆盖 | — | | Outcome preference | R8 | §05.1, §05.2 | 完全覆盖 | — | | Weight transparency and stability | R9 | §06.3, §9.1.2(d) | 完全覆盖 | — | | Ethical standards | R10 | §4.1, §4.4 | 超出覆盖 | 禁止付费上榜 | | Audited and verifiable data | R11 | §7.1, §7.2, §7.3, §10 | 超出覆盖 | 定量数据质量度量 | | Scientific data collection | R12 | §7.2, §7.3, §7.4 | 完全覆盖 | — | | QA of ranking processes | R13 | §10, §11 | 完全覆盖 | — | | Organisational credibility measures | R14 | §10.1, §10.2 | 完全覆盖 | — | | Consumer understanding and choice | R15 | §9.1, §8.6, §06.4 | 超出覆盖 | 用户可调权重框架 | | Error correction | R16 | §7.2, §7.3, §9.3 | 超出覆盖 | 正式撤回程序 | 覆盖汇总 | Coverage Level | Count | Percentage | |—————-|——-|————| | 完全覆盖 | 10 | 62.5% | | 超出覆盖 | 6 | 37.5% | | 部分覆盖 | 0 | 0% | | 未覆盖 | 0 | 0% |
A.4 ICO超出柏林原则的扩展
以下ICO Std 2002的特征在柏林原则中没有直接对应项,代表超出原始IREG框架范围的扩展:
A.4.1 四级透明度体系
柏林原则要求一般意义上的透明度(R6)。ICO Std 2002建立分级四级透明度分类(§9.2),提供: 一级:摘要透明——最低披露集 二级:方法论透明——完整方法论文件 三级:数据透明——完整数据访问以供验证 四级:完全可复现——完整数据和代码以供独立复制 此分级体系使利益相关方能够根据定义的标准评估排名发布的透明度,并为排名实体提供逐步改进透明度的路径。
A.4.2 DPP-CQ整合框架
数据处理管道—持续质量(DPP-CQ)整合框架(§10.4)提供排名过程持续质量改进的系统机制。这在柏林原则中没有对应项,后者仅以一般方式处理质量保证(R13)。 框架包括: 排名生命周期中的自动化数据质量监控; 基于触发器的数据异常质量警报; 从排名结果到方法论改进的反馈循环; 所有方法论决策的版本控制和变更追踪。
A.4.3 领域中立与多领域架构
柏林原则专门为高等教育排名设计。ICO Std 2002通过核心层
A.4.4 文化敏感性要求
虽然柏林原则承认文化背景的重要性(R5),ICO Std 2002通过在SE-05(文化遗产)扩展模块中纳入明确的文化敏感性要求,并要求所有排名系统考虑其指标设计和数据采集方法的文化影响,对此进行了扩展。这对天机排行榜的非遗赛道尤为重要。
A.4.5 反欺诈与反操控机制
柏林原则未涉及被排实体故意操控排名数据的风险。ICO Std 2002包含明确的反欺诈条款(§7.5),涉及: 数据操纵的检测和预防(如伪造调查回应、虚增指标); 反刷单 消费品排名的反刷单机制; 对被发现操纵数据的实体的制裁。
A.4.6 联合国DCP对齐
与《联合国土著人民权利宣言》(UNDRIP)和联合国教科文组织《保护非物质文化遗产公约》(2003年)对齐,为尊重社区和文化从业者权利与尊严的排名系统提供框架。此对齐在柏林原则中没有对应项。
A.5 对标分析总结
A.5.1 总体评估
实现对全部16项柏林原则的完全覆盖,其中6项原则被ICO Std 2002更详细或更广泛的条款所超越。没有柏林原则被部分覆盖或未覆盖。扩展领域主要在: 透明度粒度——四级透明度体系提供了柏林原则中不存在的分级框架; 数据质量严谨性——定量数据质量度量和DPP-CQ框架提供了超越柏林原则一般要求的系统质量保证; 反欺诈条款——防止和检测数据操纵的明确机制; 领域范围——从高等教育推广至所有排名领域; 文化敏感性——遗产和社区语境中文化敏感性的明确要求; 用户赋能——用户可调权重框架提供了超越柏林原则一般建议的消费者选择机制。
A.5.2 对IREG排名审计的启示
符合ICO Std 2002的涵盖高等教育领域的排名系统将满足所有源自柏林原则的IREG排名审计准则。ICO Std 2002的附加条款(透明度等级、数据质量度量、反欺诈机制)将提供额外的质量证据,可加强排名的审计评估。
A.5.3 未来对齐建议
应提交IREG进行正式审查,并可能被认可为柏林原则的补充框架。 柏林原则的未来修订可考虑纳入ICO Std 2002首创的四级透明度体系和反欺诈条款。 应探索IREG排名审计与ICO Std 2002合规评估之间的交叉认证路径。