ICO Std 2002:2026 — 中文版 — 第3章 术语和定义

第3章 术语和定义


就本标准而言,适用以下术语和定义。在第2章列出的规范性引用文件中定义的术语,在本标准中使用时保留其定义含义,除非在下文重新定义。

ISO和IEC在以下地址维护用于标准化的术语数据库:

— ISO在线浏览平台:https://www.iso.org/obp — IEC Electropedia:https://www.electropedia.org/


3.1 核心术语

3.1.1 排名系统

排名系统

基于特定标准,对一组确定的实体进行比较排序或评分的组织化过程、方法和规则的集合。

条目注1:排名系统涵盖从设计到发布的整个生命周期,包括指标选择、数据采集、评分和结果发布。

条目注2:排名系统可以以序数排名(如第1名、第2名、第3名)、综合得分或等级分类(如五星评级)的形式产出结果。

示例:世界大学学术排名(ARWU)、全球宜居指数和《财富》500强均为排名系统。

3.1.2 排名方法论

排名方法论

管辖排名系统设计、执行和验证的原则、程序和规则的系统化框架。

条目注1:排名方法论包括但不限于:指标的选择和定义、权重的分配、数据采集程序的规范、评分和聚合方法的选择,以及透明度和审计要求。

条目注2:排名方法论不同于排名系统,前者指抽象的框架和规则,后者指完整的运营实例。

3.1.3 指标

指标

在排名系统中用于评估被排名实体的一个或多个属性的可测量变量。

条目注1:指标可以是定量的(如以美元计的收入)或定性的(如基于定义量表的专家评估)。

条目注2:指标在排名系统中按层次组织:顶层综合指标可分解为子指标,子指标又可进一步分解为基础指标。

示例:”师生比”是大学排名系统中使用的指标;”品牌知名度”是品牌价值排名系统中使用的指标。

3.1.4 权重

权重

对排名系统中每个指标赋予的相对重要性,以数值系数的形式表示,决定该指标对综合得分的贡献。

条目注1:权重通常经过归一化处理,使其总和等于1(或100%)。

条目注2:权重方案的选择可能对排名结果产生显著影响;因此,权重决策的理由应按照第6章的要求进行记录和公开。

3.1.5 评分

评分

对排名实体在每个指标上或综合结果上赋予数值或分类值的过程。

条目注1:评分可能涉及评分函数、阈值或评分规则的应用,具体取决于指标的性质。

条目注2:评分与排名的区别在于:评分为各实体赋值,而排名则根据得分对实体进行相对排序。

3.1.6 归一化

归一化

对指标值进行数学变换,使其在不同的测量尺度、单位或分布之间具有可比性。

条目注1:常见的归一化方法包括极差归一化、Z-score标准化、百分位排名和秩次变换。

条目注2:归一化方法的选择可能影响得分的分布,进而影响排名结果。所使用的归一化方法应予以记录并说明理由。

示例:将不同货币的原始收入数据转换为经购买力平价调整的通用指数是一种归一化形式。

3.1.7 数据来源

数据来源

排名系统输入数据的获取来源,包括但不限于官方统计数据、调查数据、专家评估和自动化数据采集。

条目注1:数据来源可以是原始的(由排名实体直接收集或为其收集)或 secondary 的(从第三方提供者或公开数据库获取)。

条目注2:数据来源的识别、记录和质量评估对排名系统的完整性至关重要,受第7章条款的管辖。

3.1.8 排名实体

排名实体

发起、设计和发布排名系统,并对其方法论完整性和对本标准符合性承担责任的组织。

条目注1:排名实体是对排名系统承担主要责任的当事方。它可以自行执行排名过程,也可以将执行委托给一个或多个执行方(见1.1.3)。

条目注2:排名实体负责确保排名系统符合本标准,无论执行是否被委托。

3.1.9 被排名实体

被排名实体

在排名系统中被评估和定位的个人、组织、产品、服务或其他对象。

条目注1:被排名实体的性质因排名领域而异:在大学排名中,被排名实体是高等教育机构;在品牌排名中,被排名实体是品牌;在城市排名中,被排名实体是城市或城区。

条目注2:被排名实体在其他标准和指南中也可称为”评估对象”或”排名对象”。

3.1.10 排名周期

排名周期

排名系统从启动数据采集到发布结果的完整迭代。

条目注1:排名周期可以是周期性的(如年度、双年度)或事件性的(如由特定事件或阈值触发)。

条目注2:排名周期之间的方法论变更应按照第9章的要求进行记录和公开。

示例:QS世界大学排名的年度发布构成每年一个排名周期。

3.1.11 透明度报告

透明度报告

由排名实体发布的文件,以足够详细的方式公开排名系统的方法论、数据来源、权重、评分程序和已知局限性,使利益相关方能够评估其有效性和公正性。

条目注1:透明度报告是满足第9章公开要求的主要工具,也是第10章审计的主要文件。

条目注2:透明度报告应与排名结果同时或在其之前发布,而非在其之后。

3.1.12 审计追踪

审计追踪

所有方法论决策、数据转换和计算步骤的时间顺序记录,使排名过程能够从源数据到发布结果被重建和验证。

条目注1:审计追踪包括但不限于:指标选择决策记录、权重审议记录、数据清洗和转换程序记录、聚合计算记录以及任何事后调整记录。

条目注2:审计追踪是可复现性要求(见3.1.17)和第10章审计条款的关键组成部分。

3.1.13 符合性

符合性

排名系统对本标准某项要求的满足。

条目注1:符合性可以是完全符合(见1.4.1)或部分符合(见1.4.2)。

条目注2:符合性通过第10章规定的独立审计进行评估,但第11章条款允许自我评估的情况除外。

3.1.14 扩展模块

扩展模块

本标准的补充部分,规定适用于特定类别排名系统的领域特定要求,对核心要求进行补充。

条目注1:扩展模块编号为SE-01至SE-09,每个模块对应1.1.1中描述的特定排名领域。

条目注2:仅当排名系统属于相应领域时(见1.4.2),才需要符合扩展模块。

3.1.15 利益冲突

利益冲突

排名实体、其人员或参与排名过程的任何当事方具有可能(或看似可能)损害排名过程或其结果的客观性或公正性的财务、商业、个人或其他利益的情形。

条目注1:利益冲突可能源于排名实体与被排名实体之间的商业关系、排名实体对被排名实体收入的财务依赖,或评估者与被评估方之间的个人关系。

条目注2:利益冲突的识别、公开和管理受第4章(原则)和第9章(发布与透明度)条款的管辖。

示例:排名实体的相当一部分收入来源于向被排名实体出售咨询服务,即构成财务利益冲突。

3.1.16 敏感性分析

敏感性分析

对输入、假设或方法论选择的变动如何影响排名系统输出的系统性检验。

条目注1:敏感性分析用于评估排名结果的稳健性,并识别对结果产生不成比例影响的指标或方法论选择。

条目注2:本标准要求按照第8章的规定执行和记录敏感性分析。

示例:将权重变动±10%后重新计算排名并观察实体位置的变化,构成基本的敏感性分析。

3.1.17 可复现性

可复现性

独立方在将已记录的方法论应用于相同数据时,在可接受的计算精度范围内获得相同排名结果的能力。

条目注1:可复现性是排名系统可验证性的必要条件。它要求方法论的记录具有足够的精度,并且基础数据可供验证目的使用。

条目注2:可复现性不同于可复制性。可复现性指使用相同数据和方法论获得一致结果;可复制性指使用在相同协议下收集的新数据获得一致结果。


:本章是ICO Std 2002(天机排名方法论标准)的组成部分。本章中的定义为规范性定义。本标准中使用但未在本章定义的术语保留其通常理解的含义或第2章所列规范性引用文件中赋予的含义。