ICO Std 2002:2026 — 中文版 — 第9章 结果发布与透明度
第9章 结果发布与透明度
本章规定了排名结果发布、方法论透明度、利益相关方沟通和历史数据保存的要求。它建立了全面的透明度框架,使排名结果具有可复现性、可问责性和可公众审查性。本章的条款与IREG柏林原则对齐,特别是原则R5(数据采集)和原则R6(结果呈现),这些原则要求排名结果应以透明和可访问的方式呈现。
发布要求
所有排名结果应按照9.1.1至9.1.4规定的要求发布。排名实体应确保在声明的时间线内发布,且所有强制披露内容包含在发布中。
最低披露集
每次排名发布应至少包含以下信息:
a) 排名标题与版本: The official title of the ranking and the version identifier of the methodology applied (see 5.5.4).
排名的正式标题及所应用方法论的版本标识(见5.5.4)。
b) 发布日期: The date on which the ranking results are officially released, expressed in ISO 8601 format (YYYY-MM-DD).
排名结果正式发布的日期,以ISO 8601格式表示(YYYY-MM-DD)。
c) 参考期间: The time period to which the data and ranking results apply.
数据和排名结果所适用的时间期间。
d) 被排实体: The complete list of entities included in the ranking, together with their composite scores and ranking positions.
纳入排名的实体完整列表,及其综合得分和排名位置。
e) 排除实体: The list of entities considered for inclusion but excluded from the final ranking, together with the reasons for exclusion.
被考虑纳入但从最终排名中排除的实体列表,及排除原因。
f) 指标得分: The scores of each ranked entity on all Level 1 indicators, as specified in 8.6.1.
每个被排实体在所有一级指标上的得分,如8.6.1所规定。
g) 方法论摘要: A methodology summary conforming to the requirements of 8.6.3.
符合8.6.3要求的方法论摘要。
h) 数据源摘要: A summary of data sources used, organised by tier (see 7.1), including the proportion of data points sourced from each tier.
所使用数据源的摘要,按层级组织(见7.1),包括来自每层级的数据点比例。
i) 联系信息: The name and contact details of the ranking entity responsible for the publication.
负责发布的排名实体的名称和联系详情。
方法论声明
排名实体应发布方法论声明,提供足够的细节使有了解的读者能够理解和批判性评估排名过程。方法论声明应包括:
排名目的和目标受众(见4.1.1);
指标体系及其层级结构(见5.2);
指标选取准则及其应用(见5.1);
权重方案及权重确定方法(见第6章);
数据采集方法,包括来源层级和验证程序(见第7章);
所应用的归一化方法(见8.2);
所应用的评分和聚合方法(见8.1和8.3);
稳健性和敏感性分析结果(见6.3和8.5.3);
与本标准条款的任何偏离及其理由。
数据摘要
排名实体应发布数据摘要,包括:
按指标层级收集的数据点总数;
每个指标的覆盖率,表示为:
其中 $n_{\text{available},j}$ 为指标 $j$ 有可用数据的实体数,$n_{\text{total},j}$ 为指标 $j$ 排名总体中的实体总数。
所应用的缺失数据处理方法(见7.4.1);
数据质量度量摘要(见7.3);
任何已知的数据局限性或注意事项。
局限性披露
排名实体应在发布中披露以下局限性:
指标体系的概念局限性,包括排名目的中未被指标充分覆盖的方面;
方法论局限性,包括结果对方法论选择(如归一化方法、聚合方法、权重方案)的敏感性;
数据局限性,包括覆盖缺口、测量误差和三级数据源的使用(见7.1.3);
时间局限性,包括数据对被排实体当前状态的相关性;
解释范围,具体说明排名衡量和不衡量的内容,并警告过度解读微小的排名差异。
注:局限性披露与IREG柏林原则R15(局限性披露)对齐。其目的不是削弱排名的可信度,而是使所有利益相关方能够知情和适当地使用结果。
透明度等级
排名发布的透明度应分类为9.2.1至9.2.4定义的四个等级之一。排名实体应声明每次发布的透明度等级。
一级:摘要透明
一级透明度提供9.1.1规定的最低披露集和9.1.2规定的方法论摘要,但不披露详细的指标级数据或完整方法论文件。
一级透明度应被视为任何排名发布的绝对最低要求。以一级透明度发布的排名不应用于需要独立验证结果的用途。
二级:方法论透明
除一级要求外,二级透明度还提供:
完整方法论文件,包括9.1.2规定的所有条款;
包含每个层级所有权重的权重方案;
稳健性和敏感性分析结果;
9.1.3规定的数据摘要。
二级透明度使有了解的读者能够理解和批判性评估排名方法论。以二级透明度发布的排名可用于需要方法论审查的用途,但不允许独立复现结果。
三级:数据透明
除二级要求外,三级透明度还提供:
每个被排实体在所有二级和三级指标上的归一化得分;
每个被排实体在所有指标上的原始数据,或包含此类数据的公开可访问数据存储库的引用;
用于归一化、评分和聚合的代码或算法,或包含此类代码的公开可访问存储库的引用。
三级透明度允许外部方从基础数据重新计算排名,从而实现排名结果的独立验证。以三级透明度发布的排名应用于需要独立验证的用途。
四级:完全可复现
除三级要求外,四级透明度还提供:
完整计算环境规格,包括软件版本、参数设置和所使用的随机种子;
从原始数据到最终排名结果的审计轨迹(见10.2);
所有数据源的数据溯源记录(见7.2.4);
自上次排名周期以来方法论和数据的完整变更历史。
四级透明度实现排名结果的完全独立复现。排名实体宜以四级透明度作为所有发布的目标标准。
注:透明度等级是累积的:每个更高等级包含更低等级的所有要求。排名实体应在每次发布中声明所达到的透明度等级。透明度等级与IREG柏林原则的关系如下:二级满足原则R3(方法论透明度);三级满足原则R10(可复现性);四级超出柏林原则的要求。
更正与撤回
排名实体应建立并维护更正已发布排名结果中的错误以及在必要时撤回排名发布的程序。
错误更正协议
当已发布排名中的错误被识别时,排名实体应遵循以下规定的错误更正协议。
a) 错误分类: Errors shall be classified according to their severity:
错误应按其严重性分类:
1) 严重错误: An error that changes the composite score of any ranked entity by more than $\Delta_{\text{critical}}$ or changes the rank of any entity by more than $R_{\text{critical}}$ positions, where $\Delta_{\text{critical}}$ and $R_{\text{critical}}$ are thresholds defined in the methodology documentation.
任何被排实体的综合得分变化超过 $\Delta_{\text{critical}}$ 或排名变化超过 $R_{\text{critical}}$ 位的错误,其中 $\Delta_{\text{critical}}$ 和 $R_{\text{critical}}$ 为方法论文件中定义的阈值。
2) 实质错误: An error that changes the composite score or rank of any entity, but does not meet the threshold for a critical error.
改变任何实体的综合得分或排名但不达到严重错误阈值的错误。
3) 轻微错误: An error that does not affect the composite scores or ranking positions, such as a typographical error in the methodology statement.
不影响综合得分或排名位置的错误,如方法论声明中的拼写错误。
b) 更正时限:
严重错误应在确认后7个日历日内更正。
实质错误应在确认后30个日历日内更正。
轻微错误应在下一次预定发布时或90个日历日内更正,以先到者为准。
c) 更正通知: Each correction shall be accompanied by a public notice that includes:
每次更正应附带公开通知,包括:
错误描述及其原因;
错误对排名结果的影响;
更正后的值及排名位置的变化;
对原始发布版本的引用(见9.3.3)。
d) 受影响实体通知: The ranking entity shall notify all entities whose ranking position or composite score is affected by the correction, prior to the public correction notice where feasible.
排名实体应在可行时于公开更正通知之前通知所有因更正而排名位置或综合得分受影响的实体。
注:本协议与IREG柏林原则R13(错误更正)对齐。受影响实体的事先通知要求反映了被排实体不应从公众获知其排名变更这一原则。
排名撤回标准
排名发布应在以下情况下撤回:
严重错误影响相当比例(超过10%)被排实体的排名结果;
发现排名所基于的数据存在根本性缺陷或欺诈;
发现方法论存在使排名结果无效的根本性错误;
排名发布违反了第4章规定的伦理要求。
撤回应:
从活跃流通中移除排名,并在托管该排名的所有存储库中标记为已撤回;
发布撤回通知,包括撤回原因、影响范围和计划的补救措施;
为保留审计轨迹(见10.2)仍可访问以供历史记录,但带有醒目的撤回标签。
发布结果版本控制
所有已发布的排名结果应接受版本控制。版本控制系统应:
按照定义的方案为每次发布分配唯一版本标识(如v1.0、v1.1、v2.0),其中:
主版本号递增表示方法论变更,影响跨版本结果的可比性;
次版本号递增表示不影响方法论可比性的更正或更新。
维护所有已发布版本的可访问档案,包括已撤回版本;
发布记录所有版本间变更的变更日志,包括:
每次变更的日期和性质;
受影响的章节或数据;
变更原因。
确保任何访问已替代版本的实体被告知存在更新版本。
利益相关方沟通
排名实体应与所有利益相关方建立并维护有效的沟通渠道,包括被排实体、排名使用者和公众。
发布前评审
在排名结果发布之前,排名实体应进行发布前评审过程,包括:
a) 技术评审: An internal review of the computational accuracy of the ranking results, verifying that:
对排名结果计算准确性的内部评审,验证:
所有数据已正确输入和处理;
归一化、评分和聚合计算无错误;
排名位置正确地从综合得分导出。
b) 方法论评审: A review by at least two qualified reviewers who were not directly involved in the data collection and scoring process, confirming that:
至少两名未直接参与数据采集和评分过程的合格评审员的评审,确认:
方法论已按文件记载应用;
方法论文件记载的任何偏离已被识别和论证;
局限性披露(见9.1.4)是充分和准确的。
c) 被排实体事实审查: The ranking entity should provide ranked entities with the opportunity to review the factual accuracy of their own data before publication, subject to the following conditions:
排名实体宜在发布前为被排实体提供审查其自身数据事实准确性的机会,但须遵守以下条件:
审查期间应不少于10个且不超过30个日历日;
审查应限于实体自身数据的事实准确性,不应扩展至方法论选择;
排名实体应记录因审查而作出的所有事实更正。
注:被排实体的发布前事实审查与IREG柏林原则R5对齐,该原则强调被排实体应有机会核实归属其数据的准确性。这不意味着被排实体对排名结果拥有否决权。
反馈机制
排名实体应维护公开的反馈机制,允许任何利益相关方提交关于排名的意见、问题或关注。反馈机制应:
通过至少一个公开可访问的渠道(如专用电子邮件地址、网络门户)可访问;
在5个工作日内提供收到确认;
对与数据准确性相关的反馈在30个日历日内提供实质性回复,对与方法论相关的反馈在60个日历日内提供实质性回复;
维护收到的反馈和提供的回复的公开日志,隐去个人可识别信息。
申诉程序
排名实体应为希望质疑排名结果或所应用方法论的实体建立正式申诉程序。申诉程序应:
予以记录并公开可访问;
规定可提起申诉的理由,应包括:
归属申诉实体的数据中的事实错误;
方法论对申诉实体应用中的程序性错误;
影响申诉实体排名的偏见或利益冲突证据。
规定提起申诉的程序,包括:
提起申诉的时限,自发布之日起不少于30个日历日;
随申诉提交的信息和证据;
申诉审查机构的身份。
确保申诉由独立于产生原始排名的个人组成的机构或小组审查;
在收到申诉后60个日历日内作出书面决定,包括:
申诉审查机构的结论;
决定及其理由;
将采取的任何更正措施。
不要求申诉实体支付与申诉性质不相称的申诉程序费用。
注:申诉程序与IREG柏林原则R6对齐,该原则要求排名实体为被排实体提供质疑结果的机制。申诉审查机构的独立性对过程的可信度至关重要。
历史数据保存与回溯
排名实体应保存历史排名数据和方法论记录,以实现回溯、纵向分析和审计。
保存要求
排名实体应为每个排名周期保存以下记录:
用于产生排名的完整数据集,包括原始数据、归一化数据和导出得分;
适用于该排名周期的方法论文件,包括指标体系版本、权重方案和计算程序;
已发布的排名结果及所有相关发布;
更正和撤回记录(如有);
利益相关方反馈和申诉记录(如有);
审计记录(见10.3)。
保留期限
历史记录自发布之日起应保留至少10年,或适用法律要求的期限,以较长者为准。
在最低保留期限后,记录可在以下条件下处置:
无限期保留摘要记录,包含排名标题、发布日期、方法论版本和被排实体列表及其综合得分;
处置予以记录,包括处置日期和授权人的身份。
回溯分析
排名实体宜对历史排名进行回溯分析,以评估:
排名结果随时间的稳定性;
指标体系的预测效度(即早期周期选择的指标是否仍然相关);
方法论变更对跨周期结果可比性的影响。
回溯分析结果应在审计员要求时提供(见第10章),并宜作为补充材料发布。
跨周期可比性
当排名实体定期发布排名时,应:
明确识别排名周期间的方法论变更及其对可比性的影响;
提供可比性声明,表明不同周期的结果是否及如何可以有意义地比较;
当方法论变更为实质性的,提供桥接分析,在新方法论下重新计算先前排名以实现可比性。
注:本章的条款旨在通过实现透明度、可问责性和知情使用,确保排名发布服务于公共利益。透明度不仅是披露要求;它是排名系统可信度和实用性的基础。本章主要对齐的IREG柏林原则R5和R6确立了排名实践中透明度的国际基线。ICO Std 2002通过四级透明度框架(9.2)、结构化错误更正协议(9.3.1)和历史数据保存要求(9.5)扩展了这些原则。