ICO Std 2002:2026 — 中文版 — 第7章 数据采集规范
第7章 数据采集规范
本章规定了排名系统中数据采集、处理、质量保证、伦理合规和归档的要求。它建立了一个综合数据治理框架，以确保支撑排名结果的数据的完整性和可信度。
7.1 数据来源分类
排名系统中使用的所有数据来源应按照以下三级体系进行分类。分类决定了适用于每个来源的证据权重和验证要求。
7.1.1 一级数据来源
一级数据来源是可获取的最权威和可靠的数据来源。
一级数据来源包括：
a) 官方统计数据：由国家统计局、政府间组织和监管机构以其官方身份发布的数据。
b) 审计财务数据：按照公认审计标准经过独立审计的财务报表和报告。
c) 行政记录：由政府或机构行政过程产生的数据，如登记记录、许可数据和税务申报。
d) 同行评审研究：在同行评审学术期刊或报告中发布的数据，其基础方法论经过了独立审查。
7.1.2 二级数据来源
二级数据来源提供有价值的信息，但其机构权威性可能不如一级来源。
二级数据来源包括：
a) 公共数据库：由研究机构、非政府组织或行业协会维护的公开可访问数据库。
b) 学术文献：已发表的学术著作，其中使用的特定数据未经正式同行评审，或数据为二手数据。
c) 行业报告：由行业分析师、咨询公司或行业协会编制的报告。
d) 经独立验证的自报数据：由被排名实体提供的数据，排名实体已对代表性样本进行了独立验证。
7.1.3 三级数据来源
三级数据来源权威性最低，仅在一级和二级来源不足时使用。
三级数据来源包括：
a) 媒体报道：来自新闻文章、新闻稿或其他媒体出版物的数据。
b) 社交媒体数据：来自社交媒体平台、在线论坛或用户生成内容平台的数据。
c) 未经验证的自报数据：由被排名实体提供但未经独立验证的数据。
d) 专家估计：在缺乏经验数据的情况下由个别专家提供的定量估计。
7.1.4 数据来源分级的证据规则
以下规则管辖来自不同级别的数据的使用：
a) 一级数据应在可获得的情况下作为主要来源使用。
b) 当一级数据不可获取或不足时，二级数据可作为补充或替代来源使用。
c) 三级数据仅在以下情况下可使用：
1) 该指标不存在一级或二级数据；且
2) 三级数据的使用对排名目的是必要的；且
3) 三级数据的局限性在排名发布中予以公开。
d) 当同一指标存在多个级别的数据时，排名实体应记录选择该级别的理由。
e) 各级来源的数据点比例应在方法论文档中报告。
7.2 数据采集过程
数据采集应遵循结构化的过程，以确保完整性、准确性和可追溯性。
7.2.1 采集计划制定
在数据采集之前，排名实体应制定并记录数据采集计划，包括：
a) 指标列表及每个指标的数据要求，包括：
1) 需采集的数据元素；
2) 每个元素的数据来源级别和具体来源；
3) 预期的数据格式和测量单位；
4) 数据的参考期。
b) 采集时间表，包括数据获取、验证和整合的里程碑；
c) 采集方法论，具体说明：
1) 数据是通过直接采集、自动检索还是第三方提供获取；
2) 所需的任何数据共享协议或访问安排；
3) 处理数据访问拒绝或部分回复的方案。
d) 参与数据采集人员的角色和职责。
7.2.2 数据采集执行
数据采集应按照采集计划执行。排名实体应：
a) 在定义的参考期内采集所有被排名实体的数据；
b) 对所有实体执行一致的采集程序；
c) 记录每个数据点的获取日期和方法；
d) 标记与采集计划的任何偏差，并记录原因和影响。
7.2.3 数据质量验证
数据采集完成后，排名实体应按照7.3的规定进行质量验证。不符合质量标准的数据应：
a) 在可行的情况下退回来源方更正；
b) 用替代来源的数据进行补充；
c) 标记为缺失并按照7.4.1处理。
7.2.4 数据录入和标注
通过质量验证的数据应录入排名数据库，并附以下标注：
a) 实体标识符；
b) 指标标识符；
c) 数据来源标识符和级别；
d) 参考期；
e) 获取日期；
f) 任何质量标记或注意事项；
g) 数据采集周期的版本标识符。
7.3 数据质量标准
排名系统中使用的数据应满足7.3.1至7.3.5定义的质量标准。这些标准与ISO 8000（数据质量）的原则保持一致。
7.3.1 准确性
数据应准确反映其声称测量的真实世界值。
数据准确性应通过以下方式评估：
a) 在可获得的情况下，将数据值与独立的权威来源进行比较；
b) 执行合理性检查（如验证值是否在预期范围内）；
c) 验证计算推导（如验证比率是否由其分子和分母正确计算）。
排名实体应记录每个指标的准确性评估方法和结果。
7.3.2 完整性
数据集应包含排名范围内所有实体和所有指标的值，或应明确记录缺失数据的范围和模式。
完整性应度量如下：
\[\text{完整性} = \frac{\text{非缺失数据点数量}}{\text{预期数据点总数}} \times 100\%\]排名实体应：
a) 报告每个指标的总体完整率；
b) 报告每个实体的完整率；
c) 记录缺失数据的模式（如随机、系统性或集中在特定实体群体中）；
d) 评估缺失数据的模式是否引入偏差（见4.7）。
7.3.3 一致性
数据应在内部一致且在不同来源之间一致。
一致性应通过以下方式验证：
a) 交叉引用同一实体和指标的不同来源的数据值；
b) 检查汇总值（如总计、平均值）是否与其组成值一致；
c) 验证数据集中测量单位、货币和时间参考是否统一。
当识别到不一致时，排名实体应：
1) 调查不一致的原因；
2) 通过参照最权威来源确定正确值；
3) 记录不一致及其解决方式。
7.3.4 时效性
数据应对排名目的而言足够及时。
排名实体应：
a) 基于基础现象的变化率和排名目的，为每个指标指定数据的最大可接受年限；
b) 报告每个数据点的参考日期；
c) 记录超过最大可接受年限的数据及其继续使用理由。
7.3.5 可追溯性
每个数据点应通过有记录的管理链追溯到其原始来源。
可追溯性应通过以下方式维持：
a) 记录每个数据点的来源、获取方法和日期；
b) 以未修改的形式保存原始数据；
c) 维护应用于数据的所有转换日志（见7.4）。
7.4 数据处理规范
7.4.1 缺失数据处理
排名实体应规定并记录处理缺失数据的方法。认可以下方法：
a) 插补：缺失值可用估计值替代。插补方法应予以记录，包括：
1) 均值/中位数插补：用该指标在其他实体上的可用值的均值或中位数替代缺失值。此方法仅在缺失数据比例小于5%且数据为随机缺失时使用。
2) 回归插补：使用相关指标作为预测变量的回归模型估计缺失值。回归模型及其拟合优度应予以记录。
3) 多重插补：为每个缺失数据点生成多个合理值并合并结果。当缺失数据比例超过5%时，应使用此方法。
b) 排除：可将特定指标缺失数据的实体从该指标的计算中排除。排名实体应：
1) 记录被排除实体的数量和身份；
2) 评估排除是否引入系统性偏差；
3) 报告排除对排名结果的影响。
c) 标记：可标记缺失值而不进行插补或排除，指标得分可基于可用数据计算。排名实体应：
1) 在数据和结果中清楚标记；
2) 公开每个实体被标记数据的比例；
3) 报告标记对排名结果的影响。
7.4.2 异常值处理
排名实体应建立并记录识别和处理异常值的程序。
7.4.2.1 异常值识别
异常值应使用以下至少一种方法识别：
a) 统计方法：
| 1) Z-score法： | z | > 3的数据点应标记为潜在异常值。 |
2) 四分位距（IQR）法：低于Q1 − 1.5 × IQR或高于Q3 + 1.5 × IQR的数据点应标记为潜在异常值。
3) 马氏距离：对于多变量异常值检测，马氏距离超过α = 0.01处χ²临界值的观测值应标记为异常。
b) 领域知识：领域专家可基于对数据背景的实质性知识识别异常值。
7.4.2.2 异常值处理
已识别的异常值应使用以下方法之一处理：
a) 保留并说明理由：如果异常值被确定为反映真实现象的真实数据点，应保留并记录理由。
b) 缩尾处理：将异常值设定为指定百分位数的值（如第1和第99百分位数）。百分位阈值应予以记录。
c) 转换：可对数据进行转换（如对数转换）以减少异常值的影响。转换应予以记录，并评估其对分布的影响。
d) 排除：异常值仅在确定为数据错误时方可排除。排除应记录原因。
7.4.2.3 异常值记录
所有异常值识别和处理决策应记录在数据处理日志中，包括：
a) 使用的识别方法和标准；
b) 被识别为异常值的数据点；
c) 应用的处理方法及理由；
d) 对排名结果的影响。
7.4.3 数据标准化和归一化
当指标在不同尺度上测量时，数据在聚合前应进行标准化或归一化。第8章第8.2节规定的方法应适用。
排名实体应：
a) 为每个指标指定标准化或归一化方法；
b) 记录方法选择的理由；
c) 验证所选方法不会引入偏差或以不利于特定实体群体的方式扭曲指标分布。
7.5 数据伦理与隐私
7.5.1 个人信息保护
当排名系统收集或处理个人数据时，排名实体应遵守适用的数据保护法律，包括但不限于适用的《通用数据保护条例》（GDPR）。
排名实体应：
a) 建立收集和处理个人数据的合法依据；
b) 将个人数据的收集最小化至排名目的所必需的范围；
c) 实施适当的技术和组织措施保护个人数据；
d) 确保个人数据不用于与排名目的不兼容的用途。
7.5.2 数据使用授权
排名实体应确保其有权使用排名系统中纳入的所有数据。排名实体应：
a) 验证每个数据来源的使用条款或许可；
b) 获取非公开数据的必要授权；
c) 遵守数据使用、复制或再分发的任何限制。
7.5.3 被排名实体的数据知情权和异议权
被排名实体对其在排名中使用的数据应享有以下权利：
a) 知情权：应被排名实体的请求，应告知其被使用的数据。
b) 异议权：被排名实体应有权对其使用的数据的准确性提出质疑。排名实体应：
1) 建立有记录的程序来接收和处理数据异议；
2) 在合理期限内（不超过30个日历天）调查异议；
3) 更正任何被发现不准确的数据并记录更正内容；
4) 将调查结果通知提出异议的实体。
c) 更正权：当数据被发现不准确时，排名实体应更正数据并重新计算受影响的排名结果。
注：异议权不延伸至排名系统的方法论选择（如指标选择、权重分配），这些由第4章的原则和第5章、第6章的程序管辖。
7.6 数据审计与归档
7.6.1 数据来源链
排名实体应维护排名中使用的所有数据的完整来源链。来源链应包括：
a) 每个数据点的原始来源；
b) 获取日期和方法；
c) 应用于数据的所有转换、更正和调整；
d) 负责每次转换的人员；
e) 每次转换的日期和授权。
7.6.2 原始数据归档要求
排名实体应将排名中使用的所有原始（未处理）数据自排名结果发布之日起至少保存五年。归档数据应：
a) 以安全、可访问的格式存储；
b) 包含可追溯性所需的所有元数据（见7.3.5）；
c) 受到保护，防止未授权修改；
d) 可在审计目的需要时提供。
7.6.3 数据变更日志
排名实体应维护数据变更日志，记录初始采集后对排名数据集的所有修改。每条日志记录应包括：
a) 变更的日期和时间；
b) 授权变更的人员身份；
c) 变更的描述，包括原始值和修改后的值；
d) 变更的原因；
e) 变更对排名结果的影响。
数据变更日志的保存期限应与原始数据相同（见7.6.2）。
注：本章的数据质量标准与ISO 8000（数据质量）和ISO 9001（质量管理体系）保持一致。维持这些标准认证的排名实体可引用其认证流程作为符合本章相关条款的证据。