公开数据项目怎么选：API、数据集还是网页采集？

建设公开数据流程前，应在官方 API、授权数据集、范围明确的获准采集，或字段级混合方案中，选择维护负担最低且当前合格的一条。官方 API 往往是值得评估的候选，但不会天然胜出；每条路径都要通过同样的决策、权利、字段、覆盖、时效、溯源、质量和运行边界门槛。

设想一家分销商每日发送库存异常报告：库存运营负责人必须在各市场补货截止前，复核已批准 SKU 的缺货或异常状态。只有明确负责人会据此行动，报告才有价值；扩大流程前，应先验证买方是否需要并会使用这份报告。本文不做收入预测。

一、简单来源已经通过时，不要购买代理

官方 API 或授权数据集已经通过全部必需门槛时，不应为同一字段购买代理能力。适用的来源条款、许可或合同未允许拟议用途，任务涉及个人或敏感信息却没有适当审查，或没有人负责使用结果时，也应停止推进采集。频率很低的决策，人工核对或既有报告可能已经足够。

代理是网络组件，不是访问许可。IETF 的 Robots Exclusion Protocol 明确说明，其规则不是访问授权；因此，即使 robots.txt 看起来允许，也不能代替来源条款、许可、合同或书面同意。遇到拒绝、验证页或限速，应停止并走获准路径，而不是不断更换身份继续尝试。

二、选源前逐项通过八个准入门槛

有当前证据才标 PASS，已观察到失败标 FAIL，缺失或过期证据标 UNKNOWN。FAIL 与 UNKNOWN 都不能通过验收。应暂缓该单元、缩小任务、补充批准或换来源；不要先自动化、后补理由。

三、把时效含义与各项时间分开

工作表区分 published_at、source_as_of_or_verified_at 和 observed_at，并记录市场业务时区和决策截止时间。需按字段定义时效依据：供应商的 as-of 时间或已经核验的库存快照可以说明数据是否仍然有效；只说明数值何时变化的时间戳，只能表示变化时间，含义不明的页面修改时间或刚执行的轮询也不能等同于数据是否仍然有效。必要依据未知时，时效应保持 UNKNOWN。

candidate_id,source_type,required_field,coverage_universe,freshness_basis,source_as_of_or_verified_at,observed_at,freshness_status
api-a,official_api,库存状态,"120 个已批准 SKU / 2 个国家",已核验库存快照,unknown,2026-10-13T09:00:00Z,UNKNOWN

上例中的 API 仍可能有用，但它无法满足需要核验时效的决策要求。供应商更新频率只有在适用于所选交付路径、字段和合同后，才可作为证据。

四、用一个明确的假设项目做选源

Northstar 是虚构示例。该分销商的运营负责人需要两国各 120 个已获授权 SKU 的库存异常报告，共 240 个 SKU—国家单元，并在所选市场的当地业务时区 10:00 前复核；本例英国采用 Europe/London，德国采用 Europe/Berlin。对连续五个工作日的小范围获准样本，每条被接受的路径都必须在当地 09:30 前产出经校验记录、保留含义明确的来源 as-of 或库存核验时间；以 10:00 决策时刻计算，该时间距今不得超过八小时，并记录决策负责人和来源引用。合同写有“每日更新”并不能单独证明它能在截止前交付。

最小可行混合方案为：220 个单元用 API，20 个已批准缺口用获准采集；并不是“全部采一遍当备份”。对账键是 sku + country + business_date，只有 API 单元当前仍合格时，API 才有优先级。时效依据未知、许可过期、schema 校验失败或样本错过截止，都会使该单元暂缓，而不是在批准范围外自动回退。

若业务决策或范围批准已失效：
    decision = "hold"
否则若 api_unit 针对本次决策通过全部八项门槛：
    source_of_truth = "official_api"
否则若该单元属于已批准采集缺口，且 collection_unit 通过全部八项门槛：
    source_of_truth = "authorized_collection"
否则：
    decision = "hold；不得推断库存状态"

以上通过或不通过的结果均为教学假设，没有实测供应商。五天样本可支持有限试点判断，不能证明长期稳定性。某个必需单元缺失时，应报告缺口并暂缓其决策，不能直接标成缺货，也不能悄悄缩小 240 个单元的分母。

五、下载并填写准入记录

可下载双语数据源选择工作表。其中没有实际结果和供应商推荐。每行对应一个“候选来源—字段—国家”单元，所有硬门槛状态初始均为 UNKNOWN；表内记录截止时间与时效依据、证据索引、来源优先级、对账、复核与停止条件。不要在其中填写凭据或个人数据。

1. 先填市场时区、截止时间、决策负责人、字段和覆盖分母。
2. 为权利、范围、schema、覆盖、溯源和质量附上当前证据索引。
3. 只运行小范围、已获准的样本，并分开填写时效依据与各项时间。
4. 逐行将 decision 填为 accept、hold 或 reject。只有八个状态列都为 PASS，且决策负责人、行动、截止时间、复核、来源优先级、对账和停止条件都完整时，才可 accept。通过后采用多个来源的计划，可在备注中标为 hybrid；该标签不能覆盖不通过的行。

六、让结论与证据匹配

七、把剩余数据缺口变成试用要求

获准监测流程的后续经济性，可参照价格监测成本模型。如果任务还取决于某地区实际展示的上下文，可使用区域网站 QA 测试矩阵控制语言与环境。SEC 的官方页面说明，同一提供方的交付路径也可能有不同的时效：其 API 随申报信息公布而更新，处理可能延迟；批量 ZIP 文件则约在每天美东时间 03:00 重新发布。这是 SEC 申报数据示例，不是库存或 IPHTML 基准。