生产工作流使用代理时,一旦无法交付可用结果,先要保护业务决策:谁有权变更、哪些任务必须暂停、满足什么条件才能恢复。本文面向协调应用、网络和业务团队的事故负责人;请在事故发生前按自己的服务和授权范围设定门槛。

1. 宣布事故并明确指挥权

按事先约定的业务触发条件宣布事故,例如关键报表错过交付窗口。记录受影响的工作流、目标组、地区、时间范围和最后一次已知正常的观察。证据不足时将原因标为未知;代理报错本身不能证明责任归属。

指定事故指挥人负责优先级和交接,操作负责人授权并执行变更,沟通负责人定期同步。小团队可以一人兼任,但每个职责的当前负责人都要写清。使用一份共享事故记录,约定下一次更新时间。Google 的事故响应指南介绍了角色划分和持续记录的价值。

2. 先控制受影响任务,再考虑改路由

观察到的情况立即决策恢复前确认
目标返回 403、429 或访问挑战停止受影响请求;不要轮换身份以规避限制。协调目标范围内的暂停及适用的 Retry-After。确认访问获准,暂停期限和适用限制均已核实。
407 或认证状态未知停止受影响路由,由负责人安全检查配置。已核实凭据和授权,且未将其暴露在事故记录中。
影响范围或原因未知暂停非必要变更并保留脱敏观察;未受影响任务继续遵守既有限制。指挥人已指定负责人和有边界的下一步。
备用路径未经批准或安全性未知保持受影响任务暂停,不做大范围切换。明确批准的替代路径满足访问、数据和业务状态约束。

可保留状态码与时间窗口,但不要在共享记录中粘贴凭据、Cookie、客户原始数据或敏感网址。需要耗时证据时可参考curl 分段计时;计时本身不能判定事故责任。

3. 每次只推进一个受控变更

操作负责人在执行前记录变更内容、影响范围、原因、批准人、预期观察、停止条件和安全回退步骤。只记录旧配置的非敏感引用,不复制配置内容。暂停无关发布;紧急安全操作来不及等待时,立即补记并通知指挥人。协调依赖团队的变更,避免多名响应人员在不知情时同时修改同一路径。

只有确认回退状态和业务后果、并获得授权时才能回退;旧配置并不天然安全。记录实际结果和时间,再决定下一步。交接须由接手人明确确认,并了解正在执行的变更及限制。

4. 带停止条件分阶段恢复

暂停:明确受影响范围,确认访问授权、目标范围的暂停、速率与并发限制、操作负责人和已批准的测试计划。授权未知或限制仍生效时继续暂停。

小流量验证:在限制内执行少量明确获准、具有代表性的任务。核验实际业务结果、目标上下文和副作用,而不只看 HTTP 状态。假设某只读工作流选择两个不同任务依次验证,这只是演练示例,并非通用通过阈值,也不能证明长期稳定。出现访问拒绝、结果无效或意外副作用时立即停止。

逐步恢复:每次小幅增加前,负责人先记录观察窗口和通过标准。新任务与积压释放共同遵守适用的共享限制。症状重现或限制不明确时暂停并重新判断,不自动切换路由或扩大重放。可用可靠性评分卡定义任务结果,用可用容量指南另行规划受控容量测试。

5. 分类积压任务,再决定是否释放

盘点受影响的任务 ID、业务截止时间、最后已知状态和负责人。每个任务只归入一种当前处置,优先级如下:凡副作用或之前是否完成不确定,都先暂停并核对,即使任务已过期或疑似重复。核对后再按结果归为过期/重复或符合释放条件。过期决定是否重放,不免除核查既有副作用的责任;过期也要保留记录。AWS 的积压队列指南解释了排队任务可能失效,以及恢复积压需要专门设计。

任务状态处置释放条件
已核对,且过期或确认重复标记过期或重复,保留证据并通知业务负责人。不要自动重放。
副作用或之前是否完成不确定暂停,与权威业务系统核对。负责人确认安全且仍有业务价值后才可释放。
仍有价值、获准且已核对按约定的业务优先级和截止时间,准备有界释放。每批重新核对限制、依赖、新鲜度和事故停止条件。

仅作演练:假设有 100 个积压任务,其中 30 个已核对且过期、10 个副作用不确定、60 个已核对且可能符合释放条件。假设三组互不重叠;如有不确定状态,优先暂停核对,不能直接归为过期。这 60 个仍须逐项通过上述检查,不能自动重放。事先约定为新任务保留多少共享容量;如果访问限制重现、新任务错过业务期限、出现重复副作用或结果无效,就停止释放。用重试预算指南重新确认重试负责人和共享预算;积压不是无限重试的理由。

6. 交接、关闭并演练

关闭前,指挥人记录哪些工作流在什么观察窗口内已恢复、尚未解决的影响、积压数量和暂停任务的后续负责人。核对台账总数,并让相关方知道下一次更新时间;单次成功响应不足以证明全面恢复。根因尚不明确时保留“未知”,把后续行动和日期与恢复服务的决定分别记录。

使用双语脱敏事故记录与演练模板,在真实事故前练习交接、一次变更和积压处置。共享副本不要包含秘密或个人数据。

如果工作流需要获准使用的轮换代理路径,可以查看轮换代理并联系团队说明需求与限制。生产改路由前应确认适用性和访问授权。