让部分进度清晰可见
为每个重要步骤保存待处理、执行中、成功或失败等状态,并记录有用的错误信息和关联 ID。这有助于区分暂时中断与操作已完成但响应丢失的情况。
重试前先判断步骤是否具备幂等性。如果步骤会发送消息、扣款或创建资源,应使用稳定的幂等键或先检查现有结果,避免重复产生影响。
从明确的检查点恢复
持久化从失败步骤重新启动所需的数据,并验证之前的输出仍然有效。如果上游数据已变化,应有意重新运行依赖步骤,而不是混用不同版本的结果。
针对临时错误设置有间隔且次数有限的重试;对永久失败或重试耗尽的情况,转交可执行的人工审查队列。告警中注明受影响的运行和恢复操作,不要用整体成功状态掩盖失败。