滚动更新、缩容或节点维护期间,Pod 已开始终止,应用仍记录到新请求。单看 Pod 的 Terminating 状态,无法判断请求是何时进入集群、由哪一层转发,也无法断定 preStop 是否生效。可靠诊断要把端点变化、转发层摘流、容器生命周期和应用监听器放在同一条时间线上,并明确区分新建连接与已建立连接上的新请求。
本文适用于使用 Kubernetes 工作负载并经由集群代理、入口代理或外部负载均衡器转发流量的下线排查。各代理的健康检查与摘除语义存在差异,应以实际链路和配置为准,不要把一种实现的时延假定为另一种实现的保证。🧭
判断原则:一次“终止后仍有请求”并不能单独证明负载均衡器没有摘除后端。先确定请求到达的层级、连接是否复用,以及观测时钟是否一致,再定位具体竞态。
Pod 被删除后,控制面更新端点相关状态,同时容器进入终止流程。配置了 preStop 时,容器运行时会先执行钩子;钩子结束后,才向容器主进程发送 SIGTERM。应用收到信号后如何停止接收新请求、等待在途请求、关闭连接并退出,取决于应用实现。钩子、端点传播和不同代理更新不是一个原子操作,不能把钩子启动理解为所有流量入口已经摘流。⏱️
终止宽限期覆盖整个终止过程,preStop 的执行时间也占用其中一部分。若应用未在宽限期内结束,运行时可能强制终止进程。因此需要按时间预算安排钩子、转发层摘除等待、请求排空和应用退出,并检查实际 Pod 配置中的 terminationGracePeriodSeconds 与应用自身的关闭超时是否匹配。
即使后端已不再被选为新连接目标,持久连接、HTTP/2 多路复用、长连接或代理重试也可能让请求继续抵达应用。要判读现象,必须记录连接标识和请求标识;只统计连接建立次数会漏掉复用连接上的新请求。🔗
建议为下线测试建立统一时间基准,记录 Pod UID、请求 ID、入口转发时间、应用接收时间、preStop 开始和结束、SIGTERM 收到、监听器停止接收、在途请求归零及进程退出时间。日志字段应使用虚构或脱敏标识,不要把凭据或真实客户数据带入测试记录。📋
若端点已移除但应用仍收到请求,优先核对其他入口、代理缓存、已有连接和重试;若应用先退出而转发日志显示请求仍被送往该 Pod,则检查应用关闭顺序、排空窗口和转发层摘除进度。单个指标无法独立证明整个链路的状态。🔍
不要用固定等待时间替代观测。若 preStop 采用等待逻辑,应验证其执行结果和总耗时,并确认留给 SIGTERM 后排空与退出的时间仍在宽限期预算内。📈
容易混淆的信号:看到 preStop 日志不代表它成功完成;Pod 显示不就绪不代表每个代理已同步更新;后端列表已变化也不代表所有已有连接都已关闭。应以同一请求 ID 的端到端记录和各层状态日志验证因果顺序。🛡️
单次测试没有观察到请求,可能是流量稀疏、测试持续时间太短或采样不完整。只延长宽限期可能掩盖关闭逻辑问题,固定 sleep 太短则会留下竞态,太长又可能挤占在途请求排空时间。避免以强制删除代替正常下线验证;它改变了待验证的终止路径,也可能让结果失去代表性。
先由服务方明确允许的新请求摘流窗口、在途请求完成或失败策略,以及终止宽限期预算。验收至少应满足:超出约定窗口后没有新请求抵达该 Pod;窗口内的请求符合既定策略;应用在宽限期内退出;端点、转发层和应用日志能够相互印证。对无法消除的已有连接行为,应说明其边界并记录观测证据,而非笼统判为摘流失败。
将请求标识、关键时间点、指标判读和配置预算保存为回归基线。应用关闭逻辑、代理配置、运行时或集群网络路径变化后,重复相同的测试矩阵。最终结论应指出竞态发生在哪两层之间、持续多久、如何观测,以及改动后如何复验。🚦