Pod 反复因 OOMKilled 重启,说明容器中的进程被内核终止,但状态字段并不能单独证明发生了内存泄漏。短时并发、批处理、缓存预热可能使占用瞬间越界;持续增长的堆、缓存或原生内存也可能逐步逼近上限。可靠诊断需要把工作集趋势、限制值、cgroup 事件与节点内核日志按时间对齐,再用相近负载验证假设。📊
诊断原则:把工作集当作趋势指标,把 limit 当作容器边界,把 cgroup 和内核记录当作触发证据。指标口径、容器身份与时钟必须一致,才能避免把不同实例或不同时间的现象拼在一起。
Kubernetes 的容器内存限制通常映射为 cgroup 的内存上限。达到该边界时,内核可在相应内存控制组内触发 OOM 处理并终止进程,容器随后由运行时或控制器重启。常见监控中的工作集是估算口径,通常从使用量中排除一部分可回收缓存;它并非进程全部驻留内存,也不保证与内核触发 OOM 时的计量完全一致。不同采集器、cgroup 版本和统计窗口也会造成差异。🧩
至少并列观察工作集、容器内存使用量、memory limit、重启时间与 cgroup 内存事件。记录单位、采样周期和标签范围,并检查指标是否包含所有容器,特别是 sidecar。请求值主要影响调度决策,不能当作内存实际占用或容器上限;limit 才是本问题要核实的边界。🧭
对照多次重启前后的曲线,观察稳定基线、增长斜率、尖峰高度和持续时间。若平稳基线逐步上移,在相似负载下也持续增长,且没有回落或回收迹象,泄漏或未受控累积的可能性上升。若平时基线稳定,只有请求并发、定时任务、批量处理或缓存预热时出现短而可重复的尖峰,结束后回到原基线,更符合峰值压力。📉
这只是初步分类:缓存增长可能是有界且有益的,工作集采样也可能漏掉很短的峰值。需要结合应用堆、队列、缓存、原生分配器等内部指标,不能仅凭一条曲线给出泄漏结论。对会快速重启的容器,尤其要保留重启前的指标和日志,因为重启后进程现场已经改变。🕒
锁定实例和时间:记录 Pod、容器及重启时间,核对 last termination reason、退出码和启动时间。按容器身份关联指标,避免将旧实例、同名新实例或 sidecar 混为一谈。
比较指标与边界:在统一时间窗口绘制工作集、总使用量和 limit,标出重启、流量变化、批任务与发布事件。查看峰值是否触顶、触顶持续多久,以及基线是否逐周期抬升。📌
检查 cgroup 事件:在有权限的节点诊断环境中读取对应容器的内存事件计数和峰值记录。cgroup v1 与 v2 的文件、层级和字段不同,应按实际版本识别,不要假定固定路径。计数增加只能说明发生相应内存事件,需结合时间与容器身份解释。
核对内核日志:查找重启时段附近的 OOM 记录,确认被杀进程、所属控制组及节点内存状况。若日志指向该容器且 cgroup 事件同步增加,支持容器限制触发;若多个工作负载同时受影响,则还要调查节点级内存压力。🔧
验证假设:在受控环境以相近并发或任务复现峰值,观察结束后是否回落;若怀疑泄漏,则在负载近似的多个周期比较基线,并用语言运行时堆分析或原生内存剖析定位增长来源。分析工具本身会带来开销,应采用与风险相称的采样方式。
只看 OOMKilled 就认定泄漏:该状态说明容器被 OOM 机制终止,不能区分累积、峰值或节点压力。用趋势和内核记录补足证据。
把工作集当作精确上限读数:工作集是监控估算值,统计口径可能不含部分缓存;即使图线低于限制,也应核对总使用量、cgroup 事件与采集间隔。
一次尖峰后立即大幅提高 limit:更高限制可能把压力转移到节点,并影响其他负载。评估节点可用内存和并发模式后再小步调整;若基线持续爬升,应优先定位增长源。🪜
把 request 当作硬上限:request 用于调度和资源规划,不等于 limit,也不反映当下实际用量。应核对 Pod 配置与实际生效的容器限制。
修复或调整后,在代表性的流量和批任务下观察多个业务周期:目标容器的工作集基线应稳定,峰值应留在合理限制范围内,cgroup OOM 事件与重启计数不再增长;同时确认节点仍保有余量,其他工作负载没有因资源挤压出现异常。若只提高限制后曲线仍逐步上升,或只因短时间未重启就宣告完成,证据都不足。验收记录应包括负载条件、观察窗口、指标口径、日志结论及资源变更。📍
结论:以工作集识别累积与尖峰,以 limit 判断容器边界,以 cgroup 事件和内核日志确认 OOM 发生位置,再通过重复负载验证处置。这样才能把资源容量问题与应用内存增长问题分开处理。🔐