nokmem

节点磁盘充足但是一直报磁盘不足无法创建 Pod。

Bug 影响

节点长期使用的时候提示剩余空间不足的错误，报错信息如下所示：

mkdir: cannot create directory '/sys/fs/cgroup/memory/8': No space left on device

节点磁盘充足但是一直报和这个错误, 并且创建 Pod 总是失败，这是一个潜在的“定时炸弹”。

所有使用低版本内核的环境以及 Kubernetes 1.21 之前的版本都会受到影响，在 runc 1.0.0-rc94 (opencontainers/runc#2840) 进行了修复(被直接移除)。

防范措施

• 升级系统内核
• Kubernetes 1.14 到 1.20
  • 重新构建 Kubelet 带上 -tags=nokmem
• Kubernetes 1.14 以下
  • 有关硬编码，请参考 nokmem.1.13.patch
• Kubernetes 1.21 及以上
  • 不受影响

KLTS 修复的版本

• /docs/kubernetes/releases/v1.20/v1.20.15-lts.1/ nokmem.1.20.patch
• /docs/kubernetes/releases/v1.19/v1.19.16-lts.1/ nokmem.1.20.patch
• v1.18.20-lts.1 nokmem.1.20.patch
• v1.17.17-lts.1 nokmem.1.20.patch
• v1.16.15-lts.1 nokmem.1.20.patch
• v1.15.12-lts.1 nokmem.1.20.patch
• v1.14.10-lts.1 nokmem.1.20.patch
• v1.13.12-lts.1 nokmem.1.13.patch
• v1.12.10-lts.1 nokmem.1.13.patch
• v1.11.10-lts.1 nokmem.1.13.patch
• v1.10.13-lts.1 nokmem.1.13.patch