Kubernetes で StatefulSet の Volume を resize する

Kubernetes で StatefulSet に volumeClaimTemplates を指定して Persistent Volume を使用している環境で volume のサイズを変更する方法。

素直に StatefulSet の manifest を変更して apply しようとすると次のように StatefulSet で更新可能なのは replicas, template, updateStragety だけだよとエラーになります。

Error: UPGRADE FAILED: cannot patch “{NAME}” with kind StatefulSet: StatefulSet.apps “{NAME}” is invalid: spec: Forbidden: updates to statefulset spec for fields other than ‘replicas’, ’template’, and ‘updateStrategy’ are forbidden

Persistent Volume のサイズ変更

Kubernetes 1.11 以降 (1.14 までは Pod の停止が必要) Persistent Volume (PV) のサイズは Persistent Volume Claim (PVC) の spec.resources.requests.storage を変更したら PV のサイズが更新されます。

StorageClass の対応

前提として PV, PVC で使用している StorageClass で allowVolumeExpansion が true になっている必要がある。

環境によってはデフォルトで有効になっている。

$ kubectl get storageclass
NAME                 PROVISIONER             RECLAIMPOLICY   VOLUMEBINDINGMODE      ALLOWVOLUMEEXPANSION   AGE
premium-rwo          pd.csi.storage.gke.io   Delete          WaitForFirstConsumer   true                   280d
standard (default)   kubernetes.io/gce-pd    Delete          Immediate              true                   280d
standard-rwo         pd.csi.storage.gke.io   Delete          WaitForFirstConsumer   true                   280d

古くから使用しているクラスタでは StorageClass に allowVolumeExpansion を追加する必要があるかもしれない。

Persistent Volume Claim の更新

Volume を resize する場合は PV ではなく PVC を編集すると、自動で Volume を拡張してくれる。縮小には対応しない。

この用途で PV を直接いじってはいけない。

kubectl patch コマンドで更新する場合は次のようにすることができる

kubectl patch pvc PVC_NAME -p '{"spec":{"resources":{"requests":{"storage":"100Gi"}}}}'

これで PV の size が拡張されます。

ファイルシステムの拡張

Block Device の場合、通常は File System の拡張も必要になります。

Kubernetes 1.24 からは Online File System Resizing が有効になっており、自動で File System も拡張されるようですが、それより古い Kubernetes では Pod の再作成が必要になります。

それまでの間 PVC の status の capacity は変更前のままで conditions に type が FileSystemResizePending というものが入っています。

status:
  accessModes:
  - ReadWriteOnce
  capacity:
    storage: 10Gi
  conditions:
  - lastProbeTime: null
    lastTransitionTime: "2022-10-18T09:34:06Z"
    message: Waiting for user to (re-)start a pod to finish file system resize of
      volume on node.
    status: "True"
    type: FileSystemResizePending
  phase: Bound

kubectl delete pod で Pod を消して再作成すれば File System が拡張されて PVC の状態も正常になります。

StatefulSet の volumeClaimTemplates の更新

StatefulSet から作成された PVC を変更してやれば、それぞれの volume のサイズを拡張することは可能ですが、その後 replicas を変更した場合には拡張前の size の volume が作られてしまいます。できれば StatefulSet の volumeClaimTemplates の値も更新したいところです。ですが、冒頭で述べたように volumeClaimTemplates の変更は拒否されてしまいます。

StatefulSet ですから当然まるっと削除して作り直したくはないわけです。

こんな時に使える技が kubectl delete の --cascade=orphan です。(昔は --cascade=false だったみたい)

次のように実行すると StatefulSet から作成された Pod は残したまま StatefulSet を削除してくれるので

kubectl delete sts STATEFULSET_NAME --cascade=orphan

この後に再度 StatefulSet の manifest を apply してやれば Pod や volume を削除せずに StatefulSet を更新することができます。

Persistent Volumes | Kubernetes をちゃんと読んでおこう。