Docker Swarm mode を知る (setup)
Docker
Swarm
目次
時代は Kubernetes ですが、Docker Swarm mode を再調査していみます。 Swarm mode については 1.12 での登場時に調査した（ Docker 1.12 の衝撃 [slideshare]）際にまだちょっと使うには早いなということで見送ってそれ以降ほとんど調査していませんでした。
サーバーの準備 #
DigitalOcean で Docker インストール済みの Ubuntu を3台用意します。
for i in $(seq 3); do
doctl compute droplet create swarm${i} \
--image docker-16-04 \
--region sgp1 \
--size s-2vcpu-4gb \
--ssh-keys 16797382 \
--enable-private-networking \
--enable-monitoring \
--user-data-file userdata.sh
done
root@swarm1:~# ufw status verbose
Status: active
Logging: on (low)
Default: deny (incoming), allow (outgoing), allow (routed)
New profiles: skip
To Action From
-- ------ ----
22 LIMIT IN Anywhere
2375/tcp ALLOW IN Anywhere
2376/tcp ALLOW IN Anywhere
22 (v6) LIMIT IN Anywhere (v6)
2375/tcp (v6) ALLOW IN Anywhere (v6)
2376/tcp (v6) ALLOW IN Anywhere (v6)
クラスタ管理用の通信で 2377/tcp を、ノード間通信で 7946/tcp, 7946/udp を、オーバーレイ・ネットワークで 4789/udp が使われるため ufw で firewall 設定を行います。 今回使ったイメージでは 2375/tcp, 2376/tcp が全開になっている（でも TCP の docker socket は使わないから開いてても大丈夫かな）のでこれを閉じて、上記のポートを eth1 でだけ開けます(DigitalOcean の eth1 は Private Network ですが、自分のアカウントに閉じられたネットワークではないため注意が必要）。
ufw delete allow 2375/tcp
ufw delete allow 2376/tcp
ufw allow in on eth1 from any port 2375 proto tcp
ufw allow in on eth1 from any port 2376 proto tcp
ufw allow in on eth1 from any port 2377 proto tcp
ufw allow in on eth1 from any port 7946 proto tcp
ufw allow in on eth1 from any port 7946 proto udp
ufw allow in on eth1 from any port 4789 proto udp
overlay network 作成時に --opt encrypte をつけて通信の暗号化を有効にした場合は追加で ESP プロトコルも通るようにする必要があります。
ufw allow from any proto esp
（doctl compute ssh NAME で便利に ssh できるはずなんだけど Windows では winpty が必要でこれが ANSI エスケープシーケンスの扱いが良くなくて使いものにならないのが残念だ）
Swarm クラスタの作成 #
まず、docker swarm init コマンドで初期化します eth1 だけを listen するように次のようにしました
docker swarm init \
--advertise-addr $(ip a s eth1 | grep 'inet ' | awk '{print $2}' | sed 's/\/.*//') \
--listen-addr $(ip a s eth1 | grep 'inet ' | awk '{print $2}' | sed 's/\/.*//')
root@swarm1:~# docker swarm init \
> --advertise-addr $(ip a s eth1 | grep 'inet ' | awk '{print $2}' | sed 's/\/.*//') \
> --listen-addr $(ip a s eth1 | grep 'inet ' | awk '{print $2}' | sed 's/\/.*//')
Swarm initialized: current node (asqtfpeef1ur58dijnnykuwuk) is now a manager.
To add a worker to this swarm, run the following command:
docker swarm join --token SWMTKN-1-49x7ir3ihge066dretzivcu2gmdbwtys7v6h1yvybx784e5g5v-734ruykh451rsguxdjfhonuxn 10.130.27.207:2377
To add a manager to this swarm, run 'docker swarm join-token manager' and follow the instructions.
root@swarm1:~#
swarm init のオプション一覧は次のようになっています
Usage: docker swarm init [OPTIONS]
Initialize a swarm
Options:
--advertise-addr string Advertised address (format: [:port])
--autolock Enable manager autolocking (requiring an unlock key
to start a stopped manager)
--availability string Availability of the node ("active"|"pause"|"drain")
(default "active")
--cert-expiry duration Validity period for node certificates
(ns|us|ms|s|m|h) (default 2160h0m0s)
--data-path-addr string Address or interface to use for data path traffic
(format: )
--dispatcher-heartbeat duration Dispatcher heartbeat period (ns|us|ms|s|m|h) (default 5s)
--external-ca external-ca Specifications of one or more certificate signing
endpoints
--force-new-cluster Force create a new cluster from current state
--listen-addr node-addr Listen address (format: [:port])
(default 0.0.0.0:2377)
--max-snapshots uint Number of additional Raft snapshots to retain
--snapshot-interval uint Number of log entries between Raft snapshots (default
10000)
--task-history-limit int Task history retention limit (default 5)
--cert-expiry のデフォルト 2160h0m0s は90日
worker node の join #
docker swarm init で出力されたコマンドを使って worker node として swarm クラスタに参加させられます。init の時と同じように --advertise-addr, --listen-addr
root@swarm2:~# docker swarm join \
> --token SWMTKN-1-4h3mm7ekejoqq9vg4axaba8rdu3cisgck84feon7mqmh3kmf2a-3rus2x8h6p3rvti4r27by5wbt \
> --advertise-addr $(ip a s eth1 | grep 'inet ' | awk '{print $2}' | sed 's/\/.*//') \
> --listen-addr $(ip a s eth1 | grep 'inet ' | awk '{print $2}' | sed 's/\/.*//') \
> 10.130.71.24:2377
This node joined a swarm as a worker.
root@swarm2:~#
root@swarm1:~# docker node ls
ID HOSTNAME STATUS AVAILABILITY MANAGER STATUS
bj8muio9ov1wkkxg7ts1lqozc * swarm1 Ready Active Leader
vywjboq8e8pk1buntrulod9fu swarm2 Ready Active
r55jic8bg1giuljuv9901lic1 swarm3 Ready Active
root@swarm1:~#
root@swarm1:~# docker info | grep -A 5 ^Swarm
Swarm: active
NodeID: bj8muio9ov1wkkxg7ts1lqozc
Is Manager: true
ClusterID: udczyrb1xk8pvmehncli8y5o7
Managers: 1
Nodes: 3
root@swarm1:~#
manager ノードを増やすには docker node promote NODE-ANME とします
root@swarm1:~# docker node promote swarm2 swarm3
Node swarm2 promoted to a manager in the swarm.
Node swarm3 promoted to a manager in the swarm.
root@swarm1:~#
root@swarm1:~# docker node ls
ID HOSTNAME STATUS AVAILABILITY MANAGER STATUS
bj8muio9ov1wkkxg7ts1lqozc * swarm1 Ready Active Leader
vywjboq8e8pk1buntrulod9fu swarm2 Ready Active Reachable
r55jic8bg1giuljuv9901lic1 swarm3 Ready Active Reachable
root@swarm1:~#
MANAGER STATUS が Reachable に変わりました
root@swarm1:~# docker info | grep -A 5 ^Swarm
Swarm: active
NodeID: bj8muio9ov1wkkxg7ts1lqozc
Is Manager: true
ClusterID: udczyrb1xk8pvmehncli8y5o7
Managers: 3
Nodes: 3
root@swarm1:~#
Managers が 3 に増えました node を増やすための token は忘れても docker swarm join-token {worker|manager} コマンドで確認することができます
Service の作成 #
Usage: docker service create [OPTIONS] IMAGE [COMMAND] [ARG...]
Create a new service
Options:
--config config Specify configurations to expose to the service
--constraint list Placement constraints
--container-label list Container labels
--credential-spec credential-spec Credential spec for managed service account
(Windows only)
-d, --detach Exit immediately instead of waiting for the
service to converge
--dns list Set custom DNS servers
--dns-option list Set DNS options
--dns-search list Set custom DNS search domains
--endpoint-mode string Endpoint mode (vip or dnsrr) (default "vip")
--entrypoint command Overwrite the default ENTRYPOINT of the image
-e, --env list Set environment variables
--env-file list Read in a file of environment variables
--generic-resource list User defined resources
--group list Set one or more supplementary user groups for the
container
--health-cmd string Command to run to check health
--health-interval duration Time between running the check (ms|s|m|h)
--health-retries int Consecutive failures needed to report unhealthy
--health-start-period duration Start period for the container to initialize
before counting retries towards unstable (ms|s|m|h)
--health-timeout duration Maximum time to allow one check to run (ms|s|m|h)
--host list Set one or more custom host-to-IP mappings (host:ip)
--hostname string Container hostname
--isolation string Service container isolation mode
-l, --label list Service labels
--limit-cpu decimal Limit CPUs
--limit-memory bytes Limit Memory
--log-driver string Logging driver for service
--log-opt list Logging driver options
--mode string Service mode (replicated or global) (default
"replicated")
--mount mount Attach a filesystem mount to the service
--name string Service name
--network network Network attachments
--no-healthcheck Disable any container-specified HEALTHCHECK
--no-resolve-image Do not query the registry to resolve image digest
and supported platforms
--placement-pref pref Add a placement preference
-p, --publish port Publish a port as a node port
-q, --quiet Suppress progress output
--read-only Mount the container's root filesystem as read only
--replicas uint Number of tasks
--reserve-cpu decimal Reserve CPUs
--reserve-memory bytes Reserve Memory
--restart-condition string Restart when condition is met
("none"|"on-failure"|"any") (default "any")
--restart-delay duration Delay between restart attempts (ns|us|ms|s|m|h)
(default 5s)
--restart-max-attempts uint Maximum number of restarts before giving up
--restart-window duration Window used to evaluate the restart policy
(ns|us|ms|s|m|h)
--rollback-delay duration Delay between task rollbacks (ns|us|ms|s|m|h)
(default 0s)
--rollback-failure-action string Action on rollback failure ("pause"|"continue")
(default "pause")
--rollback-max-failure-ratio float Failure rate to tolerate during a rollback (default 0)
--rollback-monitor duration Duration after each task rollback to monitor for
failure (ns|us|ms|s|m|h) (default 5s)
--rollback-order string Rollback order ("start-first"|"stop-first")
(default "stop-first")
--rollback-parallelism uint Maximum number of tasks rolled back simultaneously
(0 to roll back all at once) (default 1)
--secret secret Specify secrets to expose to the service
--stop-grace-period duration Time to wait before force killing a container
(ns|us|ms|s|m|h) (default 10s)
--stop-signal string Signal to stop the container
-t, --tty Allocate a pseudo-TTY
--update-delay duration Delay between updates (ns|us|ms|s|m|h) (default 0s)
--update-failure-action string Action on update failure
("pause"|"continue"|"rollback") (default "pause")
--update-max-failure-ratio float Failure rate to tolerate during an update (default 0)
--update-monitor duration Duration after each task update to monitor for
failure (ns|us|ms|s|m|h) (default 5s)
--update-order string Update order ("start-first"|"stop-first") (default
"stop-first")
--update-parallelism uint Maximum number of tasks updated simultaneously (0
to update all at once) (default 1)
-u, --user string Username or UID (format: [:])
--with-registry-auth Send registry authentication details to swarm agents
-w, --workdir string Working directory inside the container
alpine イメージで ping を実行する helloworld というサービスを作ります。実行するコンテナ数は1個。
root@swarm1:~# docker service create --replicas 1 --name helloworld alpine ping docker.com
nti2sn57ise7179iewt15bvkz
overall progress: 1 out of 1 tasks
1/1: running
verify: Service converged
root@swarm1:~#
サービスの確認
root@swarm1:~# docker service ls
ID NAME MODE REPLICAS IMAGE PORTS
nti2sn57ise7 helloworld replicated 1/1 alpine:latest
root@swarm1:~#
サービスのコンテナ（タスクと呼ぶらしい）を確認
root@swarm1:~# docker service ps helloworld
ID NAME IMAGE NODE DESIRED STATE CURRENT STATE ERROR PORTS
u2vgsm3uuu2i helloworld.1 alpine:latest swarm1 Running Running about a minute ago
root@swarm1:~#
docker ps ではその node で実行されているコンテナだけが確認できます
root@swarm1:~# docker ps
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
02ad80ae8ec8 alpine:latest "ping docker.com" 2 minutes ago Up 2 minutes helloworld.1.u2vgsm3uuu2i1f4f70y3f3yhe
root@swarm1:~#
service inspect は --pretty をつけると見やすい！！
root@swarm1:~# docker service inspect --pretty helloworld
ID: nti2sn57ise7179iewt15bvkz
Name: helloworld
Service Mode: Replicated
Replicas: 1
Placement:
UpdateConfig:
Parallelism: 1
On failure: pause
Monitoring Period: 5s
Max failure ratio: 0
Update order: stop-first
RollbackConfig:
Parallelism: 1
On failure: pause
Monitoring Period: 5s
Max failure ratio: 0
Rollback order: stop-first
ContainerSpec:
Image: alpine:latest@sha256:7b848083f93822dd21b0a2f14a110bd99f6efb4b838d499df6d04a49d0debf8b
Args: ping docker.com
Resources:
Endpoint Mode: vip
root@swarm1:~#
Scale の変更 #
サービスで実行するコンテナ数を増減させられます
root@swarm1:~# docker service scale helloworld=5
helloworld scaled to 5
overall progress: 5 out of 5 tasks
1/5: running
2/5: running
3/5: running
4/5: running
5/5: running
verify: Service converged
root@swarm1:~#
5つのコンテナに増えました
root@swarm1:~# docker service ps helloworld
ID NAME IMAGE NODE DESIRED STATE CURRENT STATE ERROR PORTS
u2vgsm3uuu2i helloworld.1 alpine:latest swarm1 Running Running 8 minutes ago
udthnceo672p helloworld.2 alpine:latest swarm3 Running Running about a minute ago
to5h2akq19tl helloworld.3 alpine:latest swarm1 Running Running 59 seconds ago
jtnr25puybdb helloworld.4 alpine:latest swarm2 Running Running about a minute ago
y8561et8m5e1 helloworld.5 alpine:latest swarm3 Running Running 59 seconds ago
root@swarm1:~#
docker ps ではその node で実行されているコンテナだけが確認できます
root@swarm1:~# docker ps
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
7f828e94f492 alpine:latest "ping docker.com" About a minute ago Up About a minute helloworld.3.to5h2akq19tliyshxwe7enzyc
02ad80ae8ec8 alpine:latest "ping docker.com" 9 minutes ago Up 9 minutes helloworld.1.u2vgsm3uuu2i1f4f70y3f3yhe
root@swarm1:~#
Service の削除 #
root@swarm1:~# docker service rm helloworld
helloworld
root@swarm1:~#
service はすぐに削除して見えなくなるが container は cleanup されるまで数秒残るため docker ps ではしばらく見えます
Rolling update #
Rolling update の確認用に 3 コンテナの redis サービスを作成します。--update-delay で更新と更新の間の待ち時間を指定します。
root@swarm1:~# docker service create \
> --replicas 3 \
> --name redis \
> --update-delay 10s \
> redis:3.0.6
d97voxnq0jt74a7hlb1749ytt
overall progress: 3 out of 3 tasks
1/3: running
2/3: running
3/3: running
verify: Service converged
root@swarm1:~#
root@swarm1:~# docker service ls
ID NAME MODE REPLICAS IMAGE PORTS
d97voxnq0jt7 redis replicated 3/3 redis:3.0.6
root@swarm1:~# docker service ps redis
ID NAME IMAGE NODE DESIRED STATE CURRENT STATE ERROR PORTS
po89kjashmcm redis.1 redis:3.0.6 swarm2 Running Running 29 seconds ago
dg8cu0lz71t7 redis.2 redis:3.0.6 swarm3 Running Running 29 seconds ago
sbs7yrrr3ct2 redis.3 redis:3.0.6 swarm1 Running Running 26 seconds ago
root@swarm1:~#
デフォルトでは1コンテナずつ更新するが --update-parallelism でいくつ同時に更新するかを指定可能。
root@swarm1:~# docker service inspect --pretty redis
ID: d97voxnq0jt74a7hlb1749ytt
Name: redis
Service Mode: Replicated
Replicas: 3
Placement:
UpdateConfig:
Parallelism: 1
Delay: 10s
On failure: pause
Monitoring Period: 5s
Max failure ratio: 0
Update order: stop-first
RollbackConfig:
Parallelism: 1
On failure: pause
Monitoring Period: 5s
Max failure ratio: 0
Rollback order: stop-first
ContainerSpec:
Image: redis:3.0.6@sha256:6a692a76c2081888b589e26e6ec835743119fe453d67ecf03df7de5b73d69842
Resources:
Endpoint Mode: vip
root@swarm1:~#
On failure が pause なので更新に失敗すると更新を中断(pause)します。 Update order, Rollback order が stop-first なのでまず、現在のコンテナを停止して新しいものを起動させます。 中断してしまった更新は docker service update CONTAINER-ID で再開できます。上記の redis サービスでは docker service update redis とします。
root@swarm1:~# docker service update --image redis:3.0.7 redis
redis
overall progress: 3 out of 3 tasks
1/3: running
2/3: running
3/3: running
verify: Service converged
root@swarm1:~#
root@swarm1:~# docker service ps redis
ID NAME IMAGE NODE DESIRED STATE CURRENT STATE ERROR PORTS
tak46phep0nr redis.1 redis:3.0.7 swarm2 Running Running 45 seconds ago
po89kjashmcm \_ redis.1 redis:3.0.6 swarm2 Shutdown Shutdown 52 seconds ago
i510owz0oag8 redis.2 redis:3.0.7 swarm3 Running Running about a minute ago
dg8cu0lz71t7 \_ redis.2 redis:3.0.6 swarm3 Shutdown Shutdown about a minute ago
trnsqcuxgrt9 redis.3 redis:3.0.7 swarm1 Running Running 24 seconds ago
sbs7yrrr3ct2 \_ redis.3 redis:3.0.6 swarm1 Shutdown Shutdown 33 seconds ago
root@swarm1:~#
Drain node #
node をクラスタから外す際には docker node update で --availability drain とします。サービスで実行中のコンテナ（タスク）は他の node に移動してくれます。
Usage: docker node update [OPTIONS] NODE
Update a node
Options:
--availability string Availability of the node ("active"|"pause"|"drain")
--label-add list Add or update a node label (key=value)
--label-rm list Remove a node label if exists
--role string Role of the node ("worker"|"manager")
root@swarm1:~# docker node update --availability drain swarm2
swarm2
root@swarm1:~# docker node inspect --pretty swarm2 | head
ID: 7h2d9guflr988w7r6eanuml1l
Hostname: swarm2
Joined at: 2018-03-12 14:11:26.07479248 +0000 utc
Status:
State: Ready
Availability: Drain
Address: 10.130.39.87
Platform:
Operating System: linux
Architecture: x86_64
root@swarm1:~#
再度 docker node update で --availability active にすれば再度タスクが割り当てられるようになります。が、既に他の node で実行中のコンテナが移動されるわけではなく、scale コマンドや service update による更新、他の node を drain にしたり他の node 障害が発生した場合にタスクが移ってきます。
Routing mesh #
サービス作成時に --publish (-p) オプションを指定すると、全 node の published port へアクセスするとコンテナにルーティングしてくれるようになります。
$ docker service create \
--name my-web \
--publish published=8080,target=80 \
--replicas 2 \
nginx
--publish published=8080,target=80 は -p 8080:80 でも ok 上記のコマンドではどの node の port 8080 にアクセスしても my-web コンテナの port 80 に転送してくれます。複数のコンテナに順に振り分けてくれます（ロードバランス）。アクセスした node 上で当該コンテナが起動してるかどうかに関係なく他の node であっても転送されます。 udp の場合は --publish published=53,target=53,protocol=udp (-p 53:53/udp) のように指定します。 --publish (-p) は複数指定可能なので複数ポート使うことができます。 mesh routing が不要な場合は --publish published=53,target=53,protocol=udp,mode=host のように mode=host を追加します。ただし、この場合はその node でポートがかぶらないように調整が必要となるため注意が必要です。このため通常は --mode global で各 node でひとつずつ実行するタイプのサービスで使用することになると思われます。
次回 #
次はもっと実践的なサービスを構築してみようかと思います。