Docker Swarm集群管理与部署指南

一、前言

Swarm 是 Docker 公司推出的用来管理 docker 集群的平台，几乎全部用 GO 语言来完成的开发的，代码开源在
https://github.com/docker/swarm
Docker Swarm 和 Docker Compose 一样，都是 Docker 官方容器编排项目，但不同的是，Docker Compose 是一个在单个服务器或主机上创建多个容器的工具，而 Docker Swarm 则可以在多个服务器或主机上创建容器集群服务，对于微服务的部署，显然 Docker Swarm 会更加适合。从 Docker 1.12.0 版本开始，Docker Swarm 已经包含在 Docker 引擎中（docker swarm），并且已经内置了服务发现工具，我们就不需要像之前一样，再配置 Etcd 或者 Consul 来进行服务发现配置了。

上图可以看出，Swarm 是典型的 master-slave 结构，通过发现服务来选举 manager。manager 是中心管理节点，各个 node 上运行 agent 接受 manager 的统一管理，集群会自动通过 Raft 协议分布式选举出 manager 节点，无需额外的发现服务支持，避免了单点的瓶颈问题，同时也内置了 DNS 的负载均衡和对外部负载均衡机制的集成支持。

二、Docker Swarm 工作原理

1、Docker Engine client

• docker service create：我们通过 docker service create 这个命令去创建一个服务。

2、swarm manager

• API：这个请求直接由Swarm manager的API进行接收，接收命令并创建服务对象。
• orchestrator：为服务创建一个任务。
• allocater：为这个任务分配IP地址。
• dispatcher：将任务分配到指定的节点。
• scheduler：再该节点中下发指定命令。

3、worker node：接收manager任务后去运行这个任务

• container：创建相应的容器。
• worker：连接到调度程序以检查分配的任务
• executor：执行分配给工作节点的任务

Service：为一个副本，可以理解为是一个任务，一个任务是一个容器。
swarm manager：它将这个副本下发到三个可用的work节点。
container：实际的docker容器去运行应用。
task：work任务的名称为service名称后面跟.1根据个数以此类推。

三、Swarm 重要概念

• Swarm：集群的管理和编排是使用嵌入docker引擎的SwarmKit，可以在docker初始化时启动swarm模式或者加入已存在的swarm
• Node：每一个docker engin都是一个node（节点），分为 manager 和worker。Manager节点还执行维护所需群集状态所需的编排和集群管理功能。Work节点接收并执行从管理器节点分派的任务。
• Service：一个服务是任务的定义，管理机或工作节点上执行。它是群体系统的中心结构，是用户与群体交互的主要根源。创建服务时，你需要指定要使用的容器镜像。
• Task：任务是在docekr容器中执行的命令，Manager节点根据指定数量的任务副本分配任务给worker节点。一个任务包含了一个容器及其运行的命令。task是service的执行实体，task启动docker容器并在容器中执行任务。

Swarm 命令行说明

1. docker swarm：集群管理
   集群管理，子命令有init, join, leave, update。（docker swarm --help查看帮助）
   执行集群的管理功能，维护集群的状态，选举一个leader节点去执行调度任务。

init          #初始化集群
join          #将节点加入集群
join-token    #管理加入令牌
leave         #从集群中删除某个节点，强制删除加参数--force 
update        #更新集群
unlock        #解锁集群

2. docker node：节点管理
   节点管理，子命令有accept, promote, demote, inspect, update, tasks, ls, rm。（docker node --help查看帮助）
   接收和执行任务。参与容器集群负载调度，仅用于承载task。

demote      #将集群中一个或多个节点降级
inspect     #显示一个或多个节点的详细信息
ls          #列出集群中的节点
promote     #将一个或多个节点提升为管理节点
rm          #从集群中删除停止的节点，--force强制删除参数
ps          #列出一个或多个节点上运行的任务
update      #更新节点

3. docker service：服务管理
   服务创建，子命令有create, inspect, update, remove, tasks。（docker service–help查看帮助）
   一个服务是work节点上执行任务的定义。创建一个服务，指定了容器所使用的镜像和容器运行的命令。

create      #创建一个新的服务
inspect     #列出一个或多个服务的详细信息
ps          #列出一个或多个服务中的任务信息
ls          #列出服务
rm          #删除一个或多个服务
scale       #扩展一个或多个服务
update      #更新服务

四、Swarm 的调度策略

Swarm在调度(scheduler)节点（leader节点）运行容器的时候，会根据指定的策略来计算最适合运行容器的节点，目前支持的策略有：spread, binpack, random.

1. Random
   顾名思义，就是随机选择一个 Node 来运行容器，一般用作调试用，spread 和 binpack 策略会根据各个节点的可用的 CPU, RAM 以及正在运行的容器的数量来计算应该运行容器的节点。

2. Spread
   在同等条件下，Spread 策略会选择运行容器最少的那台节点来运行新的容器，binpack策略会选择运行容器最集中的那台机器来运行新的节点。使用 Spread 策略会使得容器会均衡的分布在集群中的各个节点上运行，一旦一个节点挂掉了只会损失少部分的容器。

3. Binpack
   Binpack策略最大化的避免容器碎片化，就是说 binpack 策略尽可能的把还未使用的节点留给需要更大空间的容器运行，尽可能的把容器运行在一个节点上面。

五、Swarm Cluster 模式特性

• 批量创建服务：建立容器之前先创建一个 overlay 的网络，用来保证在不同主机上的容器网络互通的网络模式
• 强大的集群的容错性：Swarm Cluster 不光只是提供了优秀的高可用性，同时也提供了节点弹性扩展或缩减的功能。当容器组想动态扩展时，只需通过 scale 参数即可复制出新的副本出来。如果有需求想在每台节点上都 run 一个相同的副本，方法其实很简单，只需要在命令中将 “–replicas n” 更换成 “–mode=global” 即可！
• 复制服务（–replicas n）：将一系列复制任务分发至各节点当中，具体取决于您所需要的设置状态，例如 “–replicas 3”。
• 全局服务（–mode=global）：适用于集群内全部可用节点上的服务任务，例如“–mode global”。如果大家在 Swarm 集群中设有 7 台 Docker 节点，则全部节点之上都将存在对应容器。
• 调度机制：所谓的调度其主要功能是cluster的server端去选择在哪个服务器节点上创建并启动一个容器实例的动作。它是由一个装箱算法和过滤器组合而成。每次通过过滤器（constraint）启动容器的时候，swarm cluster 都会调用调度机制筛选出匹配约束条件的服务器，并在这上面运行容器。

六、Dcoker Swarm 集群部署

1、环境准备(三台 linux 机器，centos8 系统)

IP：192.168.0.110 主机名：manager110 担任角色：swarm manager
IP：192.168.0.111 主机名：node111 担任角色：swarm node
IP：192.168.0.112 主机名：node112 担任角色：swarm node

2、开始创建 Swarm cluster

1. 准备工作

a. 修改主机名

# 192.168.0.110执行
$ hostnamectl set-hostname manager110
# 192.168.0.111执行
$ hostnamectl set-hostname node111
# 192.168.0.112执行
$ hostnamectl set-hostname node112

b. 在所有节点上配置 /etc/hosts 文件(可配置可不配置)

$ echo '192.168.0.110 manager110' >> /etc/hosts
$ echo '192.168.0.111 node111' >> /etc/hosts
$ echo '192.168.0.112 node112' >> /etc/hosts

c. 设置防火墙
关闭三台机器上的防火墙，不建议直接关闭防火墙，一般生成环境上不允许直接关闭防火墙。如果开启防火墙，则需要在所有节点的防火墙上依次放行 2377/tcp（管理端口）、7946/tcp/udp（节点间通信端口）、4789/udp（overlay 网络端口）。如果对防火墙不清楚的，可以看这里

# 放开2377/tcp，7946/udp，4789/udp端口
$ firewall-cmd --zone=public --add-port=2377/tcp --permanent
$ firewall-cmd --zone=public --add-port=7946/tcp --permanent
$ firewall-cmd --zone=public --add-port=7946/udp --permanent
$ firewall-cmd --zone=public --add-port=4789/udp --permanent
# 重新加载生效
$ firewall-cmd --reload
# 查看
$ firewall-cmd --list-ports

d. 所有节点安装docker并配置加速器

# 安装
yum -y install docker-ce

【配置加速】修改文件 /etc/docker/daemon.json，没有这个文件就创建
添加以下内容后，重启docker服务：

{
   "registry-mirrors": ["http://hub-mirror.c.163.com"]
}

sudo systemctl daemon-reload  # 重新加载systemd配置
sudo systemctl restart docker # 重启Docker服务

2. 创建 Swarm 并添加节点

创建Swarm集群（manager110）

docker swarm init --advertise-addr 192.168.0.110

上面命令执行后，该机器自动加入到 swarm 集群。这个会创建一个集群 token，获取全球唯一的 token，作为集群唯一标识。记住这个 token 值，后续将其他节点加入集群都会用到这个 token 值。其中，–advertise-addr 参数表示其它 swarm 中的 worker 节点使用此ip地址与 manager 联系。命令的输出包含了其它节点如何加入集群的命令。再次执行会报如下错误

docker swarm init --advertise-addr 192.168.0.110
Error response from daemon: This node is already part of a swarm. Use "docker swarm leave" to leave this swarm and join another one.

解决方法

#这里的leave就是在集群中删除节点，-f参数强制删除，执行完在重新执行OK
docker swarm leave -f
docker swarm init --advertise-addr 192.168.0.110

查看集群的相关信息

docker info

发现 swarm 状态 active，且是 manager 节点

docker node ls

添加 node 节点主机到 Swarm 集群

上面我们在创建 Swarm 集群的时候就已经给出了添加节点的方法。如果忘记了，可以通过以下命令查看 token 和添加方法

docker swarm join-token worker

在 node111 和 node112 和节点执行以下命令，添加到集群中

docker swarm join --token SWMTKN-1-2fhcxi16zhm0wfeijbgw426il1oo8nbt1qkswfyprk4cooq94y-cp543kam4fgna3s7wg5h9q2aa 192.168.0.110:2377

在 manager110 节点上查看 node 信息

docker node ls

AVAILABILITY 的三种状态：

• Active：调度器能够安排任务到该节点
• Pause：调度器不能够安排任务到该节点，但是已经存在的任务会继续运行
• Drain：调度器不能够安排任务到该节点，而且会停止已存在的任务，并将这些任务分配到其他 Active 状态的节点

改变节点的可用性(availability)，如下操作：

docker node update --availability drain node111

如上，当node1的状态改为drain后，那么该节点就不会接受task任务分发，就算之前已经接受的任务也会转移到别的节点上。再次修改为active状态（及将下线的节点再次上线）

MANAGER STATUS 的三种状态：

• Leader：为群体做出所有群管理和编排决策的主要管理者节点
• Reachable：如果 Leader 节点变为不可用，该节点有资格被选举为新的 Leader
• Unavailable：该节点不能和其他 Manager 节点产生任何联系，这种情况下，应该添加一个新的 Manager 节点到集群，或者将一个 Worker 节点提升为 Manager 节点

升级/降级节点，示例：

# 升级
docker node promote node111
# 降级
docker node demote node111

3. 在 Swarm 中部署服务(nginx 为例)

Docker 1.12 版本提供服务的 Scaling、health check、滚动升级等功能，并提供了内置的 dns、vip 机制，实现 service 的服务发现和负载均衡能力。

创建网络（overlay）

docker network create -d overlay nginx_net

部署服务

# 就创建了一个具有一个副本（--replicas 1 ）的nginx服务，使用镜像nginx
docker service create --replicas 1 --network nginx_net --name my_nginx -p 80:80 nginx
# 查看
docker service ls

查询 Swarm 中服务的信息

-pretty 使命令输出格式化为可读的格式，不加 --pretty 可以输出更详细的信息：

docker service inspect --pretty my_nginx

查询到哪个节点正在运行该服务

docker service ps my_nginx

如下该容器被调度到 manager-node 节点上启动了，然后访问 http://192.168.0.110 即可访问这个容器应用（如果调度到其他节点，访问也是如此）

登陆该节点，可以查看到 nginx 容器在运行中

docker ps

在 Swarm 中动态扩展服务(scale)
当然，如果只是通过 service 启动容器，swarm 也算不上什么新鲜东西了。Service 还提供了复制（类似 kubernetes 里的副本）功能。可以通过 docker service scale 命令来设置服务中容器的副本数比如将上面的 my_nginx 容器动态扩展到 4 个。

docker service scale my_nginx=4

和创建服务一样，增加 scale 数之后，将会创建新的容器，这些新启动的容器也会经历从准备到运行的过程，过一分钟左右，服务应该就会启动完成，这时候可以再来看一下 nginx 服务中的容器

可以看到，之前 my_nginx 容器只在 manager-node 节点上有一个实例，而现在又增加了 3 个实例。

Swarm 动态缩容服务(scale)
同理，swarm 还可以缩容，同样是使用 scale 命令。将 my_nginx 容器变为 1 个

docker service scale my_nginx=1

除了上面使用 scale 进行容器的扩容或缩容之外，还可以使用 docker service update 命令。 可对服务的启动参数进行更新/修改。

docker service update --replicas 3 my_nginx

4. 多服务 Swarm 集群部署

这里部署的服务有三个 (nginx服务，visualizer 服务，portainer 服务) 除了 nginx 服务作为示例之外，visualizer（官方地址）和 portainer（官方地址）都是集群 GUI 管理服务。docker service 部署的是单个服务，我们可以使用docker stack 进行多服务编排部署。
编写 docker-compose.yml 文件

mkdir swarmGUI
cd swarmGUI
cat docker-compose.yml

version: "3"
services:
  nginx:
    image: nginx
    ports:
      - 8888:80
    deploy:
      mode: replicated
      replicas: 3

  visualizer:
    image: dockersamples/visualizer
    ports:
      - "8080:8080"
    volumes:
      - "/var/run/docker.sock:/var/run/docker.sock"
    deploy:
      replicas: 1
      placement:
        constraints: [node.role == manager]

  portainer:
    image: portainer/portainer
    ports:
      - "9000:9000"
    volumes:
      - "/var/run/docker.sock:/var/run/docker.sock"
    deploy:
      replicas: 1
      placement:
        constraints: [node.role == manager]

通过这个 yml 文件部署服务

docker stack deploy -c docker-compose.yml deploy_deamon

七、Docker Swarm 网络管理

1、Swarm 集群产生两种不同类型的流量

• 控制和管理层面：包括 Swarm 消息管理等，例如请求加入或离开Swarm，这种类型的流量总是被加密的。(涉及到集群内部的hostname、ip-address、subnet、gateway等)
• 应用数据层面：包括容器与客户端的通信等。（涉及到防火墙、端口映射、网口映射、VIP等）

2、在 Swarm Service 中有三个重要的网络概念

• Overlay networks ：覆盖物网络，顾名思义是附着在主机底层网络之上的网络， 这个网络保证了不同主机之间容器通信，手动创建。
• ingress network：进入网络，顾名思义是外部客户端访问服务时，服务节点间负载均衡（节点在开放端口上收到请求，上交给IPVS，选择容器），是一种特殊的overlay网络，创建集群的时候自动创建。
  初始化或加入 Swarm 集群时会自动创建 ingress 网络，大多数情况下，用户不需要自定义配置，但是 docker 17.05 和更高版本可以自定义网络
• docker_gwbridge：是一种桥接网络，将 overlay 网络（包括 ingress 网络）连接到一个单独的 Docker 守护进程的物理网络。默认情况下，服务正在运行的每个容器都连接到本地 Docker 守护进程主机的 docker_gwbridge 网络。
  docker_gwbridge 网络在初始化或加入 Swarm 时自动创建。大多数情况下，用户不需要自定义配置，但是 Docker 允许自定义。

在初始化或刚加入 Swarm 集群时，会创建一个 Ingress 和 docker-gwbridge 网络

八、docker-machine、docker swarm、docker node、docker service 和 docker stack 常用命令

1、docker-machine 常用命令

2、docker swarm 常用命令

3、docker node 常用命令

4、docker service 常用命令

5、docker stack 常用命令

九、docker三剑客区别