• 111861

    文章

  • 803

    评论

  • 12

    友链

  • 最近新加了换肤功能,大家多来逛逛吧~~~~
  • 喜欢这个网站的朋友可以加一下QQ群,我们一起交流技术。

微服务容器化实践(一)

撸了今年阿里、腾讯和美团的面试,我有一个重要发现.......>>

Docker 基础

Docker介绍

Docker 是一个开源的应用容器引擎,基于 Go 语言 并遵从Apache2.0协议开源。

Docker 可以让开发者打包他们的应用以及依赖包到一个轻量级、可移植的容器中,然后发布到任何流行的 Linux 机器上,也可以实现虚拟化。

容器是完全使用沙箱机制,相互之间不会有任何接口(类似 iPhone 的 app),更重要的是容器性能开销极低。

Docker应用场景

  • Web 应用的自动化打包和发布。
  • 自动化测试和持续集成、发布。
  • 在服务型环境中部署和调整数据库或其他的后台应用。
  • 从头编译或者扩展现有的OpenShift或Cloud Foundry平台来搭建自己的PaaS环境。

Docker优点

  • 1、简化程序
    Docker 让开发者可以打包他们的应用以及依赖包到一个可移植的容器中,然后发布到任何流行的 Linux 机器上,便可以实现虚拟化。Docker改变了虚拟化的方式,使开发者可以直接将自己的成果放入Docker中进行管理。方便快捷已经是 Docker的最大优势,过去需要用数天乃至数周的 任务,在Docker容器的处理下,只需要数秒就能完成。
  • 2、避免选择恐惧症
    如果你有选择恐惧症,还是资深患者。Docker 帮你 打包你的纠结!比如 Docker 镜像;Docker 镜像中包含了运行环境和配置,所以 Docker 可以简化部署多种应用实例工作。比如 Web 应用、后台应用、数据库应用、大数据应用比如 Hadoop 集群、消息队列等等都可以打包成一个镜像部署。
  • 3、节省开支
    一方面,云计算时代到来,使开发者不必为了追求效果而配置高额的硬件,Docker 改变了高性能必然高价格的思维定势。Docker 与云的结合,让云空间得到更充分的利用。不仅解决了硬件管理的问题,也改变了虚拟化的方式。

Docker安装(以ubuntu 16.04 为例)

1.选择国内的云服务商,这里选择阿里云为例

1
curl -sSL http://acs-public-mirror.oss-cn-hangzhou.aliyuncs.com/docker-engine/internet | sh -

2.安装所需要的包

1
sudo apt-get install linux-image-extra-$(uname -r) linux-image-extra-virtual

3.添加使用 HTTPS 传输的软件包以及 CA 证书

1
2
sudo apt-get update
sudo apt-get install apt-transport-https ca-certificates

4.添加GPG密钥

1
sudo apt-key adv --keyserver hkp://p80.pool.sks-keyservers.net:80 --recv-keys 58118E89F3A912897C070ADBF76221572C52609D

5.添加软件源

1
echo "deb https://apt.dockerproject.org/repo ubuntu-xenial main" | sudo tee /etc/apt/sources.list.d/docker.list

6.添加成功后更新软件包缓存

1
sudo apt-get update

7.安装docker

1
sudo apt-get install docker-engine

8.启动 docker

1
sudo systemctl enable docker

相关文档链接收藏:

docker官方文档:https://docs.docker.com/

docker安装: sudo apt-get -y install docker.io(不是最新的版本)
最新版本安装:https://blog.csdn.net/wangxiong2010/article/details/79178588(速度慢。建议vpn)
docker升级:https://blog.csdn.net/bruceleenumberone/article/details/78692494
docker卸载:https://www.cnblogs.com/wxjnew/p/8024271.html
docker-enter:https://blog.csdn.net/justdoithai/article/details/52727480

docker中国:http://www.docker.org.cn/

Docker 中国官方镜像加速: http://docker-cn.com/

docker hub切换国内镜像:

1
curl -sSL https://get.daocloud.io/daotools/set_mirror.sh | sh -s http://ef017c13.m.daocloud.io

 

安装之后启动 Docker 服务:sudo service docker start
查看版本:docker --version

Docker镜像操作

docker pull 获取ubuntu镜像:docker pull ubuntu
有时候官方仓库注册服务器下载较慢,可以从其他仓库下载。从其它仓库下载时需要指定完整的仓库注册服务器地址。例如sudo docker pull dl.dockerpool.com:5000/ubuntu

Docker 中国官方镜像加速:http://www.docker-cn.com/registry-mirror

指定版本:docker pull ubuntu:14.04
列出所有镜像:docker images
删除镜像:docker rmi [dockerid]
导出镜像:sudo docker save -o ubuntu.tar ubuntu
导入docker镜像:docker load < guaca_v3.5.5.tar

Docker容器操作

查看正在运行的docker容器:docker ps
查看所有docker容器:docker ps -a

启动docker容器:docker start dockername/containerid
进入docker容器:docker-enter dockername/containerid
删除容器:docker rm trusting_newton

使用nsenter进入Docker容器(docker-enter):https://blog.csdn.net/fenglailea/article/details/44900401

docker run常用参数:

  • -p out_port:in_port 端口映射

  • –name <docker_image> 指定docker实例名称

  • -v out_path:in_path 映射配置文件

  • -d <image> 指定镜像

  • -t:在新容器内指定一个伪终端或终端。
  • -i:允许你对容器内的标准输入 (STDIN) 进行交互。

Docker常用镜像安装

Docker 安装 Nginx

1.拉取镜像

1
2
3
docker search nginx
docker pull nginx
docker images nginx

2.启动镜像

1
docker run -p 80:80 --name mynginx -v PWD/www:/www -v PWD/conf/nginx.conf:/etc/nginx/nginx.conf -v $PWD/logs:/wwwlogs  -d nginx

45c89fab0bf9ad643bc7ab571f3ccd65379b844498f54a7c8a4e7ca1dc3a2c1e

命令说明:

  • -p 80:80:将容器的80端口映射到主机的80端口
  • –name mynginx:将容器命名为mynginx
  • -v $PWD/www:/www:将主机中当前目录下的www挂载到容器的/www
  • -v $PWD/conf/nginx.conf:/etc/nginx/nginx.conf:将主机中当前目录下的nginx.conf挂载到容器的/etc/nginx/nginx.conf
  • -v $PWD/logs:/wwwlogs:将主机中当前目录下的logs挂载到容器的/wwwlogs

Docker 安装 MySQL

1.拉取镜像

1
2
3
docker search mysql
docker pull mysql:5.7
docker images mysql

2.启动镜像

1
docker run -p 3306:3306 --name mymysql -v $PWD/conf:/etc/mysql/conf.d -v $PWD/logs:/logs -v $PWD/data:/var/lib/mysql -e MYSQL_ROOT_PASSWORD=123456 -d mysql:5.7

命令说明:

  • -p 3306:3306:将容器的 3306 端口映射到主机的 3306 端口。
  • -v -v $PWD/conf:/etc/mysql/conf.d:将主机当前目录下的 conf/my.cnf 挂载到容器的 /etc/mysql/my.cnf。
  • -v $PWD/logs:/logs:将主机当前目录下的 logs 目录挂载到容器的 /logs。
  • -v $PWD/data:/var/lib/mysql :将主机当前目录下的data目录挂载到容器的 /var/lib/mysql 。
  • -e MYSQL_ROOT_PASSWORD=123456:初始化 root 用户的密码。

Docker 安装 Tomcat

1.拉取镜像

1
2
3
docker search tomcat
docker pull tomcat
docker images tomcat

2.启动镜像

1
docker run --name tomcat -p 8080:8080 -v $PWD/test:/usr/local/tomcat/webapps/test -d tomcat

命令说明:

  • -p 8080:8080:将容器的8080端口映射到主机的8080端口
  • -v $PWD/test:/usr/local/tomcat/webapps/test:将主机中当前目录下的test挂载到容器的/test

Docker 安装 Redis

1.拉取镜像

1
2
3
docker search redis
docker pull redis:3.7
docker images redis

2.启动镜像

1
docker run -p 6379:6379 –name redis -v /root/redis/redis.conf:/etc/redis/redis.conf -v /root/redis/data:/data -d redis:3.7 redis-server /etc/redis/redis.conf –appendonly yes

命令说明:

  • -p 6379:6379:把容器内的6379端口映射到宿主机6379端口
  • -v /root/redis/redis.conf:/etc/redis/redis.conf:把宿主机配置好的redis.conf放到容器内的这个位置中
  • -v /root/redis/data:/data:把redis持久化的数据在宿主机内显示,做数据备份
  • redis-server /etc/redis/redis.conf:这个是关键配置,让redis不是无配置启动,而是按照这个redis.conf的配置启动
  • –appendonly yes:redis启动后数据持久化

微服务docker化

制作微服务docker镜像

1.首先拉取并启动一个jdk

1
2
3
docker pull openjdk:8u191-alpine

docker run -it --entrypoint bash openjdk:8u191-alpine

2.编写微服务的dockerfile

1.首先将微服务打成jar包

2.DockerFle文件内容(位置假设在微服务的src目录下)

1
2
3
4
FROM openjdk:8u191-alpine
MAINTAINER zln zhoulning@gmail.com
COPY target/user--service-1.0-SNAPSHOT.jar /user-service.jar
ENTRYPOINT ["java", "-jar", "/user-service.jar"]

3.将服务打成镜像

docker build -t user-service:1.0-SNAPSHOT .

4.运行镜像

docker run -it user-service:1.0-SNAPSHOT –mysql.address=172.171.3.68

其中–mysql.address=172.171.3.68是application.yml中配置的变量${ mysql.address}

微服务docker镜像通信

创建docker-compose.yml(示例)

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
version: '3'

networks:
  default:
    external:
      name: imooc-network

services:
  message-service:
    image: message-service:latest

  user-service:
    image: user-service:latest
    command:
    - "--mysql.address=172.19.0.2"

  user-edge-service:
    image: user-edge-service:latest
    links:
    - user-service
    - message-service
    command:
    - "--redis.address=172.19.0.3"

  course-service:
    image: course-service:latest
    links:
    - user-service
    command:
    - "--mysql.address=172.19.0.2"
    - "--zookeeper.address=172.19.0.4"

  course-edge-service:
    image: course-edge-service:latest
    links:
    - user-edge-service
    command:
    - "--zookeeper.address=172.19.0.4"

  api-gateway-zuul:
    image: api-gateway-zuul:latest
    links:
    - course-edge-service
    - user-edge-service
    ports:
    - 8080:8080

docker-compose运行(docker-compose.yml目录下):

docker-compose up -d

Docker镜像仓库harbor

Harbor简介

1.Harbor介绍

Harbor是一个用于存储和分发Docker镜像的企业级Registry服务器,通过添加一些企业必需的功能特性,例如安全、标识和管理等,扩展了开源Docker Distribution。作为一个企业级私有Registry服务器,Harbor提供了更好的性能和安全。提升用户使用Registry构建和运行环境传输镜像的效率。Harbor支持安装在多个Registry节点的镜像资源复制,镜像全部保存在私有Registry中, 确保数据和知识产权在公司内部网络中管控。另外,Harbor也提供了高级的安全特性,诸如用户管理,访问控制和活动审计等。

2.Harbor特性

  • 基于角色的访问控制 :用户与Docker镜像仓库通过“项目”进行组织管理,一个用户可以对多个镜像仓库在同一命名空间(project)里有不同的权限。
  • 镜像复制 : 镜像可以在多个Registry实例中复制(同步)。尤其适合于负载均衡,高可用,混合云和多云的场景。
  • 图形化用户界面 : 用户可以通过浏览器来浏览,检索当前Docker镜像仓库,管理项目和命名空间。
  • AD/LDAP 支持 : Harbor可以集成企业内部已有的AD/LDAP,用于鉴权认证管理。
  • 审计管理 : 所有针对镜像仓库的操作都可以被记录追溯,用于审计管理。
  • 国际化 : 已拥有英文、中文、德文、日文和俄文的本地化版本。更多的语言将会添加进来。
  • RESTful API : RESTful API 提供给管理员对于Harbor更多的操控, 使得与其它管理软件集成变得更容易。
  • 部署简单 : 提供在线和离线两种安装工具, 也可以安装到vSphere平台(OVA方式)虚拟设备。

3.Harbor组件

Harbor在架构上主要由6个组件构成:

  • Proxy:Harbor的registry, UI, token等服务,通过一个前置的反向代理统一接收浏览器、Docker客户端的请求,并将请求转发给后端不同的服务。
  • Registry: 负责储存Docker镜像,并处理docker push/pull 命令。由于我们要对用户进行访问控制,即不同用户对Docker image有不同的读写权限,Registry会指向一个token服务,强制用户的每次docker pull/push请求都要携带一个合法的token, Registry会通过公钥对token 进行解密验证。
  • Core services: 这是Harbor的核心功能,主要提供以下服务:
  • UI:提供图形化界面,帮助用户管理registry上的镜像(image), 并对用户进行授权。
  • webhook:为了及时获取registry 上image状态变化的情况, 在Registry上配置webhook,把状态变化传递给UI模块。
  • token 服务:负责根据用户权限给每个docker push/pull命令签发token. Docker 客户端向Regiøstry服务发起的请求,如果不包含token,会被重定向到这里,获得token后再重新向Registry进行请求。
  • Database:为core services提供数据库服务,负责储存用户权限、审计日志、Docker image分组信息等数据。
  • Job Services:提供镜像远程复制功能,可以把本地镜像同步到其他Harbor实例中。
  • Log collector:为了帮助监控Harbor运行,负责收集其他组件的log,供日后进行分析。

4.Harbor实现

Harbor的每个组件都是以Docker容器的形式构建的,官方也是使用Docker Compose来对它进行部署。用于部署Harbor的Docker Compose模板位于 harbor/docker-compose.yml,打开这个模板文件,发现Harbor是由7个容器组成的;

1
2
3
4
5
6
7
8
9
10
# docker-compose ps
       Name                     Command               State                                Ports                              
------------------------------------------------------------------------------------------------------------------------------
harbor-adminserver   /harbor/harbor_adminserver       Up                                                                      
harbor-db            docker-entrypoint.sh mysqld      Up      3306/tcp                                                        
harbor-jobservice    /harbor/harbor_jobservice        Up                                                                      
harbor-log           /bin/sh -c crond && rm -f  ...   Up      127.0.0.1:1514->514/tcp                                         
harbor-ui            /harbor/harbor_ui                Up                                                                      
nginx                nginx -g daemon off;             Up      0.0.0.0:443->443/tcp, 0.0.0.0:4443->4443/tcp, 0.0.0.0:80->80/tcp
registry             /entrypoint.sh serve /etc/ ...   Up      5000/tcp

nginx:nginx负责流量转发和安全验证,对外提供的流量都是从nginx中转,所以开放https的443端口,它将流量分发到后端的ui和正在docker镜像存储的docker registry。
harbor-jobservice:harbor-jobservice 是harbor的job管理模块,job在harbor里面主要是为了镜像仓库之前同步使用的;
harbor-ui:harbor-ui是web管理页面,主要是前端的页面和后端CURD的接口;
registry:registry就是docker原生的仓库,负责保存镜像。
harbor-adminserver:harbor-adminserver是harbor系统管理接口,可以修改系统配置以及获取系统信息。
这几个容器通过Docker link的形式连接在一起,在容器之间通过容器名字互相访问。对终端用户而言,只需要暴露proxy (即Nginx)的服务端口。
harbor-db:harbor-db是harbor的数据库,这里保存了系统的job以及项目、人员权限管理。由于本harbor的认证也是通过数据,在生产环节大多对接到企业的ldap中;
harbor-log:harbor-log是harbor的日志服务,统一管理harbor的日志。通过inspect可以看出容器统一将日志输出的syslog。

这几个容器通过Docker link的形式连接在一起,这样,在容器之间可以通过容器名字互相访问。对终端用户而言,只需要暴露proxy (即Nginx)的服务端口。

安装和配置Harbor

1.环境说明

环境名称 版本
系统版本 CentOS Linux release 7.2.1511 (Core)
docker-ce 17.03.1-ce
docker-compose 1.16.1
Harbor v1.2.0
安装方式 在线安装
安装位置 /usr/local/harbor

2.首先安装docker

安装Harbor需要先安装docker和docker-compose

1
2
3
4
5
6
7
8
9
10
# yum install -y yum-utils \
  device-mapper-persistent-data \
  lvm2
配置repository:
# yum-config-manager \
    --add-repo \
https://download.docker.com/linux/centos/docker-ce.repo

安装最新版本docker-ce   Docker version 17.03.1-ce
# yum install docker-ce

启动docker:

1
# systemctl start docker

如果需要卸载docker-ce,操作如下:
yum remove docker-ce
卸载后images,containers,volumes,configuration files 是不能自动删除的,为了删除all images,containers,and volumes,请执行如下命令:
rm -rf /var/lib/docker

3.安装docker-compose

必须先安装docker

方法一:二进制安装

a.下载二进制文件

1
# curl -L https://github.com/docker/compose/releases/download/1.16.1/docker-compose-`uname -s`-`uname -m` -o /usr/local/bin/docker-compose

如果需要安装其他版本的话,请修改上面命令中的版本号。

b.赋予二进制文件可执行权限

1
# chmod +x /usr/local/bin/docker-compose

c.根据自己的情况决定是否安装命令补全功能

1
2
# yum install bash-completion 
# curl -L https://raw.githubusercontent.com/docker/compose/1.16.1/contrib/completion/bash/docker-compose -o /etc/bash_completion.d/docker-compose

重新登陆后就生效了

1
2
3
# docker-compose 
build    config   down     exec     images   logs     port     pull     restart  run      start    top      up       
bundle   create   events   help     kill     pause    ps       push     rm       scale    stop     unpause  version

d.测试是否安装成功

1
2
# docker-compose --version
docker-compose version 1.16.1, build 6d1ac21

方法二:pip

1
2
# yum install python-pip
# pip install  docker-compose

测试:

1
# docker-compose --version

卸载docker-compose
对应上面两种安装方法:
二进制:

1
# rm  /usr/local/bin/docker-compose

pip:

1
# pip uninstall  docker-compose

4.安装Harbor

安装方式分为在线安装和离线安装两种方式,我这里选择的是在线安装。

1
wget -P /usr/loca/src/     https://github.com/vmware/harbor/releases/download/v1.2.0/harbor-online-installer-v1.2.0.tgz

也可以下载下面的文件进行离线安装:

1
https://github.com/vmware/harbor/releases/download/v1.2.0/harbor-offline-installer-v1.2.0.tgz

不过这个文件,我没有下载成功。因为在亚马逊S3上总是连接超时
安装:

1
2
3
# cd /usr/local/src/
# tar zxf harbor-online-installer-v1.2.0.tgz  -C /usr/local/
# cd /usr/local/harbor/

5.修改配置文件

配置文件为:/usr/local/harbor/harbor.cfg
配置的内容为:

1
2
3
4
5
6
7
8
9
10
11
12
13
# vim /usr/local/harbor/harbor.cfg
hostname = rgs.unixfbi.com
#邮箱配置
email_server = smtp.qq.com
email_server_port = 25
email_username = unixfbi@unixfbi.com
email_password =12345678
email_from = UnixFBI <unixfbi@unixfbi.com>
email_ssl = false
#禁止用户注册
self_registration = off
#设置只有管理员可以创建项目
project_creation_restriction = adminonly

6.执行安装脚本

1
# /usr/local/harbor/install.sh

7.Harbor启动和停止

Harbor 的日常运维管理是通过docker-compose来完成的,Harbor本身有多个服务进程,都放在docker容器之中运行,我们可以通过docker ps命令查看(或者docker-compose 来查看)

8.访问测试

在浏览器输入rgs.unixfbi.com,因为我配置的域名为rgs.unixfbi.com。请大家根据自己的配置情况输入访问的域名;
默认账号密码: admin / Harbor12345 登录后修改密码

测试上传和下载镜像

1.修改各docker client配置

1
2
# vim /usr/lib/systemd/system/docker.service
ExecStart=/usr/bin/dockerd --insecure-registry rgs.unixfbi.com

增加 –insecure-registry rgs.unixfbi.com 即可。
重启docker:

1
2
# systemctl daemon-reload
# systemctl  restart docker

或者

1
2
3
4
5
6
7
创建/etc/docker/daemon.json文件,在文件中指定仓库地址
# cat > /etc/docker/daemon.json << EOF
{ "insecure-registries":["rgs.unixfbi.com"] }
EOF
然后重启docker就可以。

# systemctl  restart docker

这样设置完成后,就不会提示我们使用https的错误了。

2.创建Dockerfile

1
2
3
# vim Dockerfile 
FROM centos:centos7.1.1503
ENV TZ "Asia/Shanghai"

3.创建镜像

1
# docker build -t rgs.unixfbi.com/library/centos7.1:0.1 .

4.把镜像push到Harbor

1
2
# docker login rgs.unixfbi.com
# docker push rgs.unixfbi.com/library/centos7.1:0.1

如果不是自己创建的镜像,记得先执行 docker tags 给镜像做tag
例如:

1
2
3
# docker pull busybox
# docker tag busybox:latest rgs.unixfbi.com/library/busybox:latest
# docker push rgs.unixfbi.com/library/busybox:latest

5.登录web页面查看镜像

6.pull镜像

从别的机器上拉一下镜像

1
2
3
4
5
6
7
8
9
10
# docker rmi -f $(docker images -q -a )
# docker pull rgs.unixfbi.com/library/centos7.1:0.1
0.1: Pulling from library/centos7.1
07618ba636d9: Pull complete 
Digest: sha256:7f398052ae0e93ddf96ba476185c7f436b15abd27acd848a24b88ede4bb3c322
Status: Downloaded newer image for rgs.unixfbi.com/library/centos7.1:0.1

# docker images
REPOSITORY                         TAG                 IMAGE ID            CREATED             SIZE
rgs.unixfbi.com/library/centos7.1   0.1                 6c849613a995        5 hours ago         212MB

695856371Web网页设计师②群 | 喜欢本站的朋友可以收藏本站,或者加入我们大家一起来交流技术!

0条评论

Loading...


自定义皮肤 主体内容背景
打开支付宝扫码付款购买视频教程
遇到问题联系客服QQ:419400980
注册梁钟霖个人博客