jinkens+gitlab针对k8s集群实现CI/CD-创新互联
一、环境准备
- k8s集群环境(我这里是三台的K8s集群);
- 单独一台docker服务器,主要用于向私有仓库上传镜像,Jenkins和gitlab也部署在这台服务器;
- 上述环境共计服务器4台,均指向同一个私有仓库,以便共享docker镜像;
- 服务器IP依次为192.168.20.2、20.3、20.4、20.5(前三个IP为K8s集群中的节点)
Jenkins采用war包的方式部署,需要用到tomcat环境,自行参考博文,进行部署;
其他环境部署可以参考以下博文:
Tomcat安装及优化配置;
Docker的安装详细配置;
K8s(Kubernetes)简介及安装部署。
注:以下用到的所有包文件,都可以从我的网盘链接中下载。
二、部署registry私有仓库
任意可以运行docker容器的节点部署即可。这里我选择在192.168.20.5这台主机。
1、运行私有仓库容器
[root@jenkins ~]# docker run -tid --name registry --restart=always -p 5000:5000 -v /data/registry:/var/lib/registry registry
2、配置各个服务器指向私有仓库
#选择任意一个节点进行以下操作
[root@jenkins ~]# vim /usr/lib/systemd/system/docker.service
#修该下面的配置项,以便指定其私有仓库的监听地址
ExecStart=/usr/bin/dockerd -H unix:// --insecure-registry 192.168.20.5:5000
#将修改后的配置文件发送到其他节点
[root@jenkins ~]# scp /usr/lib/systemd/system/docker.service 192.168.20.2:/usr/lib/systemd/system/
[root@jenkins ~]# scp /usr/lib/systemd/system/docker.service 192.168.20.3:/usr/lib/systemd/system/
[root@jenkins ~]# scp /usr/lib/systemd/system/docker.service 192.168.20.4:/usr/lib/systemd/system/
3、每个节点依次重启docker服务,使更改生效
以下操作,需要在每个节点依次进行配置。
[root@jenkins ~]# systemctl daemon-reload
[root@jenkins ~]# systemctl restart docker
三、部署Jenkins服务并启动
在部署Jenkins之前,自行部署tomcat服务,参考博文:Tomcat安装及优化配置。
部署Jenkins所需要的源码包及插件,可以从我的网盘链接中下载。
[root@jenkins src]# cd /usr/local/tomcat/webapps/
#删除原来的网页目录下所有内容(根据实际情况来定,最好做个备份)
[root@jenkins webapps]# rm -rf *
[root@jenkins webapps]# rz #上传Jenkins的war包
[root@jenkins webapps]# ls
jenkins.war
#指定Jenkins的家目录
[root@jenkins webapps]# vim ../bin/catalina.sh #编辑此文件
#!/bin/sh #在文件开头该行下面添加即可
export CATALINA_OPTS="-DJENKINS_HOME=/data/jenkins"
export JENKINS_JAVA_OPTIONS="-Djava.awt.headless=true -Dhudson.ClassicPluginStrategy.noBytecodeTransformer=true"
#启动tomcat
[root@jenkins webapps]# cd ../bin/
[root@jenkins bin]# ./catalina.sh start
#确定端口在监听
[root@jenkins bin]# netstat -anpt | grep 8080
tcp6 0 0 :::8080 :::* LISTEN 58560/java
四、配置Jenkins服务
要想实现Jenkins的CI/CD,必须有GitLab、GitLab HOOK、Git Lab Authentication这三个插件,国内不太好下载这几个插件,在我上面的网盘链接中有打包好的插件,直接解压到对应目录即可。
1、配置Jenkinsweb界面
浏览器访问以下tomcat服务的IP+端口/Jenkins,如:192.168.20.5:8080/jenkins,即可看到如下界面(访问前最好先断掉外网,否则在输入密码后,会让在线安装插件,比较慢,而且很有可能安装失败):
自行根据提示查看密码并粘贴到相应位置,如下,查看密码:
[root@jenkins webapps]# cat /data/jenkins/secrets/initialAdminPassword
ed0a933859e0470f9095680a2059c19a
输入密码后,等待片刻,然后点击如下:
创建相应用户:
登录成功后,如下:
现在关闭浏览器页面,对Jenkins添加插件:
2、配置所需插件
[root@jenkins src]# rm -rf /data/jenkins/plugins/ #删除原来的空目录
[root@jenkins src]# tar zxf plugins.tar.gz -C /data/jenkins/
#重启tomcat以便生效
[root@jenkins src]# /usr/local/tomcat/bin/catalina.sh stop
[root@jenkins src]# /usr/local/tomcat/bin/catalina.sh start
再次访问Jenkins的web界面:
可以看到已经变成了中文页面,说明插件配置生效,如下:
五、部署gitlab服务
想了想,还是懒得再截图写了,参考我之前的博文来部署gitlab吧,我也是看那个博文部署的(在安装gitlab后,先别接着操作,需要看下面的注意事项,进行更改监听端口),最后保证可以将远端的库克隆到本地即可,我这里将gitlab和Jenkins部署在同一台服务器。参考博文:持续集成之Gitlab安装与应用
注意事项!!!
在安装gitlab后,需要更改其监听端口(防止端口冲突),如下:
[root@jenkins src]# vim /etc/gitlab/gitlab.rb #更改如下
external_url 'http://192.168.20.5:90'
unicorn['listen'] = '192.168.20.5' #本机IP
unicorn['port'] = 3000
更改完成监听端口后,再按照那个博文进行接下来的操作即可(但是端口和那篇博文已经不一样了,比如查询端口有没有再监听,应该看的是90端口而不是80端口了,访问浏览器页面也是,需要加90端口)。
最后保证本地有克隆的库即可,如下:
[root@jenkins ~]# ls -d teset01/
teset01/
六、配置Jenkins创建一个任务
将以下shell脚本内容粘贴到web界面,脚本如下:
#脚本中的IP,192.168.20.5为私有仓库的IP,192.168.20.2为k8s集群中master的IP地址
#!/bin/bash
backupcode="/data/backcode/$JOB_NAME/$BUILD_NUMBER" #这里引用了Jenkins的默认变量
mkdir -p $backupcode
chmod 644 "$JENKINS_HOME"/workspace/"$JOB_NAME"/*
rsync -acP "$JENKINS_HOME"/workspace/"$JOB_NAME"/* $backupcode
echo From 192.168.20.5:5000/nginx > "$JENKINS_HOME"/workspace/Dockerfile
echo COPY ./"$JOB_NAME"/* /usr/share/nginx/html/ >> "$JENKINS_HOME"/workspace/Dockerfile
docker rmi 192.168.20.5:5000/nginx
docker build -t 192.168.20.5:5000/nginx /"$JENKINS_HOME"/workspace/.
docker push 192.168.20.5:5000/nginx
ssh root@192.168.20.2 kubectl delete deployment nginx
ssh root@192.168.20.2 kubectl apply -f /root/nginx.yaml
脚本填写后,如下:
脚本填写后,先别保存,根据以下操作复制一下Jenkins的地址,如下:
七、开启Jenkins的匿名访问权限
八、回到gitlab上开启允许向自己发送web hook
以下操作,在新建的库中进行,我忘了截切换到新建库的那一步的图了:
保存后,下拉页面,即可看到新添加的web-hook,点击如下,进行测试:
返回状态码200,则表示配置无误,如下:
九、配置Jenkins免密登录k8s群集的master节点
jenkins服务器配置如下:
[root@jenkins ~]# ssh-copy-id root@192.168.20.2
#上面的IP为K8s群集中master节点IP
九、测试持续CI/CD效果
1、k8s群集中运行nginx资源对象
#向私有仓库上传所需镜像
[root@jenkins ~]# docker tag nginx:latest 192.168.20.5:5000/nginx:latest
[root@jenkins ~]# docker push 192.168.20.5:5000/nginx:latest
#在master节点上面运行nginx资源对象
[root@master ~]# vim nginx.yaml #编写yaml文件
apiVersion: extensions/v1beta1
kind: Deployment
metadata:
name: nginx
spec:
replicas: 2
template:
metadata:
labels:
name: nginx
spec:
containers:
- name: nginx
image: 192.168.20.5:5000/nginx:latest
ports:
- containerPort: 80
---
apiVersion: v1
kind: Service
metadata:
labels:
name: nginx
name: nginx
spec:
type: NodePort
ports:
- port: 80
targetPort: 80
nodePort: 31234
selector:
name: nginx
[root@master ~]# kubectl apply -f nginx.yaml #执行yaml文件
[root@master ~]# kubectl get pod | grep nginx #确定容器运行正常
nginx-76645bc84f-rbgtl 1/1 Running 0 68s
nginx-76645bc84f-s6xp6 1/1 Running 0 68s
2、客户端访问nginx
3、在gitlab进行版本的更新迭代测试
#在克隆到本地的库中上传文件到gitlab
[root@jenkins ~]# cd teset01/
[root@jenkins teset01]# git config --global user.name "test"
[root@jenkins teset01]# git config --global user.email "test@test.com"
[root@jenkins teset01]# echo "test ....." > index.html
[root@jenkins teset01]# git add *
[root@jenkins teset01]# git commit -m "Test CI/CD"
[root@jenkins teset01]# git push origin master
在进行上述操作后,即可在Jenkins新建的任务中,看到构建成功的信息,如下:
再次访问nginx首页,发现已经变成了我们在gitlab上提交的内容,如下:
测试完成。
附加:历史版本内容存放路径如下:
[root@jenkins data]# pwd #确定当前路径
/data
[root@jenkins data]# tree backcode/ #这个目录下记录的是历史版本的代码
backcode/
└── test-01
├── 1
│ └── README.md
├── 2
│ ├── a.html
│ └── README.md
├── 3
│ └── README.md
├── 4
│ ├── a.html
│ └── README.md
├── 5
│ └── README.md
└── 6
├── index.html
└── README.md
[root@jenkins workspace]# pwd #再次确定当前路径
/data/jenkins/workspace
[root@jenkins workspace]# ls
#此目录下是将新代码构建成镜像的关键所在,Dockersfile就在这个目录下
Dockerfile test-01
另外有需要云服务器可以了解下创新互联cdcxhl.cn,海内外云服务器15元起步,三天无理由+7*72小时售后在线,公司持有idc许可证,提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案,具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势,专为企业上云打造定制,能够满足用户丰富、多元化的应用场景需求。
分享标题:jinkens+gitlab针对k8s集群实现CI/CD-创新互联
文章转载:http://scyanting.com/article/dgospd.html