gitlab + k8s + gitlab-ci + helm 持续集成_helm install gitlab gitlab/gitlab-程序员宅基地

技术标签： kubernetes  devops  ci/cd  gitlab  环境搭建  docker  

文章目录

gitlab + k8s + cicd + helm 持续集成

测试项目地址: https://gitee.com/texousliu/demo-gitlabci.git

简介

  • 文章主要讲了 gitlab docker 搭建，k8s 集群搭建，gitlab-ci 和 k8s 集成持续交付
  • 项目总共用了 4 台服务器：1 台装 gitlab， 3 台装 k8s 集群
  • gitlab 服务器安装 docker、gitlab for docker，gitlab-runner for docker
    • gitlab-runner 主要用来打包构建镜像，并推送到 gitlab container registry
    • gitlab 服务器安装前准备只要关闭防火墙即可
  • k8s 集群安装 docker、k8s、flannel
  • k8s master 安装 helm、gitlab-runner
    • helm 编排容器
    • gitlab-runner 执行 helm ，发布项目

Kubernetes 搭建步骤

安装前的准备 (所有节点)

关闭防火墙

$ systemctl stop firewalld
$ systemctl disable firewalld

关闭 swap

$ swapoff -a  # 临时
$ vi /etc/fstab  # 永久, 注释 swap 那一行

设置主机名

$ vi /etc/sysconfig/network 
# HOSTNAME=k8s-master

添加 主机名与 ip 映射

$ cat /etc/hosts
172.16.3.40 k8s-master
172.16.3.41 k8s-node1
172.16.3.42 k8s-node2

同步时间

$ yum install ntpdate -y
$ ntpdate  ntp.api.bz
docker 安装 (所有节点)

移除旧 docker

$ sudo yum remove docker \
                  docker-client \
                  docker-client-latest \
                  docker-common \
                  docker-latest \
                  docker-latest-logrotate \
                  docker-logrotate \
                  docker-engine

安装必要的包

$ sudo yum install -y yum-utils \
  device-mapper-persistent-data \
  lvm2

配置 stable 仓库

$ sudo yum-config-manager \
    --add-repo \
    https://download.docker.com/linux/centos/docker-ce.repo

安装 docker

$ sudo yum install docker-ce docker-ce-cli containerd.io

启动 docker

$ sudo systemctl start docker

配置开机启动

$ sudo systemctl enable docker
kubernetes 安装 (所有节点)

编写 kubernetes.repo 文件

$ cat <<EOF > /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=1
repo_gpgcheck=1
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF

关闭 selinux

$ setenforce 0
$ sed -i 's/^SELINUX=enforcing$/SELINUX=permissive/' /etc/selinux/config

安装 kubelet kubeadm kubectl

$ yum install -y kubelet kubeadm kubectl --disableexcludes=kubernetes

配置启动 kubelet

$ systemctl enable --now kubelet

流量桥接（如果需要）

$ cat <<EOF >  /etc/sysctl.d/k8s.conf
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
EOF

$ sysctl --system
kubernetes flannel 安装: (所有节点)

执行安装命令

$ kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/2140ac876ef134e0ed5af15c65e414cf26827915/Documentation/kube-flannel.yml
创建 k8s 主节点 (主节点)
$ kubeadm init \
    --apiserver-advertise-address=192.168.220.35 \
    --image-repository registry.aliyuncs.com/google_containers \
    --kubernetes-version v1.17.0 \
    --service-cidr=10.1.0.0/16 \
    --pod-network-cidr=10.244.0.0/16
# --apiserver-advertise-address: 填写主节点 ip
# --image-repository: 国内使用 aliyun 镜像
# --kubernetes-version: k8s 版本号
# 后面两个配置不需要变,固定就好

# 安装好后日志打印的最后一行需要保留下来, 这是 node 节点加入的命令: 如果命令过期的话,需要重新生成 secret

$ mkdir -p $HOME/.kube
$ sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
$ sudo chown $(id -u):$(id -g) $HOME/.kube/config
Nodes 加入集群

根据主节点安装成功日志打印最后一行提示加入

gitlab & runner 搭建步骤

gitlab 安装：

获取 gitlab 镜像

$ docker pull gitlab/gitlab-ce

运行 gitlab 镜像
说明：5005 是用来开启私有镜像仓库的端口, 如果需要开启私有镜像仓库的则需要映射

$ docker run -d \
   --name gitlab --restart always \
   -p 443:443 -p 80:80 -p 222:22 -p 5005:5005 \
   -v /home/gitlab/config:/etc/gitlab \
   -v /home/gitlab/logs:/var/log/gitlab \
   -v /home/gitlab/data:/var/opt/gitlab \
   gitlab/gitlab-ce
# -d：后台运行
# -p：将容器内部端口向外映射
# --name：命名容器名称
# -v：将容器内数据文件夹或者日志、配置等文件夹挂载到宿主机指定目录

配置 gitlab

$ vi /home/gitlab/config/gitlab.rb

# 配置http协议所使用的访问地址,不加端口号默认为80
external_url 'http://192.168.220.40'

# 配置ssh协议所使用的访问地址和端口
gitlab_rails['gitlab_ssh_host'] = '192.168.220.40'
gitlab_rails['gitlab_shell_ssh_port'] = 222 # 此端口是run时22端口映射的222端口

# 如果不想开启镜像仓库则不需要下面的配置: 比如已经有 nexus3 或者不使用 gitlab-ci/cd 流程
registry_external_url 'http://192.168.220.40:5005'

gitlab_rails['registry_enabled'] = true
gitlab_rails['registry_host'] = "192.168.220.40"
gitlab_rails['registry_port'] = "5005"
# gitlab_rails['registry_path'] = "/var/opt/gitlab/gitlab-rails/shared/registry"

重启 gitlab

$ docker restart gitlab
gitlab-runner 安装:

安装 gitlab-runner

$ docker run -d --name gitlab-runner --restart always \
  -v /srv/gitlab-runner/config:/etc/gitlab-runner \
  -v /var/run/docker.sock:/var/run/docker.sock \
  gitlab/gitlab-runner:latest

注册 runner

$ docker run --rm -t -i -v /srv/gitlab-runner/config:/etc/gitlab-runner gitlab/gitlab-runner register
# 输入 gitlab -> settings -> runners 中的 url
# 输入 gitlab -> settings -> runners 中的 token
# 输入描述
# 输入 tags gitlab cicd 的时候要用到
# 选择 runner exector
# 如果是 docker exector 
# alpine:latest

配置 maven 挂载
配置后就不用每次都去远程下载 jar

$ vi /srv/gitlab-runner/config/config.toml
# 找到 volumes
# volumes = ["/var/run/docker.sock:/var/run/docker.sock","/cache","/data/.m2/:/root/.m2/"]
# .gitlab-ci.yml 添加 
# variables:
#   MAVEN_OPTS: "-Dmaven.repo.local=/root/.m2"

配置 docker 私有库 http 访问
配置后访问私有镜像仓库才不会走 https

$ cat /etc/docker/daemon.json 
{
    
  "registry-mirrors": ["https://registry.docker-cn.com", "http://hub-mirror.c.163.com"],
  "insecure-registries":["192.168.220.40:5005"]
}

$ sudo systemctl daemon-reload
$ sudo systemctl restart docker

helm 安装:

下载文件 & 解压文件

$ tar -zxvf helm-v3.0.2-linux-amd64.tar.gz

配置 helm

$ mv linux-amd64/helm /usr/local/bin/helm

查看是否安装成功

$ helm help

k8s 安装 gitlab-runner 整合 helm 3

下载 gitlab-runner charts

$ helm pull gitlab/gitlab-runner

解压下载后的 *.tgz

$ tar -zxvf gitlab-runner-0.12.0.tgz

进入 gitlab-runner 修改 values.yaml

$ vi gitlab-runner/values.yaml

gitlabUrl: https://gitlab.example.com/
runnerRegistrationToken: ""
rbac:
  create: true
  clusterWideAccess: true
  serviceAccountName: gitlab-runner-gitlab-runner
runners:
  tags: ""  
  serviceAccountName: gitlab-runner-gitlab-runner

添加 helm 仓库

$ helm repo add gitlab https://charts.gitlab.io

启动 gitlab-runner

# For Helm 3
$ helm install --namespace <NAMESPACE> gitlab-runner -f <CONFIG_VALUES_FILE> gitlab/gitlab-runner

更新配置

$ helm upgrade --namespace <NAMESPACE> -f values.yaml gitlab-runner gitlab/gitlab-runner

创建角色: 用来追加权限，helm 权限不足

# 添加配置文件
$ vi role-gitlab-runner-services.yaml

# 配置文件内容
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRole
metadata:
  name: gitlab-runner-services
rules:
- apiGroups:
  - ""
  resources:
  - services
  - secrets
  - configmaps
  verbs:
  - get
  - list
  - watch
  - create
  - update
  - patch
  - delete
- apiGroups:
  - "apps"
  resources:
  - deployments
  verbs:
  - get
  - list
  - watch
  - create
  - patch
  - delete

# 执行配置文件
$ kubectl apply -f role-gitlab-runner-services.yaml

绑定 serviceaccount 和 role

$ kubectl create clusterrolebinding crbd-gitlab-runner-serivces \
  --clusterrole=gitlab-runner-services \
  --serviceaccount=<NAMESPACE>:gitlab-runner-gitlab-runner \
  --namespace=<NAMESPACE>

如果 上面两步有问题可以执行以下语句重新设置

# 删除角色用户绑定
$ kubectl delete clusterrolebinding crbd-gitlab-runner-serivces
# 删除角色
$ kubectl delete clusterrole gitlab-runner-services

骚操作

修改 docker 容器对外映射端口：

获取容器

$ docker ps -a

查看 Id

$ docker inspect --containerid-- | grep Id

进入容器对应目录

$ cd /var/lib/docker/containers
$ cd --Id--

停止 docker

$ systemctl stop docker

修改对应文件：config.v2.json, hostconfig.json

$ vi hostconfig.json
# 关键字 PortBindings
$ vi config.v2.json
# 关键字 ExposedPorts

重启 docker

$ systemctl start docker
命名空间创建

编写 yaml 文件

$ vi gitlab-runner-namespaces.yaml

apiVersion: v1
kind: Namespace
metadata:
   name: web-servers
   labels:
     name: web-servers

创建命名空间

$ kubectl apply -f gitlab-runner-namespaces.yaml
为 k8s 集群创建 secret (imagePullSecrets)：

登录 docker (gitlab 登录的用户名和密码：或者在管理员处生成 token)

$ docker login 192.168.220.40:5005 -u root -p ****

验证账户是否有拉取镜像的权限

$ docker pull ***

创建 secret

$ kubectl -n [namespace] create secret docker-registry [secret-key] \
        --docker-server=192.168.220.40:5005 \
        --docker-username=root \
        --docker-password=****

配置 k8s 项目发布文件 imagePullSecrets

apiVersion: apps/v1
kind: Deployment
metadata:
  name: test-api
  namespace: web-servers
spec:
  selector:
    matchLabels:
      app: test-api
  replicas: 3
  template:
    metadata:
      labels:
        app: test-api
      namespace: web-servers
    spec:
      imagePullSecrets:
      - name: [secret-key]
      containers:
      - name: test-api
        image: 192.168.220.40:5005/test-group/test-api:master
        imagePullPolicy: Always
        env:
        envFrom:
        ports:
          - name: http
            containerPort: 7080
配置 docker 镜像加速
$ cat /etc/docker/daemon.json 

{
    
  "registry-mirrors": ["https://registry.docker-cn.com", "http://hub-mirror.c.163.com"]
}

$ sudo systemctl daemon-reload
$ sudo systemctl restart docker
配置 docker 私有库 http 访问
$ cat /etc/docker/daemon.json 

{
    
  "registry-mirrors": ["https://registry.docker-cn.com", "http://hub-mirror.c.163.com"],
  "insecure-registries":["192.168.220.40:5005"]
}

$ sudo systemctl daemon-reload
$ sudo systemctl restart docker
配置 helm repo
# stable          https://kubernetes-charts.storage.googleapis.com/                        
# incubator       https://aliacs-app-catalog.oss-cn-hangzhou.aliyuncs.com/charts-incubator/
# gitlab          https://charts.gitlab.io                                                 
# aliyuncs        https://apphub.aliyuncs.com                                              
# bitnami         https://charts.bitnami.com/bitnami    
$ helm repo add --name-- --url--

错误处理

gitlab 重启后 502
==> /var/log/gitlab/unicorn/unicorn_stderr.log <==
ArgumentError: Already running on PID:464 (or pid=/opt/gitlab/var/unicorn/unicorn.pid is stale)
  /opt/gitlab/embedded/lib/ruby/gems/2.6.0/gems/unicorn-5.4.1/lib/unicorn/http_server.rb:205:in `pid='
  /opt/gitlab/embedded/lib/ruby/gems/2.6.0/gems/unicorn-5.4.1/lib/unicorn/http_server.rb:137:in `start'
  /opt/gitlab/embedded/lib/ruby/gems/2.6.0/gems/unicorn-5.4.1/bin/unicorn:126:in `<top (required)>'
  /opt/gitlab/embedded/bin/unicorn:23:in `load'
  /opt/gitlab/embedded/bin/unicorn:23:in `<top (required)>'

直接进入容器 docker exec -it gitlab /bin/bash 删除 unicorn.pid rm -f /opt/gitlab/var/unicorn/unicorn.pid

error during connect: Post http://docker:2375/v1.40/auth:

在 .gitlab-ci.yml 中添加

services:
 - docker:dind

或者编辑 config.toml: volumes = ["/var/run/docker.sock:/var/run/docker.sock","/cache","/data/.m2/.m2/"]
官方不建议 docker:dind 和 volumes 同时使用，会报警告

运行中如果出现警告

8 *** WARNING: Service runner-54veezcJ-project-1-concurrent-0-docker-0 probably didn't start properly.
9 Health check error:
10 service "runner-54veezcJ-project-1-concurrent-0-docker-0-wait-for-service" timeout
11 Health check container logs:
12 Service container logs:
13 2020-01-12T03:47:12.937638103Z Generating RSA private key, 4096 bit long modulus (2 primes)
14 2020-01-12T03:47:13.372231321Z .......................................................................................................................++++
15 2020-01-12T03:47:13.802294515Z ............................................................................................................................++++
16 2020-01-12T03:47:13.802602245Z e is 65537 (0x010001)
17 2020-01-12T03:47:13.825214061Z Generating RSA private key, 4096 bit long modulus (2 primes)
18 2020-01-12T03:47:13.898733513Z ...................++++
19 2020-01-12T03:47:14.152767307Z ........................................................................++++
20 2020-01-12T03:47:14.153038007Z e is 65537 (0x010001)
21 2020-01-12T03:47:14.188604234Z Signature ok
22 2020-01-12T03:47:14.188640014Z subject=CN = docker:dind server
23 2020-01-12T03:47:14.188645194Z Getting CA Private Key
24 2020-01-12T03:47:14.199326798Z /certs/server/cert.pem: OK
25 2020-01-12T03:47:14.202184844Z Generating RSA private key, 4096 bit long modulus (2 primes)
26 2020-01-12T03:47:14.704597101Z ................................................................................................................................................++++
27 2020-01-12T03:47:14.849756207Z ........................................++++
28 2020-01-12T03:47:14.850123836Z e is 65537 (0x010001)
29 2020-01-12T03:47:14.872807703Z Signature ok
30 2020-01-12T03:47:14.872845853Z subject=CN = docker:dind client
31 2020-01-12T03:47:14.872929393Z Getting CA Private Key
32 2020-01-12T03:47:14.884195236Z /certs/client/cert.pem: OK
33 2020-01-12T03:47:14.889143189Z mount: permission denied (are you root?)
34 2020-01-12T03:47:14.889326308Z Could not mount /sys/kernel/security.
35 2020-01-12T03:47:14.889347098Z AppArmor detection and --privileged mode might break.
36 2020-01-12T03:47:14.890875106Z mount: permission denied (are you root?)
37 *********

可以通过配置 config.toml

$ vi /srv/gitlab-runner/config/config.toml
# privileged = true

参考文献
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_28038487/article/details/103947574

智能推荐

Linux查看登录用户日志_怎么记录linux设备 发声的登录和登出-程序员宅基地

文章浏览阅读8.6k次。一、Linux记录用户登录信息文件1　　/var/run/utmp----记录当前正在登录系统的用户信息；2　　/var/log/wtmp----记录当前正在登录和历史登录系统的用户信息；3　　/var/log/btmp：记录失败的登录尝试信息。二、命令用法1.命令last，lastb---show a listing of la_怎么记录linux设备 发声的登录和登出

第四章笔记：遍历--算法学中的万能钥匙-程序员宅基地

文章浏览阅读167次。摘要：1. 简介 2. 公园迷宫漫步 3. 无线迷宫与最短（不加权）路径问题 4. 强连通分量1. 简介在计算机科学裡，树的遍历（也称为树的搜索）是圖的遍歷的一种，指的是按照某种规则，不重复地访问某种樹的所有节点的过程。具体的访问操作可能是检查节点的值、更新节点的值等。不同的遍历方式，其访问节点的顺序是不一样的。两种著名的基本遍历策略：深度优先搜索（DFS） 和 广度优先搜索（B...

【案例分享】使用ActiveReports报表工具，在.NET MVC模式下动态创建报表_activereports.net 实现查询报表功能-程序员宅基地

文章浏览阅读591次。提起报表，大家会觉得即熟悉又陌生，好像常常在工作中使用，又似乎无法准确描述报表。今天我们来一起了解一下什么是报表，报表的结构、构成元素，以及为什么需要报表。什么是报表简单的说：报表就是通过表格、图表等形式来动态显示数据，并为使用者提供浏览、打印、导出和分析的功能，可以用公式表示为：报表 = 多样的布局 + 动态的数据 + 丰富的输出报表通常包含以下组成部分：报表首页：在报表的开..._activereports.net 实现查询报表功能

Ubuntu18.04 + GNOME xrdp + Docker + GUI_docker xrdp ubuntu-程序员宅基地

文章浏览阅读6.6k次。最近实验室需要用Cadence，这个软件的安装非常麻烦，每一次配置都要几个小时，因此打算把Cadence装进Docker。但是Cadence运行时需要GUI，要对Docker进行一些配置。我们实验室的服务器运行的是Ubuntu18.04，默认桌面GNOME，Cadence装进Centos的Docker。安装Ubuntu18.04服务器上安装Ubuntu18.04的教程非常多，在此不赘述了安装..._docker xrdp ubuntu

iOS AVFoundation实现相机功能_ios avcapturestillimageoutput 兼容性 ios17 崩溃-程序员宅基地

文章浏览阅读1.8k次，点赞2次，收藏2次。首先导入头文件#import 导入头文件后创建几个相机必须实现的对象 /** * AVCaptureSession对象来执行输入设备和输出设备之间的数据传递 */ @property (nonatomic, strong) AVCaptureSession* session; /** * 输入设备 */_ios avcapturestillimageoutput 兼容性 ios17 崩溃

Oracle动态性能视图--v$sysstat_oracle v$sysstat视图-程序员宅基地

文章浏览阅读982次。按照OracleDocument中的描述，v$sysstat存储自数据库实例运行那刻起就开始累计全实例(instance-wide)的资源使用情况。 类似于v$sesstat，该视图存储下列的统计信息：1>.事件发生次数的统计(如：user commits)2>._oracle v$sysstat视图

随便推点

Vue router报错：NavigationDuplicated {_name: "NavigationDuplicated", name: "NavigationDuplicated"}的解决方法_navigationduplicated {_name: 'navigationduplicated-程序员宅基地

文章浏览阅读7.6k次，点赞2次，收藏9次。我最近做SPA项目开发动态树的时候一直遇到以下错误：当我点击文章管理需要跳转路径时一直报NavigationDuplicated {_name: “NavigationDuplicated”, name: “NavigationDuplicated”}这个错误但是当我点击文章管理后，路径跳转却是成功的<template> <div> 文章管理页面 <..._navigationduplicated {_name: 'navigationduplicated', name: 'navigationduplic

Webrtc回声消除模式(Aecm)屏蔽舒适噪音(CNG)_webrtc aecm 杂音-程序员宅基地

文章浏览阅读3.9k次。版本VoiceEngine 4.1.0舒适噪音生成（comfort noise generator，CNG）是一个在通话过程中出现短暂静音时用来为电话通信产生背景噪声的程序。#if defined(WEBRTC_ANDROID) || defined(WEBRTC_IOS)static const EcModes kDefaultEcMode = kEcAecm;#elsestati..._webrtc aecm 杂音

医学成像原理与图像处理一：概论_医学成像与图像处理技术知识点总结-程序员宅基地

文章浏览阅读6.3k次，点赞9次，收藏19次。医学成像原理与图像处理一：概论引言：本系列博客为医学成像原理与图像处理重要笔记，由于是手写，在此通过扫描录入以图片的形式和电子版增补内容将其进行组织和共享。前半部分内容为图像处理基础内容，包括图像的灰度级处理、空间域滤波、频率域滤波、图像增强和分割等；后半部分内容为医学影象技术，包括常规胶片X光机、CR、DR、CT、DSA等X射线摄影技术、超声成像技术、磁共振成像（MRI）技术等。本篇主要内容是概论。_医学成像与图像处理技术知识点总结

notepad++ v8.5.3 安装插件，安装失败怎么处理？下载进度为0怎么处理？_nodepa++-程序员宅基地

文章浏览阅读591次，点赞13次，收藏10次。notepad++ v8.5.3 安装插件，下载进度为0_nodepa++

hive某个字段中包括\n（和换行符冲突）_hive sql \n-程序员宅基地

文章浏览阅读2.1w次。用spark执行SQL保存到Hive中： hiveContext.sql(&quot;insert overwrite table test select * from aaa&quot;)执行完成，没报错，但是核对结果的时候，发现有几笔数据超出指定范围（实际只包含100/200）最终排查到是ret_pay_remark 字段包含换行符,解决方案：执行SQL中把特殊字符替换掉regexp_replace(..._hive sql \n

印象笔记05：如何打造更美的印象笔记超级笔记_好的印象笔记怎么做的-程序员宅基地

文章浏览阅读520次，点赞10次，收藏8次。印象笔记05：如何打造更美的印象笔记超级笔记本文介绍印象笔记的具体使用，如何打造更美更实用的笔记。首先想要笔记更加好看和实用，我认为要使用超级笔记。所谓超级笔记就是具有很多便捷功能的笔记。_好的印象笔记怎么做的

推荐文章

热门文章

相关标签