這篇文章已超過一年。較舊的文章可能包含過時的內容。請檢查頁面中的資訊自發布以來是否已變得不正確。

使用 Ansible 和 Vagrant 設定 Kubernetes

目標

這篇部落格文章描述了設定用於開發目的的多節點 Kubernetes 叢集所需的步驟。此設定提供類似生產環境的叢集,可在您的本機電腦上設定。

為何我們需要多節點叢集設定?

多節點 Kubernetes 叢集提供類似生產環境的環境,具有各種優勢。儘管 Minikube 為入門提供了絕佳的平台,但它不提供使用多節點叢集的機會,而多節點叢集可以幫助解決與應用程式設計和架構相關的問題或錯誤。例如,維運人員可以在多節點叢集環境中重現問題,測試人員可以部署多個版本的應用程式以執行測試案例和驗證變更。這些優勢使團隊能夠更快地解決問題,從而使團隊更具敏捷性。

為何使用 Vagrant 和 Ansible?

Vagrant 是一種工具,可讓我們輕鬆建立虛擬環境,並消除導致「在我的機器上可以運作」現象的陷阱。它可以與多個供應商一起使用,例如 Oracle VirtualBox、VMware、Docker 等。它允許我們透過使用組態檔來建立可拋棄式的環境。

Ansible 是一種基礎架構自動化引擎,可自動化軟體組態管理。它是無代理程式的,並允許我們使用 SSH 金鑰連接到遠端機器。Ansible Playbook 以 yaml 撰寫,並在簡單的文字檔中提供庫存管理。

先決條件

  • 您的機器上應安裝 Vagrant。安裝二進位檔可在此處找到。
  • Oracle VirtualBox 可以用作 Vagrant 供應商,或使用 Vagrant 官方文件中描述的類似供應商。
  • 您的機器上應安裝 Ansible。請參閱Ansible 安裝指南以取得特定平台的安裝說明。

設定概述

我們將設定一個 Kubernetes 叢集,該叢集將包含一個主節點和兩個工作節點。所有節點都將執行 Ubuntu Xenial 64 位元作業系統,並將使用 Ansible Playbook 進行佈建。

步驟 1:建立 Vagrantfile

使用您選擇的文字編輯器建立一個名為 Vagrantfile 的檔案,並插入以下程式碼。N 的值表示叢集中存在的節點數,可以相應地修改。在以下範例中,我們將 N 的值設定為 2。

IMAGE_NAME = "bento/ubuntu-16.04"
N = 2

Vagrant.configure("2") do |config|
    config.ssh.insert_key = false

    config.vm.provider "virtualbox" do |v|
        v.memory = 1024
        v.cpus = 2
    end
      
    config.vm.define "k8s-master" do |master|
        master.vm.box = IMAGE_NAME
        master.vm.network "private_network", ip: "192.168.50.10"
        master.vm.hostname = "k8s-master"
        master.vm.provision "ansible" do |ansible|
            ansible.playbook = "kubernetes-setup/master-playbook.yml"
            ansible.extra_vars = {
                node_ip: "192.168.50.10",
            }
        end
    end

    (1..N).each do |i|
        config.vm.define "node-#{i}" do |node|
            node.vm.box = IMAGE_NAME
            node.vm.network "private_network", ip: "192.168.50.#{i + 10}"
            node.vm.hostname = "node-#{i}"
            node.vm.provision "ansible" do |ansible|
                ansible.playbook = "kubernetes-setup/node-playbook.yml"
                ansible.extra_vars = {
                    node_ip: "192.168.50.#{i + 10}",
                }
            end
        end
    end
end

步驟 2:為 Kubernetes 主節點建立 Ansible Playbook。

在與 Vagrantfile 相同的目錄中建立一個名為 kubernetes-setup 的目錄。在目錄 kubernetes-setup 中建立兩個名為 master-playbook.ymlnode-playbook.yml 的檔案。

在檔案 master-playbook.yml 中,新增以下程式碼。

步驟 2.1:安裝 Docker 及其相依元件。

我們將安裝以下套件,然後將名為「vagrant」的使用者新增到「docker」群組。

  • docker-ce
  • docker-ce-cli
  • containerd.io
---
- hosts: all
  become: true
  tasks:
  - name: Install packages that allow apt to be used over HTTPS
    apt:
      name: "{{ packages }}"
      state: present
      update_cache: yes
    vars:
      packages:
      - apt-transport-https
      - ca-certificates
      - curl
      - gnupg-agent
      - software-properties-common

  - name: Add an apt signing key for Docker
    apt_key:
      url: https://download.docker.com/linux/ubuntu/gpg
      state: present

  - name: Add apt repository for stable version
    apt_repository:
      repo: deb [arch=amd64] https://download.docker.com/linux/ubuntu xenial stable
      state: present

  - name: Install docker and its dependecies
    apt: 
      name: "{{ packages }}"
      state: present
      update_cache: yes
    vars:
      packages:
      - docker-ce 
      - docker-ce-cli 
      - containerd.io
    notify:
      - docker status

  - name: Add vagrant user to docker group
    user:
      name: vagrant
      group: docker

步驟 2.2:如果系統已啟用交換空間,Kubelet 將不會啟動,因此我們使用以下程式碼停用交換空間。

  - name: Remove swapfile from /etc/fstab
    mount:
      name: "{{ item }}"
      fstype: swap
      state: absent
    with_items:
      - swap
      - none

  - name: Disable swap
    command: swapoff -a
    when: ansible_swaptotal_mb > 0

步驟 2.3:使用以下程式碼安裝 kubelet、kubeadm 和 kubectl。

  - name: Add an apt signing key for Kubernetes
    apt_key:
      url: https://packages.cloud.google.com/apt/doc/apt-key.gpg
      state: present

  - name: Adding apt repository for Kubernetes
    apt_repository:
      repo: deb https://apt.kubernetes.io/ kubernetes-xenial main
      state: present
      filename: kubernetes.list

  - name: Install Kubernetes binaries
    apt: 
      name: "{{ packages }}"
      state: present
      update_cache: yes
    vars:
      packages:
        - kubelet 
        - kubeadm 
        - kubectl

  - name: Configure node ip
    lineinfile:
      path: /etc/default/kubelet
      line: KUBELET_EXTRA_ARGS=--node-ip={{ node_ip }}

  - name: Restart kubelet
    service:
      name: kubelet
      daemon_reload: yes
      state: restarted

步驟 2.3:使用以下程式碼透過 kubeadm 初始化 Kubernetes 叢集 (僅適用於主節點)。

  - name: Initialize the Kubernetes cluster using kubeadm
    command: kubeadm init --apiserver-advertise-address="192.168.50.10" --apiserver-cert-extra-sans="192.168.50.10"  --node-name k8s-master --pod-network-cidr=192.168.0.0/16

步驟 2.4:設定 vagrant 使用者的 kube 組態檔以存取 Kubernetes 叢集,使用以下程式碼。

  - name: Setup kubeconfig for vagrant user
    command: "{{ item }}"
    with_items:
     - mkdir -p /home/vagrant/.kube
     - cp -i /etc/kubernetes/admin.conf /home/vagrant/.kube/config
     - chown vagrant:vagrant /home/vagrant/.kube/config

步驟 2.5:使用以下程式碼設定容器網路供應商和網路政策引擎。

  - name: Install calico pod network
    become: false
    command: kubectl create -f https://docs.projectcalico.org/v3.4/getting-started/kubernetes/installation/hosted/calico.yaml

步驟 2.6:產生 kube join 命令以將節點加入 Kubernetes 叢集,並將命令儲存在名為 join-command 的檔案中。

  - name: Generate join command
    command: kubeadm token create --print-join-command
    register: join_command

  - name: Copy join command to local file
    local_action: copy content="{{ join_command.stdout_lines[0] }}" dest="./join-command"

步驟 2.7:設定處理常式以使用以下程式碼檢查 Docker Daemon。

  handlers:
    - name: docker status
      service: name=docker state=started

步驟 3:為 Kubernetes 節點建立 Ansible Playbook。

在目錄 kubernetes-setup 中建立一個名為 node-playbook.yml 的檔案。

將以下程式碼新增到 node-playbook.yml

步驟 3.1:從步驟 2.1 到 2.3 開始新增程式碼。

步驟 3.2:使用以下程式碼將節點加入 Kubernetes 叢集。

  - name: Copy the join command to server location
    copy: src=join-command dest=/tmp/join-command.sh mode=0777

  - name: Join the node to cluster
    command: sh /tmp/join-command.sh

步驟 3.3:新增步驟 2.7 中的程式碼以完成此 Playbook。

步驟 4:完成 Vagrantfile 和 Playbook 後,請按照以下步驟操作。

$ cd /path/to/Vagrantfile
$ vagrant up

完成以上所有步驟後,Kubernetes 叢集應已啟動並執行。我們可以依照以下方式使用 Vagrant 登入主節點或工作節點

$ ## Accessing master
$ vagrant ssh k8s-master
vagrant@k8s-master:~$ kubectl get nodes
NAME         STATUS   ROLES    AGE     VERSION
k8s-master   Ready    master   18m     v1.13.3
node-1       Ready    <none>   12m     v1.13.3
node-2       Ready    <none>   6m22s   v1.13.3

$ ## Accessing nodes
$ vagrant ssh node-1
$ vagrant ssh node-2