前々回、kubeadmを使い、ローカルでk8sを起動する方法を紹介しました。今回はkubeadmを使わずにk8sのソースコードからビルドし、起動する方法を紹介します。k8sのソースコードをいじって自分用のk8s環境を作りたいという方にはぜひ参考にしてください。

環境

Ubutnu 18.02

手順

まず、dockerをインストールします。ちゃんと公式ドキュメントを見ましょう。たまに非公式なものをインストールするとエラーが出ます。

   sudo add-apt-repository \
   "deb [arch=amd64] https://download.docker.com/linux/ubuntu \
   (lsb_release -cs) \
   stable"
   sudo apt update
   sudo apt-get install docker-ce docker-ce-cli containerd.io

次にetcdをインストールするのですが、これは一回飛ばします。k8sのソースコードにはetcdをインストールするためのシェルスクリプトが入っているので怒られたらそれを使います。
あとgo言語ですね。 バージョンを確認して入れましょう。 自分のk8sソースコードに対応したgoを入れてください。 参考までに自分のインストール方法を載せます。

  curl -O https://dl.google.com/go/go1.13.1.linux-amd64.tar.gz
  tar -C /usr/local -xzf go1.13.1.linux-amd64.tar.gz
  export PATH=$PATH:/usr/local/go/bin

追記:
もし「exec: "gcc": executable file not found in $PATH」 といった表示が出たら、sudo apt install gccでgccをインストールしてください。
OpenSSLとCFSSLもインストールします。それぞれコマンドを打ってみて既にインストールされているようならば問題ありません。自分の環境ではOpenSSLは入っていたのでCFSSLだけインストールします。

  go get -u github.com/cloudflare/cfssl/cmd/...
  export PATH=$PATH:$GOPATH/bin

それではk8sソースコードをcloneします。cloneする際、オプション -b でバージョンを指定することをおすすめします。最新のバージョンはまだ発見されていないバグがあるかもしれません。(まあ安定版も同じかもしれませんが)

追記:
git cloneする場所は~/go/src/k8s.io/ をおすすめします。

mkdir ~/go/src/k8s.io/
cd ~/go/src/k8s.io/
git clone https://github.com/kubernetes/kubernetes.git -b v1.15.5

cloneしたらkubernetesに入り、kubernetesを起動するためのシェルスクリプトを実行します。

cd kubernetes
hack/local-up-cluster.sh

ここでエラーがでました。git issueを探してみるとこんなものがありました。どうやらgo言語のモジュール関連のエラーらしいですね。
/hack/lib/init.shにある「GO111MODULE = auto」を「GO111MODULE = off」に変えると起動できます。

参考文献

Redirecting…

docs.docker.com

kube-system tiller-deploy-f9b8476d-zkln4 always pending by failed scheduling · Issue #4181 · helm/helm

how to fix this? Output of helm version: Client: &version.Version{SemVer:"v2.9.1", GitCommit:"20adb27c7c5868466912eebdf6664e7390ebe710",...

github.com

community/running-locally.md at master · kubernetes/community

Kubernetes community content. Contribute to kubernetes/community development by creating an account on GitHub.

github.com

switch build scripts to use go modules, stop requiring $GOPATH · Issue #82531 · kubernetes/kubernetes

Tasks to move to go1.13: resolve #82506 / heketi/heketi#1648 (fixed upstream heketi/heketi#1649) fixed in k8s in #82805 update gofmt-formatted source to be comp...

github.com

　今回は自分のPCでkubernetes環境(以下k8s)と作成しようと思います。ネットで調べるとGoogle Kubernetes Engine (GKE)やAzure Kubernetes Service (AKS)などリモートの環境が多かったのですが、オンプレは記事が少なかったのでメモついでに書きます。

開発環境

Ubuntu 18.04

手順

まずroot権限に変更し、スワップ機能をオフにします。

sudo -s
swapoff -a

次にdocker をインストールします。

#Install Docker CE
## Set up the repository:
### Install packages to allow apt to use a repository over HTTPS
apt-get update && apt-get install apt-transport-https ca-certificates curl software-properties-common

### Add Docker’s official GPG key
curl -fsSL https://download.docker.com/linux/ubuntu/gpg | apt-key add -

### Add Docker apt repository.
add-apt-repository \
  "deb [arch=amd64] https://download.docker.com/linux/ubuntu \
  $(lsb_release -cs) \
  stable"

## Install Docker CE.
apt-get update && apt-get install docker-ce=5:18.09.5~3-0~ubuntu-bionic

mkdir -p /etc/systemd/system/docker.service.d

# Restart docker.
systemctl daemon-reload
systemctl restart docker

docker versionで18.09.5が表示されればOKです。

次にk8s環境を構築するためにkubeadm kubelet kubectlをインストールします。

# Install kubeadm kubelet kubectl
apt-get update && apt-get install -y apt-transport-https curl
curl -s https://packages.cloud.google.com/apt/doc/apt-key.gpg | apt-key add -
cat <<EOF >/etc/apt/sources.list.d/kubernetes.list
deb https://apt.kubernetes.io/ kubernetes-xenial main
EOF
apt-get update
apt-get install -y kubeadm=1.15.4-00 - 
apt-get install -y kubelet=1.15.4-00 - 
apt-get install -y kubectl=1.15.4-00 - 
apt-mark hold kubelet kubeadm kubectl

kubeadm kubelet kubectlはv1.15.4-00 – をインストールします。

ポッドネットワークアドオンを指定し、k8s環境を作成します。ポッドネットワークアドオンとはポッド同士で通信を行うために必要なものです。
自分はflannelを使いますが、他にもAWS VPCやCalicoなどがあるので気になる人は参考文献から公式サイトに飛んて見て下さい。

kubeadm init --pod-network-cidr=10.244.0.0/16

これでk8s環境が作成されました。
非rootユーザも操作できるようにします。

mkdir -p $HOME/.kube
cp -f /etc/kubernetes/admin.conf $HOME/.kube/config
exit
sudo chown $(id -u):$(id -g) $HOME/.kube/config
export KUBECONFIG=/etc/kubernetes/admin.conf 

これで再度ログインすればkubectl が非ルートで操作できるようになります。
flannelファイルをapplyして確認してみましょう。

kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/62e44c867a2846fefb68bd5f178daf4da3095ccb/Documentation/kube-flannel.yml

これでk8s環境完成です。お疲れ様でした。

初期化と再起動

k8s環境の初期化

k8s環境を初期化するには以下のコマンドでOKです。

sudo kubeadm reset

iptableもリセットする場合は以下のコマンドです。

iptables -F && iptables -t nat -F && iptables -t mangle -F && iptables -X

PCを再起動

PCを再起動してもk8s環境は自動的に立ち上がります。しかしいくら待っても立ち上がらないときはスワップ機能を確認してみてください。スワップ機能がオフでないとk8s環境は機能しません。

参考文献

Creating a cluster with kubeadm

Using kubeadm, you can create a minimum viable Kubernetes cluster that conforms to best practices. In fact, you can use kubeadm to set up a cluster that will pa...

kubernetes.io