실시간 데이터 파이프라인 구축기 - Terraform으로 EKS를 띄워보자

들어가며

아키텍처

EKS 사전 탐사

EKS Node 선택과정

• EKS on Fargate: 컨테이너 서버리스 서비스로 완전 관리형 노드

• EKS on Managed Node Group: AWS EC2 기반 관리형 노드

• EKS on Self Managed Node Group: AWS EC2 기반 자체 관리형 노드

1. 확장성 측면에서 Fargate가 좋지만 현재 상황에는 확장성이 크게 중요하지 않음

2. Fargate는 컨테이너라는 특성상 stateless한 리소스에 적합한데, 이번 EKS에서 운영될 어플리케이션이 stateful한 리소스(Connector, schema registry…)가 많은 상황
1. 물론 fargate도 EFS(Elastic File System)를 이용하여 stateful한 리소스를 커버할 수 있지만 추가적인 설정을 해주어야 함

3. 비용 측면에서 Fargate보다 저렴한 관리형 노드 그룹

EKS와 Terraform

Terraform EKS Module이란?

module "eks" {
  source  = "terraform-aws-modules/eks/aws"
  version = "~> 19.0"

  cluster_name    = "my-cluster"
	cluster_version = "1.24"

	cluster_endpoint_private_access = true
  cluster_endpoint_public_access  = true

	enable_irsa = true

  eks_managed_node_group_defaults = {
    disk_size = 50
  }

  eks_managed_node_groups = {
    general = {
      desired_size = 1
      min_size     = 1
      max_size     = 10

      labels = {
        role = "general"
      }
	...
...
}

EKS 한 번 만들어봅시다

1. 우선 만들어보자

2. 기존 테라폼 코드에 끼워넣기

3. 재사용 가능한 모듈로 만들자

우선 만들어보자

terraform {
  required_providers {
    aws = {
      source  = "hashicorp/aws"
      version = "~> 4.17"
    }
    kubectl = {
      source  = "gavinbunney/kubectl"
      version = ">= 1.14.0"
    }
    helm = {
      source  = "hashicorp/helm"
      version = ">= 2.6.0"
    }
    kubernetes = {
      source                = "hashicorp/kubernetes"
      version               = ">= 2.17.0"
    }
  }

  required_version = ">= 1.2.2"
}

module "eks" {
  source  = "terraform-aws-modules/eks/aws"
  version = "~> 19.0"

  cluster_name    = "dev-eks"
	cluster_version = "1.24"

	cluster_endpoint_private_access = true
  cluster_endpoint_public_access  = true

	enable_irsa = true

  eks_managed_node_group_defaults = {
    disk_size = 50
  }

  eks_managed_node_groups = {
    general = {
      desired_size = 2
      min_size     = 1
      max_size     = 10

      labels = {
        role = "general"
      }
	...
...

terraform init
terraform apply

EKS IAM

• configmap에 직접 유저를 추가

• Role(역할)을 만들고 유저에게 부여

1. EKS에 대한 적절한 권한을 가지고 있는 Policy 생성 (aws_iam_policy)

2. 해당 권한을 가진 Role 생성 (aws_iam_role)

3. Policy와 Role 연결 (aws_iam_role_policy_attachment)

1. aws configure --profile <user_name> 로 configure에 사용자 profile 등록

2. user가 생성한 Role을 부여받을 수 있도록 Role 이름으로 ~/.aws/config 에 새로운 profile을 생성

[profile <role_name>]
role_arn = arn:aws:iam::<arn_id>:role/<role_name>
source_profile = <user_name>

3. aws eks update-kubeconfig --name <eks_name> --region <리전명> --profile <생성한 profile_name> 로 ~/.kube/config에 업데이트

aws_auth_roles = [
    {
      rolearn  = aws_iam_role.eks_admin.arn
      username = aws_iam_role.eks_admin.name
      groups   = ["system:masters"]
    },
  ]

aws_auth_users = local.eks_admins

기존 테라폼 코드에 끼워넣기

1. EKS와 DB의 종속성 문제
1. EKS 내에 카프카 커넥터가 DB의 binlog를 읽을 수 있어야 했기에 필히 같은 VPC에 위치해야 했음. 하지만 둘은 서로 다른 repo에 있었기에 vpc id를 코드에 직접 주입해주야 했는데 이는 보안이나 관리 측면에서 좋지 못했음.

2. 비효율적인 인프라 코드 관리
1. 모든 AWS 관련 인프라를 하나의 repo에서 관리하는 상황이었기에 EKS만 따로 관리를 하는 것이 비효율적이었음.

3. 또 다른 EKS 클러스터 구축 니즈
1. 카프카를 위한 EKS 외에도 이 후 머신러닝 학습을 위한 EKS가 또 필요할 수도 있었기에 재사용성이 낮은 현재의 형태는 적절하지 못함

resource "aws_security_group_rule" "allow_kafka_tasks_default_db_cluster_mysql_ingress" {
  security_group_id = aws_security_group.default_db_cluster.id
  type              = "ingress"
  ...

  depends_on = [
    module.eks_kafka
  ]
}

재사용 가능한 모듈로 만들자

# eks 모듈
module "eks" {
  source = "terraform-aws-modules/eks/aws"

  cluster_name    = local.prefix
  cluster_version = "1.24"

  eks_managed_node_group_defaults = {
    disk_size = var.disk_size
  }

  eks_managed_node_groups = {
    default = {
      desired_size                    = var.desired_size
      min_size                        = var.min_size
      max_size                        = var.max_size
			...
    }
  }
	...
}

# 파생 모듈
module "eks_derivative" {
  source = "./modules/eks"
  environment = var.environment

  cluster_name   = "derivative"
  disk_size      = 20
  min_size       = 2
  max_size       = 3
	...
}

.
├── README.md
├── aws
│   ├── default-database.tf
│   ├── eks-kafka.tf
│   ├── modules
│   │   ├── eks
│   │   │   ├── eks.tf
│   │   │   ├── iam.tf
│   │   │   ├── main.tf
│   │   │   ├── outputs.tf
│   │   │   └── variables.tf
│   ├── versions.tf
...

꿀팁. alias 기능 활용하기

provider "kubernetes" {
  host                   = cluster_1_endpoint
  cluster_ca_certificate = base64decode(cluster_1.certificate_authority[0].data)

	...
  alias = "cluster_1"
}

provider "kubernetes" {
  host                   = cluster_2_endpoint
  cluster_ca_certificate = base64decode(cluster_2.certificate_authority[0].data)

	...
  alias = "cluster_2"
}

terraform {
  required_providers {
    }
    kubernetes = {
      source                = "hashicorp/kubernetes"
      version               = ">= 2.17.0"
      configuration_aliases = [kubernetes.cluster_1, kubernetes.cluster_2]
    }
  }
	...
}

마치며

참고자료

• EKS 워크샵

• EKS 테라폼 공식 모듈 레지스트리

• 쿠버네티스 테라폼 공식 문서