상상가속도

[Spring Boot] VSCode에서 Newer patch version of Spring Boot available: 경고 제거

12기통엔진 — Sat, 20 Jul 2024 20:46:58 +0900

build.gradle 파일의 노란 경고 표시가 거슬린다.

Spring Boot 새 버전이 나왔으니 확인하라고 경고를 띄워주는거랜다.

The new Spring Boot version validation and upgrade support in Spring Tools

New releases of Spring Boot are being released on a quite frequent schedule and updating your projects to newer versions of Spring Boot is something that many teams and organizations around the globe do as part of their daily work. Sometimes those upgrades

spring.io

볼 때마다 거슬리니 없애주자.

VSCode > Preferences > Settings > 'spring-boot' 검색 > 좌측 네비게이터에서 'extentions' - 'spring boot tools' - 'versions and support ranges' 항목 선택 > 스크롤 내리면서 UPDATE_LATEST_PATCH_VERSION 항목 찾기 > 해당 옵션 WARNING에서 IGNORE로 변경

[Spring Boot] 초기 프로젝트 403 error request 처리 실패 해결

12기통엔진 — Sat, 20 Jul 2024 20:42:25 +0900

문제

Spring Boot 앱이 정상적으로 로드된 뒤에

2024-07-20T13:50:13.315+09:00 INFO 93019 --- [demo] [ restartedMain] cohttp://m.example.demo.DemoApplication : Started DemoApplication in 2.822 seconds (process running for 3.144)

포스트맨을 이용해 GET /health request를 보내보면

2024-07-20T13:50:17.072+09:00  INFO 93019 --- [demo] [nio-4000-exec-2] o.a.c.c.C.[Tomcat].[localhost].[/]       : Initializing Spring DispatcherServlet 'dispatcherServlet'

2024-07-20T13:50:17.072+09:00  INFO 93019 --- [demo] [nio-4000-exec-2] o.s.web.servlet.DispatcherServlet        : Initializing Servlet 'dispatcherServlet'

2024-07-20T13:50:17.075+09:00  INFO 93019 --- [demo] [nio-4000-exec-2] o.s.web.servlet.DispatcherServlet        : Completed initialization in 3 ms

response없이, dispatcherServlet을 초기화한다는 로그만 남는다.

특히 postman 쪽에서 확인해보면 403 error를 확인할 수 있다.

원인

Spring Boot Application에 포함된 Security Auto Config 클래스의 실행으로 security filter가 동작해 인가 관련 에러가 발생한 것.

자체적인 인가 로직을 보유하고있다면 Security Auto Config 클래스를 SpringBootApplication에서 제외시켜도 좋고,

Security Auto Config를 구상해 반드시 Security filter를 통과하도록 구현해놓고 차차 인가 로직을 구현해도 좋을 것이다.

해결

1. security configuration 등록 제외

{project_name}Application.java 파일의 Application 클래스의 데코레이터에 정의된

@SpringBootApplication 데코레이터를 수정한다.

...
@SpringBootApplication(exclude = SecurityAutoConfiguration.class)
public class {app_name}Application {
...
}

exclude=SecurityAutoConfiguration.class 옵션으로 해당 클래스를 제거하자.

2. SecurityConfig
SecurityConfig 클래스를 정의하고, 반드시 필터를 통과하도록 구상한다.

../SecurityConfig.java

...
@Configuration
@EnableWebSecurity(debug = true)
public class SecurityConfig {
    @Bean
    public SecurityFilterChain securityFilterChain(HttpSecurity http) throws Exception {
        http.csrf(csrf -> csrf.disable())
                .authorizeHttpRequests(requests -> requests.anyRequest().permitAll());
        return http.build();
    }
}

[Terraform] 리소스 모듈화 - Terraform 가이드 (4)

12기통엔진 — Tue, 16 Jul 2024 21:46:06 +0900

지난 게시글에서, 빠르게 결과물을 보려고 main.tf 파일에 다 때려넣었는데

각 리소스의 역할에 맞게 파일을 구분해 유지/보수에 유리하게 구조를 변경하자.

variables.tf, provider.tf 분리
network.tf 분리
security.tf 분리
rds.tf 분리
결과 확인
마무리

이전 글까지 따라했다면 아래의 상태일텐데,

/project_root
│
├── terraform
│   ├── main.tf
│   ├── .terraform.lock.hcl
│   ├── terraform.tfstate
│   ├── terraform.tfstate.backup
│   ├── .terraform
│   │   ├── ...

오늘의 목표는 이렇게 바꾸는 것이다.

/project_root
│
├── terraform
│   ├── main.tf			// 컨트롤 타워
│   ├── variable.tf 		// 민감한 정보 저장
│   ├── provider.tf 		// region 등 배포에 필요한 제공자 저장
│   ├── common 			// util resource
│   │   ├── network
│   │   │   ├── network.tf	// network resource
│   │   ├── security
│   │   │   ├── security.tf	// security resource
│   ├── rds
│   │   ├── rds.tf		// rds resource
│   ├── .terraform.lock.hcl
│   ├── .terraform
│   │   ├── ...

AWS에서 구분한 기능에 맞게 파일을 전부 나누고, 연결시켜 줄 것이다.

variables.tf, provider.tf 분리

in terraform/variables.tf,

# Basic Info
variable "region" {
  description = "The AWS region"
  default     = {your_region}
}

# RDS
variable "db_instance_name" {
  description = "The name of the RDS instance"
  type        = string
  default     = {your_instance_name}
}

variable "db_username" {
  description = "Master username for the RDS cluster"
  type        = string
  default     = {your_username}
}

variable "db_password" {
  description = "Master password for the RDS cluster"
  type        = string
  sensitive   = true
  default     = {your_password}
}

variable "db_name" {
    description = "The name of database"
    type = string
    default = {your_db_name}
}

in terraform/provider.tf

provider "aws" {
  region = var.region
}

variables.tf, provider.tf 파일을 생성함에 따라, 기존 main.tf 파일을 수정한다.

in terraform/main.tf,

# # Provider
# provider "aws" {
#   region = {your_region}
# }
# Provider 정의 제거

...

# DB Instance
resource "aws_db_instance" "db_instance" {
  identifier              = var.db_instance_name # varialbe.tf에서 불러오도록 변경
...
  username                = var.db_username
  password                = var.db_password
  db_name                 = var.db_name
...
}

network.tf 분리

network 관련 리소스: VPC, Subnet, Internet Gateway, Route Table, Route Table Association, Subnet Group

새로운 파일을 만들어 옮겨준다.

in terraform/common/network/network.tf,

# DB Network
data "aws_availability_zones" "available" {}

resource "aws_vpc" "db_vpc" {
  cidr_block = "10.0.0.0/16" 
  
  enable_dns_hostnames = true
  enable_dns_support   = true

  tags = {
    Name = "db-vpc"
  }
}

resource "aws_subnet" "db_subnet" {
  count             = 2
  vpc_id            = aws_vpc.db_vpc.id
  cidr_block        = element(["10.0.1.0/24", "10.0.2.0/24"], count.index)
  availability_zone = element(data.aws_availability_zones.available.names, count.index)

  tags = {
    Name = "db-subnet-${count.index}"
  }
}

resource "aws_internet_gateway" "db_igw" {
  vpc_id = aws_vpc.db_vpc.id

  tags = {
    Name = "db-igw"
  }
}

resource "aws_route_table" "db_route_table" {
  vpc_id = aws_vpc.db_vpc.id

  route {
    cidr_block = "0.0.0.0/0"
    gateway_id = aws_internet_gateway.db_igw.id
  }

  tags = {
    Name = "db-route-table"
  }
}

resource "aws_route_table_association" "db_route_table_assoc" {
  count          = 2
  subnet_id      = element(aws_subnet.db_subnet[*].id, count.index)
  route_table_id = aws_route_table.db_route_table.id
}

resource "aws_db_subnet_group" "db_subnet_group" {
  name       = "db-subnet-group"
  subnet_ids = aws_subnet.db_subnet[*].id

  tags = {
    Name = "db-subnet-group"
  }
}

이 중, vpc id, subnet group name 은 security, rds에서 필요로 하니 output으로 따로 지정해줘야 한다.

in terraform/common/network/network.tf,

...
output "db_vpc_id" {
  value = aws_vpc.db_vpc.id
}

output "db_subnet_group_name" {
  value = aws_db_subnet_group.db_subnet_group.name
}

마지막으로 루트 디렉토리의 main.tf 에서 network와 관련된 부분을 변경하고
vpc id, subnet group id 받아오는 문법을 교체한다.

in terraform/main.tf,

# DB Network
module "network" { # 기존 코드를 교체
  source = "./common/network"
}

# DB Security
resource "aws_security_group" "db_sg" {
...
  vpc_id = module.network.db_vpc_id # 교체
...
}

# DB Instance
resource "aws_db_instance" "db_instance" {
...
  db_subnet_group_name    = module.network.db_subnet_group_name # 교체
...
}

security.tf 분리

이번엔 network 때와 다르게 main.tf에 정의할 module에 db_vpc_id 라는 input이 있다.

기존 main.tf의 코드를 옮기고, rds resource에서 사용할 security group id 를 output으로 내놓는 것까진 동일하다.

in terraform/common/security/security.tf,

# DB Security
resource "aws_security_group" "db_sg" {
  description = "Allow DB instance access"
  vpc_id = module.network.db_vpc_id

  ingress {
    from_port   = 3306
    to_port     = 3306
    protocol    = "tcp"
    cidr_blocks = ["0.0.0.0/0"]
  }

  egress {
    from_port   = 0
    to_port     = 0
    protocol    = "-1"
    cidr_blocks = ["0.0.0.0/0"]
  }

  tags = {
    Name = "db-sg"
  }
}

output "db_sg_id" {
  value = aws_security_group.db_sg.id
}

이제 network module의 output을 security module의 input으로 받아들일 수 있는 구조로 변경하자.

terraform/common/security 디렉토리에 variables.tf 파일을 만들자.

in terraform/common/security/variables.tf,

variable "db_vpc_id" {
  description = "The ID of the VPC for DB"
  type        = string
}

그리고 security.tf 의 module.network.db_vpc_id 부분을 변경하자.

in terraform/common/security/security.tf,

# DB Security
resource "aws_security_group" "db_sg" {
...
  vpc_id = var.db_vpc_id
...
}

security 디렉토리의 variables.tf에 "db_vpc_id"가 정의되었으므로,

해당 디렉토리를 기준으로 생성되는 모듈에서는 "db_vpc_id" 값을 반드시 필요로 한다.

마지막으로 main.tf 의 security 부분을 교체한다.

in terraform/main.tf

...
# DB Security
module "security" {
  source     = "./common/security"
  db_vpc_id  = module.network.db_vpc_id # Resource Input
}

# DB Instance
resource "aws_db_instance" "db_instance" {
...
  vpc_security_group_ids  = [module.security.db_sg_id]
...
}

rds.tf 분리

이제 감을 잡았을 것이다. 해야할 것은 크게 4가지

세부 디렉토리, 파일로 기존 코드 이동
다른 모듈에서 필요한 정보는 output {} 으로 정의해주기
input에 필요한 정보는 해당 디렉토리에 variables.tf 파일을 만들어 정의
main.tf 파일에서 module {} 문법으로 교체, 3번에서 정의한 input 집어 넣어 주기

한 번에 가보자.

in terraform/rds/rds.tf

# DB Instance
resource "aws_db_instance" "db_instance" {
  identifier              = var.db_instance_name
  instance_class          = "db.t3.micro"
  engine                  = "mysql"
  engine_version          = "8.0.34"
  username                = var.db_username
  password                = var.db_password
  db_name                 = var.db_name
  allocated_storage       = 20
  db_subnet_group_name    = var.db_subnet_group_name
  vpc_security_group_ids  = [var.db_sg_id]
  skip_final_snapshot     = true
  publicly_accessible     = true
}

in terraform/rds/variables/tf

variable "db_sg_id" {
    description = "Security group id for db instance"
    type = string
}

variable "db_instance_name" {
  description = "The name of the RDS instance"
  type        = string
}

variable "db_username" {
    description = "Root user name"
    type = string
}

variable "db_password" {
    description = "Root user password"
    type = string
}

variable "db_name" {
    description = "The name of database"
    type = string
}

variable "db_subnet_group_name" {
    description = "Subnet group name for db"
    type = string
}

in terraform/main.tf

...
# DB instance
module "rds" {
  source = "./rds"
  db_sg_id             = module.security.db_sg_id
  db_instance_name     = var.db_instance_name
  db_username          = var.db_username
  db_password          = var.db_password
  db_name              = var.db_name
  db_subnet_group_name = module.network.db_subnet_group_name
}

결과 확인

terraform init

terraform validate

terraform apply

지난 게시글에서와 동일하게 10개의 리소스를 배포한다고 한다. 구조만 변경한 것이니 당연하다.

마무리

디렉토리는 아래처럼 바뀌었다.

/project_root
│
├── terraform
│   ├── main.tf
│   ├── variable.tf
│   ├── provider.tf
│   ├── common
│   │   ├── network
│   │   │   ├── network.tf
│   │   ├── security
│   │   │   ├── security.tf
│   │   │   ├── variables.tf
│   ├── rds
│   │   ├── rds.tf
│   │   ├── variables.tf
│   ├── .terraform.lock.hcl
│   ├── .terraform
│   │   ├── ...

앞으로 새로운 유형의 리소스를 추가할 때도 디렉토리를 추가해 조각 조각 관리하자.

역할이 구분되어있어 맥락을 파악하기 쉽다.

마지막으로 .gitignore에 일부 파일을 등록하자.

in /.gitignore

...
# Ignore infra
terraform/.terraform/*
terraform/variables.tf
terraform/*.tfstate
terraform/*.tfstate.*
terraform/*.hcl
terraform/variables.tf.bak

끝! 다음 게시글에서는 ecr, ecs 리소스를 추가하는 과정을 다루겠다.

[Terraform] AWS RDS - Terraform 가이드 (3)

12기통엔진 — Tue, 16 Jul 2024 15:49:56 +0900

Terraform을 처음 이용해보는 사람의 입장에서 작성하는 시리즈다.

해당 글은 AWS와 연결해 접근 가능한 인스턴스를 하나 띄워보는 것을 목표로 한다.

이어지는 시리즈에서 서비스 별 모듈화, 구조 연결 등을 진행할 계획이니 차근차근 따라오면 된다.

terraform 디렉토리 생성, main.tf 파일 생성
RDS 클러스터, 인스턴스 정의
Network 리소스 정의
Security 리소스 정의
AWS credential 연결
배포
마무리

terraform 디렉토리 생성, main.tf 파일 생성

백엔드 프로젝트의 루트 디렉토리에 terraform 디렉토리를 생성하자.

mkdir terraform

해당 디렉토리에 VSCode의 명령어 ⌘ + N 로 main.tf 파일을 하나 생성한다.

(참고)
이번 글에서는 실행해보는 것을 목표로 하기 때문에 main.tf 파일에 모든 정보를 기재할 예정이다.
다음 글에서부터 variable.tf, provider.tf 파일을 생성해 민감한 정보를 담은 코드를 분리하고
리소스를 역할 별로 디렉토리를 만들어 분류할 예정이다.

RDS 클러스터, 인스턴스 정의

aws region 정의

in /terraform/main.tf,

# Provider
provider "aws" {
  region = {your_region}
}

db instance 정의

in /terraform/main.tf,

# DB Instance
resource "aws_db_instance" "db_instance" {
  identifier              = {your_db_instance_name}
  instance_class          = "db.t3.micro" // free tier
  engine                  = "mysql"
  engine_version          = "8.0.34"
  username                = {db_username}
  password                = {db_password}
  db_name                 = {db_name}
  allocated_storage       = 20
  skip_final_snapshot     = true
  publicly_accessible     = true
}

Terraform Registry

registry.terraform.io

공식 문서에서 필요한 프로퍼티를 찾아 기입하자.

identifier	AWS console에 노출될 이름을 지정
instance_class	Free tier 에 해당하는 "db.t3.micro" 클래스로 정의한다.
engine, engine_version	engine, engine_version: 사용할 엔진, 버전을 지정한다. (Docs가 불친절해서 AWS에서 옵션을 보고 기입하자.)
username, password	RDS는 master 계정과 동일한 권한의 계정을 추가 생성해 우리에게 제공해준다. 해당 계정의 이름, 비밀번호를 설정하자.
db_name	사용할 db의 이름을 지정한다. 이 옵션을 넣으면 자동으로 db를 만들어준다. 나중에 진입해서 테이블은 만들어놔야 한다.
allocated_storage	Storage 양, GB 단위이다.
skip_final_snapshot	해당 DB instance를 삭제할 때 final snapshot을 만들지 물어보는 항목
publicly_accessible	AWS 내부 네트워크에서만 통신할건지 물어보는 항목

Network 리소스 정의

이제 위에서 정의한 db instance가 배포되었을 때 public network를 통해 접근할 수 있도록 정의해주자.

VPC: AWS 클라우드 내에 격리된 네트워크 환경을 제공
Subnet: VPC 내에서 IP 주소 범위를 더 작은 논리적 네트워크로 분할
Internet Gateway: VPC와 인터넷 간의 양방향 통신을 가능하게 하는 게이트웨이
Route Table: VPC 내 네트워크 트래픽 경로를 정의
Route Table Association: 서브넷을 특정 라우팅 테이블에 연결
Subnet Group: RDS와 같은 특정 AWS 서비스에서 사용되는 논리적 서브넷 집합

in /terraform/main.tf,

# DB Network
data "aws_availability_zones" "available" {}

resource "aws_vpc" "db_vpc" {
  cidr_block = "10.0.0.0/16" 
  
  enable_dns_hostnames = true
  enable_dns_support   = true

  tags = {
    Name = "db-vpc"
  }
}

resource "aws_subnet" "db_subnet" {
  count             = 2
  vpc_id            = aws_vpc.db_vpc.id
  cidr_block        = element(["10.0.1.0/24", "10.0.2.0/24"], count.index)
  availability_zone = element(data.aws_availability_zones.available.names, count.index)

  tags = {
    Name = "db-subnet-${count.index}"
  }
}

resource "aws_internet_gateway" "db_igw" {
  vpc_id = aws_vpc.db_vpc.id

  tags = {
    Name = "db-igw"
  }
}

resource "aws_route_table" "db_route_table" {
  vpc_id = aws_vpc.db_vpc.id

  route {
    cidr_block = "0.0.0.0/0"
    gateway_id = aws_internet_gateway.db_igw.id
  }

  tags = {
    Name = "db-route-table"
  }
}

resource "aws_route_table_association" "db_route_table_assoc" {
  count          = 2
  subnet_id      = element(aws_subnet.db_subnet[*].id, count.index)
  route_table_id = aws_route_table.db_route_table.id
}

resource "aws_db_subnet_group" "db_subnet_group" {
  name       = "db-subnet-group"
  subnet_ids = aws_subnet.db_subnet[*].id

  tags = {
    Name = "db-subnet-group"
  }
}

DB instance와 subnet group 연결

# DB Instance
resource "aws_db_instance" "db_instance" {
...
  db_subnet_group_name    = aws_db_subnet_group.db_subnet_group.name // New!
}

Security 리소스 정의

다음은 접근 가능 ip, port를 제한하는 Security Group을 정의한다.

in /terraform/main.tf,

resource "aws_security_group" "db_sg" {
  description = "Allow DB instance access"
  vpc_id = aws_vpc.db_vpc.id

  ingress {
    from_port   = 3306
    to_port     = 3306
    protocol    = "tcp"
    cidr_blocks = ["0.0.0.0/0"]
  }

  egress {
    from_port   = 0
    to_port     = 0
    protocol    = "-1"
    cidr_blocks = ["0.0.0.0/0"]
  }

  tags = {
    Name = "db-sg"
  }
}

해당 security group은,

ingress - 모든 ip로부터 3306 포트의 통신만 받는다.

egress - 모든 ip, 모든 포트에 정보를 전달 가능하다.

DB instance와 security group 연결

resource "aws_db_instance" "db_instance" {
  ...
  vpc_security_group_ids  = [aws_security_group.db_sg.id] // New!
}

AWS credential 연결

AWS IAM user 생성
- Access Key 발급
- console 로그인용 user name, password는 선택 사항
AWS IAM user 권한 추가
- user group에 권한을 추가한 뒤 해당 group에 user 추가해도 됨.
- Policy - 내 권한에 있는 건데, 최적화된 권한은 아니므로 추가로 알아봐야한다.
  - AmazonRDSFullAccess
  - AmazonECS_FullAccess
  - AmazonECSTaskExecutionRolePolicy
  - AmazonElasticContainerRegistryPublicFullAccess
  - AmazonEC2ContainerRegistryFullAccess
  - AmazonEC2FullAccess
  - ElasticLoadBalancingFullAccess
  - CloudWatchLogsFullAccess
  - IAMFullAccess
AWS cli 설치 및 로그인

aws configure

Access Key ID, Access Key, region 입력

배포

해당 과정에 성공하면 AWS에 인스턴스가 생성된다.

무료 티어의 인스턴스이더라도, 네트워크 송수신 비용이 발생하니 꼭 주의해야한다.

아래의 명령어들을 순서대로 터미널에 입력한다.

terraform init

terraform validate

terraform apply

yes를 입력하면 배포를 시도한다. db instance 쪽 오류를 해결하느라 1개만 마지막에 추가됐는데, 문제 없다면 10개의 리소스가 추가된다.

배포에 성공했으니, 접속되는지 mysql client로 확인해보자.

필자는 Sequel Ace를 사용하고 있다.

성공!

이제 삭제까지 연습해보자.

terraform destroy

terraform apply 명령어로 생성된 모든 리소스를 제거한다.

권한이나 종속관계 문제로 해당 명령어로 삭제되지 않는 경우가 있으니,

로그를 꼭 확인하고 AWS 콘솔에서 확실히 삭제해 불필요한 비용 지출을 막자.

마무리

현재까지 디렉토리 구조

/project_root
│
├── terraform
│   ├── main.tf
│   ├── .terraform.lock.hcl
│   ├── terraform.tfstate
│   ├── terraform.tfstate.backup
│   ├── .terraform
│   │   ├── ...

.terraform.lock.hcl, terraform.tfstate, terraform.tfstate.backup 파일, .terraform 디렉토리는 .gitignore에 추가하자.

현재 main.tf 파일은 다음과 같을 것이다.

# Provider
provider "aws" {
  region = {your_region}
}

# DB Network
data "aws_availability_zones" "available" {}

resource "aws_vpc" "db_vpc" {
  cidr_block = "10.0.0.0/16" 
  
  enable_dns_hostnames = true
  enable_dns_support   = true

  tags = {
    Name = "db-vpc"
  }
}

resource "aws_subnet" "db_subnet" {
  count             = 2
  vpc_id            = aws_vpc.db_vpc.id
  cidr_block        = element(["10.0.1.0/24", "10.0.2.0/24"], count.index)
  availability_zone = element(data.aws_availability_zones.available.names, count.index)

  tags = {
    Name = "db-subnet-${count.index}"
  }
}

resource "aws_internet_gateway" "db_igw" {
  vpc_id = aws_vpc.db_vpc.id

  tags = {
    Name = "db-igw"
  }
}

resource "aws_route_table" "db_route_table" {
  vpc_id = aws_vpc.db_vpc.id

  route {
    cidr_block = "0.0.0.0/0"
    gateway_id = aws_internet_gateway.db_igw.id
  }

  tags = {
    Name = "db-route-table"
  }
}

resource "aws_route_table_association" "db_route_table_assoc" {
  count          = 2
  subnet_id      = element(aws_subnet.db_subnet[*].id, count.index)
  route_table_id = aws_route_table.db_route_table.id
}

resource "aws_db_subnet_group" "db_subnet_group" {
  name       = "db-subnet-group"
  subnet_ids = aws_subnet.db_subnet[*].id

  tags = {
    Name = "db-subnet-group"
  }
}

# DB Security
resource "aws_security_group" "db_sg" {
  description = "Allow DB instance access"
  vpc_id = aws_vpc.db_vpc.id

  ingress {
    from_port   = 3306
    to_port     = 3306
    protocol    = "tcp"
    cidr_blocks = ["0.0.0.0/0"]
  }

  egress {
    from_port   = 0
    to_port     = 0
    protocol    = "-1"
    cidr_blocks = ["0.0.0.0/0"]
  }

  tags = {
    Name = "db-sg"
  }
}

# DB Instance
resource "aws_db_instance" "db_instance" {
  identifier              = {your_db_instance_name}
  instance_class          = "db.t3.micro" // free tier
  engine                  = "mysql"
  engine_version          = "8.0.34"
  username                = {db_username}
  password                = {db_password}
  db_name                 = {db_name}
  allocated_storage       = 20
  db_subnet_group_name    = aws_db_subnet_group.db_subnet_group.name
  vpc_security_group_ids  = [aws_security_group.db_sg.id]
  skip_final_snapshot     = true
  publicly_accessible     = true
}

다음 글에서는 main.tf 하나의 파일을 역할에 맞게 분리, 연결하는 작업을 진행할 것이다.

이 때 variable.tf 등 보안과 관련된 파일을 .gitignore에 추가해 공개되는 것을 막는 작업 등도 포함되어 있으니,

커밋은 다음 글까지 진행한 다음 찍어주자.

[Terraform] Terraform 환경 설정 - Terraform 가이드 (1)

12기통엔진 — Mon, 15 Jul 2024 00:21:34 +0900

Terraform?
Terraform CLI 설치
VSCode Extension 설치

Terraform?

What is Terraform | Terraform | HashiCorp Developer

Terraform is an infrastructure as code tool that lets you build, change, and version cloud and on-prem resources safely and efficiently.

developer.hashicorp.com

코드 베이스 인프라 관리 도구입니다.
AWS, GCP 등 클라우드 컴퓨팅 기반의 인프라 제공 서비스를 코드 작성으로 이용할 수 있도록 도와줍니다.

AWS 콘솔 등에서 웹 GUI를 통해 리소스를 생성하면 되는거 아니냐? 라고 생각하실 수 있지만,

1. 깃헙 커밋 등을 통해 리소스가 어떻게 변화해가는지 추적 관찰이 가능하고

2. (AWS 기능을 잘 꿰고 있다면) 쉽고 빠르게 리소스를 변화시키는 것이 가능하다는 장점이 있습니다.

인프라의 유지 보수를 도와주는 역할이라고 생각하면 좋을 것 같습니다.

다만 Terraform에서 지원하는 자동화의 부작용으로 의도하지 않았던 동작이 실행될 수 있습니다.

Ex) 인스턴스 일부 기능의 교체를 기대했으나 인스턴스를 삭제/재생성하여 서비스가 일시적으로 중단됨

Terraform을 사용해 배포를 시도할때마다 현재 적용 중인 리소스를 기준으로 삭제/변형/생성되는 리소스의 갯수를 알려주니,

반드시 확인해보고 배포해야할 것 같습니다.

Terraform CLI 설치

Install Terraform | Terraform | HashiCorp Developer

Install Terraform on Mac, Linux, or Windows by downloading the binary or using a package manager (Homebrew or Chocolatey). Then create a Docker container locally by following a quick-start tutorial to check that Terraform installed correctly.

developer.hashicorp.com

운영체제 별로 잘 구분해두었으니 맞는 설정에 따라 설치해주시면 됩니다. 저는 MacOS에 Homebrew 사용 중이라 금방 설치했습니다.

VSCode Extension 설치

VSCode 실행 중 ⇧ + ⌘ + X 커맨드 입력해 Extensions 기능 열기
Terraform 검색
Hashcorp 사에서 배포한 Terraform Extension 설치

자동완성

구조까지 잡아주는 자동완성이라 불필요한 코드 작성은 줄었다. 하지만,

key까진 잡아주는데 value 후보를 보여주지 않았으며,
Docs에도 어떤 value가 후보인지 한눈에 정리된 문서를 찾지 못해

결국 AWS 콘솔 뜯어가면서 값 찾아서 집어넣었다.

혹시 정리된 문서를 알고 있다면 댓글 부탁드립니다 :)

다음 글은 Terraform에서 사용하는 hcl 문법의 기본적인 사항을 점검할 예정이다.

[Docker] Docker 자주 쓰는 명령어 정리

12기통엔진 — Sun, 14 Jul 2024 18:53:51 +0900

이 중 대부분이 Docker client(Docker Desktop)가 있으면 안써도 되는 명령어다.

하지만 cloud computing 환경같이 gui client 설치가 불가능할 때도 있으니 명령어를 정리해두면 좋을 것 같다.
명령어를 익힐때 마다 상시로 추가 예정.

util, image 관련, container 관련, network 관련 4개의 항목으로 구분해두었다.

Util
Image 관련
Container 관련
Network 관련

Util

docker login

명령어 입력 후 Docker Hub의 계정, 비밀번호를 각각 입력해 로그인한다.
Docker Hub와 연결하려면 필수적인 작업이다.

Image 관련

docker pull {repository_name}:{tag_name}

Docker Hub에서 이미지를 가져온다. 필요한 이미지를 찾아 pull

docker image ls

로컬에 보유 중인 Docker Image를 조회

docker build -t {repository_name}:{tag_name} .

Custom Docker Image를 만드는 명령어이다.
명령어를 입력하는 디렉토리에 Dockerfile 이라는 빌드 관련 정보를 정리한 파일이 있어야 한다.
- Ex) image의 기반이 되는 운영체제, 아키텍처, docker image 정보, 애플리케이션 코드 디렉토리 위치, ...
Dockerfile 관련 문법은 추후에 정리해 여기에 추가하겠다.

docker push {repository_name}:{tag_name}

생성한 Custom Docker Image를 Hub에 업로드하는 명령어이다.

docker commit -a {user_name} -m "{message}" {container_name} {image_name}:{tag_name}

Dockerfile 없이 현재 실행 중인 container 기반의 image 생성

Container 관련

docker-compose up -d

보유한 이미지를 기반으로 Docker Container 실행
명령어를 실행할 디렉토리에 Container 설정 파일인 docker-compose.yml 파일이 미리 존재해야함.
docker-compose.yml 관련 문법은 추후에 정리해 여기에 추가하겠다.

docker-compose down

명령어를 실행할 디렉토리의 docker-compose.yml 파일 기반의 컨테이너를 종료

docker ps -a

실행 중인 컨테이너 확인

docker logs {container_name}

실행 중인 컨테이너의 터미널에 출력된 문구 확인 (실시간 X)

docker exec -it {container_name} /bin/bash

실행 중인 컨테이너의 터미널 진입

docker rm {container_id}

실행 중인 컨테이너 종료 및 삭제
docker ps -a 명령어랑 세트로 사용하자. (container id를 확인)

Network 관련

docker network list

도커 내부 네트워크 리스트 반환

docker network inspect {docker_network_name}

도커 네트워크 상세 정보 확인

docker network rm {docker_network_name}

도커 네트워크 삭제

[Docker] Docker 설치, 개념 정리

12기통엔진 — Sun, 14 Jul 2024 18:15:39 +0900

Docker cli 설치
Docker client 설치
Docker 란?
Docker 활용 (뭐가 달라지는데?)
Docker 핵심 개념 (이것만 알면 Docker 당장 써먹을 수 있음)

Docker cli 설치

linux

Install Docker Engine on Ubuntu

Jumpstart your client-side server applications with Docker Engine on Ubuntu. This guide details prerequisites and multiple methods to install Docker Engine on Ubuntu.

docs.docker.com

# Add Docker's official GPG key:
sudo apt-get update
sudo apt-get install ca-certificates curl
sudo install -m 0755 -d /etc/apt/keyrings
sudo curl -fsSL https://download.docker.com/linux/ubuntu/gpg -o /etc/apt/keyrings/docker.asc
sudo chmod a+r /etc/apt/keyrings/docker.asc

# Add the repository to Apt sources:
echo \
  "deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.asc] https://download.docker.com/linux/ubuntu \
  $(. /etc/os-release && echo "$VERSION_CODENAME") stable" | \
  sudo tee /etc/apt/sources.list.d/docker.list > /dev/null
sudo apt-get update

sudo apt-get install docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin

brew install docker

Docker client 설치 (정식 명칭은 Docker Desktop)

Docker Desktop: The #1 Containerization Tool for Developers | Docker

Docker Desktop is collaborative containerization software for developers. Get started and download Docker Desktop today on Mac, Windows, or Linux.

www.docker.com

링크 들어가서 운영체제 따라 설치

Docker 란?

소프트웨어 패키징 플랫폼
비교 가능한 개념 - VM
- 기존 VM의 문제
  - 개별 하드웨어 구성 + 운영체제
  - VM을 실행 중엔 계속해서 부모 리소스 점유
  - 여러 애플리케이션만 실행하면 되는 환경에서 여러 VM을 사용하는 것은 불필요하다.
  - = MSA 환경에 부적합
온디맨드 방식의 리소스 사용 (쓸 때만 부모 리소스 점유)

Docker 활용 (뭐가 달라지는데?)

cloud computing 환경에서 프로그램 구동에 필요한 패키지를 설치할 필요가 없어진다. (리소스 확보)
- 로컬에 mysql cli, engine 설치하지 않고도 mysql db 컨테이너 만들어서 개발 가능
Docker Hub로 프로젝트의 변경사항을 빠르게 적용 가능하다.
애플리케이션의 env 파일 관리가 편리하고 유연해진다.

Docker 핵심 개념 (이것만 알면 Docker 당장 써먹을 수 있음)

Docker Image
- VM 구동 시 필요한 운영체제 image와 유사한 개념
- 사용할 애플리케이션의 상세 코드를 포함한 custom image를 생성 가능 (쉬운 배포)
- Docker Hub에 업로드하는 단위
Docker Image Build
- 애플리케이션을 image의 형태로 변경하는 과정
Docker Container
- 보유한 Docker Image를 실행해 사용 가능한 형태
- Docker 내부 네트워크를 보유, 해당 IP 주소를 통해 통신
Docker Compose
- Docker Image를 Docker Container로 실행하는 과정
- Container 실행에 필요한 여러 정보를 파일에 저장해 자동화가 가능함 (docker-compose.yml)
- Ex. 애플리케이션과 연결할 포트 번호, DB 이름, host 이름, 비밀번호, ...
Docker Hub
- Github와 같은 개념, image를 손쉽게 공유할 수 있다.
- 로컬에 image가 없더라도 public image의 정보를 기반으로 새로운 custom image를 생성하는 것이 가능하다.
  - Ex. node 18 이미지 기반의 NestJS 백엔드 애플리케이션 이미지 빌드

다음 글에서 자주 사용하는 Docker 명령어를 정리해놓겠다.

[NestJS] class-validator, class-transformer로 API parameter 제어하기

12기통엔진 — Fri, 19 Apr 2024 17:22:08 +0900

문제 상황

string type message를 body parameter로 받기

export class MessageCreateDto {
  message: string
}

message가 유효한지 검사
message를 DB에 저장하기 전 암호로 변환

시도 1. (실험) class-validator, class-transformer 데코레이터를 각각 만들어 DTO에 붙여보기

class-validator, class-transformer package 설치

npm i --save class-validator class-transformer

(main.ts) nest application 객체의 global level 에 validation pipe 삽입

...
async function bootstrap() {
  const app = await NestFactory.create(AppModule)
  app.useGlobalPipes(new ValidationPipe()) // New!
  await app.listen(4000)
}
...

(controller.ts) 모든 route에서 transform을 허용하면 엄밀함에 문제가 생길 수 있으니 해당 route에만 transform 옵션 true인 validator를 따로 추가

...
  @Post()
  @UsePipes(new ValidationPipe({transform: true})) // New!
  create(@Body() messageCreateDto: MessageCreateDto) {
    return this.messagesService.createMessage(messageCreateDto)
  }
...

간단한 validator, transformer를 붙여 테스트

export class MessageCreateDto {
  @IsString() // New!
  @Transform((params: TransformFnParams<string>) => {
    return textToCode(params.value)
  }) // New!
  message: string
}

(참고!) (.../transform-fn-params.interface.d.ts) TransformFnParams 에 type parameter 지정

...
export interface TransformFnParams<T> {
    value: T;
    key: string;
    obj: any;
    type: TransformationType;
    options: ClassTransformOptions;
}

결과

test man 으로 넣으면

textToCode 함수의 결괏값으로 변환

textToCode 함수의 return '.-.-.- .---.-. ..-...- -.-.' 그대로 변환해준다.

이제 IsString()을 걷어내고 Custom validator를 붙여보자

시도 2. custom validator를 만들어 DTO에 붙이기

GitHub - typestack/class-validator: Decorator-based property validation for classes.

Decorator-based property validation for classes. Contribute to typestack/class-validator development by creating an account on GitHub.

github.com

ValidatorConstraintInterface를 구상한 class를 붙여야한다. 나는 util 폴더를 따로 만들어 class를 생성했다.

...
// New!
@ValidatorConstraint()
export class CheckValidText implements ValidatorConstraintInterface {
  validate(text: string) {
    return this.isValid(text)
  }
  private isValid(text: string): boolean {
    return ...
  }
}
...

CreateDto에 붙이기

export class MessageCreateDto {
  @IsString()
  @Validate(CheckValidText, {
    message: 'This message cannot be converted to code.',
  }) // New!
  @Transform((params: TransformFnParams<string>) => {
    return textToCode(params.value)
  })
  message: string
}

문제가 발생했다.

nest app의 global 단위에 붙였던 val pipe + route 단위에 붙인 val pipe 두번 동작해서 디버깅용 로그가 2번 출력된다.
@Transform과 @Validate의 순서를 아무리 변경해도 @Transform 데코레이터가 먼저 실행되어 원하는대로 동작하지 않는다.

ValidationPipe transforms before validating · Issue #2856 · nestjs/nest

Bug Report Current behavior If a property from a DTO has transformation and validation decorators the transformation decorator will be applied before the validation ones. Since the validators work ...

github.com

nestjs 개발자의 답변: 의도된 동작이다.

동일한 ValidationPipe 안에서는 @Transform 데코레이터가 반드시 먼저 실행된다고 한다.

Transform을 성공적으로 마친 뒤 Validation하는 것이 자연스러운 흐름이긴 할 것 같다.

그럼 input text의 유효성을 먼저 검사한 뒤 암호화해야하는 내 경우는 어떡하지...?..?

시도 3. custom transform pipe를 만들어 route level에 삽입

transform을 수행하는 pipe를 만들어 route level에 삽입하자. global level에서 validation을 마치고 변환하길 기대한다.
PipeTransform interface를 구상한 클래스를 만들자. 이 친구도 util 폴더 안에서 만들었다.

...
export class CodeTransformPipe // New!
  implements PipeTransform<MessageCreateDto, MessageCreateDto>
{
  transform(value: MessageCreateDto) {
    return ...
  }
  ...
}
...

(controller.ts) route level에서 기존의 Validation Pipe는 걷어내고 Custom Transform Pipe를 넣자.

  ...
  @Post()
  @UsePipes(new CodeTransformPipe()) // New!
  create(@Body() messageCreateDto: MessageCreateDto) {
    return this.messagesService.createMessage(messageCreateDto)
  }
  ...

마지막으로 CreateDto의 Transform 데코레이터도 정리해주자.

...
export class MessageCreateDto {
  @IsString()
  @Validate(CheckValidText, {
    message: 'This message cannot be converted to code.',
  })
  // @Transform() 데코레이터 제거
  message: string
}
...

문제 2개가 동시에 해결되었다.

불필요한 ValdiationPipe 의 중복을 제거 (global level, route level)
global level에서 validate -> route level에서 transform

(좌) validate 실패 (우) validate 성공

validate에 성공하여 transform까지 동작

아싸

남은 궁금증

pipe를 지정할 수 있는 위치가 global, controller, route 등 다양한데? -> pipe 끼리의 순서는 어떻게 되지?
- 1st: global pipes
- 2nd: controller-level pipes
- 3rd: route-level pipes
- 위 3개 level 끼리는 순서를 변경할 수 없고, 같은 level 안에서는 작성한 순서에 따라 pipe가 동작한다.

[Question] How control global and non-global Pipe order? · Issue #3108 · nestjs/nest

Question How control global and non-global Pipeline order? At my application I have global ValidationPipe added with useGlobalPipes and custom ParseDatePipe added with Query decorator. I want run P...

github.com

[MySQL] SQL Query 문법과 실제 실행 순서

12기통엔진 — Mon, 26 Feb 2024 20:56:00 +0900

SQL 내부 변수 사용을 시도하던 중 알게된 정보이다.

Order of Execution of SQL Queries - GeeksforGeeks

A Computer Science portal for geeks. It contains well written, well thought and well explained computer science and programming articles, quizzes and practice/competitive programming/company interview Questions.

www.geeksforgeeks.org

실행 순서

FROM + JOIN
둘러볼 테이블을 미리 잡아 놓은 뒤,
WHERE
필터링해주고,
GROUP BY
편집,
HAVING
가공한 후
SELECT
한 row 씩 둘러보며 데이터 선택.
DISTINCT
중복값 제거는 SELECT 와 동시에 이루어진다고 봐야겠다.
ORDER BY
마지막으로 지정한 순서에 맞게 sort,
LIMIT/OFFSET
지정한 갯수 만큼만 출력.

정리하고 보니, 꽤나 상식적이다. 외우지 않아도 금방 연상할 수 있을 듯!

[MacOS] 상단 탭 바 규격 줄이기

12기통엔진 — Wed, 14 Feb 2024 12:49:25 +0900

Built-in workaround for applications hiding under the MacBook Pro notch

Annoyed by the notch on the new MacBook Pro models? There's a built-in workaround! Adjust menu bar spacing with simple Terminal commands, no extra software needed. Say goodbye to hidden menu items behind the notch!

flaky.build

상단 탭 바에 노출되는 앱 아이콘의 간격을 줄여주는 명령어라고 한다.

오른쪽 이미지의 상단 탭바를 보면 날씨 이미지까지만 나오고 그 왼쪽은 다 잘렸다.

위 사진처럼 상단 탭을 사용하는 앱을 여러 개 쓰다보면 잘려서 안 보일 때도 있다.

그래서 Hidden bar를 사용해서 자주 쓰지 않는 앱은 따로 모아뒀었는데

(유용한 상단 탭 바 앱들은 (여기에))

처음 공유한 링크의 내용대로 따라해보면 더 많은 앱을 볼 수 있으니 유용해질 것 같다.

defaults -currentHost write -globalDomain NSStatusItemSelectionPadding -int 6
defaults -currentHost write -globalDomain NSStatusItemSpacing -int 6

두 개 커맨드를 각각 터미널에 입력하고 재부팅하자.

성공!

아까랑 다르게 Hidden bar 앱에 숨겨놓은 아이콘까지 다 보인다.

해당 변화를 다시 원래대로 되돌리려면

defaults -currentHost delete -globalDomain NSStatusItemSelectionPadding
defaults -currentHost delete -globalDomain NSStatusItemSpacing

위의 두 커맨드를 각각 터미널에 입력한 뒤 재부팅하자.

MacOS에서 관리하는 config 값에 변화를 주는 정도라서 큰 위험을 없을 것 같다.

MacOS 14 Sonoma 에서는 잘 동작하는데, 다른 버전에서도 가능한지는 의문이다.