메뉴 닫기
  • Home
  • AWS 계정 간 Amazon MSK 클러스터를 IAM 인증으로 안전하게 연동하는 방법
    •

AWS 계정 간 Amazon MSK 클러스터를 IAM 인증으로 안전하게 연동하는 방법

user(acloud)/ /

안녕하세요, 한국에서 최고의 블로거로 활동하고 있는 여러분의 믿음직한 파트너입니다! 오늘은 Amazon MSK Connect와 관련한 흥미로운 AWS 블로그 글을 검토해 보겠습니다. 이 글에서는 IAM 인증을 사용하여 AWS 계정 간 Amazon MSK 클러스터에 안전하게 접근하는 방법에 대해 설명하고 있습니다.

Amazon MSK Connect 소개

Amazon Managed Streaming for Apache Kafka(MSK) Connect는 Apache Kafka와 다른 데이터 시스템 간의 데이터를 스트리밍할 수 있도록 고안된 완전 관리형 서비스입니다. MSK Connect는 Kafka Connect 오픈소스 프레임워크의 상위에 구축되어 있으며, Kafka를 다양한 외부 데이터 시스템과 연결할 수 있는 표준 방법을 제공합니다.

솔루션 개요

이 포스트에서는 서로 다른 AWS 계정에 있는 MSK 클러스터와 MSK Connect의 연동 사례를 살펴봅니다. 중요한 점은 IAM 역할 기반 인증을 통해 동시에 보안 수준을 강화할 수 있다는 것인데요, 이는 불법적인 접근으로부터 시스템을 보호하도록 도와줍니다.

MSK 클러스터 및 Connect 설정 방법

  • 계정 A에서 MSK 클러스터 설정하기:

    1. 다중 VPC 프라이빗 연결 기능을 활성화합니다.
    2. IAM 역할 기반 인증을 설정합니다.
    3. 클러스터 정책을 구성하여 계정 간 연결을 허용합니다.

  • 계정 B에서 MSK Connector 설정하기:

    1. S3 버킷을 생성하거나 기존의 것을 사용합니다.
    2. 클러스터에 대한 네트워크 연결을 검증하고 필수 설정을 완료합니다.
    3. AWS CLI를 통해 적절한 파라미터와 함께 커넥터를 생성합니다.

AWS CLI를 통한 커넥터 생성

AWS CLI를 사용하여 커넥터를 생성하려면 다음과 같은 명령어를 실행해야 합니다. 이 과정에서는 MSK 클러스터의 브로커 엔드포인트와 필수 매개변수를 설정해야 합니다.

aws kafkaconnect create-connector \
--capacity "autoScaling={maxWorkerCount=2,mcuCount=1,minWorkerCount=1, ..., value.converter=org.apache.kafka.connect.storage.StringConverter" \
--connector-name "Connector-name" \
--kafka-cluster '{"apacheKafkaCluster": {"bootstrapServers": "<broker-strings>:9098","vpc": {"securityGroups": ["sg-0b36a015789f859a3"],"subnets": ["subnet-07950da1ebb8be6d8","subnet-026a729668f3f9728"]}}}' \
--kafka-cluster-client-authentication "authenticationType=IAM" \
--kafka-cluster-encryption-in-transit "encryptionType=TLS" \
--kafka-connect-version "2.7.1" \
--log-delivery workerLogDelivery='{cloudWatchLogs={enabled=true,logGroup="<MSKConnect-log-group-name>"}}' \
--plugins "customPlugin={customPluginArn=<Custom-Plugin-ARN>,revision=1}" \
--service-execution-role-arn "<IAM-role-ARN>"

결론

본 글을 통해 AWS 계정 간 MSK 클러스터와 MSK Connect를 안전하게 연동하는 방법을 살펴보았습니다. 특히 IAM 인증이 강조되는 이 솔루션은 보안을 중요하게 여기는 시스템에 적합합니다.

더 많은 정보가 궁금하시다면 AWS의 공식 블로그를 참조하세요 — AWS BIG DATA BLOG

AI, Cloud 관련한 문의는 아래 연락처로 연락주세요!

(주)에이클라우드
이메일 : acloud@a-cloud.co.kr
회사 번호 : 02-538-3988
회사 홈페이지 : www.a-cloud.co.kr
문의하기

Tagged , , , ,