메뉴 닫기

Amazon MSK Express Broker로 파티션 5배 확장 및 비용 절감

AWS MSK Express Broker – 파티션 5배 확장 지원으로 성능·비용 최적화

AWS Managed Streaming for Apache Kafka(Amazon MSK)는 점점 증가하는 스트리밍 데이터 처리 수요에 맞춰 지속적으로 기능을 강화해오고 있습니다. 이번에 발표된 Amazon MSK의 최신 업데이트에 따르면, Express Broker 인스턴스에서 최대 5배까지 더 많은 파티션을 지원하게 되어, 마이크로서비스 아키텍처 및 데이터 파이프라인 구축 시 성능과 비용 측면에서 더욱 최적화된 선택이 가능해졌습니다.

Express Broker란?

Amazon MSK에서 제공하는 브로커 유형 중 하나인 Express Broker는 표준 Apache Kafka 브로커에 비해 최대 3배의 처리량, 20배 빠른 확장성, 90% 이상 빠른 복구 속도를 제공하도록 설계된 고성능 브로커입니다. 이미 다수의 AWS 고객이 대규모 스트리밍 아키텍처에 이를 활용해왔으며, 이번 성능 확장으로 새로운 활용 가능성을 확보하게 되었습니다.

MSK 아키텍처 다이어그램 – Express Broker 구조

파티션 5배 증가로 가능한 변화

기존에 m7g.16xlarge 인스턴스를 사용할 경우 Express Broker 당 최대 4,000개의 파티션을 구성할 수 있었습니다. 그러나 이번 업데이트로 인해 이제는 최대 20,000개 파티션까지 구성할 수 있게 되어, 동일한 작업량에도 더 적은 브로커 수를 통해 클러스터를 운용할 수 있습니다.

이러한 변화는 특히 다음과 같은 시나리오에서 큰 가치를 제공합니다:

  • 수많은 토픽을 필요로 하는 스트리밍 애플리케이션
  • 마이크로서비스 기반 아키텍처 (각 서비스가 자체 토픽 보유)
  • 다양한 데이터소스를 수집하는 데이터 파이프라인 환경
  • 수요 예측과 부하 증가에 빠르게 대응해야 하는 에지 컴퓨팅 및 실시간 분석 환경

또한 AWS는 파티션 상한을 설정하여, 사용자가 너무 많은 파티션을 생성해 클러스터의 안정성을 해치지 않도록 사전 방지합니다. 이는 자동화된 운영 환경에서 특히 중요한 요소로, Apache Kafka의 대규모 배포 가이드에서 매우 중요하게 다루어집니다.

사용자에게 미치는 실질적 영향

단순히 파티션 수만 늘어난 것이 아니라, 이로 인해 브로커 수를 줄일 수 있으므로 비용 효율성을 확보할 수 있고, 확장성과 복구 시간 단축 등도 함께 확보할 수 있습니다. 실제로 특정 파티션 워크로드 기준으로 최대 50%의 비용 절감 효과가 기대됩니다.

이번 개선 사항은 Amazon MSK Express Broker가 제공되는 모든 리전에서 추가 비용 없이 즉시 활용할 수 있으며, Kafka 배포 가이드 및 AWS 문서를 통해 각 인스턴스 유형별 파티션 제한 및 베스트 프랙티스를 상세히 확인할 수 있습니다.

결론

Amazon MSK Express Broker의 이번 파티션 확장 지원은 하이퍼스케일 스트리밍 환경에 최적화된 대안입니다. Kafka 기반의 스트리밍 아키텍처 설계 시, 새로운 브로커 유형의 활용 방안 및 자동화된 확장 전략을 고려함으로써 성능과 운영비용을 동시에 최적화할 수 있습니다. 활용 가이드와 비교자료를 참고하여 MSK 활용도를 한층 끌어올려 보시기 바랍니다.

https://docs.aws.amazon.com/msk/latest/developerguide/bestpractices-express.html

AI, Cloud 관련한 문의는 아래 연락처로 연락주세요!

(주)에이클라우드
이메일 : acloud@a-cloud.co.kr
회사 번호 : 02-538-3988
회사 홈페이지 : https://www.a-cloud.co.kr/
문의하기


AI, Cloud 도입 상담 배너