서버리스로 구현하는 실시간 이벤트 스트리밍 아키텍처

서버리스 이벤트 스트리밍 애플리케이션: Amazon MSK와 AWS Lambda 활용 가이드

현대의 IT 환경에서는 실시간 데이터를 바탕으로 사용자 경험을 향상시키고 인사이트를 도출하려는 비즈니스의 니즈가 증가하고 있습니다. 이에 따라 이벤트 기반 아키텍처(Event-driven architecture, EDA)가 각광받고 있으며, 이를 보다 효과적으로 구현할 수 있는 도구로 Amazon Managed Streaming for Apache Kafka(Amazon MSK)와 AWS Lambda의 결합이 주목받고 있습니다. 본 포스팅에서는 두 서비스를 조합해 서버리스 기반 이벤트 스트리밍 애플리케이션을 쉽게 구현하고 운영할 수 있는 방법과 장점을 소개합니다.

Amazon MSK와 AWS Lambda의 통합이 중요한 이유

Lambda는 관리형 컴퓨팅 서비스로, Kafka의 복잡한 인프라 관리 없이도 실시간 이벤트를 손쉽게 처리할 수 있도록 지원합니다. 특히 Amazon MSK는 Kafka 클러스터를 완전관리형 서비스로 제공하므로 운영 부담을 줄일 수 있으며, Lambda를 사용하면 이러한 Kafka 주제(topic)에 대한 소비자 로직도 별도 구성 없이 자동화가 가능합니다. 특히 다음과 같은 활용 구조에서 효과적입니다.

• 전자상거래 사이트에서 클릭 이벤트를 실시간으로 수집하여 사용자 맞춤 추천을 처리
• IoT 센서 데이터 처리를 통한 실시간 모니터링
• 마이크로서비스 간의 비동기 이벤트 전달

서버리스 Kafka 아키텍처의 주요 기능과 장점

1. 코드 작성 최소화: Lambda는 Kafka 기본 통합 기능(Event Source Mapping)을 제공하여 별도의 컨슈머 애플리케이션 없이 Kafka 토픽과 연결할 수 있습니다. 이를 통해 파티션 분배, 오프셋 관리, 배치 처리, 자동 재시도 등을 자동화합니다.

2. 자동 확장 및 처리량 제어: Lambda는 Kafka 파티션 당 폴링 프로세스를 할당하여 자동 확장하며, 프로비저닝 모드에서는 최소/최대 이벤트 풀러 수 지정 등을 통해 정밀 제어도 가능합니다.

3. 비용 최적화: Lambda는 호출 및 처리 시간 단위로 요금이 부과되므로 이벤트 수가 적거나 간헐적으로 발생하는 워크로드에도 비용 효율적으로 유연하게 대응할 수 있습니다.

4. 이벤트 필터링 기능: Kafka 주제에서 특정 조건을 만족하는 이벤트만 필터링해서 Lambda에서 처리하도록 설정할 수 있으며, AWS CLI나 콘솔, SAM 템플릿을 통해 구성 가능합니다.

5. 가용성 보장: Lambda는 멀티 AZ 환경에서 동작하여 특정 AZ 내 장애 발생 시 자체적으로 회복되며, MSK 역시 높은 가용성을 기반으로 Kafka 브로커를 다수의 AZ에 자동 분산시킵니다.

6. 계정 간 처리: PrivateLink 기반 MSK 멀티 VPC 구성을 통해, 서로 다른 AWS 계정 간 Lambda와 MSK의 연결도 가능하므로 팀 또는 서비스 간 분리된 계정 구조에서도 활용이 가능합니다.

7. 다양한 포맷 및 스키마 레지스트리 지원: JSON, Avro, Protobuf 포맷 및 AWS Glue, Confluent 등의 스키마 레지스트리와도 통합되어 복잡한 디코딩 작업 없이도 메시지를 처리할 수 있습니다.

Kafka 토픽에서 Lambda가 메시지를 처리하는 방식

Kafka 토픽으로부터 이벤트를 수신하기 위해 Lambda에서는 이벤트 소스 매핑(event source mapping)을 사용합니다. 이는 Lambda가 Kafka 파티션을 자동으로 폴링하여 일정 배치로 데이터를 수신하고 실행하며, 처리 완료 시 오프셋이 자동 커밋됩니다. 오류가 발생할 경우 재시도 또는 실패 큐(DLQ)로 메시지를 전송할 수 있어 안정성을 보장합니다.

서버리스 Kafka 애플리케이션 구축 단계

1. MSK 클러스터 생성: AWS CLI 또는 콘솔에서 Kafka 클러스터를 생성 후 토픽을 구성합니다.
2. Lambda 함수 생성: MSK에 접근할 수 있는 실행 권한 및 VPC 권한을 가진 Lambda 함수를 생성합니다.
3. 이벤트 소스 매핑 구성: MSK 클러스터와 Lambda 간 연결을 설정하여 토픽 메시지를 자동 소비합니다.

최적 성능을 위한 구성 팁

• 지연 시간 최소화를 위한 프로비저닝 컨커런시 설정
• 고처리량 워크로드 대응을 위한 이벤트 풀러 수 수동 조절
• 배치 크기 및 윈도우 설정을 활용한 메시지 집계 최적화
• 이벤트 필터링으로 불필요한 함수 실행 제거 및 비용 절감

결론

Amazon MSK와 AWS Lambda의 통합을 통해 우리는 복잡한 Kafka 컨슈머 애플리케이션을 작성하지 않고도 실시간, 고성능 이벤트 스트리밍 애플리케이션을 신속하고 효율적으로 구축할 수 있습니다. 서버리스 구조는 운영 부담을 크게 줄이고, 다양한 활용 시나리오에 맞춰 자동 확장 및 비용 절감에 유리한 환경을 제공합니다.

Kafka 기반 마이크로서비스, 데이터 파이프라인 구축, 반응형 시스템 아키텍처 설계 등 다양한 분야에서 Lambda + MSK 조합은 강력한 선택지입니다. 더욱 명확한 배포 가이드 및 구성 방법에 대해서는 AWS Lambda 공식 문서를 참고하면 좋습니다.

[1] https://aws.amazon.com/blogs/big-data/building-serverless-event-streaming-applications-with-amazon-msk-and-aws-lambda/