AWS Lambda Kafka 이벤트 소스에 Avro와 Protobuf 포맷 공식 지원 시작

AWS Lambda의 Kafka 이벤트 소스 Avro 및 Protobuf 포맷 공식 지원 시작

AWS Lambda는 이제 Apache Kafka의 이벤트 소스 매핑(Event Source Mapping, ESM) 기능을 통해 Avro 및 Protobuf 포맷의 Kafka 이벤트를 기본적으로 지원합니다. 이를 통해 고객은 AWS Glue Schema Registry(GSR), Confluent Cloud Schema Registry(CCSR), 자체 관리형 Confluent Schema Registry(SCSR)와 통합하여 스키마 검증, 이벤트 필터링, 오픈소스 Kafka 인터페이스 기반의 이벤트 처리를 할 수 있게 되었습니다. 결과적으로 더 효율적인 Kafka 애플리케이션 구축이 가능해졌습니다.

Kafka 사용자들이 Avro 및 Protobuf 포맷을 선호하는 이유는 명확합니다. 이들은 빠른 직렬화 및 역직렬화 속도, 효율적인 데이터 저장구조, 스키마 진화 지원, 다양한 언어 간의 상호운용성 등을 제공합니다. 그러나 기존에는 이러한 포맷의 데이터를 Lambda 함수에서 직접 처리하기 위해 커스텀 코드가 필요했으며, 이는 구현 복잡도와 유지관리 부담을 증가시켰습니다. 이번 기능 출시로 이제 Lambda 자체에서 Avro/Protobuf 포맷 이벤트를 자동 역직렬화하고, 스키마 검증 및 이벤트 필터링까지 지원하므로 사용자 부담이 크게 줄었습니다.

특히 이벤트 필터링 기능은 Lambda 함수 호출 자체를 줄여 비용 효율성을 높이는 데 기여합니다. 예를 들어 불필요한 이벤트를 필터링하여 Lambda가 이벤트를 수신하기 전에 차단할 수 있어, 자동화된 이벤트 파이프라인의 최적화뿐만 아니라 운영 비용 절감에도 도움이 됩니다.

이 기능은 Powertools for AWS Lambda와도 통합하여 사용할 수 있습니다. Kafka 오픈소스 인터페이스인 ConsumerRecords를 활용하여 Lambda 함수를 구축할 수 있으며, Powertools를 통해 복잡한 역직렬화 로직을 직접 작성하지 않아도 됩니다.

이 새로운 기능은 이스라엘 텔아비브, 아시아 태평양 지역 말레이시아, 캐나다 캘거리 리전을 제외한 모든 AWS 상용 리전에서 일반적으로 사용할 수 있습니다. 활용을 시작하려면, AWS Console, CLI, SDK, CloudFormation 또는 AWS SAM을 통해 Kafka ESM 구성 시 스키마 레지스트리를 연동하면 됩니다. 추가적으로 Avro/Protobuf 포맷 이벤트에 대해 필터 규칙을 설정해, Lambda 함수가 실행되기 전에 의미 없는 이벤트를 제거할 수도 있습니다.

활용 방법은 간단합니다:

• 스키마 레지스트리 설정을 기존 또는 신규 Kafka ESM에 통합
• 필터링 규칙 설정으로 불필요한 이벤트 제거
• Powertools for AWS Lambda를 의존성으로 추가해 ConsumerRecords 인터페이스 구현
• Lambda ESM 문서와 AWS Lambda 가격 정보를 바탕으로 합리적인 배포 가이드 수립

이러한 변화는 Kafka 이벤트 기반 아키텍처의 자동화 수준을 한층 끌어올리며, 복잡도는 낮추고 확장성과 유지 효율성은 높일 수 있는 확실한 방법입니다. Kafka와 Lambda를 활용하는 기업에서는 이 기능을 빠르게 도입하여 이점을 극대화해야 할 시점입니다.

https://aws.amazon.com/about-aws/whats-new/2025/06/aws-lambda-native-support-avro-protobuf-kafka-events