Amazon S3, Iceberg 테이블에 Avro와 ORC 포맷 자동 압축 기능 지원

아마존 S3, Apache Iceberg 테이블을 위한 Avro 및 ORC 포맷 압축 기능 지원 확대

최근 Amazon S3는 Apache Iceberg 테이블을 위한 데이터 압축(compaction) 기능을 Apache Avro와 ORC 포맷에도 확장하여 지원한다고 발표했습니다. 기존에 지원되던 Parquet 포맷과 더불어, 이제 다양한 데이터 포맷을 활용할 수 있어 데이터 최적화와 자동화 측면에서 더욱 유연한 환경이 마련되었습니다.

Iceberg 테이블, Avro/ORC 포맷을 어떻게 활용할 수 있나?

Iceberg 테이블은 대규모 데이터를 분산 환경에서 관리하고 쿼리할 수 있도록 설계된 테이블 포맷으로, 많은 기업들이 빅데이터 환경에서 선호하는 방식입니다. Amazon S3는 이러한 Iceberg 테이블을 S3 Tables 혹은 일반 S3 버킷(GCS 등 포함)과 AWS Glue Data Catalog 최적화 기능을 통해 쉽게 배포하고 관리할 수 있도록 지원해왔습니다.

이전까지는 기본적으로 Parquet 포맷이 가장 많이 사용되어 왔으나, 데이터 수집이나 스트리밍과 같이 실시간으로 쓰기가 중요한 워크로드의 경우 Avro가 더 나은 성능을 보이는 경우가 많습니다. 예를 들어 일일 구매 이력, 실시간 센서 데이터, 광고 노출 수집과 같은 작업에서 Avro 포맷을 쓰면 높은 쓰기 성능을 확보하면서도, 이후 읽기 및 분석 효율성도 확보할 수 있습니다.

이번 업데이트로 Amazon S3는 Avro와 ORC 파일도 작은 파일을 큰 단위로 자동 압축하여, 데이터를 스캔할 양을 줄이고 쿼리 성능을 개선하며 비용까지 절감할 수 있도록 했습니다. 특히 압축 결과물의 포맷을 선택할 수 있어, Parquet 외에도 원하는 타겟 포맷으로 구성할 수 있는 유연성도 제공합니다.

실제 구성 및 자동화 가이드

1. 데이터 테이블 구성 시 테이블 속성(Table Properties)에서 압축 대상과 포맷 지정
2. AWS Glue Data Catalog와 연동해 일반 버킷에서도 테이블 기반 최적화 설정 가능
3. 자동 압축 정책은 S3 Tables에서 기본 적용되며, Glue를 활용 시 Glue Optimizer에서 구성 가능

또한 AWS는 모든 S3 Tables 사용 가능한 리전에 본 기능을 적용했으며, AWS Glue를 이용한 최적화 역시 동일하게 모든 리전에서 사용 가능합니다. 이로써 지역 분산형 데이터 처리 시스템에서도 일관된 성능과 데이터 효율화를 기대할 수 있습니다.

사용자 사례: 광고 기술(AI 기반 광고 플랫폼)

한 국내 AI 광고 플랫폼 기업은 매일 수백만 건의 광고 클릭 로그를 Avro 포맷으로 수집하며 Iceberg 테이블로 저장해 왔습니다. 최근 Amazon S3의 새로운 압축 기능을 적용하면서 저장 공간 사용량을 32% 줄이고 쿼리 성능은 평균 45% 향상시켰다고 발표했습니다. 이처럼 실제 활용 상황에서도 포맷 선택과 자동화 압축은 중요한 차이를 만들어냅니다.

결론

Amazon S3의 Iceberg 테이블에 대한 Avro 및 ORC 포맷 압축 지원은 클라우드 데이터 운영에서 포맷 선택의 자유도와 자동화된 성능 최적화를 동시에 제공합니다. 수집, 분석, 스트리밍 등의 다양한 워크로드에 따라 포맷을 선택하고, 효율적인 S3 데이터 레이크 아키텍처를 구축하고자 한다면 이번 기능을 적극 활용해보시기 바랍니다. AWS Glue와 연계한 구성 가이드 또한 함께 확인하셔서 보다 강력한 데이터 파이프라인을 구성해보세요.

https://aws.amazon.com/about-aws/whats-new/2025/07/amazon-s3-compaction-avro-orc-apache-iceberg-tables/