AWS Glue 대용량 작업을 위한 새로운 고성능 워커 타입 공개

AWS Glue 대용량·고메모리 작업을 위한 새로운 워커 타입 출시

소개

데이터 통합과 분석 자동화의 핵심 플랫폼인 AWS Glue는, 다양한 Spark 기반 워크로드에 대응하여 사용자가 손쉽게 데이터 처리 파이프라인을 구축하고 운영할 수 있도록 지원합니다. 이번에 AWS는 Glue 고객의 복잡한 대용량 워크로드를 보다 유연하게 처리할 수 있도록 새로운 고성능 워커 타입을 출시했으며, 이에 따라 활용성과 배포 가이드 측면에서 큰 변화가 기대됩니다.

본문

이번에 추가된 워커 유형은 고연산(G) 계열의 확대 버전인 G.12X와 G.16X, 그리고 메모리 최적화(R) 계열의 R.1X, R.2X, R.4X, R.8X 총 여섯 가지입니다. 기존 대비 더욱 높은 성능의 연산과 메모리 자원을 활용하여 복잡한 데이터 처리 작업에 최적화된 환경을 제공합니다.

G.12X 및 G.16X 워커는 G 계열의 확장판으로, 더 많은 연산 파워·메모리·저장 공간을 제공합니다. 이는 복합 조인, 집계, 필터링 등 CPU 중심의 연산 워크로드에 탁월한 선택지입니다. 특히 대형 데이터 세트 처리 시 안정적인 성능을 보장하며, 기존 G 워커보다 작업 완료 시간이 단축됩니다.

한편 R 계열 워커는 메모리 집약적인 Spark 작업에 최적화되어 있습니다. R.1X부터 R.8X까지 4단계로 구분되며, G 계열 대비 최대 두 배의 메모리를 제공합니다. 이는 Spark의 캐싱, 셔플링, 큰 단위의 데이터 집계 등에서 효율을 극대화할 수 있게 도와줍니다.

해당 워커들은 Glue Studio의 Visual ETL, 노트북 환경, 또는 Glue Job API를 통해 손쉽게 선택하고 배포할 수 있어, 사용자 입장에서의 활용성 및 자동화 측면에서도 매우 유용합니다. 아래는 Visual ETL 기반 워크플로우 예시 아키텍처입니다.

Glue의 새로운 워커들은 복잡하고 방대한 데이터를 빠르게 처리할 수 있도록 설계되어, 머신러닝 및 빅데이터 기반 분석 등 고부하 작업의 성능을 극대화합니다. 사용자는 필요에 따라 워커 유형을 조절해 비용 대비 높은 효율을 추구할 수 있습니다.

결론

AWS Glue의 새로운 워커 타입은 데이터 변환과 통합을 보다 빠르고 세밀하게 수행할 수 있도록 설계된 혁신적인 업그레이드입니다. G.12X와 G.16X, 그리고 R.1X~R.8X와 같은 다양한 워커를 활용하면, Spark 중심의 고성능 워크로드 자동화를 한층 효율적으로 구현할 수 있습니다. Glue Studio, 노트북 환경, API 통합 등 다양한 배포 가이드를 통해 손쉽게 구성 가능하니, 복잡한 데이터 환경을 운영하는 기업에게 강력히 추천합니다.

https://aws.amazon.com/blogs/aws/aws-glue-now-supports-new-workers-for-larger-and-memory-intensive-workloads/