베이어 크롭사이언스의 AWS 기반 차세대 MLOps 플랫폼 구축 사례

데이터 사이언스 이노베이션을 가속화하는 베이어 크롭사이언스의 차세대 MLOps 서비스 구축 사례

도입부

전 세계 인구 증가 속도는 식량, 섬유, 연료 생산의 혁신적인 전환을 요구하고 있습니다. 이에 따라 농업 기업인 Bayer Crop Science는 2050년까지 50% 이상의 식량 생산 증가라는 도전적인 목표를 세우고, 재생 농업을 통해 자연 환경 복원과 지속 가능한 생산을 동시에 실현하고자 하고 있습니다. 이러한 비전을 구현하기 위해 Bayer는 AWS의 다양한 AI/ML 서비스를 활용하여 'Decision Science Ecosystem(DSE)'이라는 차세대 MLOps 플랫폼을 구축하였습니다. 이 글은 Bayer가 AWS 기반으로 어떻게 자동화된 인프라를 구성하고, 데이터 과학자들이 빠르게 모델을 활용하도록 지원하는 시스템을 구축했는지를 살펴봅니다.

본문

과제와 요구 사항

Bayer Crop Science는 대규모 유전체 예측 모델링을 빠르게 확장하고, 데이터 사이언티스트가 반복적인 환경 구성에 시간을 낭비하지 않고 고부가가치 모델링 업무에 집중할 수 있는 환경이 필요했습니다. 이전에는 데이터 사이언스 환경을 구성하는 데 며칠이 소요되어 민첩한 실험 및 배포가 어려웠습니다.

솔루션 개요

이에 따라 Bayer는 AWS 기반의 통합된 데이터 과학 운영 플랫폼인 DSE를 구축하였습니다. 이 플랫폼은 Amazon SageMaker, Amazon Elastic Kubernetes Service(EKS), AWS Lambda, Amazon EventBridge, Amazon Simple Storage Service(S3), AWS Systems Manager, Amazon Q 등을 활용하여 완전 자동화된 MLOps 환경을 제공합니다. SageMaker를 주축으로 다양한 AI 활용 및 모델 배포 작업을 중앙 관리하며, 제품 개발, GIS 기반 필드 분석, 생성형 AI 실험, 유전체 분석 등 다양한 부서가 동일한 플랫폼에서 데이터 사이언스를 수행할 수 있게 되었습니다.

활용 사례: 코드 문서화 자동화 및 품질 향상

Bayer가 구현한 핵심 오토메이션 중 하나는 코드 문서화 프로세스의 완전한 자동화입니다. 개발자가 GitHub에 코드를 Push하면, Amazon API Gateway를 통해 트리거된 Lambda 함수가 Amazon Q를 호출하여 코드 변경 사항 분석 및 문서를 자동 생성합니다. 생성된 문서는 Amazon S3에 저장되며, Pull Request용 요약 설명도 자동으로 추가됩니다. AWS Systems Manager의 Parameter Store와 Secrets Manager를 이용하여 보안 유지 및 유연한 프롬프트 관리를 수행합니다.

또한, 기존 문서의 품질 향상을 위해 Amazon EventBridge가 배치 작업을 트리거하며 Amazon Q는 각 코드 파일 및 모듈에 대하여 요약 및 설명 문서를 생성, 기존 문서와 비교해 정량적 개선을 평가합니다. 이를 통해 개발자 온보딩 시간을 최대 70% 단축하고, 생산성을 약 30% 향상시켰습니다.

검색 정확도를 개선하기 위해 문서 인덱스에 저장소 이름을 커스텀 속성으로 포함하고 검색어 접두사에 추가하는 방식도 도입했습니다. 운영 환경에서의 강건함을 위해 API 호출 제한 및 AI 응답 다양성에 대한 예외 처리를 포함해 신뢰도 높은 구조로 설계되었습니다. 향후에는 여러 저장소를 중앙 집중화하여 관리할 수 있는 설정과 프롬프트 제어 시스템도 구축 예정입니다.

협업과 생산성 중심의 아키텍처 비교 및 배포 전략

Bayer의 접근 방식은 전통적인 수동형 데이터 엔지니어링 기반 MLOps 시스템과 비교하여 명확한 장점이 있습니다. 많은 기업들이 검색 기반, 코드 해석 자동화 기반 MLOps 도입을 고려하는 가운데, Bayer는 자동화, 통합 배포 가이드 작성, 생성형 AI 활용 등 최신 기술을 실용적으로 접목시켜 시스템 확장을 용이하게 만들었습니다. 특히 Amazon Q Developer 및 Q Business는 코드 일반화, 품질 평가, 실시간 추천 기능으로 DevOps 사이클을 단축시킵니다.

결론

Bayer Crop Science는 AWS의 인프라 및 생성형 AI 기술을 활용하여 고도로 자동화되고, 확장 가능하며, 문서화까지 포함한 차세대 MLOps 시스템을 구현하였습니다. 이는 농업 분야뿐 아니라 모든 산업의 데이터 기반 의사결정과 머신러닝 자동화를 고민하는 조직에 매우 유용한 벤치마크가 될 수 있습니다. 핵심은 '자체 코드를 최대한 줄이고, 차별적 가치 창출에 집중하는 것'이며, Bayer는 이를 AWS를 통해 성공적으로 실현하고 있습니다.

https://aws.amazon.com/blogs/machine-learning/accelerating-data-science-innovation-how-bayer-crop-science-used-aws-ai-ml-services-to-build-their-next-generation-mlops-service/