메타지노미, AWS Inferentia로 수백만 단위 효소 생성 자동화 및 비용 절감 사례

메타지노미, AWS Inferentia를 활용한 수백만 효소 생성을 자동화하다

소개
생명공학 분야에서는 유전자 편집 기술을 이용하여 질병을 치료할 수 있는 혁신적인 접근 방식이 활발히 연구되고 있습니다. 특히 고부가가치 효소를 수백만 단위로 생성하려면 고도화된 AI 모델과 대규모 컴퓨팅 인프라가 필수입니다. 이번 글에서는 Metagenomi가 AWS Inferentia 기반의 인프라를 활용해 Progen2 모델을 배포하고, 대규모 효소 생산을 자동화하며 최대 56%의 비용 절감을 실현한 실제 사례를 중심으로, 이를 어떻게 활용하는지와 구현 가이드를 소개합니다.

본론

1. AI와 생명공학의 결합
   Metagenomi는 자체 보유한 MGXdb 효소 데이터베이스를 기반으로, 딥러닝 기반의 단백질 언어 모델(Protein Language Models, pLMs)을 학습시켜 효소를 생성합니다. 전통적인 방식보다 수십 배 많은 효소 변형 가능성을 확보함으로써, 안정성·특이성·효능이 향상된 유전자 편집 효소 개발이 가능해집니다.

2. PROGEN2 모델과 AWS Inferentia
   미세 조정된 Progen2 모델은 AWS Neuron에서 동작할 수 있도록 최적화되었으며, 이를 EC2 inf2 인스턴스에서 실행함으로써 Spot 인스턴스의 높은 가용성과 비용 경쟁력을 확보했습니다.

3. 인퍼런스 단계 최적화
   Progen2 모델을 다양한 크기(bucket)로 추적(tracing)하여 연결 실행하고, 각 단계의 결과를 다음 모델에 프롬프트로 전달하는 방식으로 연산량을 줄였습니다. 이 방식은 GPU 대비 거의 동일한 출력 품질을 제공하면서도 EC2 Inf2 인스턴스에서는 비용이 큰 폭으로 절감되었습니다.

4. 자동화된 배치 인퍼런스 확장
   Progen2 모델의 대규모 배포 자동화는 AWS Batch 서비스로 구현되었습니다. EC2 Inf2 Spot 인스턴스 기반의 컴퓨팅 환경을 구성하고, 모델은 Amazon S3에서 불러오며 작업의 모든 환경은 Amazon ECS 컨테이너로 구성됩니다.

Nextflow를 통합하여 스팟 인스턴스 예기치 않은 종료 시 작업을 자동 재시작하고, 후처리 파이프라인까지 자동화할 수 있도록 구성했습니다.

5. 비용 비교 및 성능 분석
   동일한 10개 프롬프트에 대해 10,000개의 효소 서열을 생성한 결과, EC2 G6e 인스턴스 대비 EC2 Inf2 인스턴스로 진행한 작업이 약 56%의 비용 절감 효과를 달성했습니다. 특히 하프 프레시전 설정 사용 시 추가적인 비용 절감이 가능했습니다.

6. 대규모 생산 확장
   최적화된 파이프라인을 통해 Metagenomi는 100만 개 이상의 효소를 프로덕션 환경에서 생성할 수 있었습니다. 생성된 효소는 mmseqs, hmmsearch, ESMFold, AMPLIFY_350M 등을 통해 자동 필터링 및 검증되었고, 고품질 데이터로 구성된 임베딩은 시각화하여 분석에 활용했습니다.

결론
이 포스트에서는 Metagenomi가 AWS Inferentia 기반 인프라와 Progen2 모델을 활용하여 고효율, 저비용으로 수백만 개의 단백질 효소를 생성하고 자동화한 최첨단 AI 파이프라인을 소개했습니다. 구축 가이드와 자동화 사례를 바탕으로, 같은 AI 워크로드를 원하는 기업에서도 쉽게 따라할 수 있는 활용 방안을 제공합니다. EC2 Inf2 인스턴스와 AWS Neuron을 효과적으로 사용하면 생명공학뿐 아니라 다양한 AI 기반 응용 분야에서도 뛰어난 성과를 거둘 수 있습니다.

https://aws.amazon.com/blogs/machine-learning/metagenomi-generates-millions-of-novel-enzymes-cost-effectively-using-aws-inferentia/