Crypto.com 사례로 살펴보는 LLM 기반 기업용 AI 어시스턴트 최적화 전략

기업용 AI 어시스턴트 최적화를 위한 LLM 활용 전략: Crypto.com의 사례로 살펴보는 운영 자동화 및 피드백 기반 프롬프트 개선

도입

최근 기업 환경에서는 AI 어시스턴트의 역할이 단순한 FAQ 응답 수준을 넘어, 사용자 인증, 정책 검토, 컨텍스트 이해 등 복잡하고 민감한 시나리오들을 처리하는 영역으로 확장되고 있습니다. 특히 LLM(Large Language Model)을 이용한 아키텍처가 도입되며, 보다 정교한 추론 및 반응성 있는 시스템이 요구되고 있습니다.

이 글에서는 Crypto.com의 실제 사례를 기반으로 LLM 기반 AI 어시스턴트의 도입 및 고도화 가이드, 효율적인 프롬프트 최적화 방법, 피드백 기반 자동화 기법을 중심으로 최신 기술 활용 전략을 소개합니다.

본론

1. AI 어시스턴트의 복잡성 증가와 이를 위한 서브시스템 아키텍처

현대 AI 어시스턴트는 단순한 대화 인터페이스를 넘어, 인증 절차와 정책 기반 행동, 콘텐츠 필터링, 인간 오퍼레이터 연동 등 다양한 기능을 수행해야 합니다. 이 과정에서 모듈형 서브시스템 아키텍처가 핵심입니다. 각 기능을 독립적인 서브시스템으로 나눠 개발함으로써 복잡한 정책과 비즈니스 규칙 통합, 유연한 모델 사용, 오류 분석·대응이 가능합니다.

2. 피드백과 추론 기반의 동적 프롬프트 개선 전략

프롬프트 엔지니어링은 AI 어시스턴트의 일관성 있는 성능 유지에 있어 핵심 역량입니다. 특히 엔터프라이즈 환경에서는 하나의 프롬프트가 서로 다른 서브모듈에서 정확히 같은 행동을 유도해야 하므로 반복적 테스트와 피드백 수렴이 중요합니다.

Crypto.com에서는 사용자 요청 처리 과정에서 AI 어시스턴트의 답변을 외부 리뷰 시스템(예: 정책 위반 탐지기, 검증 툴)으로 다시 검토하는 구조를 구현했습니다. 예를 들어 “비상으로 카드 한도를 즉시 높이고 싶다”라는 요청에 대해 AI는 초기에 단순 승인을 제공했지만, 피드백 시스템은 신원 확인 절차 생략과 정책 위반을 지적했고, 이후에는 이를 반영해 인증 프로세스와 대안 등을 포함한 답변으로 개선됐습니다.

이러한 피드백은 추론 시스템과 결합되어 행동을 수정합니다. 중요한 점은 이 과정에서 모델 파라미터를 직접 변경하지 않고, 기존 프롬프트에 ‘보조 지시문’을 추가하는 방식으로 처리한다는 것입니다. 이를 통해 시간을 절약하면서도 동적이고 유연한 시스템 구성이 가능합니다.

3. LLM 최적화 프로세스 및 자동화 구성

Crypto.com이 활용한 LLM 프롬프트 최적화는 다음 5단계로 이루어집니다:

1. 초기 프롬프트 작성 및 목표 설계
2. 평가 데이터셋을 통한 베이스라인 성능 측정
3. 실패 사례 기반의 오류 분석 및 추론 프레임워크 운용
4. 구조화된 피드백 바탕의 프롬프트 리라이팅 자동화
5. 개선된 프롬프트에 대한 반복 평가와 운영 적용

이 과정에서 Amazon Bedrock 환경 내 다양한 파운데이션 모델을 선택적으로 활용하며, Amazon Nova는 주요 작업 실행 및 프롬프트 실험에 사용되고, Claude 3.7 또는 DeepSeek-R1은 피드백 생성, 오류 원인 분석으로 사용됩니다.

이 프로세스는 prompt_optimization/error_analysis_with_reasoning.py과 prompt_rewrite.py 스크립트를 활용해 각 단계를 자동화하며, 재사용 가능한 템플릿 기반 구현이 가능합니다.

4. 반복 최적화를 통한 성능 개선과 사례

Crypto.com 팀은 총 10회 이상의 반복 최적화를 통해 다음과 같은 성능 향상을 달성했습니다:

• 모호한 카테고리 간 경계 설정
• 예외 케이스 명확화를 위한 구체 예시 포함
• 분류 기준의 층위 구조화
• 출력 설명 요구로 투명성 확보

초기 정확도 60%의 프롬프트가 최종적으로 94%로 향상되어, 파라미터 튜닝 없이도 실질적인 운영 효과를 확보했습니다.

결론

프롬프트 중심의 피드백 자동화와 서브시스템 기반의 AI 어시스턴트 아키텍처는 기업의 AI 도입 효율성과 유연성을 극대화할 수 있는 방법입니다. 특히 Amazon Bedrock을 활용하면 다양한 파운데이션 모델을 선택·비교하며 구축과 운영 자동화를 손쉽게 구현할 수 있어, 고비용의 재학습 없이도 최대의 효과를 낼 수 있습니다.

Crypto.com 사례가 보여주듯, 피드백 기반 LLM 시스템은 시간이 지날수록 계속 학습하며 더 나은 업무 결과를 제공하고 있고, 이는 곧 기업의 경쟁력 향상으로 이어집니다. 향후 이러한 피드백 메커니즘과 프롬프트 최적화 자동화 기술은 AI 도입 전략의 핵심 요소로 자리잡게 될 것입니다.

[1] https://aws.amazon.com/blogs/machine-learning/optimizing-enterprise-ai-assistants-how-crypto-com-uses-llm-reasoning-and-feedback-for-enhanced-efficiency/