AGI는 멀티모달 모델로 실현될 수 없는 이유

AGI는 멀티모달이 아니다 – 구조적 접근이 필요한 이유

소개

최근 생성형 AI의 가파른 발전으로 인해 많은 이들은 인공지능 일반화(AGI)의 도래가 머지않았다고 믿고 있습니다. 특히, 언어, 이미지, 행동 등 다양한 입력 형태를 처리할 수 있는 멀티모달 모델들이 주목받으며 마치 인간의 사고처럼 보이기도 합니다. 하지만 이러한 모델들이 진정한 '지능'을 구현했는지에 대해서는 심도 깊은 검토가 필요합니다. 본 글에서는 AGI가 단순한 멀티모달 통합으로 실현되지 않을 것이라는 견해를 중심으로, 활용 관점, 자동화 현실성, 구조적 한계 등을 다룬 내용을 정리합니다.

본론: AGI의 본질과 멀티모달 모델의 맹점

1. 실세계 이해는 단순 언어 처리로는 부족하다

대규모 언어모델(LLMs)은 다음 토큰 예측 기법을 기반으로 훈련되어 엄청난 성능을 보여주고 있습니다. 하지만 이들은 실제로 세상을 본 적도, 물리적 상호작용을 한 적도 없습니다. 우리가 일반적으로 언어 이해를 위해 필요하다고 여겨지는 물리적 맥락 이해나 의미론적 직관은 부재합니다. 예를 들어, 오델로(Othello) 게임 상태를 예측한 실험은 해당 게임이 순수한 기호 체계이기 때문에 가능했으며, ‘실세계’ 대상은 이처럼 언어로 완전히 치환할 수 없습니다.

2. 의미, 문법, 실용의 분리 – 인간 사고의 복잡성

언어는 단지 문법적으로 올바르면 되는 것이 아닙니다. 노암 촘스키가 "Colorless green ideas sleep furiously"라는 예문으로 설명한 것처럼, 문법적으로 완전해도 의미(semantics)나 실용성(pragmatics)이 없다면 진정한 이해로 보기는 어렵습니다. 인간은 냉장고가 사과 안에 들어갈 수 없다는 현실 기반 직관을 갖고 있지만, LLM은 단순히 말의 구조만으로 판단할 수밖에 없습니다.

3. 멀티모달 모델은 ‘일반화’가 불가능한 구조를 갖고 있다

현대의 멀티모달 모델들은 각 입력 채널(텍스트, 이미지, 영상 등)을 독립적인 방식으로 인코딩하고, 이를 하나의 잠재 공간(latent space)에서 묶는 방식을 채택합니다. 이러면 공통된 의미 형성이 어려워지고, 추론 자동화 또는 다양한 환경에 응용하려는 활용 가이드는 복잡해집니다. 각 모달의 차이와 불균형은 결국 ‘통합 지능’이 아닌, 서로 다른 기능들의 집합에 불과한 결과를 초래합니다.

4. 구조 없는 확장은 한계가 있다 – Sutton의 Bitter Lesson 재조명

Rich Sutton은 ‘Bitter Lesson’을 통해 ‘사전 지식보다 경험/스케일 기반 학습이 장기적으로 우세할 것’이라 주장했습니다. 최근 많은 AI 연구자들이 이 교훈을 받아들여 거대한 모델을 훈련시키고 있으나, 멀티모달 AGI에서는 이 원칙이 그대로 적용될 수 없습니다. 인간은 단순히 데이터를 많이 보았기 때문에 지능적인 것이 아니라, 물리적 상호작용과 개념 형성을 통해 지능을 발달시켜왔습니다. 따라서 사람처럼 사고하는 AGI를 위해서는 어떻게 구조와 기능을 배치할지에 대한 설계적 사고가 필수입니다.

5. '개념 형성'은 단순 모방이 아닌 창발적 구조에서 비롯된다

현재의 모델은 수많은 인간 지식의 결과물만을 입력으로 학습하고 있습니다. 하지만 진정한 일반지능은 새로운 개념을 스스로 생성하고 일반화하며, 경험을 통해 더 나은 문제 접근 방식을 탐색하는 역량에서 비롯됩니다. 모델이 ‘사과’, ‘냉장고’의 개념을 정확히 이해하지 못하면서 문장을 구성하는 수준에 머무는 이유는 바로 여기에 있습니다. 즉, '어떻게' 사고가 형성되었는지를 고려하지 않는 학습 방식은 한계를 가질 수밖에 없습니다.

결론

결국, AGI 구현을 위해서는 텍스트-이미지-행동 등 기존의 모달 구분을 넘어서야 하며, 통합 인지 시스템이라는 관점에서 AI를 재설계할 필요가 있습니다. 자동화 가능성과 실질적인 배치를 고려할 때도, 각 모달별 결합보다는 통합적인 지각과 행동 시스템을 기반으로 한 접근이 효율성을 넘는 '지능의 유연성'을 제공합니다. 우리가 기대하는 AGI는 조립식 기계가 아니라, 환경과 상호작용하며 의미를 형성하는 존재여야 합니다.

[1] https://thegradient.pub/agi-is-not-multimodal