새로운 하이퍼에이전트: AI가 학습 규칙을 스스로 재작성하는 시대

인공지능(AI) 분야에서 오랫동안 꿈꿔왔던 ‘재귀적 자기 개선’은 AI 시스템이 단순히 특정 작업을 더 잘 수행하는 것을 넘어, 학습 자체를 더 잘하도록 발전하는 것을 의미합니다. 이는 마치 ‘투탕카멘의 황금 가면’과 같은 꿈과 같은 목표로 여겨져 왔습니다. 이론적인 모델들은 존재했지만, 실제 환경에서 구현하기에는 어려움이 많았습니다. 최근 Darwin Gödel Machine (DGM)의 등장으로 이러한 상황은 변화하기 시작했습니다. DGM은 코딩 분야에서 자기 개선이 가능하다는 것을 증명하며, 꿈같은 목표에 한 걸음 더 다가섰습니다. 하지만 DGM 역시 해결해야 할 과제가 남아 있었습니다.

DGM은 인간이 직접 설계한 메타 레벨 메커니즘에 의존한다는 한계점을 가지고 있었습니다. 이는 시스템의 성장 범위를 인간 설계자의 능력에 묶어버리는 족쇄와 같았습니다. 이러한 문제를 해결하기 위해 University of British Columbia, Vector Institute, University of Edinburgh, New York University, Canada CIFAR AI Chair, FAIR at Meta, Meta Superintelligence Labs의 연구진들은 Hyperagents라는 혁신적인 프레임워크를 제시했습니다. 이 프레임워크는 메타 레벨 수정 절차 자체를 편집 가능하도록 만들어, 작업 성능과 자기 수정 능력 간의 연관성을 제거했습니다. 이제 AI는 더욱 자유로운 진화를 향해 나아갈 수 있게 되었습니다.

1. 메타 레벨의 무한 회귀 문제: 해결해야 할 숙제

기존의 자기 개선 시스템들이 겪는 가장 큰 어려움 중 하나는 바로 ‘무한 회귀’ 현상입니다. 마치 프탈로 효과처럼, 한 가지 문제를 해결하면 또 다른 문제가 따라붙는 것입니다. 작업 에이전트(문제를 해결하는 부분)와 메타 에이전트(작업 에이전트를 개선하는 부분)가 존재한다면, 결국에는 ‘메타-메타’ 에이전트가 필요하게 됩니다. 이를 계속 반복하면 문제는 단순히 위로 미뤄질 뿐, 근본적인 해결책이 될 수 없습니다. 이러한 무한 회귀는 AI 연구의 발전을 가로막는 큰 장벽이었습니다. 특히 **하이퍼에이전트**는 이러한 문제를 해결하기 위한 중요한 진전입니다.

2. Hyperagents: 단일 편집 가능한 프로그램으로의 통합

DGM-Hyperagent (DGM-H) 프레임워크는 작업 에이전트와 메타 에이전트를 단일하고, 자기 참조적이며, 완전히 편집 가능한 프로그램으로 통합하여 이러한 문제를 해결합니다. 여기서 에이전트는 Foundation Model(FM) 호출 및 외부 도구를 포함할 수 있는 계산 가능한 프로그램으로 정의됩니다. 이는 마치 레고 블록처럼, 여러 요소를 하나의 시스템으로 융합하여 유연성과 확장성을 높이는 것과 같습니다. 하이퍼에이전트는 이러한 통합을 통해 AI의 자기 개선 능력을 비약적으로 발전시켰습니다.

3. 다양한 분야에서의 성능 향상: 코딩, 논문 심사, 로봇 제어

연구팀은 DGM-H를 코딩, 논문 심사, 로봇 보상 설계, Olympiad 수준의 수학 문제 해결 등 다양한 분야에서 테스트했습니다. 특히 로봇 보상 설계 분야에서 하이퍼에이전트는 초기 점수 0.060에서 0.372 (CI: 0.355–0.436)로 상당한 성능 향상을 보였습니다. 이는 단순히 높이 올라서는 것과 같은 지역 최적해를 벗어나, 점프와 같은 더욱 효율적인 전략을 발견한 결과입니다. 또한 논문 심사 분야에서는 0.0에서 0.710 (CI: 0.590–0.750)의 성능 향상을 기록하며 기존의 정적인 기준선을 압도했습니다.

4. 학습 능력의 전이: 새로운 가능성의 제시

연구팀은 메타 레벨 개선 사항이 일반적이며 전이 가능하다는 중요한 사실을 발견했습니다. 이는 마치 다양한 언어를 배우는 것처럼, 한 분야에서 습득한 지식을 다른 분야에 적용할 수 있다는 의미입니다. 하이퍼에이전트는 논문 심사 및 로봇 작업에 최적화된 메타 에이전트를 Olympiad 수준의 수학 문제 해결 분야로 전이했습니다. 인간이 직접 설계한 DGM run의 메타 에이전트는 새로운 환경에서 개선을 이루지 못했지만 (imp@50 = 0.0), 전이된 DGM-H 하이퍼에이전트는 imp@50의 0.630을 달성했습니다. 이는 시스템이 자율적으로 전이 가능한 자기 개선 전략을 습득했음을 입증합니다.

5. AI의 진화: 스스로 구축하는 인프라

놀랍게도 하이퍼에이전트는 명시적인 지시 없이도 자체 성장을 지원하는 정교한 엔지니어링 도구를 자율적으로 개발했습니다. 여기에는 성능 추적을 위한 클래스 생성, 지속적인 통찰력 및 원인 가설 저장을 위한 메모리 구현, 남은 실험 예산에 따라 수정 전략을 조정하는 컴퓨팅 기반 계획 등이 포함됩니다. 이는 AI가 단순히 주어진 문제를 해결하는 것을 넘어, 스스로 성장하고 발전하기 위한 기반을 구축하고 있음을 보여줍니다. 이러한 자율적인 인프라 구축 능력은 앞으로 AI 연구에 새로운 가능성을 제시할 것입니다.

미래 전망: AI 자기 개선의 시대

DGM-H의 연구 결과는 AI 연구 분야에 큰 영향을 미칠 것으로 예상됩니다. 특히 하이퍼에이전트의 등장으로 AI는 더욱 유연하고 적응력이 뛰어난 방향으로 발전할 수 있게 되었습니다. 향후 AI는 단순한 도구를 넘어, 스스로 학습하고 발전하며, 인간과 협력하는 파트너로서의 역할을 수행할 것으로 기대됩니다.

물론, 이러한 기술이 가져올 윤리적, 사회적 문제에 대한 고민도 필요합니다. AI의 자기 개선 능력이 통제 불능 상태에 빠질 가능성은 없는지, AI의 발전이 인간의 일자리에 어떤 영향을 미칠 것인지 등 다양한 질문에 대한 심도 있는 논의가 필요합니다. 하지만 분명한 것은 하이퍼에이전트의 등장으로 AI 연구는 새로운 장을 맞이하게 되었다는 점입니다.

심층 분석 및 시사점

Array

원문 출처: Meta AI’s New Hyperagents Don’t Just Solve Tasks—They Rewrite the Rules of How They Learn