데이터 과학자처럼 생각하는 에이전트 구축: 재사용 가능한 도구 생성으로 DABStep 1위 달성

서론: 데이터 분석 격차 해소

데이터의 세계는 광대하지만, 정량적 정보는 종종 온라인 텍스트 형식으로는 부족하거나 사용 불가능합니다. 이는 심층 연구 에이전트에게 상당한 과제를 야기합니다. 본 기사에서는 NVIDIA Kaggle Grandmasters (KGMON) LLM Agent Research Team이 개발한 NVIDIA KGMON (NeMo Agent Toolkit) Data Explorer라는 아키텍처를 소개합니다. 이 프로젝트는 데이터 탐색 및 분석에 특화된 에이전트를 도입하여 다단계 추론, 도구 호출 및 반복적 데이터 분석의 복잡성을 처리하도록 설계되었습니다. 특히, 본 접근 방식은 Data Agent Benchmark for Multi-step Reasoning (DABStep) 벤치마크에서 새로운 최고 성능 (SOTA)을 확립하여 Claude 코드 기준보다 30배 빠른 속도로 1위를 차지했습니다. 데이터 과학자는 이러한 격차를 해소하는 데 중요한 역할을 합니다.

데이터 의존적인 심층 연구 에이전트는 특히 인터넷 텍스트 검색에 의존하는 경우 구조화된 테이블 데이터를 처리하고 복잡한 다단계 쿼리가 필요한 경우에 어려움을 겪습니다. NVIDIA KGMON (NeMo Agent Toolkit) Data Explorer의 핵심 목표는 이러한 어려움을 해결하고, 자동으로 코드를 생성하고 실행하여 분석 속도를 높이고, 다단계 추론과 도구 사용을 통해 복잡한 테이블 질문을 해결하며, 의미론적 검색을 통해 대규모 비정형 컨텍스트를 이해하고, 시각화를 자동으로 생성하고 해석하여 실험의 방향을 유지하는 에이전트를 구축하는 것입니다. 본 기사에서는 데이터 과학자가 필요로 하는 핵심 역량을 에이전트에 부여하는 방법을 심층적으로 분석합니다.

NVIDIA KGMON (NeMo Agent Toolkit) Data Explorer 아키텍처

NVIDIA KGMON (NeMo Agent Toolkit) Data Explorer에서는 다양한 사용 사례에 맞춰 다양한 에이전트 루프를 구현합니다. 이 아키텍처는 데이터 과학자의 관점에서 특별히 설계된 도구를 활용하여 NVIDIA NeMo Agent Toolkit을 활용합니다. 개방형 탐색적 데이터 분석의 경우, 시스템은 ReAct 에이전트와 Jupyter Notebook 도구를 페어링하여 지속적인 양방향 상호 작용을 가능하게 합니다. 반면에 다단계 규칙 기반 테이블 데이터 QA의 경우, 아키텍처는 Tool Calling Agent를 사용합니다. 이 에이전트는 구조화된 작업을 수행하기 위한 별도의 특수 도구 세트와 상호 작용합니다. 여기에는 상태가 있는 Python 인터프리터, 검색기 및 파일 구조 감지기가 포함됩니다. 데이터 과학자는 이러한 도구를 효과적으로 활용하여 데이터 분석의 복잡성을 해결합니다.

개방형 탐색적 데이터 분석 (EDA) 및 테이블 데이터 QA

현재 NVIDIA KGMON (NeMo Agent Toolkit) Data Explorer는 주로 두 가지 주요 애플리케이션에 중점을 둡니다. 데이터 과학자는 이 두 가지 애플리케이션을 통해 데이터 분석의 다양한 측면을 경험할 수 있습니다.

개방형 탐색적 데이터 분석 (EDA)

아래 그림은 ReAct 에이전트에 의해 구동되는 개방형 탐색적 데이터 분석을 위한 아키텍처를 설명합니다. 워크플로는 사용자가 데이터 세트를 탑재하고 ReAct 에이전트에 질문이나 지침을 보내는 것으로 시작됩니다. ReAct 에이전트는 이러한 입력을 특정 도구 호출로 변환합니다. 이러한 호출은 표준 작업(노트북 생성, 코드 추가, 셀 실행 등)을 수행할 수 있는 Notebook Manipulation Tools 세트로 전송됩니다. 도구가 명령을 실행하면 원시 출력은 Tool Output Handler로 흐릅니다. 이 핸들러의 중요한 특징은 Vision-Language Model (VLM)과의 통합입니다. 도구 출력에 시각적 플롯이 포함된 경우 핸들러는 이 플롯을 VLM에 보내 텍스트 기반 설명을 생성하고 플롯의 미적 감각과 정보 풍부함을 향상시키기 위한 제안을 생성합니다. 핸들러는 그런 다음 시각적 플롯을 이 텍스트 기반 분석으로 대체하여 처리된 도구 출력을 ReAct 에이전트로 다시 전송하여 사용자의 질문에 대한 정보에 입각한 답변을 수립합니다.

다단계 규칙 기반 테이블 데이터 QA

이는 복잡한 다단계 추론과 테이블 데이터에 대한 도구 호출이 필요한 어려운 질문을 해결합니다. 우리는 Data Agent Benchmark for Multi-step Reasoning (DABStep) 벤치마크에 집중합니다. 이 벤치마크는 Financial Payments Sector에 특화된 총 450개의 작업을 포함합니다. 벤치마크 프로세스는 다음과 같은 세 가지 주요 구성 요소로 구성됩니다. 컨텍스트 & 쿼리에는 질문과 이기종 데이터 소스(CSV 및 JSON 파일)와 도메인 로직 및 규칙을 설명하는 마크다운 매뉴얼이 포함됩니다. 벤치마크 작업은 기본 단일 데이터 세트 쿼리를 나타내는 쉬운 작업(16%)과 복잡한 다단계 도구 보강 추론이 필요한 어려운 작업(84%)으로 분류됩니다. 이러한 어려운 작업에는 문서를 읽고, 코드를 생성(SQL 또는 Pandas와 같은)하고, 답변을 계산하기 위해 데이터를 교차 참조해야 하며, 웹 검색은 거의 쓸모가 없습니다. 마지막으로 평가는 엄격한 서식 요구 사항을 충족하는 정확한 텍스트 일치를 사용하여 성공을 측정하며, 에이전트 답변과 추론 추적을 포함하는 JSONL 출력을 예상합니다. 데이터 과학자는 이러한 벤치마크를 통해 에이전트의 성능을 평가하고 개선합니다.

DABStep 해체: 다단계 접근 방식

DATStep에서 최고 성능 (SOTA)을 달성하려면 재사용 가능한 특수 도구를 구축하는 데 사용되는 일반적인 기술을 신속한 추론으로 분리해야 합니다. 시스템은 학습 단계, 추론 단계 및 오프라인 반사 단계의 세 가지 뚜렷한 단계로 나뉩니다. 이는 인간 데이터 과학자가 상당한 노력을 미리 투자하여 견고한 도구 키트를 구축하여 향후 작업이 효율적이고 확장 가능하도록 운영하는 방식을 반영합니다.

결론: 데이터 집약형 연구를 위한 새로운 패러다임

NVIDIA NeMo Agent Toolkit을 기반으로 구축된 Data Explorer 에이전트는 구조화된 테이블 데이터에 대한 자동화된 데이터 분석에서 중요한 진전을 나타냅니다. 유연한 에이전트 루프(개방형 탐색적 데이터 분석을 위한 ReAct 루프 및 규칙 기반 테이블 QA를 위한 다단계 시스템)를 채택함으로써 에이전트는 복잡한 다단계 추론 작업을 처리할 수 있는 독특한 입지를 확보합니다. DABStep 벤치마크에서 이 세 단계 접근 방식의 성공, 특히 재사용 가능한 일반화된 함수를 생성하는 선행 학습 루프는 기초 지식 구축과 빠른 추론을 분리하는 전략을 검증합니다. Data Explorer는 단순한 쿼리 응답을 넘어 계절적인 데이터 과학자의 운영 워크플로우를 구현하고 LLM 기반 에이전트가 주도하는 데이터 집약형 연구를 위한 새로운 패러다임을 제시합니다. 데이터 과학자는 이러한 발전을 통해 새로운 가능성을 탐색하고 연구를 가속화할 수 있습니다.