데이터 수집부터 데이터 파운드리까지— AI 로봇 시대의 핵심 인프라

1. 새로운 산업혁명, 데이터가 로봇을 훈련시킨다

2025-2026년은 ‘휴머노이드 로봇 원년’으로 역사에 기록될 것이다. 테슬라의 옵티머스, Figure AI, 중국의 AgiBot, 유니트리, 한국의 레인보우 로보틱스 등 수십 개 기업이 인간형 로봇을 쏟아낸 이 해에, 로봇 업계는 한 가지 불편한 진실과 마주쳤다. 아무리 정교한 하드웨어를 만들어도, 로봇에게 ‘인간의 행동’을 가르칠 데이 터가 없으면 아무 소용이 없다는 것이다.

“로봇을 만드는 것보다 로봇을 가르치는 것이 더 어렵다 2026년 로봇 업계의 공통된 고민”

이 문제를 해결하기 위해 등장한 개념이 바로 ‘데이터 파운드리(Data Foundry)’다. 반도체 팹(Fab)이 칩을 대량 생산하듯, 데이터 파운드리는 로봇 AI 학습에 필요한 행동 데이터를 체계적으로 대량 생산하는 인프라 다. 가사 로봇 훈련 현장, 중국 AgiBot의 데이터 수집 공장, 그리고 한국에서 급부상하는 텔레호퍼레이션 기 반 학습 방법론-이 세 가지 트렌드가 합쳐져 새로운 산업 생태계를 형성하고 있다.

• 이번 TechValley 블로그에서는

• 왜 로봇에게 데이터가 필수인지

• 어떤 방법으로 데이터를 수집하는지

• 데이터 파운드리란 무엇이고 어떻게 구축하는지

• 글로벌 경쟁에서 한국의 위치는 어디인지를 심층 분석한다.

2. 왜 로봇에게 ‘데이터’가 필요한가-Physical AI의 학습

2.1 ChatGPT와 휴머노이드 로봇의 결정적 차이

ChatGPT가 인터넷의 텍스트 데이터로 학습하듯, 휴머노이드 로봇은 ‘몸을 움직이는 경험 데이터’로 학습한 다. 이를 Physical AI 혹은 Embodied Al라고 부른다. 텍스트 AI는 수조 개의 토큰으로 학습할 수 있지만, 로 봇 AI는 물리 세계에서의 실제 상호작용 데이터가 필요하다.

핵심 차이점은 세 가지다. 첫째, 중력과 마찰이 있다. 가상 공간과 달리 현실에서 물건을 잡으면 미끄러지고, 쏟아지고, 예상치 못한 방향으로 굴러간다. 둘째, 센서 노이즈가 있다. 카메라, IMU, 관절 인코더 등에서 발생 하는 노이즈는 시뮬레이션으로 완벽히 재현할 수 없다. 셋째, 작업 맥락이 있다. 그릇을 씻는 행동은 물기의 양, 그릇의 무게, 주변 공간에 따라 매번 달라진다.

2.2 시뮬레이션의 한계-왜 텔레오퍼레이션 데이터가 필수인가?

NVIDIA Isaac Sim, MuJoCo, Genesis 등 물리 시뮬레이터는 저비용으로 수백만 건의 데이터를 생성할 수 있다. 그러나 ‘Sim-to-Real Gap, 즉 가상 환경과 현실 사이의 괴리가 치명적이다. 유리컵을 잡는 행동 하나 를 시뮬레이션으로 완벽히 구현하려면, 유리의 반사율, 무게 분포, 손가락 피부와의 마찰계수를 정밀하게 모 델링해야 한다. 이 모든 것을 가상으로 복제하는 것은 현재 기술로는 불가능에 가깝다.

따라서 업계는 ‘하이브리드 접근법’을 택한다. 시뮬네이션으로 기초 동작(보행, 균형, 물체 접근)을 학습시키 고, 실세계 텔레오퍼레이션 데이터로 세밀한 조작 능력을 ‘파인 튜닝’하는 방식이다. 이 파인 튜닝에 필요한 실세계 데이터가 곧 데이터 파운드리의 핵심 생산물이다.

3. 데이터 수집의 세 가지 방법론

3.1 텔레오퍼레이션: 인간이 로봇을 직접 조종하여 시연 데이터 생성

텔레오퍼레이션(Teleoperation)은 현재 가장 널리 쓰이는 고품질 데이터 수집 방법이다. 인간 오퍼레이터가 VR 헤드셋이나 외골격 장치를 착용하고, 로봇을 원격으로 조종하면서 작업을 시연한다. 이 과정에서 로봇의 관절 각도, 힘 센서 값, 카메라 영상, 작업 완료 여부 등이 실시간으로 기록된다.

스탠퍼드 대학의 ACT(Action Chunking with Transformers) 연구, 버클리의 ALOHA 시스템, 그리고 중국 AgiBot의 대규모 텔레오퍼레이션 팜이 이 방식의 대표 사례다. 논문 ‘TRILL'(텔레오퍼레이션 기반 심층 모방학습)은 VR 인터페이스로 수집한 인간 시연 데이터가 로봇의 ‘전신 제어(Whole-Body Control)’ 능력을 크게 향상시킨다는 것을 증명했다.

“AgiBot(애지봇)은 상하이에 100대의 로봇과 200명의 오퍼레이터를 갖춘 데이터 수집 공장을 운영, 하루 3만~5만 건의 행동 데이터를 생산 중이다.“

그중 로봇의 손은 매우 중요한 역할을 한다. 인간의 손은 27가지 동작이 가능하다.

계란을 깨지 않고 잡는 것과 박스를 드는 것은 같은 손으로 한다. 하지만 로봇의 손을 만는것은 쉬운 일이 아니다. 사람은 무의식적으로 커피를 마시거나 가방을 들때 손쉽게 한다. 하지만 로봇은 이 세심한 움직임을 수학적 논리로 모두 계산하고 그립을 조정해야 한다.

이점에서 텔레오퍼레이션의 강점은 ‘전문가 수준의 결정 로직’을 포착한다는 점이다. 단순히 손의 위치만 기록하는 것이 아니라, 오퍼레이터가 특정 순간 ‘왜 그 방향으로 팔을 뻗었는지’, ‘왜 그 속도로 접근했는지’에 대한 암묵적 정보가 데이터에 담긴다. 이것이 모방학습(Imitation Learning)의 핵심 가치다.

3.2 비디오 기반 학습: 가정의 일상 영상으로 로봇 훈련

CNN이 보도한 혁신적인 방식이 바로 ‘가정 영상 기반 학습’이다. 일반 가정에 카메라를 설치하고, 사람들이 일상적으로 집안일을 하는 영상을 수집한다. 설거지, 요리, 청소, 빨래 개기 등—이 평범한 행동 영상들이 로봇의 가사 능력을 훈련시키는 핵심 데이터가 된다.

이 방법의 혁신성은 ‘액션 없는 비디오(Action-Free Video)’를 활용한다는 점이다. 기존 텔레오퍼레이션은 로봇이 직접 행동하면서 데이터를 수집하지만, 비디오 기반 방식은 인간의 자연스러운 행동 영상만으로도 학습이 가능하다. 2026년 논문 WholeBodyVLA는 이 방식으로 수집한 데이터로 훈련한 모델이 NVIDIA GR00T 대비 21.3% 높은 성능을 보였다고 발표했다.

물론 개인정보와 동의 문제가 핵심 과제다. 참여 가정에 충분한 보상을 제공하고, 수집 범위와 목적을 명확히 고지하는 윤리적 프레임워크가 필수적이다. 이미 일부 미국 스타트업은 ‘가정 데이터 기부 프로그램’을 운영하여 참여 가정에 로봇 구독 서비스 할인 혜택을 제공하고 있다.