피지컬 AI의 승부처는 로봇이 아니라 데이터다.

GPT를 만들 때는 인터넷이라는 거대한 텍스트 창고가 있었다. 수십 년간 인류가 쌓아온 문서를 긁어다 학습시키면 됐다. 그런데 로봇에게 가르칠 데이터는 어디에 있는가. “이 각도로 손목을 꺾어 컵을 잡으면 이렇게 미끄러진다”는 데이터는 인터넷 어디에도 없다. 아무도 기록한 적이 없기 때문이다. 생성형 AI가 도서관을 물려받고 시작한 게임이라면, 피지컬 AI는 교과서부터 직접 써야 하는 게임이다.

올해 한 포럼에서 나온 표현이 이 상황을 정확히 요약한다. “30초 모션데이터에 20억 토큰이 필요한 시대.” 텍스트와는 비교가 안 되는 밀도의 데이터가, 너무 부족하다. 피지컬 AI의 병목은 모델도, 로봇 하드웨어도 아니다. 데이터다.

피지컬 AI 데이터는 ‘기록’이 아니라 ‘에피소드’다.

그럼 현장 데이터를 많이 모으면 되는 것 아닌가. 여기에 함정이 있다. 나는 지난 몇 년간 제조, 조선, 물류, 의료 현장의 데이터를 들여다보면서 한 가지 사실을 확인했다. 데이터가 없어서 못 쓰는 기업보다, 있는 데이터가 학습 가능한 형태가 아니어서 못 쓰는 기업이 훨씬 많다.

피지컬 AI가 배우는 구조는 명확하다. 현재 상태(State)에서 어떤 행동(Action)을 했더니 다음 상태(State’)가 됐다 — 이 세 가지가 같은 시간축 위에 묶인 하나의 ‘에피소드’가 학습의 최소 단위다. 모델이 배우는 것은 결국 p(sₜ₊₁ | sₜ, aₜ), 즉 “이 상태에서 이 행동을 하면 세상이 어떻게 변하는가”라는 예측이다.

그래서 영상 파일 따로, 센서 기록 따로 깨끗하게 저장돼 있는 것은 아무 소용이 없다. 그건 정제 데이터일 뿐이다. 도서관에 책이 가지런히 꽂혀 있는 상태와, 시험 범위에 맞춰 문제·해설집으로 편집된 상태의 차이라고 보면 된다. AI에게 필요한 것은 후자다. 보통 이것을 ‘AI Ready Data’라고 부른다. 기계가 읽을 수 있는 구조, 맥락, 정답, 이력 — 이 네 가지가 갖춰져 학습 과제의 형태로 묶인 데이터.

문제는 이 ‘묶는’ 일이 생각보다 훨씬 어렵다는 것이다. 로봇 데이터는 영상 여러 채널에 관절 각도, 힘-토크, IMU 같은 센서 기록이 겹쳐 있는데, 이 채널들의 시간이 많이 어긋날수록 데이터 전체가 못 쓰는 물건이 된다. 장갑 센서가 기록한 행동과 카메라가 찍은 영상이 같은 순간을 가리켜야 하나의 학습 샘플이 되기 때문이다. 화려한 작업이 아니다. 꺼내오고, 맞추고, 확인하는 일이다. 그런데 AI 프로젝트 시간의 60~80%가 여기에 들어간다.

현장에서 배운 세 가지 역설

첫째, 공장이 좋을수록 데이터가 없다. AI에게 가장 가르치고 싶은 것은 불량, 고장, 사고다. 그런데 잘 관리되는 공장의 불량률은 PPM, 백만분율 단위다. 가르칠 게 가장 많은 공장이 가르칠 데이터가 가장 없다. 사고 데이터는 만들려고 일부러 사고를 낼 수도 없다. 그래서 산업 AI에서 클래스 불균형은 예외 상황이 아니라 기본값이다.

둘째, 병목은 기술이 아니라 사람의 머릿속에 있다. 수집과 라벨링은 사람과 도구를 늘리면 규모가 커진다. 그런데 “이 용접 비드가 합격인가”를 판정하는 일은 그 공정을 아는 사람만 할 수 있고, 그런 사람은 희소하다. 현장에서 “보면 안다”로 통하는 장인의 기준을 라벨링 가이드라는 문서로 옮겨야 수백 명이 같은 기준으로 일할 수 있는데, 이 명문화가 피지컬 AI 데이터 사업의 숨은 승부처다.

셋째, 합성데이터는 대체재가 아니라 증폭기다. 희귀상황을 보완하는 데 합성데이터는 이미 표준 도구가 되고 있다. 엔비디아의 Cosmos 같은 월드모델 기반 합성데이터 생성이 로봇 학습 인프라로 자리 잡는 중이다. 다만 원칙이 있다. 합성데이터는 소량의 질 좋은 실측 데이터에 뿌리를 두고 그것을 증폭할 때만 효과가 있다. 실측 없이 합성만으로 채우면 현실과 어긋난 것을 배운다. 씨앗이 되는 실측 데이터의 품질이 합성데이터 품질의 상한선이다. 그리고 그 실측 데이터를 만드는 것이 바로 위의 그 노동집약적이고 도메인 지식이 필요한 일이다.

한국의 기회: 우리는 ‘현장’을 가진 나라다

여기서 한국 이야기를 해야겠다. 나는 한국이 피지컬 AI 데이터 경쟁에서 구조적으로 유리한 위치에 있다고 본다. 근거는 간단하다. 피지컬 AI 데이터는 현장에서만 나오는데, 한국은 세계에서 가장 밀도 높은 현장을 가진 나라 중 하나다. 조선소, 반도체 공장, 자동차 라인, 제철소, 항만 — 데이터의 원천이 되는 산업 현장이 이만큼 집적된 나라는 드물다.

정부도 이 지점을 보고 있다. 피지컬 AI를 4차 산업혁명의 최종 단계로 규정하고, 데이터 주권 확보를 국가 경쟁력의 문제로 다루기 시작했다. 실제로 수백억 원 규모의 피지컬 AI 선도기술 개발 국책사업이 출범해 월드 파운데이션 모델과 그 학습 데이터 인프라를 국산화하는 작업이 진행 중이다. 미국이 데이터 유출을 경계하며 ‘AI 경계령’을 내리고, 중국이 자국 제조 데이터를 자국 AI에 몰아주는 지금, 현장 데이터를 어느 나라 모델이 학습하느냐는 더 이상 기술 문제가 아니라 주권 문제다.

크라우드웍스도 이 흐름의 한복판에 있다. 우리는 그 국책사업에서 초고정밀 멀티모달 데이터 파이프라인 구축을 맡았고, 피지컬 AI 데이터랩이라는 전담 조직을 신설해 로봇 유형별 VLA(시각-언어-행동) 데이터를 연구하고 있다.

또한 크라우드웍스는 다양한 현장에서 데이터를 수집하고 있다. 양팔 수술로봇의 봉합 시연을 원격조작으로 수집해 실패 사례까지 포함한 수 만건의 에피소드 데이터셋을 만들었고, 조선소에서는 수십 년 된 크레인에 센서를 리트로핏해 기존 설비를 그대로 둔 채 학습 데이터를 뽑아내는 프로젝트를 진행하고 있다. 제조 현장에서는 작업자에게 데이터 글러브와 1인칭 카메라를 착용시켜 손동작·시야·접촉을 함께 기록하고, 이것을 로봇이 재현할 수 있는 작업 에피소드로 구조화한다.

이 경험들이 가리키는 방향은 하나다. 피지컬 AI 시대의 데이터 사업은 ‘라벨링 대행’이 아니다. 수집 장비 설계부터 시간 동기화, 품질검증, 표준 포맷 출력까지 이어지는 파이프라인 전체가 상품이고, 그 파이프라인이 돌기 시작하면 ‘현장 실증 → 데이터 생성 → 모델 재학습 → 투입 확대’라는 플라이휠이 돈다. 데이터가 한 번 쓰고 버리는 비용이 아니라, 쓸수록 쌓이는 자산이 되는 구조. 이것이 우리가 집중해야 할 부분이다.