피지컬 AI는 센서를 통해 물리적 환경을 인식하고 수집된 정보를 바탕으로 스스로 판단하며, 로봇 팔이나 바퀴와 같은 구동 장치로 현실 세계에 물리적인 영향을 미치는 AI 시스템이다.

넓은 의미로는 인공지능과 하드웨어가 결합된 모든 것을 지칭한다. 현실 세계에 물리적인 영향력을 미칠 수 있다는 점에서 기존 AI 시스템들과 구별된다. 우리는 단편적이기는 하지만 이미 자율주행, 로봇 등으로부터 피지컬 AI를 접하고 있다.

피지컬 AI가 최근 업계의 화두로 떠오른 배경에는 엔비디아가 있다. 엔비디아는 피지컬 AI를 3D 세계의 공간과 물리적 작동 방식을 이해하고 시뮬레이션을 통해 학습된 형태로 정의했다. 엔비디아 젠슨 황 CEO는 ‘CES 2025’ 기조연설에서 AI의 다음 개척 분야로 피지컬 AI를 강조했다. 그는 “AI는 이제 단순히 텍스트와 이미지를 생성하는 것을 넘어 현실 세계를 이해하고, 상호작용 하며, 물리적인 일을 수행하는 시대로 접어들고 있다”고 말했다.

하지만 모든 피지컬 AI가 시뮬레이션 기술을 활용하고 있는 것은 아니다. 기존의 비전언어모델(VLM)을 학습하던 기법 등 자신만의 방법을 활용해 피지컬 AI를 개발하기도 한다. 카이스트(KAIST) 장영재 교수는 “어떻게 만드는가는 크게 중요하지 않다. 산업 현장에서 실질적인 성과를 거두는 것이 중요하다”고 강조했다.

피지컬 AI 시장은 계속 성장할 것으로 예측된다. 글로벌 시장조사기관 ‘어스튜트 애널리티카(Astute Analytica)’의 산업용 로봇 시장 보고서에 따르면, 피지컬AI 시장의 중요한 부분을 차지하고 있는 전 세계 산업용 로봇 시장은 2024년 269억 9천만 달러(약 37조 7천억 원)에서 2033년에는 2,352억 8천만 달러(약 328조 6천억 원)로 크게 성장할 전망이다.

우리 정부도 피지컬 AI의 중요성을 인식하고 있다. AI 3대 강국으로 성장하겠다는 정부의 발표와 함께 피지컬 AI에 대한 언급이 지속적으로 이어지고 있다. 지난 8월 공개된 ‘새 정부 경제성장전략’은 우리나라의 성장 둔화의 유일한 돌파구로 AI를 제시하고 있으며 제조업 강점을 활용해 ‘피지컬 AI 1등 국가’로 거듭난다는 비전도 포함돼 있다.

피지컬 AI 실증사업도 전북 제조 기업들을 중심으로 진행되고 있다. 피지컬 AI가 산업 현장에서 생산성 향상과 효율 증대라는 실질적인 성과를 창출하는지를 검증하겠다는 것이다.

KAIST 장영재 교수는 “실제 제조 현장은 지방에 많이 분포하고 있지만, 피지컬 AI 개발 기업과 논의는 수도권을 중심으로 이어지고 있다. 이번 실증 사업이 이러한 수도권 중심 현상을 해결하는 데 도움이 됐으면 한다”며 “지방에서 AI 사업을 펼치면 AI 기업들이 겪고 있는 전력 문제 해결도 쉬워질 것”이라고 말했다.
 

디지털 트윈, 시뮬레이션 기술 주목

피지컬 AI가 성공적으로 실현되기 위해서는 하드웨어, 센싱, 인공지능 등 다양한 기술 요소들이 유기적으로 결합돼야 한다. 업계에서는 디지털 트윈과 시뮬레이션 기술이 피지컬 AI 혁신의 중요한 열쇠가 될 것으로 기대하고 있다. 이들 기술은 피지컬 AI가 현실 세계를 인식하고 학습하는 기반 기술이 되고 있다. 예를 들어 피지컬 AI가 2D 카메라를 통해 인식한 정보를 3D 모델링으로 구현해 현실 세계를 인식하거나 3D 데이터를 통해 구성한 시뮬레이션 환경을 모델 학습에 활용하는 등의 방식이다.

디지털 트윈은 현실 세계의 물리적 자산, 시스템, 프로세스 등을 가상 공간에 3차원 모델로 똑같이 구현하는 기술이다. 현실 세계의 ‘쌍둥이(Twin)’를 만드는 것을 의미한다. 이 기술은 단순히 가상 모델을 만드는 것뿐만 아니라, 피지컬 AI가 현실의 사물을 센서로 인식하고 가상 모델로 구현해 현실의 변화를 파악하는 데 도움을 주고 있다.

실제 씨이랩은 제조 산업 전반과 반도체 분야에 비전 AI와 디지털 트윈 기술을 결합한 피지컬 AI 실현에 집중하고 있다. 대규모의 영상 데이터를 물리 기반 시뮬레이션으로 구성해 가상 공간 및 현실 공간 간의 운용 정확도와 효율성을 향상한다는 방침이다.

씨이랩은 이러한 기술을 시뮬레이션으로 확대하고 있다. 피지컬 AI가 실제 현장에 투입되기 전 디지털 트윈 플랫폼 기반 가상 시뮬레이션 기술을 적용해 사전에 위험을 검증하겠다는 것이다. 구체적으로 여러 현장 데이터를 3D의 물리 환경으로 재현하고 피지컬 AI가 실제 운용 환경에서 문제를 일으키지 않는지, 특정 상황에 대처할 수 있는지 등을 검증하는 형태다. 더불어 자체 합성 데이터 기술을 활용해 다양한 상황을 생성하고 피지컬 AI가 시각 언어·음성·행동 정보를 통합적으로 처리하는 멀티모달 구조 갖출 수 있도록 할 계획이다.

엔닷라이트는 자체 3D 캐드(CAD) 엔진을 통해 피지컬 AI 개발에 기여하고 있다. 기존에 업계에서 많이 활용되고 있는 기술은 Mesh 기반의 데이터(덩어리진 데이터)라 단순 시각화용에 불과했으며 제조나 로봇 시뮬레이션 환경에 적합하지 않았다, 반면 정밀 넙스(Nurbs) CAD 데이터를 활용해 관절식 객체까지도 시뮬레이터 환경에서 구성할 수 있도록 지원하고 있다.
 

VLA, 피지컬 AI 혁신점 될까

피지컬 AI는 실제 세계를 보고, 이해하고, 행동하는 AI를 말한다. 이러한 피지컬 AI의 핵심 기반 기술로 VLA(Vision-Language-Action, 비전-언어-액션) 모델이 부상하고 있다. VLA 모델은 시각 정보를 인식하고 이를 언어로 해석한 뒤, 적절한 물리적 행동으로 실행하는 인공지능을 뜻한다. 이러한 VLA 모델을 기반으로 하는 피지컬 AI는 단순히 정해진 규칙에 따라 움직이는 로봇이 아니라, 스스로 사고하고 대응하는 형태로 진화하고 있다.

VLA 모델의 핵심은 AI가 인간의 ‘보고-이해하고-행동하는’ 과정을 모방하는 것이다. 먼저 모델은 로봇에 장착된 카메라나 센서를 통해 현실 세계의 이미지를 인식하는 비전 기술을 탑재해야 한다. 다음으로 시각 정보를 언어로 해석하고 주변 환경과 상황을 인식하는 언어 능력 갖춰야 한다. 마지막으로 앞선 정보들을 바탕으로 적절한 물리적 행동을 계획하고 실행한다.

모델은 이러한 과정을 수행하기 위해 수많은 비정형 데이터를 학습한다. 결과적으로 피지컬 AI가 언어 명령을 해석하고 상황에 따라 적절한 행동 시퀀스를 생성할 수 있는 기반이 된다.

하지만 VLA은 ‘시뮬레이션-현실 간 격차(Sim-to-Real Gap)’라는 해결해야 할 과제가 있다. 시뮬레이션 환경에서 완벽하게 학습된 모델이라도 현실 세계의 복잡성과 불확실성을 모두 반영하지 못해 예상치 못한 상황에 제대로 대응하지 못할 수 있다는 것이다. VLA 모델의 높은 연산 부하로 인해 피지컬 AI 환경에서 실시간 작동이 어렵다는 점도 문제다. 향후 피지컬 AI가 확산되기 위해서는 경량화와 효율성에 초점을 맞춘 설계가 중요시될 전망이다.

슈퍼브에이아이는 산업용 비전 파운데이션 모델 ‘제로(ZERO)’를 개발하며 기술을 고도화하고 있다. 이 모델은 코딩 지식 없이도 텍스트나 예시 이미지 프롬프트만으로 원하는 작업을 수행할 수 있는 ‘제로샷’ 능력을 기반으로 산업현장의 AI 도입 진입 장벽을 낮추고 있다.

한편 글로벌 빅테크 기업들도 관련 투자와 연구를 진행 중이다. 구글 딥마인드는 물리적 행동(physical actions)을 새로운 출력 형태로 추가한 VLA 모델 ‘제미나이 로보틱스(Gemini Robotics)’를 공개하며, 로봇을 직접 제어할 수 있도록 했다. 엔비디아는 휴머노이드 로봇을 위한 언어·행동 이해 기반의 범용 파운데이션 모델 ‘프로젝트 그루트(Project GROOT)’와 현실 기반 시뮬레이션 학습을 지원하는 ‘코스모스(Cosmos)’를 발표하며 피지컬 AI 개발 생태계를 만들어 나가고 있다.

충분한 데이터셋과 ‘표준화 전략’ 필요

피지컬 AI에서도 데이터의 중요성은 강조되고 있다. 피지컬 AI의 성공은 현실 세계의 변화를 인식하고 대응하는 능력에 달려있기 때문에 이를 위한 데이터셋 구축이 중요하다. 이에 각 기업들은 단순한 데이터 확보를 넘어 피지컬 AI에 적합한 데이터셋을 구축하기 위해 노력하고 있다.

피지컬 AI 핵심인 VLA 모델을 학습하기 위해서는 음성, 영상, 텍스트, 센서 데이터 등 다양한 데이터를 하나의 묶음으로 통합하는 전략이 중요하다.

플리토는 언어 데이터 분야에서 쌓은 경험을 바탕으로 데이터 통합 전략에 집중하고 있다. 단순한 데이터 양에 집중하는 것이 아니라, AI가 실제 상황을 인식하고 실행할 수 있도록 하는 정제된 데이터셋을 구축한다는 목표다. 플리토는 이룰 위해 자체 플랫폼을 통해 수집·가공한 데이터를 검증하는 체계를 갖추고 있으며 논리 추론(CoT) 인증으로 데이터 신뢰성을 확보하고 있다.

마음AI는 도메인별 피지컬 AI 모델을 개발하면서 실질적인 모델 개발에 집중하기 보다 먼저 산업별 데이터를 축적하는 전략을 펼치고 있다. 산업 현장과 실제 로봇 행동 데이터를 통해 단순한 이미지, 음성이 아닌 ‘보고-이해하고-행동하는’ 과정을 통합하는 데이터셋을 수십만 시간 규모로 확보한다는 목표다.

하지만 피지컬 AI 데이터는 단순 이미지, 텍스트가 아니기 때문에 구축 비용이 높은 편에 속한다. 크라우드웍스는 이러한 비용을 절감하기 위해 크라우드소싱 방식과 전문 검수 체계를 결합해 활용하고 있다. 또한 자율주행과 같이 물리적 환경에서 작동하는 피지컬 AI는 정확도가 중요하기 때문에, 시뮬레이션 환경에서 디지털 트윈 데이터를 수집·처리하고 이를 전문가가 다단계로 검수하는 방식을 택하고 있다. 이를 통해 데이터 확보 속도와 비용 효율성을 높이면서도 높은 정확도와 신뢰성을 확보한다는 전략이다.

한편 피지컬 AI의 센서, 힘, 위치 값 등이 기업마다 서로 다르면 유연한 데이터 활용이 어려워 ‘표준화 전략’도 중요하다. 산업 전반에서 공통으로 활용할 수 있는 ‘데이터 표준화’가 필요한 이유다.

미국에서는 빅테크 기업을 중심으로 표준화가 진행되고 있으며, 국내에서는 최근 공공 주도로 논의가 이어지고 있다. 마음 AI와 크라우드웍스는 피지컬 AI 협회를 통해 표준을 제정하고 인증 체계를 마련할 계획이다. 활발한 데이터 거래를 할 수 있는 기반을 마련해 산업 발전 속도를 올리고자 하고 있다.
 

피지컬 AI, 해결 과제 산적

업계 관계자들은 피지컬 AI가 성공적으로 자리 잡기 위해서는 업계 표준이 필요하다고 입을 모은다. 데이터 표준만이 아니라 솔루션 간의 연동성을 확보해야 한다는 주장이다. 센싱, 하드웨어, 인공지능 등 다양한 기술들이 결합되기 위해선 기업들 간의 협력이 불가피하기 때문이다. 이러한 협력 과정에서 업계 표준이 마련되면 피지컬 AI 생태계가 구축될 수 있다. 이는 곧 피지컬 AI 업계에 유연한 협력 구조와 건전한 경쟁 구도를 형성한다.

피지컬 AI와 관련된 책임성은 논란이 되고 있다. 자율적으로 판단하고 행동하는 피지컬 AI의 특성상 사고가 발생했을 때 법적 책임 주체가 불분명해질 가능성이 있다. 하지만 일각에서는 법적 책임 논란은 큰 의미가 없다는 목소리도 나온다. 기존에 자율주행차, 전자기기 사고 등과 같이 상황에 따라 적절한 책임을 물게 될 것이며 관련 논쟁이 큰 의미가 없다는 주장이다. 또한 피지컬 AI는 영상, 음성, 위치 등 민감한 개인정보를 지속해서 수집하기 때문에, 정보 유출이나 무단 저장에 대한 우려도 제기되고 있다. 업계에서는 이를 해결하기 위해 데이터 보안 및 개인정보보호에 초점을 맞추고 기술을 개발하고 있다.

피지컬 AI의 대중적 확산을 가로막는 요인으로는 높은 제조 비용이 꼽힌다. 피지컬 AI를 개발하기 위해서는 로봇 제조, 파운데이션 모델 학습, 고성능 반도체 칩 운용 등 전 과정에서 상당한 자본 투입이 요구된다. 더불어 맞춤형 설계, 복잡한 시스템 통합, 지속적인 운영 및 유지보수 비용 등 추가 비용도 발생한다. 곧 피지컬 AI가 산업 전반에서 다양한 작업을 수행할 수 있음에도 기업들에게 가격 경쟁력을 제시하지 못해 선택받지 못하는 상황으로 이어지고 있다.

이렇듯 피지컬 AI에 대한 개발이 본격화되고 있지만 여전히 많은 과제가 남아 있다. 업계 표준화를 통해 기술 간의 연동성을 높이고, 데이터 보안과 책임 소재에 대한 사회적 합의를 이끌어내야 한다. 높은 제조 비용 문제도 해결해야 할 것이다. 향후 피지컬 AI가 많은 과제들을 극복하고 현실 세계에 자리 잡을 때를 기대해 본다.

“제조 분야에 피지컬 AI 접목, 산업 전문성 없이는 불가능”

Q. 피지컬 AI 중 집중하고 있는 분야는?

“2016년부터 피지컬 AI와 관련된 연구를 진행해 왔다. 특히 공장 운영, 물류 로봇을 중심으로 기술을 고도화해 이미 상용화 성과를 내고 있다. 중요한 점은 가상 환경에서 학습한 모델을 활용하는 것이다. 제조업은 환경이 끊임없이 변하기 때문에 과거의 데이터만으로 학습하면 한계가 드러난다. 하지만 가상 환경 학습을 접목한 피지컬 AI는 새로운 제품이 출시되면 가상 공장에서 먼저 시뮬레이션을 돌려볼 수 있다. 이는 곧 미래를 학습하는 것과 비슷하다고 볼 수 있다.”

“이러한 방식은 로보틱스나 제조업에서 상당한 의미가 있다. 기존에 하드웨어 단에서 학습하기 위해서는 실제 상황을 연출하는 등 많은 노력을 들여야 했지만, 가상 환경을 만들고 실물을 모사해 학습시킨 모델을 사용함으로써 비용과 시간을 크게 줄일 수 있다. 또한 가상 환경 구축 과정에서 생성형 AI를 결합해 사람이 하나하나 상황을 만드는 것이 아니라, AI가 수많은 상황을 만들어주는 방식도 활용하고 있다.”
 

Q. 피지컬 AI가 성공적으로 실현되기 위해 중요한 포인트는?

“피지컬 AI라는 것이 최근 유행을 타기 시작했지만 완전히 새로운 것은 아니다. 피지컬 AI의 넓은 의미인 인공지능, 하드웨어가 결합된 제품들은 이미 시장에 나오고 있었다. 하지만 엔비디아의 피지컬 AI 관련 발언과 최근 정부가 펼치고 있는 AI 3대 강국 정책 등이 종합적으로 작용해 관심이 높아졌다.”

“피지컬 AI가 성공적으로 실현되려면 몇 가지 중요한 포인트가 있다. 먼저 기존의 PLC 제어 방식의 한계를 극복하기 위해 하드웨어와 소프트웨어를 이용해 더 많은 데이터를 처리할 수 있는 아키텍처가 필요하다. 이를 위해서는 데이터를 자유롭게 교환할 수 있는 생태계 표준이 마련돼야 한다. 현재는 상호 운용성과 데이터 표준에 대한 정리가 제대로 되어 있지 않지만, 피지컬 AI가 성공적으로 자리 잡기 위해 반드시 해결해야 할 중요한 과제다.

AI 업계 전반적으로는 비즈니스 모델의 변화가 필요한 시점이다. 적어도 AI에 한해서는 이전과 같은 공동 번영의 시대는 끝나고 각자도생의 시대가 펼쳐질 것으로 본다. 우리나라의 많은 기업들이 마이크로소프트나 구글과 같은 기업들에 종속성을 갖고 있는 형태를 바꿔야 한다.

중국이 자체 플랫폼을 구축하는 데 적극 나서는 것처럼, 우리도 독자적인 모델을 개발해야 한다. 기초 공사 없이 건물을 올릴 수 없듯이 거대 모델 개발 기술을 보유하지 않고 특화 모델이나 경량 모델 개발에만 집중하면 결국 한계가 온다. 이는 댐이나 저수지 없이 수도꼭지만으로 물이 나오길 바라는 것과 같다.”
 

Q. 현재 업계에서 해결해야 할 과제는?

“피지컬 AI 관련 사업을 주도하는 정부가 전문성을 갖췄으면 한다. 과제 발주자가 잘 모르니 AI 기업들의 목소리에 영향을 많이 받는다. 하지만 AI 기업들도 AI에 대해서 전문성을 갖춘 것이지 자율주행, 제조 등 특화 분야에 대한 이해도는 떨어진다. 기존에 모델 개발 과정에서 활용했던 방식을 토대로 사업을 진행하고 있다.”

“문제는 이러한 접근법이 실질적인 혁신으로 이어지기 어렵다는 것이다. 특히 제조 분야에서 더욱 두드러진다. 제조 현장은 모든 장비가 커스터마이징 돼 있고, 이는 곧 기업만의 노하우가 담겨있다. 이는 마치 음식점의 된장찌개 레시피처럼 기업의 핵심 자산이자 비밀 정보다. 이 때문에 기업들은 자신의 기밀 정보가 담긴 데이터를 외부에 제공하기 꺼린다. 생산 원가나 마진 같은 민감한 정보가 노출될 위험이 있기 때문이다. 그러나 성공적인 제조 특화 모델을 만들기 위해서는 기업의 민감 정보가 반드시 필요하다. 각 기업마다 다른 커스터마이징 환경에 대한 정보가 없으면 의미가 없기 때문이다. 또 특정 환경에서 확보한 데이터를 다른 제조 환경에 적용하는 것이 어렵다는 점도 알아야 한다. 똑같은 사업을 하더라도 각 기업마다 수많은 커스터마이징이 복잡하게 엮어 있는 상황을 고려하지 않으면 문제가 발생할 수 있다. 물론 데이터셋 구축이 의미가 없다는 것은 아니다.”

“최근 정부가 제조 특화 AI를 만들기 위해 공공 데이터 구축 사업을 여럿 발주하고 있는데 여기서 앞서 말한 문제점들이 발생하고 있다. 과제 발주자가 AI 전문가들의 말만 듣고 일단 데이터를 다 모으자는 식의 사업 형태를 진행하는 경우도 있다. 결국 기업의 핵심 정보들이 빠진 반쪽짜리 데이터셋을 구축하고 있는 것이다. 이로써 제출된 데이터셋으로는 제대로 된 AI 모델을 학습할 수 없어 예산만 낭비하는 결과를 초래하게 된다. 제조 분야에 전문성을 갖추지 못한 과제 발주자와 AI 전문가들이 문제에 너무 쉽게 접근하고 있다고 생각한다.”
 

Q. 문제 해결책은?

“데이터셋 구축 문제는 제조 분야에 대한 전문성 강화를 해결책으로 꼽을 수 있으나 현실적으로는 데이터를 수급하는 형식을 바꿔야 한다. 현재는 제조 현장 데이터를 얻기 위해 제조 기업들에게 스스로 본인들의 데이터를 수집하고 보관할 것을 주문하고 있다. 하지만 이러한 방식은 명확한 한계점이 존재한다. 예를 들어 우리가 평상시 사용하는 정수기에서 얼마나 물을 쓰는지 측정하기 위해선 이를 기록할 수 있는 센서를 적절한 곳에 설치해야 한다. 하지만 대부분의 사람들은 정수기의 구조를 알고 있지 못하며 어느 곳에 센서를 배치해야 정확한 데이터를 수집할 수 있는지 알지 못한다. 제조 현장도 마찬가지다. 제조 기업이 자산의 장비 설계를 모두 아는 것은 아니다. 결국 그들이 제공하는 데이터의 정확성을 담보할 수 없다.”

“이를 해결하기 위해서는 장비 공급 업체와의 협력이 필요하다. 장비의 설계를 잘 알고 있는 전문가에게 데이터 수집을 요구해야 한다. 물론 공급 업체 입장에서는 데이터 수집에 협조하는 데 난색을 표할 것이다. 여기서 필요한 것이 정부의 역할이다. 다양한 지원금과 보조책으로 공급 업체의 협조를 이끌고 생태계 조성에 기여할 수 있도록 해야 한다. 독일은 ‘인더스트리 4.0’을 통해 이 같은 형태를 구현하고자 했었다. 물론 흐지부지 마무리된 경향이 있지만 우리나라가 롤모델 삼을 부분이 있다. 오히려 우리나라가 제조 분야 강점과 추진력을 결합해 더 좋은 결과를 창출할 수 있다고 생각한다.”

“교수로서 인재 양성을 통해 산업 발전에 기여하는 방안도 모색하고 있다. 현재 교육 현장은 학생들을 정답을 맞추고 말을 잘 듣는 대기업에 맞는 인재들을 키우고 있다. 실제 우리나라 공대 교육은 대부분 강의실에서 진행되고 있지만, 실제 중요한 것은 현장 교육이다. 현장 기술을 배울 수 있는 기관과의 협력을 확대하고자 한다. 카이스트는 이를 위해 조만간 제조 피지컬 AI 연구소를 공식적으로 출범하고 대학원 프로그램도 만들 예정이다. 제조 피지컬 AI의 교육 커리큘럼도 체계적으로 갖출 계획이다.”

Q. 마지막으로 하고 싶은 말은

“피지컬 AI가 제조 현장에 성공적으로 접목되기 위해서는 실질적인 현장 처우 개선이 우선이다. 우리나라는 제조 강국이지만 인력을 중심으로 일군 업적이 대부분이다. 협력업체 직원들이 공장 설비를 설치하는 현장에 가보면 그 현실을 여실히 알 수 있다. 아직도 많은 사람들이 앉을 자리가 없어 바닥에 쭈그리고 앉아 자신의 순서를 기다리고 쪽잠을 자고 있다. 피지컬 AI와 같은 기술의 잠재력을 온전히 실현하려면 일하는 방식부터 바꿔야 하는 것이다. 기업들은 기존의 방식을 버리고 체계적인 지식 재산화와 기술, 투자를 통한 지식 산업화로 나아가야 한다. 당연히 제조 현장의 처우 개선도 병행돼야 한다. 피지컬 AI가 이러한 과정에서 일정 부분 역할을 할 수 있을 것으로 기대한다.”