챗GPT 다음은 무엇? AI가 '공간'을 이해하기 시작할 때 벌어지는 일들

Bopyo Park 10 Sep 2025

에코 멤버님들,

잘 지내고 계신가요? 벌써 한주의 절반 수요일이 지나갔네요. 한국은 목요일 시작이죠? 오늘도 AI 분야의 거대한 흐름 속에서 우리가 함께 곱씹어볼 만한 깊이 있는 이야기를 가지고 왔습니다. 우리는 지금 챗GPT가 쓴 텍스트를 업무에 활용하고, 미드저니 및 나노바나나가 생성한 이미지에 감탄하는 시대를 살고 있습니다. 하지만 만약 이것이 AI 혁명의 시작에 불과하다면 어떨까요? 언어(1D)와 이미지(2D)의 평면적 세계를 넘어, AI가 우리가 발 딛고 사는 이 3차원의 공간을 진정으로 ‘이해’하기 시작한다면 어떤 미래가 펼쳐질까요?

AI 분야의 세계적인 석학이자 ‘이미지넷(ImageNet)’의 창시자인 페이페이 리(Fei-Fei Li) 교수와 그의 제자이자 동료인 저스틴 존슨(Justin Johnson)이 나눈 대담은 바로 이 질문에 대한 깊이 있는 통찰을 던져줍니다. 오늘은 이 두 거인의 시선을 빌려, 텍스트와 픽셀의 시대를 지나 ‘공간 지능(Spatial Intelligence)’이라는 새로운 차원으로 나아가는 AI의 거대한 전환점을 함께 탐색해보고자 합니다.

이것은 단순히 더 실감 나는 3D 그래픽에 대한 이야기가 아닙니다. AI가 현실 세계의 물리 법칙을 이해하고, 가상과 현실의 경계를 허물며, 우리 삶의 모든 영역과 상호작용하는 방식이 근본적으로 재편되는 미래에 대한 서곡입니다. ‘AI가 그림 좀 그리네’라는 수준을 넘어, AI가 우리의 공간, 현실, 그리고 상호작용의 패러다임을 어떻게 바꾸어 놓을지 궁금했던 분이라면, 이들의 지혜를 통해 미래를 한발 앞서 사유하는 시간을 가지시길 바랍니다.

1. AI 성공의 숨겨진 레시피: ‘컴퓨팅’과 ‘데이터’라는 두 거인의 어깨 위에서

우리는 종종 AI의 발전을 몇몇 천재적인 알고리즘의 발견으로 이해하곤 합니다. 하지만 페이페이 리와 저스틴 존슨은 그 이면에 있는, 그러나 훨씬 더 거대하고 근본적인 두 개의 엔진이 있었음을 명확히 보여줍니다. 바로 ‘컴퓨팅 파워의 폭발’과 ‘데이터 스케일의 혁명’입니다.

저스틴 존슨은 충격적인 비유를 통해 지난 10년간 컴퓨팅 파워가 얼마나 비현실적으로 성장했는지를 보여줍니다. 2012년 딥러닝의 시대를 연 기념비적인 모델 ‘알렉스넷(AlexNet)’을 학습시키는 데 당시 최고 사양의 GPU 두 개로 6일이 꼬박 걸렸습니다. 그런데 오늘날 최신 엔비디아 칩(GB200) 하나로는 이 작업이 단 5분 만에 끝납니다. 6일이 5분으로 단축된 것입니다. 이는 우리가 ‘기술 발전’이라는 단어로 표현하기 어려울 정도의 지각변동이며, 이 무지막지한 계산 능력이 없었다면 오늘날의 AI는 존재할 수 없었을 것입니다.

여기에 페이페이 리 교수는 ‘데이터’라는 또 다른 거인을 소환합니다. 그녀가 2000년대 후반 ‘이미지넷’ 프로젝트를 시작했을 때, 학계는 더 정교한 모델을 만드는 데에만 몰두하고 있었습니다. 하지만 그녀는 문제의 본질이 다른 곳에 있다고 보았습니다. AI가 세상을 이해하려면, 세상만큼 방대한 데이터를 보여줘야 한다는 지극히 단순하지만 누구도 실행하지 못했던 아이디어였습니다. 수천 장 수준이던 기존 데이터셋과 달리, 수천만 장의 이미지에 일일이 라벨을 붙이는 그녀의 ‘미친 베팅’은 AI가 스스로 학습할 수 있는 거대한 놀이터를 만들어주었고, 이는 딥러닝이라는 잠자던 거인을 깨우는 결정적인 계기가 되었습니다. 결국 오늘날의 AI는 정교한 알고리즘이라는 ‘두뇌’뿐만 아니라, 막대한 컴퓨팅이라는 ‘심장’과 거대한 데이터라는 ‘음식’이 결합된 결과물인 셈입니다.

2. AI의 차원 전쟁: 1차원 언어를 넘어 3차원 공간을 향하여

챗GPT와 같은 거대 언어 모델(LLM)은 세상을 어떻게 인식할까요? 놀랍게도 이들의 세계는 본질적으로 ‘1차원(1D)’입니다. 모든 텍스트는 순서대로 나열된 단어의 행렬, 즉 하나의 긴 줄에 불과합니다. 최근 등장한 멀티모달 모델들 역시 이미지나 영상을 이 1차원의 텍스트 세계에 욱여넣는 방식으로 작동합니다. 즉, 우리의 풍부하고 입체적인 현실을 길고 납작한 ‘종이테이프’로 변환해 이해하는 것과 같습니다.

페이페이 리와 저스틴 존슨이 창업한 ‘World Labs’는 바로 이 한계에 대한 근본적인 도전입니다. 그들이 주창하는 ‘공간 지능(Spatial Intelligence)’은 AI의 세계관을 1D에서 ‘네이티브 3D’로 전환하는 혁명입니다. 이는 단순히 2D 이미지를 3D로 바꾸는 것을 넘어, AI가 처음부터 세상을 3차원 공간과 시간(4D)의 좌표, 객체 간의 관계, 그리고 물리 법칙이 지배하는 입체적인 현실 그 자체로 인식하게 만드는 것입니다.

여기에는 중요한 철학적 차이가 존재합니다. 페이페이 리 교수는 “언어는 인간이 만들어낸 순수한 신호”라고 말합니다. 자연에는 원래부터 존재하는 텍스트란 없습니다. 하지만 우리가 사는 3D 세계는 다릅니다. 이 세계는 물리 법칙이라는 강력한 ‘그라운드 트루스(Ground Truth)’ 위에서 작동하며, 모든 객체는 재료와 구조에 따른 고유한 속성을 가집니다. AI가 이 현실 세계의 법칙을 내재적으로 이해할 때, 비로소 세상을 ‘묘사’하는 것을 넘어 진정으로 ‘이해’하고 ‘상호작용’할 수 있게 됩니다. 이는 AI가 현실 세계에 단단히 발을 딛는 순간이며, 기존 모델들과는 차원이 다른 잠재력을 여는 열쇠입니다.

3. 공간 지능이 열어갈 미래: 가상 세계 창조부터 현실 증강까지

그렇다면 3차원 세계를 이해하는 AI는 우리의 삶을 어떻게 바꾸게 될까요? 이들의 대담은 세 가지 거대한 가능성을 제시합니다.

첫째, ‘월드 제너레이션(World Generation)’, 즉 가상 세계 창조의 민주화입니다. 현재 AAA급 게임과 같이 현실과 구분하기 어려운 가상 세계를 만드는 데에는 수천억 원의 자본과 수백 명의 전문가가 수년간 매달려야 합니다. 하지만 공간 지능 기술은 이 모든 과정을 단 몇 번의 프롬프트로 대체할 수 있는 가능성을 엽니다. 이는 단순히 게임 제작 비용을 낮추는 것을 넘어, 모든 개인이 자신만의 상상력을 기반으로 한 풍부하고 상호작용 가능한 3D 세계를 창조하는 ‘새로운 미디어’의 탄생을 의미합니다. 교육, 시뮬레이션, 엔터테인먼트 등 모든 분야에서 그 활용 가능성은 무한합니다.

둘째, ‘증강 현실(Augmented Reality)’의 완성입니다. 애플의 비전 프로와 같은 기기들이 ‘공간 컴퓨팅’ 시대를 열었지만, 진정한 잠재력은 ‘공간 지능’과 결합될 때 폭발합니다. 주변 환경을 실시간으로 완벽하게 3D로 이해하는 AI는, 우리가 자동차를 고칠 때 어느 부품을 어떻게 만져야 하는지 눈앞에 보여주고, 복잡한 기계를 조립하는 과정을 단계별로 안내하며, 현실 공간 위에 필요한 정보를 자연스럽게 띄워줄 수 있습니다. 이는 디지털 정보와 물리적 현실이 완벽하게 융합되는 경험이며, 수많은 스크린 기기들을 불필요하게 만들 궁극의 인터페이스가 될 것입니다.

셋째, ‘로보틱스(Robotics)’의 비약적인 발전입니다. 로봇의 두뇌는 디지털 세상에 있지만, 그 몸은 3D 물리 세계 속에서 움직여야 합니다. 이 둘 사이의 간극을 메워주는 것이 바로 공간 지능입니다. 로봇이 주변 환경을 정확히 인식하고, 물체와의 상호작용을 예측하며, 주어진 임무를 물리적 제약 속에서 수행하게 만드는 핵심 기술이 될 것입니다. 공간 지능은 로봇이 단순한 자동 기계를 넘어, 현실 세계와 소통하는 진정한 지능형 에이전트로 거듭나기 위한 필수 조건입니다.

Lighthouse on rocky coast at dusk — Photo by Kevin Mueller / Unsplash

오늘 이야기, 여러분은 어떻게 생각하시나요?

페이페이 리와 저스틴 존슨의 이야기는 우리에게 AI의 진화가 단순히 더 똑똑해지는 것이 아니라, 세상을 이해하는 ‘차원’을 확장해나가는 과정임을 보여줍니다. 1차원의 텍스트에서 2차원의 이미지를 거쳐, 이제 3차원의 공간이라는 가장 근본적인 현실을 향해 나아가고 있습니다.

이는 우리에게 던지는 질문의 무게를 바꿉니다. 이제 우리는 “AI로 무엇을 쓸까?” 혹은 “무엇을 그릴까?”를 넘어, “AI가 공간을 이해하게 될 때, 우리는 어떤 새로운 현실을 창조하고, 어떤 방식으로 세상과 상호작용할 것인가?”를 고민해야 합니다. 세상을 ‘묘사’하는 AI에서, 세상과 ‘상호작용’하는 AI로의 전환. 이 거대한 도약의 한가운데에서 우리 각자의 역할과 기회를 찾아 나서는 여정이 이미 시작되었습니다.

저는 미국 이커머스 분야와 AI 분야에 몸담고 있습니다. 앞으로도 계속 제가 개인적으로 공부하고 경험하는 내용들을 에코 뉴스레터 구독자님들과 나눌 예정입니다. 더 많은 지식과 정보를 함께 나누고 싶으시다면 이 뉴스레터터를 계속 구독해주시고 주변에도 많이 소개해 주세요! 긴 글 읽어주셔서 감사합니다.

다음 뉴스레터에서 더욱 유익한 소식으로 찾아뵙겠습니다.

피드백을 부탁드려요! (어떤 작가님의 글을 좋아하시나요?)

화제의 AI 이미지 생성 모델 '나노바나나' 이커머스에 활용사례가 궁금하시다면 아래 자료를 참고해주세요!