어도비의 3D 모델링 AI, LRM 모델 소개

어도비 LRM 모델 소개

최근 어도비에서 2D 이미지를 3D 모델링으로 바꿔주는 AI, LRM 모델을 공개했습니다. LRM은 Large Reconstruction Model의 약자로, 단일 2D 이미지로부터 5초 내에 3D 모델링을 예측해 생성하는 모델입니다.

LRM 모델은 500백만 개 이상의 학습 가능한 매개변수를 가지고 있으며, 약 백만 개의 다양한 카테고리의 3D 오브젝트와 실제 촬영한 비디오 데이터로 학습되었습니다. 어도비에서는 최초의 대규모 3D 재구성 모델이라고 언급하고 있으며, 디자인, 게임, AR과 VR 산업에 활용될 수 있다며 큰 기대감을 내비쳤습니다.

LRM은 단일 이미지로 복잡한 3D 형태를 정확하고 빠르게 모델링으로 재현할 수 있습니다. 이미지를 입력으로 받아, 특성 토큰으로 변환한 후, 3D Triplane에 투사합니다. 이후 각 포인트의 색상과 밀도를 예측해 볼륨 렌더링을 진행합니다. 예를 들어, 나무의 질감이나 복잡한 가구의 구조와 같은 모양도 정확하게 표현할 수 있다고 합니다.

(Triplane은 3D 오브젝트의 구조와 외관 정보를 효율적으로 파악하는 방법입니다. )

또한 실험에 따르면 LRM은 stable diffusion, DALL-E 등 이미지 생성 AI의 이미지로 3D 모델링을 할 수 있습니다.

어도비가 밝힌 현재 LRM 모델의 한계점

어도비가 공개한 논문을 살펴보면 현재 LRM의 몇 가지 한계점을 확인할 수 있습니다. 사용자가 제공한 이미지에서 보이지 않는 부분에 대해 흐릿한 텍스쳐를 생성하거나 왜곡된 모델링을 생성할 수 있습니다. 그리고 배경이 없는 사물의 이미지만 다룰 수 있다고 합니다.

하지만 어도비는 이번 LRM 모델이 디자인, 게임, VR과 AR 분야에 유용하게 사용될 수 있을 것으로 기대하고 있습니다. 이 모델은 대규모 데이터셋을 사용한 트랜스포머 기반의 대형 이미지 모델의 가능성을 입증했다고 강조했습니다. 지금까지 이미지 생성 AI는 주로 확산(Diffusion) 모델 기반이었습니다.

Meta, Adobe, Stability.ai 등 다양한 AI기업이 새로운 모델을 공개하고 있습니다. 내년엔 또 어떤 AI가 우리 일상에 파고들어 큰 변화를 줄지 기대됩니다.

어도비 LRM 연구 내용: https://yiconghong.me/LRM/

부루퉁의 AI 네이버블로그: https://blog.naver.com/ldlquddnr