어도비 배경 생성AI ActAnywhere

최근 어도비와 스탠포드 대학 연구진이 영상 배경 생성 AI ActAnywhere의 논문 자료를 공개했습니다. ActAnywhere은 영상 속 피사체의 움직임에 알맞는 영상 배경과 연출 효과를 생성하는 AI입니다.

ActAnywhere은 현재 연구 결과에 대한 논문만 공개된 상태로 테스트할 수 없습니다. 대신 저와 함께 새로운 생성AI 기술에 대한 내용을 쉽게 살펴보시죠.

ActAnywhere 소개

ActAnywhere은 위 이미지 예시처럼 분할된 피사체와 배경 이미지의 입력으로 인식된 배경과 연출 효과를 생성합니다. 달리는 여자의 영상 클립과 강물 배경 이미지를 입력하니, 달릴때마다 발 밑에서 물이 튑니다.

물이 튀는 장면이 생각보다 자연스럽습니다. 이렇게 피사체의 움직임 영상과 원하는 배경 이미지를 입력해 피사체와 연관된 배경 및 연출 영상을 생성할 수 있습니다.

이번 ActAnywhere도 영상AI인 만큼 3D U-Net에 대한 내용이 포함되어 있습니다만, 어려운 용어는 제외하고 쉽게 풀어 설명하겠습니다. 피사체가 움직이는 장면이 담긴 영상 클립과 배경으로 사용할 이미지를 입력합니다.

입력 후 ActAnywhere는 피사체의 움직임과 입력한 배경 이미지를 조합해 피사체가 해당 배경에서 실제로 연기하는 것처럼 보이는 비디오를 생성합니다. 이 과정에서 피사체와 배경 이미지 사이의 상호작용도 자연스럽게 조정됩니다. 예를 들어 피사체가 사막을 달린다면, 발 아래 모래가 튀는 모습을 만들어낼 수 있습니다.

예시 이미지를 보면 오리의 다리를 만들고 다리를 이용해 자연스럽게 움직이는 동작을 구현했습니다. 그 아래에 도구를 정리하는 사람 역시 시트가 있는 배경을 넣으니 자연스럽게 시트를 정리하는 모습의 영상으로 재탄생했습니다.

더욱 놀라운 점은 빛과 그림자 효과도 적절하게 조정되며, 사람, 동물, 사물 등 거의 모든 주제에 적용할 수 있다는 점입니다.

지금까지 영상의 배경과 효과를 변경하려면 많은 시간과 노력, 비용이 필요했습니다. 하지만 ActAnywhere는 이 모든 과정을 자동으로 처리해줍니다. 아직 결과물이 다소 미흡하지만, 조금만 더 다듬으면 영화 제작, 영상 편집 등의 작업에서 혁명을 일으킬 수 있는 기술이라 생각됩니다.

ActAnywhere: https://actanywhere.github.io/

부루퉁의AI 네이버 블로그: https://blog.naver.com/ldlquddnr