Meta의 영상 제작 AI Emu Video와 Emu Edit

OpenAI가 샘 알트먼 해임 사건으로 정신없는 사이, Meta가 새롭게 연구 개발한 영상 제작 AI를 발표했습니다. 이번에 공개한 영상 제작 AI는 Emu Video와 Emu Edit입니다. 현존하는 영상 제작 AI 툴 중에서 가장 자연스럽다는 평가를 받고 있습니다.

이번 연구에 사용된 모델 Emu는 텍스트, 이미지, 텍스트+이미지 등 다양한 입력을 처리할 수 있다고 합니다. Emu Video는 텍스트 프롬프트에 맞춰 이미지를 생성하고, 생성된 이미지에 맞춰 비디오를 생성합니다.

Meta는 이런 방식의 비디오 생성을 "factorized(인수분해)" 또는 "분할 접근 방식"이라고 표현하는데요. 일련의 과정을 좀 더 쉽게 풀어쓰면, 복잡한 비디오 생성 과정을 더 작고 관리하기 쉬운 부분으로 나눠서 처리하는 방법을 말합니다. 이 방식이 비디오 생성 모델을 효율적으로 학습할 수 있게 해준다고 합니다.

이전에 Make-A-Video는 5개의 모델을 사용했었습니다. 하지만 이번 Emu Video는 두 개의 '확산 모델'만 사용해서 512*512 해상도의 4초 길이 비디오를 16프레임으로 생성할 수 있습니다. 게다가 사용자가 제공한 이미지를 텍스트 프롬프트에 따라 애니메이션할 수도 있다고 합니다.

Emu Edit은 이미지 편집, 배경 제거 및 추가, 변형, 색상 변경 등 다양한 작업을 수행할 수 있습니다. Emu Edit을 사용해 편집할 경우 프롬프트와 관련 없는 픽셀은 그대로 유지된다고 합니다. 공유한 동영상을 보시면 입력된 프롬프트에 맞춰 찻잔만 바뀌거나, 내용물만 바뀌는 것을 보실 수 있습니다.

Emu Edit은 1,000만 개의 합성 샘플이 포함된 데이터셋으로 훈련되어, 지시사항의 충실도와 이미지 품질에 뛰어난 편집 결과를 보여준다고 합니다. 다만, Emu Video와 Emu Edit은 아직 출시되지 않았습니다.

Meta는 Emu Video와 Emu Edit으로 생성한 자신만의 애니메이션이나 스티커, GIF를 인스타그램 게시물에 매력을 더할 수 있다는 말로 내용을 마쳤습니다.

이번에 공개한 Emu 모델들이 비디오, 이미지 생성 및 편집 분야에 큰 변화를 가져올지 귀추가 주목됩니다.

부루퉁 네이버 블로그: https://blog.naver.com/ldlquddnr

원문: https://ai.meta.com/blog/emu-text-to-video-generation-image-editing-research/