Gen-3 Alpha 공개! SORA 위협할까? (클립 확인해보세요)

안녕하세요. 에코 멤버님들

2024년은 AI 영상의 시대가 될거라고 예상하긴 했지만 정말 요즘 AI 영상의 발전이 놀랍습니다. SORA의 발표에 정말 많은 충격을 받았고 그 이후에 여러 AI 영상 서비스들이 SORA에 버금가는 수준으로 많은 이들을 놀라게 했습니다. 

https://www.vidu.io/text-to-video-ai

위는 CHINA SORA라고 불리웠던 VIDU에서 공개한 데모 영상입니다. 이 영상으로 많은 사람들이 정말 놀랐습니다. 그리고 LUMA AI를 통해서 이미지 한장으로 꽤나 자연스러운 영상이 된다는것에 또 많은 사람들이 놀랐고 온라인 상에서는 여러 밈의 뒤에 영상을 만들어 챌린지처럼 올리는 화제가 되었습니다. 

이렇게 중국 회사들의 과감한 AI 영상에 대한 도전속에서 TEXT TO VIDEO 의 원조격인 RUNWAY에서도 신규 GEN-3 모델의 기술력을 공개했습니다. 정말 많은 영상들을 데모처럼 공개했는데요. 자연스러운 수준이 상당히 자연스러워서 놀라웠습니다. 

GEN-3 의 데모 영상 클립 모음

제가 올린 유튜브 영상을 보면 29개 클립으로 이어진 RUNWAY의 GEN-3 ALPHA의 기술력을 확인하실 수 있습니다. 

https://youtu.be/e3ODjfLb9Bw?si=At1GoQ2ysbEuCrGE

이런 영상들이 정확히 이야기하자면 SORA만큼 선명하지는 못했지만 그럼에도 불구하고 꽤나 높은 수준을 만들어냈습니다. 만약 RUNWAY 의 GEN-3를 공개하고 이정도 수준이 TEXT 프롬프트만으로도 쉽게 된다고 한다면 많은 콘텐츠 분야에 활용해볼 가치가 있다고 생각합니다.

GEN-3 프롬프트 모음

• Prompt: An empty warehouse dynamically transformed by flora that explode from the ground.
• Prompt: Close up shot of a living flame wisp darting through a bustling fantasy market at night.
• Prompt: Handheld tracking shot, following a red ballon floating above the ground in abandon street.
• Prompt: A FPV shot zooming through a tunnel into a vibrant underwater space.
• Prompt: A wide symmetrical shot of a painting in a museum. The camera zooms in close to the painting.
• Prompt: Ultra-fast disorienting hyperlapse racing through a tunnel into a labyrinth of rapidly growing vines.
• Prompt: FPV, internal locomotive cab of a train moving at hyper-speed in an old European city.
• Prompt: Zooming in hyper-fast to a dandelion to reveal macro dream-like abstract world.
• Prompt: A Japanese animated film of a young woman standing on a ship and looking back at camera.
• Prompt: A close-up shot of a young woman driving a car, looking thoughtful, blurred green forest visible through the rainy car window.
• Prompt: Aerial shot of a drone moving fast in a dense green jungle.
• Prompt: Hyperlapse shot through a corridor with flashing lights. A silver fabric flies through the entire corridor.
• Prompt: Aerial shot of the ocean. a maelstrom forms in the water swirling around until it reveals the fiery depths below.
• Prompt: A push through an ocean research outpost.
• Prompt: A woman singing and standing in a concert stage with a bright light in the background.

프롬프트들의 모음입니다. 영상속에 프롬프트들도 나와있으니 참고해보실 수 있습니다.

RUNWAY GEN-3 ALPHA 발표내용 QNA 정리

Q1. Gen-3 Alpha는 이전 모델들과 어떤 점에서 크게 개선되었나요?

A1. Gen-3 Alpha는 Gen-2에 비해 충실도, 일관성, 움직임 면에서 큰 발전을 이뤘습니다. 이는 Runway가 대규모 멀티모달 학습을 위해 새롭게 구축한 인프라에서 훈련된 모델로, General World Models 구축을 향한 중요한 진전입니다. 시간적으로 밀집되고 묘사적인 캡션으로 학습되어 장면 전환과 요소들의 정밀한 키프레이밍이 가능해졌습니다.

Q2. Gen-3 Alpha는 어떤 Runway 도구들에 적용될 예정인가요?

A2. Gen-3 Alpha는 Runway의 텍스트 기반 비디오 생성, 이미지 기반 비디오 생성, 텍스트 기반 이미지 생성 도구에 적용될 예정입니다. 또한 Motion Brush, Advanced Camera Controls, Director Mode 등 기존의 제어 모드를 강화하는 데에도 사용됩니다. 나아가 구조, 스타일, 동작에 대한 더욱 세밀한 제어를 위한 새로운 도구들도 지원할 것입니다.

Q3. Gen-3 Alpha는 어떤 안전장치와 함께 출시되나요?

A3. Gen-3 Alpha는 Runway가 새롭게 개선한 자체 시각 중재 시스템과 C2PA 출처 표준을 포함한 새로운 안전장치들과 함께 출시될 예정입니다. 이를 통해 모델의 오용을 방지하고 창작물의 출처를 명확히 함으로써 건전한 창작 생태계 조성에 기여할 것으로 기대됩니다.

Q4. Gen-3 Alpha가 사람 캐릭터 생성에서 뛰어난 이유는 무엇인가요?

A4. Gen-3 Alpha는 광범위한 동작, 제스처, 감정을 가진 표현력 있는 사람 캐릭터를 생성하는 데 탁월한 능력을 보입니다. 이는 다양한 스토리텔링 기회를 열어주는 중요한 특징입니다. 실제 사람과 유사한 수준의 사실적이고 생동감 넘치는 캐릭터를 손쉽게 만들어낼 수 있게 되었습니다.

Q5. Gen-3 Alpha 개발에는 어떤 전문가들이 참여했나요?

A5. Gen-3 Alpha는 연구 과학자, 엔지니어, 아티스트 등 다양한 분야의 전문가들로 구성된 학제 간 팀의 협력으로 개발되었습니다. 최신 AI 기술과 영상 제작 현장의 요구사항을 결합하여 창작자 친화적인 도구를 만드는 데 주력했습니다. 광범위한 스타일과 영화 용어를 이해하고 해석할 수 있도록 모델을 설계하는 데에도 아티스트들의 인사이트가 반영되었습니다.

Q6. Gen-3 Alpha는 창작자들에게 어떤 새로운 기회를 제공하나요?

A6. Gen-3 Alpha를 통해 창작자들은 고품질 비디오 콘텐츠를 보다 쉽고 빠르게 제작할 수 있게 될 것입니다. 사실적인 사람 캐릭터 생성, 장면 전환과 요소 키프레이밍 등 Gen-3 Alpha의 강점을 활용하면 이전에는 상상하기 어려웠던 수준의 콘텐츠 제작이 가능해집니다. 이는 창작자들의 표현 영역을 대폭 확장시키고 새로운 스토리텔링 기회를 열어줄 것으로 기대됩니다.

Q7. Gen-3 Alpha의 학습 데이터는 어떻게 구성되었나요?

A7. Gen-3 Alpha는 비디오와 이미지에 대해 공동 학습되었습니다. 특히 매우 설명적이고 시간적으로 밀집된 캡션 데이터를 활용해 학습했기에 장면 전환과 요소들의 정밀한 키프레이밍이 가능해졌습니다. 대규모의 고품질 데이터를 확보하고 최적화된 방식으로 학습을 진행한 결과, 이전 모델들을 뛰어넘는 성능을 달성할 수 있었습니다.

Q8. Gen-3 Alpha는 향후 어떤 방식으로 발전해나갈 예정인가요?

A8. Gen-3 Alpha는 General World Models 구축을 향한 Runway의 노력의 일환으로, 앞으로도 지속적인 발전이 이뤄질 것으로 보입니다. 더욱 방대하고 다양한 데이터 학습, 모델 아키텍처 개선, 사용자 피드백 반영 등을 통해 성능을 끌어올리고 새로운 기능을 추가해나갈 계획입니다. 장기적으로는 창작자들이 관심 있는 거의 모든 영상 제작 태스크를 소화할 수 있는 포괄적인 모델로 진화할 것으로 기대됩니다.

Q9. Gen-3 Alpha의 한계점은 무엇인가요?

A9. Gen-3 Alpha는 괄목할만한 성능 향상을 보여주고 있지만 아직 완벽한 모델은 아닙니다. 특정 장면이나 객체, 동작 등을 생성하는 데 있어 한계가 있을 수 있으며, 드물지만 부자연스러운 결과물이 나오는 경우도 있습니다. 또한 아직은 창작자의 의도를 완벽히 파악하고 구현하기 어려운 면도 있습니다. 이러한 한계점들은 향후 지속적인 모델 개선과 사용자 피드백 반영을 통해 점진적으로 해소해나갈 계획입니다.

Q10. Gen-3 Alpha 도입을 고려 중인 창작자에게 하고 싶은 말씀은?

A10. Gen-3 Alpha는 영상 제작 워크플로우에 혁신을 가져올 수 있는 강력한 도구입니다. 사실적인 사람 캐릭터 생성, 장면 전환, 요소 키프레이밍 등 주요 기능을 활용하면 창의적인 아이디어를 보다 쉽고 빠르게 구현할 수 있을 것입니다. 아직 완벽한 모델은 아니지만 지속적으로 발전하고 있으며, 창작자 여러분의 피드백이 더 나은 도구로 진화하는 데 큰 도움이 될 것입니다. Runway의 Gen-3 Alpha와 함께 영상 창작의 새로운 지평을 열어가시길 바랍니다.

이제 본격적으로 AI 영상들로 3초 이상의 클립들을 만들어내고 이런 클립들이 SNS에 돌아다니기 시작했습니다. LUMA AI를 통해서도 많이 만들어낼수 있습니다. 처음에는 괴기한 느낌도 들었는데 어떤 영상들은 정말 구별이 어렵기도 합니다.

많이 따라왔다고 생각합니다.

지금 AI 이미지를 콘텐츠에 많이 활용하는것처럼 추후 AI 영상을 콘텐츠에 많이 활용할것이며 콘텐츠는 트래픽을 만들어낼 수 있으니 우리들의 삶과 밀접한 연관이 있따고 생각합니다. 자영업을 하던 온라인 사업을 하던 말이죠.

에코 멤버님들도

관심의 끈을 놓지 말고 LUMA AI도 지금 매일 10장 무료이니 시도해보시길 바라며, 이러한 시대의 발전을 막을 수 없다면 뒤쳐지지 않게 따라가서 선두에서 활용해보는것이 중요하다고 생각합니다.

앞으로도 소식 놓치지 않게 전해드리도록 하겠습니다.

감사합니다. 

Introduce your service here!

For newsletter banner advertising inquiries, please contact: Bopyo@aikoreacommunity.com

이곳에 서비스를 소개하세요!

뉴스레터 배너 광고 문의: Bopyo@aikoreacommunity.com

뉴스레터 편집장 소개

• 보표 홈페이지
• https://amzbopyo.com/
• 보표 SNS
• 보표 레터: https://www.bopyoletters.com/
• X(트위터): https://twitter.com/AIBopyo
• 스레드: https://www.threads.net/@bopyo.amz
• 링크드인: https://www.linkedin.com/in/bopyo-park-848631231/
• 인스타그램: https://www.instagram.com/bopyo.amz/
• AI 코리아 커뮤니티 아카데미
• https://academy.aikoreacommunity.com/