2022년 말, 오픈AI가 쏘아올린 ChatGPT란 공은 전 산업 영역에 엄청난 영향을 미치며 생성형 AI 시대로의 전환을 알렸다. 챗봇에 불과한 이 서비스가 파괴적 혁신의 시작점으로 주목 받고 있는 이유는 그동안 인공지능(AI)의 최대 지향점인 ‘자동화’라는 편익을 구현할 수 있는 실마리를 제공했기 때문이다.

LLM(Large Language Model)이라는 모형의 개발과 동시에 초거대 데이터를 처리할 수 있는 하드웨어가 뒷받침되자 자동화의 병목이 해결되었다. 즉 간단한 몇 마디 명령으로 인공지능이 ‘스스로’, 그리고 ‘정확하게’ 인간이 원하는 것을 해결해주는 시대가 열리게 된 것이다. 이 기술의 활용 범위는 단순히 검색 시장이나 챗봇 시장에 국한되지 않았다. 몇 조 개나 되는 데이터를 순간적으로 학습하고 검토하여 인간이 요구하는 결과를 제시하는 생성형 AI의 활용은 전 산업 영역으로 확장되어 인간의 시행착오와 비용(시간, 노력, 투입비 등)을 줄이고, 심지어 생각하지 못했던 새로운 가치까지 창출하고 있다.

124회를 맞이한 2024년 노벨상 시상식에서 노벨 물리학상이나 노벨 화학상 부문의 수상자가 모두 머신러닝을 활용한 AI 개발자들이 차지한 것이 대표적인 예라고 할 수 있다. 결과적으로 생성형 AI는 영역을 초월하여 새로운 편익을 만드는 핵심 수단이 되고 있다.

동영상 콘텐츠 시장에도 생성형 AI는 큰 파급력을 발휘하고 있다. 생성형 AI의 선도주자인 오픈AI는 물론, 구글, 메타와 같은 빅테크 기업들도 적극적으로 생성형 AI 기반 동영상 제작 서비스를 발표하며 동영상 제작의 새로운 시대가 오고 있음을 알리고 있다.

미국 프린스턴대 존 홉필드 교수, 캐나다 토론토대 제프리 힌턴 교수가 머신러닝 연구로 2024 노벨 물리학상을 받은 데 이어, 미국 워싱턴대 데이비드 베이커 교수와 구글 딥마인드의 데미스 허사비스 최고경영자(CEO), 구글 딥마인드의 존 점퍼 디렉터가 2024 노벨 화학상을 받았다. 이들 모두 AI 연구자다. ©The Royal Swedish Academy of Science

적용 범위를 광범위하게 넓히던 생성형 AI였지만 동영상 제작을 AI로 완성도 높게 구현하는 것은 쉽지 않은 도전이었다. 동영상이라는 콘텐츠 자체가 일반적으로 데이터 용량이 클 뿐만 아니라, 보이는 사물마다 모두 다른 움직임을 가지고 있어 각 사물의 각도마다 다른 물리법칙이 적용되기 때문이다. 그래서 촬영이 아니라 AI를 통해 동영상 콘텐츠를 생성하는 것은 매우 복잡한 과정을 수반해야 한다. 이러한 도전적 시도를 먼저 시도한 곳은 스타트업 기업들이었다.

미국의 스타트업 런웨이(Runway)는 2018년에 온라인 영상 편집 및 제작 서비스로 시작하여, 생성형 AI 기술의 접목도 가장 빠르게 진행했다. 텍스트, 이미지 또는 영상 등 다양한 유형의 데이터(모달리티)를 입력하면, 그에 맞게 동영상을 생성하는 동영상 생성 멀티모달 인공지능인 Gen-2 모델을 활용하여 Text-to-Video 서비스를 선도적으로 제공했다.

또한 피카랩스(Pika Labs)도 2023년 11월 28일에 Text-to-Video 서비스인 피카(Pika)를 런칭하며 이 분야의 초기 사업자로 자리했다. 베타 버전으로 무료 출시하면서 최초 텍스트 명령어로 3초 분량의 영상을 생성하고, 이후 직전 영상과 연결되는 4초 분량의 영상을 추가로 생성하면서 최대 15초의 영상 콘텐츠를 제작하는 방식을 취했다.

스태이블 디퓨전이라는 생성형 AI 기반 Text-to-Image 서비스로 유명세를 탄 스태빌리티 AI(Stability AI)도 Text-to-Video 서비스인 Stable Video Diffusion을 2023년 11월에 출시하기도 했다.

다만 이들 서비스들의 초기 결과물들은 대부분 짧은 시간의 동영상 콘텐츠를 실험적으로 생성했었다. 그마저도 이미지들이 연결된 형태의 프레임이 끊기는 형태로 구현되었고, 일부는 물리 법칙이 깨지면서 어색한 움직임과 형태를 그대로 노출한 한계를 보이기도 했다.

©runway(runwayml.com), 텍스트와 이미지를 비디오로 만든 예시

그런 가운데 기존의 문제점을 극복한 동영상 생성형 AI 서비스가 지난 2024년 2월 15일에 소개되었다. 오픈AI는 한 줄에서 세 줄 정도의 텍스트 명령(프롬프트)을 입력하면 60초 가량의 원하는 고품질 동영상 콘텐츠를 출력하는, 동영상에 최적화한 생성형 AI 서비스인 소라(Sora)를 사전 공개했다. 이 서비스의 핵심 기능은 무엇보다도 일관성 있는 고품질 동영상을 제공하는 것이다. 이전 서비스들과 차별화되는 특이점은 프롬프트에 대해 공간 모델링을 통해 3D로 생각하고 2D로 시각화하여 피사체를 조각적으로 이해, 기존 서비스와 차별화된 품질의 콘텐츠를 제공하는 것이다.

예를 들어, 중력이 다양한 피사체에 미치는 영향 등을 각각 고려하여 결과물을 보여줌으로써 지금까지의 다른 어떤 생성형 AI 서비스보다 훨씬 더 정교하게 결과물의 생생함을 극대화하는 효과를 거두었다.

소라(Sora)는 2024년 12월부터 ChatGPT 구독자를 대상으로 본격적으로 서비스를 시작하면서 미디어·영상 업계 관계자들에게 상당한 충격을 안겨주었다. 구현된 동영상 콘텐츠들의 품질이 이전과는 비교할 수 없을 정도로 높아져, 향후 산업 구조 자체를 흔들 정도의 ‘특이점’이 가까이 왔음을 체감했기 때문이다.

©Hazy, https://hazy.com/

아직 주도적인 동영상 제작 AI 플랫폼이 등장하지 않은 상황에서 글로벌 빅테크 기업들도 적극적으로 이 시장에 진출을 시도하고 있다. 대표적으로 구글은 2024년 5월에 개최된 자사의 컨퍼런스 행사에서 동영상 생성형 AI 모델인 비오(Veo)를 공개하였다. 이 모델은 텍스트 명령어에 따라 1분 이상의 1080p 고화질 콘텐츠를 제공하는 기술이다. 최근에 구글은 비오(Veo)보다 더 진보한 모델인 비오2(Veo2)를 공개하면서 영상 전문가를 대상으로 베타 테스트를 진행하고 있는데, 영상들의 품질이 매우 정교하여 뜨거운 반응을 받고 있다.

한편 메타 역시도 2024년 10월에 홈페이지를 통해 무비젠(Movie Gen)이라는 동영상 생성 모델을 발표했다. 무비젠은 이미지를 업로드하거나 텍스트로 원하는 명령을 입력하여 최대 16초 길이의 동영상을 만들 수 있는 서비스이다. 기존 서비스와 달리 배경음악(BGM)과 음향효과 같은 오디오 생성 기능까지도 포함하였다. 최대 16FPS로 16초짜리의 사실적이고 개인화된 HD 비디오와 48kHz 오디오의 제작이 가능해 동영상 품질이 이전 서비스들에 비해 굉장히 크게 개선되었다. 메타는 2025년 내로 자사 SNS 서비스인 인스타그램에 이 모델을 탑재할 계획을 밝히기도 했다.

©Google 및 Meta 홈페이지

생성형 AI는 인간의 영역이라고 믿었던 창작의 영역까지 침투하며 동영상 시장에까지 빠르게 스며들고 있다. 아직 시장구조를 바꿀 만한 주도적 플랫폼은 등장하지 않았지만, 현재의 기술발전 속도로 봤을 때 간단한 명령으로도 고품질의 동영상을 만들 수 있는 생성형 AI 기술의 적용은 콘텐츠 산업의 많은 변화가 나타날 수 있음을 짐작하게 한다.

이에 따라 미디어·콘텐츠 업계에서는 우려의 목소리가 커지고 있기도 하다. 동영상 생성형 AI 서비스는 촬영 없이 특수한 상황까지 AI를 통해 동영상 제작이 가능해지기 때문에 직접 촬영 시 발생하는 인력의 감축을 예상할 수 있다. 이러한 우려로 인해, 실제로 2023년 할리우드의 작가조합과 메이저 스튜디오들은 주요 쟁점이었던 인공지능(AI) 이슈로 148일간 파업을 진행하기도 했다.

반면에 생성형 AI를 통해 동영상 제작이 쉬워지면 또 다른 기회가 발생할 수 있다는 관점 역시 존재한다. 제작 비용 감소와 제작 진입 장벽 감소로 인해 창의력 있는 창작자의 콘텐츠 제작기회가 늘어날 것이라는 것이다.

새로운 변화 앞에서는 위기와 기회가 동시에 존재하기 마련이다. 따라서 급격히 변화하는 동영상 생성형 AI 기술의 흐름과 발생하는 서비스들을 지속적으로 확인하고, 새롭게 발생할 기회점은 무엇일지 면밀히 살펴봐야 할 시점이다.