생성형 이미지 AI, Runway 강력한 기능, 사용법

 

서론: Runway는 무엇인가

 

 

미드저니, 스테이블 디퓨전 등의 생성형 AI 이미지 툴들을 통해 'text to image'의 신세계를 경험해 본 적이 있는 분들이 있을 것입니다. 이 'text to image'에서 한발 더 나아간 'text to video' 분야에 신세계를 열어준 Runway Gen 2가 나왔는데 실로 놀랍네요. 이 글에서는 Runway 주요 기능과 사용방법 등에 대해  알아보도록 하겠습니다.

 

 

본론: Runway가 제공하는 여러 강력한 기능들

 

홈페이지를 통해 살펴보면 Runway는 텍스트를 이미지로만 바꿔주는 기능만 있는 것이 아닙니다. 아래와 같이 실제 진짜로 필요할 법한 장점들이 많이 있음을 홈페이지 공식 설명을 통해 확인할 수 있습니다. 이쪽에 관심이 있으신 분들은 Gen 1, Gen 2에 대해서는 다 들어봤을 것입니다. 그것을 포함하여 전체적으로 가능한 기능들에 대해 살펴보고 응용해 보면 좋겠네요.

여러 강력한 기능들 Runway 홈페이지

Gen 2

 

Gen 2가 바로 가장 최근에 나온 'text to video'의 끝판이라고 볼 수 있습니다. 현재는 무료로도 사용이 가능하지만 주어진 Credit이 얼마 되지 않아, 테스트 몇 번 해보면 금방 유료결제가 필요할 수 있으니 프롬프트 입력을 다양하게 준비하여 테스트하는 것이 좋을 듯합니다. 그리고 4초 정도만 제공이 되고 음성은 지원이 안됩니다.(추후 음성 지원까지 AI로 생성시켜 지원하는 기능을 구현할 것이라고 합니다.)

아래는 테스트용으로 한번 해본 내용입니다. 프롬프트는 under the sea, whale sharks, lovely movement, the sunlight seeps into the water 정도로 입력을 하였는데, 비슷한 영상이 나오기는 했습니다만 수정이 필요하나 귀찮아서 그냥 두었습니다.

 

Gen 1

단어와 이미지를 이용하여 기존 동영상으로부터 새로운 동영상을 생성해 낼 수가 있습니다.  먼저 동영상을 선택하고, 입력한 동영상을 변형하는 순서인데 이 방법에는 세 가지가 있습니다. 기존 이미지를 선택하거나, 텍스트 프롬프트를 작성하거나, 런웨이의 사전 설정 스타일 중 하나를 선택합니다. 보시는 그림과 같이 원본 동영상에서 다양한 베리에이션 동영상을 얻을 수 있습니다. 

Runway 홈페이지에서 사진을 가져옴 (https://runwayml.com/)

 

Text to image

Text to image는 미드저니와 스테이블 디퓨저를 통해 어느 정도는 경험 한 번쯤은 해보았을 것이라 생각됩니다. 내가 원하는 이미지를 최대한 상세하게 프롬프트 입력을 잘하면 그와 가까운 이미지가 생성이 됩니다.

 

Infinite Image

이 기능도 신박합니다. 설명 텍스트 프롬프트를 통해 콘텍스트 인식 요소를 생성하여 이미지를 원활하게 확장할 수 있습니다. 아래 그림으로 이해를 도울 수 있을 것 같습니다.

이미지의 확장이 가능합니다. Runway 홈페이지 참조

 

Inpainting

이 기능 역시 강력하네요. 정지된 이미지에서 특정 물체 부분을 티 안 나게 없애주는 기능도 신기했는데, 이것은 하물며 영상이라니 정말 세상이 천지개벽을 하는 시기에 살고 있는 느낌입니다. 예전에 학교 다닐 때 포토샵으로 공들여서 힘겹게 지우던 생각이 나네요.

지우고 싶은 부분을 마우스로 지정하여 쓱쓱 문지르면 해당 부분이 영상에서 없어지네요. (Runway 홈페이지 참조)

 

Frame Interpolation

이미지 사이사이의 끊긴 부분을 인공지능을 통해 '보간' 해주는 기능입니다. 연속 촬영된 사진 이미지를 몇 장 업로드를 하면, 업로드한 이미지 사이에 부드러운 전환을 쉽고 자동으로 생성하여 AI 프레임 보간을 통해 부드러운 동영상 결과물을 만들 수 있습니다. 이 기능도 역시 너무나 강력해 보이네요. 아래는 Runway에서 제공하는 Frame Interpolation 기능을 소개하는 영상입니다.

 

Custom AI Training

사진을 여러 장 업로드하여 AI를 학습을 시켜 자신만의 다양하고 새로운 표현방식으로 여러 이미지를 생성시켜 주는 기능입니다. 디자이너의 입장에서 전혀 생각지도 못하는 베리에이션을 얻을 수도 있는 좋은 솔루션인 것 같습니다. 아래는 Runway에서 소개하는 Custom AI Training 기능 소개 영상입니다.

 

 

나가며,

 

세상이 천지개벽을 하고 있는 시대에 우리는 살고 있네요. 모든 걸 컴퓨터로 뚝딱 원하는 영상도 만들고, 이미지도 만들고 하는 기능이 너무나 신기롭기만 합니다. 기회가 되시면 한번 사이트에 방문하셔서 회원가입하고 무료 크레딧을 받아 재미있는 영상을 다들 재미 삼아 한 번씩 만들어 보는 것도 좋을 것 같습니다. (저는 고민 중인데 아무래도 유료회원을 가입해야 될 것 같습니다. 무료 제공 크레딧이 너무 적네요.) 회원가입은 간단하니, https://runwayml.com/ 에 방문하면 쉽게 가입이 가능합니다., 혹시 영어가 불편하시면, 아래 사이트 DeepL을 구글크롬에 설치하면 쉽고 자연스러운 한글을 읽으며 도움을 받을 실 수 있습니다.

DeepL 딥러닝 인공지능 기반 번역기 딥엘 장점 정리