어도비 스닉스: 사진, 비디오, 오디오, 3D를 위한 새로운 생성형 AI 기능 공개

우리는 생성형 AI를 통해 강력하고 새로운 워크플로우에 대한 액세스를 확장하고, 아이디어를 실현하는 새로운 크리에이티브 시대에 접어들고 있습니다. 배우 겸 코미디언인 아담 드바인(Adam DeVine)이 진행한 올해 어도비 MAX 스닉스(MAX Sneaks) 세션에서는 어도비 엔지니어가 미래의 어도비 제품의 기능이 될 수 있는 몇 가지 최첨단 기술을 처음으로 시연했습니다.

올해 MAX 스닉스의 상당수는 생성형 AI를 활용하여 크리에이터에게 사진, 비디오, 오디오, 3D, 디자인 등 다양한 매체를 아우르는 혁신적인 툴을 제공함으로써 창의성을 새로운 차원으로 끌어올릴 가능성을 선보였습니다.

아래에서 전체 스닉스 세션을 감상하고 올해의 후보작에 대해 자세히 알아보세요.

프로젝트 패스트 필(Project Fast Fill)

편집자는 프로젝트 패스트 필로 비디오에서 이미지를 편집할 때와 동일하게 개체를 제거하거나 배경 요소를 변경할 수 있습니다.

프로젝트 패스트 필은 어도비 파이어플라이(Adobe Firefly)에서 제공하는 생성형 채우기(Generative Fill)를 활용하여 동영상 편집 애플리케이션에 생성형 AI 기술을 도입합니다. 이를 통해 사용자는 복잡한 표면과 다양한 조명 조건에서도 간단한 텍스트 프롬프트를 사용하여 비디오에서 텍스처 교체를 쉽게 수행할 수 있습니다. 사용자는 이 툴을 사용하여 단일 프레임의 오브젝트를 편집할 수 있으며, 해당 편집 내용이 동영상의 나머지 프레임에 자동으로 적용되어 동영상 편집자의 텍스처 편집 시간을 크게 절약할 수 있습니다.

발표자: 가브리엘 황(Gabriel Huang)은 어도비의 비디오 전문 연구 엔지니어입니다. 비디오 효과 편집을 보다 쉽고 간편하게 만들어 비디오 효과 편집을 혁신하는 기술을 개발하는 데 기여했습니다.

프로젝트 드로우 & 딜라이트(Project Draw & Delight)

아이디어를 현실화하려고 할 때 창작 과정에서 막히거나 도움이 필요한 적이 있었나요?

프로젝트 드로우 & 딜라이트는 크리에이터의 창작 여정에 도움을 줄 수 있는 생성형 AI도구 모음을 제공합니다. 끄적거림이나 낙서로 표현한 초기 아이디어를 세련되고 정교한 스케치로 변환할 수 있습니다.

이 기술은 텍스트를 이미지로(Text to Image) 기능을 뛰어넘습니다. 텍스트 기반의 명령을 대충 그린 스케치나 붓칠과 같은 시각적 힌트로 완성도를 높이기 때문이죠. 그런 다음 프로젝트 드로우 & 딜라이트는 파이어플라이의 강력한 기능을 사용하여 다양한 색상 팔레트, 스타일 변형, 포즈 및 배경에서 고품질의 일러스트레이션 또는 애니메이션 벡터를 생성합니다.

발표자: 수이모딥 차크라보르티(Souymodip Chakraborty)는 어도비의 컴퓨터 과학자입니다. 관심 분야는 컴퓨터 그래픽과 기하학 처리입니다.

프로젝트 네오(Project Neo)

3D 제작 툴에 대한 기술적 전문 지식이 없어도 2D 디자인(인포그래픽, 포스터, 로고 또는 웹사이트)에 3D 형상을 통합할 수 있도록 지원하는 기술입니다.

이 기술은 3D 원리를 최대한 활용하므로 디자이너는 2D 도형을 쉽고 빠르게 만들 수 있습니다. 디자이너는 1점, 2점 또는 3점 투시로 2D 도형을 쉽고 빠르게 만들 수 있습니다. 또한 이해관계자와 협업 시 벡터 단계에서 목업을 편집할 수 있으므로 프로젝트를 빠르게 수정할 수 있습니다.

발표자: 이니고 퀼레즈(Inigo Quilez)는 2D 및 3D 애니메이션을 전문으로 하는 Adobe의 수석 연구 엔지니어입니다. VR 애니메이션 툴을 개발했으며, 여러 애니메이션 블록버스터와 VR 영화에 그의 컴퓨터 그래픽 작업이 사용되었습니다.

프로젝트 장면 변경(Project Scene Change)

구도는 영화 촬영에서 필수적인 부분으로, 영화 제작자와 동영상 크리에이터가 내러티브를 개발할 수 있도록 하며, 시청자가 화면에서 펼쳐지는 이야기에 몰입할 수 있도록 하는 데 필수적인 요소입니다.

프로젝트 장면 변경 기능을 사용하면 서로 다른 카메라 궤적으로 촬영한 두 개의 비디오의 피사체와 장면을 동기화된 카메라 모션의 한 장면으로 쉽게 합성할 수 있습니다.

인공지능이 사전 녹화된 이미지의 배경 장면을 마치 자유롭게 움직이는 카메라로 촬영한 것처럼 3D로 렌더링 한 다음, 개별적으로 촬영한 피사체를 적절한 그림자와 함께 호환되는 모션이 있는 새로운 장면으로 합성합니다. 이를 통해 기존 비디오 에셋의 카메라 모션으로 인한 제약을 없애고, 비디오 편집자는 피사체를 사실적인 카메라 모션으로 새로운 환경에 배치할 수 있습니다.

발표자: 잔 수(Zhan Xu)는 어도비 리서치의 연구 과학자입니다. 3D 관점에서 비디오를 이해하고 비디오 편집에 3D 컨트롤을 도입하는 데 중점을 두고 있습니다.

프로젝트 프림로즈(Project Primrose)

오늘날 많은 디자이너가 새로운 디자인을 시도하기 위해 어도비 일러스트레이터(Adobe Illustrator)를 사용합니다. 버튼 클릭 한 번으로 이러한 디자인을 실제 오브젝트에 빠르게 구현할 수 있다면 얼마나 좋을까요?

프로젝트 프림로즈는 웨어러블하고 유연한 텍스타일을 통해 파이어플라이, 어도비 애프터 이펙트(Adobe After Effects), 어도비 스톡(Adobe Stock) 및 일러스트레이터로 제작한 콘텐츠를 전체 표면에 표시할 수 있습니다. 디자이너는 이 기술을 의류, 가구 및 기타 표면에 레이어링 하여 좋아하는 디자이너의 최신 디자인을 다운로드하여 입는 기능 등 무한한 스타일 가능성을 제시할 수 있습니다.

발표자: 크리스틴 디어크(Christine Dierk)는 인간과 컴퓨터의 상호 작용 및 하드웨어 연구 이니셔티브를 전문으로 하는 어도비의 연구 과학자입니다.

프로젝트 글리프 이즈(Project Glyph Ease)

전단지나 포스터를 제작할 때 디자이너는 일관된 스타일을 유지하기 위해 개별 문자를 일일이 수작업으로 만들어야 하는 경우가 많습니다. 각 문자의 특정 디자인과 요소의 모양에 따라 시간이 많이 걸릴 수 있습니다.

프로젝트 글리프 이즈는 생성형 AI를 사용하여 벡터 형식으로 양식화되고 사용자 정의된 레터링을 생성하며, 나중에 이를 사용하고 편집할 수 있습니다. 디자이너는 기존 벡터 모양 또는 종이에 직접 그린 모양 중에서 선택한 스타일로 레퍼런스 글자 세 개를 생성하기만 하면 이 기술이 나머지 글자를 일관된 스타일로 자동 생성합니다. 글자가 생성되면 프로젝트에서 크기 조정, 회전, 이동이 가능한 라이브 텍스트로 표시되므로 디자이너는 새 글꼴을 유연하게 편집할 수 있습니다.

발표자: 디판 리우(Difan Liu)는 어도비에서 이미지, 벡터 그래픽, 비디오 편집을 전문으로 하는 연구 과학자입니다.

프로젝트 포저블(Project Poseable)

프로토타입과 스토리보드를 디자인할 때, 각 장면의 모든 디테일을 편집하기까지 많은 시간이 소요됩니다.

프로젝트 포저블을 사용하면 생성형 AI를 통해 누구나 3D 프로토타입과 스토리보드를 몇 분 만에 빠르게 디자인할 수 있습니다.

사용자는 배경, 각 캐릭터의 다양한 각도 및 포즈, 캐릭터가 장면의 주변 오브젝트와 상호작용하는 방식 등 장면의 세부 사항을 편집하는 데 시간을 소비할 필요 없이 AI 기반 캐릭터 포즈 모델을 활용하고 이미지 생성 모델을 사용하여 3D 캐릭터 장면을 쉽게 렌더링 할 수 있습니다.

발표자: 이 저우(Yi Zhou)는 Adobe의 연구 과학자입니다. 자율 가상 아바타의 3D 모델의 표현 학습, 사람의 머리카락과 신체 재구성, 사람의 동작 합성, 3D 애니메이션을 연구하고 있습니다.

프로젝트 레스 업(Project Res Up)

더 큰 화면 크기에서 보기 좋게 업스케일링되지 않았거나 원래 SD용으로 제작된 동영상이 현재 HD 디스플레이에서 재생되는 경우 등 흐릿한 저해상도 동영상을 본 적이 있을 것입니다.

이때, 프로젝트 레스 업이 도움이 될 수 있습니다. 확산 기반 기술과 인공 지능을 사용하여 저해상도 동영상을 애플리케이션용 고해상도 동영상으로 변환하는 동영상 업스케일링 도구로서, 사용자는 저해상도 동영상을 고해상도로 직접 업스케일링할 수 있습니다. 또한, 동영상을 확대하고 자르며 고화질의 시각적 디테일과 시간적 일관성을 유지하면서 전체 해상도로 업스케일링할 수 있습니다. 이 기능은 오래된 동영상에 새로운 생명을 불어넣거나 HD 화면에서 저해상도 영상을 재생할 때 흐릿해지는 것을 방지하는 데 유용합니다.

발표자: 양 저우(Yang Zhou)는 어도비의 연구 과학자로 딥러닝 기반 비디오를 연구하고 있습니다.

프로젝트 더빙 더빙 더빙 (Project Dub Dub Dub)

디지털 경제가 성장함에 따라 비디오 콘텐츠를 글로벌 규모로 제공해야 할 필요성도 커지고 있습니다. 더 많은 콘텐츠 제작자가 자신의 동영상과 팟캐스트를 위치나 언어에 관계없이 누구나 이용할 수 있도록 하여 새로운 시청자에게 다가가고자 합니다.

프로젝트 더빙 더빙 더빙은 생성형 AI를 사용하여 70개 이상의 언어와 140개 이상의 방언으로 비디오 또는 오디오 클립을 자동 더빙합니다. 이 기능은 음성 대 음성 번역을 사용하여 비디오 또는 오디오 클립이 새로운 것이든 사용자의 비디오 아카이브에 있는 것이든 상관없이 화자의 목소리, 톤, 억양 및 원본 비디오의 음향에 맞게 자동으로 번역하고 일치시킵니다. 버튼 하나만 누르면 콘텐츠 자동 더빙이 시작되므로 사용자는 노동력과 비용이 많이 들었던 이 프로세스를 몇 분 만에 완료할 수 있습니다.

발표자: 제유 진(Zeyu Jin)은 어도비 리서치의 수석 연구 과학자입니다. 그의 연구는 스튜디오 품질의 음성 향상, 음성 품질 평가 및 개인화된 음성 생성을 위한 심층 생성 모델에 뿌리를 두고 있습니다.

프로젝트 스타더스트(Project Stardust)

파이어플라이로 사진을 촬영하거나 콘텐츠를 제작할 때 이미지의 특정 개체를 빠르게 수정하고 싶었던 적이 있으신가요?

프로젝트 스타더스트는 인공 지능과 생성 AI를 사용하여 이미지 편집을 혁신하는 객체 인식 편집 엔진입니다. 이 기술은 배경 채우기, 선택을 위한 윤곽선 잘라내기, 조명과 색상 혼합 등 이미지 편집 과정에서 시간이 많이 걸리는 부분을 자동화합니다. 또한 생성 AI 기능을 사용하면 개체를 추가하고 창의적으로 변형할 수 있습니다. 프로젝트 스타더스트는 기술 수준에 관계없이 모든 사용자가 보다 직관적이고 접근하기 쉬우며 시간 효율적으로 이미지를 편집할 수 있도록 지원합니다.

발표자: 아야 필레몬(Aya Philémon)은 어도비의 제품 관리자로, 모든이들이 창의적인 잠재력을 최대한 발휘할 수 있도록 지원하는 것을 목표로 하고 있습니다. 그녀의 연구 프로젝트는 업무와 개인적인 삶의 경험에서 영감을 얻습니다.

프로젝트 시스루(Project See Through)

사진을 찍을 때 유리 반사는 이미지 피사체를 흐리거나 산만하게 할 수 있으며, 사진을 아예 사용할 수 없게 하기도 합니다.

반사를 수동으로 제거하는 것은 불가능합니다. 프로젝트 시스루는 인공 지능을 사용하여 반사를 제거하는 과정을 간소화합니다. 반사는 자동으로 제거되지만, 편집을 위해 별도의 이미지로 저장되기도 합니다. 이를 통해 사용자는 사진에 반사가 나타나는 때와 방식을 조정할 수 있습니다.

발표자: 에릭 키(Eric Kee)는 어도비의 연구 과학자입니다. 그의 연구 분야는 컴퓨터 비전, 컴퓨터 사진, 머신 러닝, 시각적 인식의 교차점입니다.