어도비 리서치와 UC 버클리의 협업 성과: 어도비 포토샵에서 안면 조작 탐지

1990년 어도비 포토샵이 최초로 출시되었을 당시, 이 기념비적인 사건은 잠재되어 있던 창의력과 표현력 발휘의 시대로 나아가는 거대한 발자취를 남겼습니다. 그 이후 포토샵은 크리에이티브의 영역을 넘어 인간의 시각 문화에까지 지대한 영향을 미쳤습니다.

어도비는 포토샵을 비롯한 어도비의 다양한 크리에이티브 툴이 전 세계적으로 큰 영향을 미친 것에 대해 자부심을 느끼는 동시에, 어도비 기술에 담긴 윤리적 의미 또한 숙지하고 있습니다. 이미지 편집이 어디에서나 행해지고 있는 현시대에서 우리가 보는 모든 것에 대한 신뢰는 그 어느 때보다 중요해지고 있으며, 가짜 콘텐츠의 심각성은 날로 해결의 목소리를 높이고 있습니다. 어도비는 확고한 의지를 가지고 신기술을 구현하는 데 있어 가장 유용하고 책임 있는 방식을 모색 중이며, 그 일환으로 디지털 미디어에 대한 신뢰와 확신을 강화하기 위해 인공 지능(AI)과 같은 새로운 기술을 활용한 연구를 지속적으로 수행하고 있습니다.

어도비는 현재 우리가 당면하고 있는 상황을 염두에 두고, DARPA 메디포 프로그램(DARPA MediFor program)의 후원을 받아 어도비 연구원 리처드 장(Richard Zhang) 및 올리버 왕(Oliver Wang)과 UC 버클리(UC Berkeley)의 셍유 왕(Sheng-Yu Wang), 앤드류 오웬즈 박사(Dr. Andrew Owens), 알렉세이 A. 이프로스(Alexei A. Efros) 교수와 공동으로 포토샵의 얼굴 인식 픽셀 유동화 기능을 사용한 이미지 편집 내용 탐지 기능을 개발했습니다. 아직은 초기 단계에 있는 어도비 리서치와 UC 버클리의 협업은 디지털 이미지에서 변경된 요소를 찾아 과학적으로 분석하는 이미지 포렌식 연구를 향한 첫걸음으로 평가되고 있습니다.

이러한 새로운 형태의 산학 연계 협업은 이미지, 비디오, 오디오 및 문서 조작을 보다 효과적으로 탐지하려는 어도비의 광범위한 노력을 담고 있습니다. 과거 어도비의 연구가 이어붙이고, 복제하고, 제거하는 등의 이미지 조작 탐지 기능에 중점을 두었던 것과 다르게, 이번 연구는 포토샵의 얼굴 인식 픽셀 유동화 기능이 얼굴 표정이나 이목구비의 특징을 조정하는 데 널리 사용된다는 이유에서 이 기능에 중점을 두고 있습니다. 얼굴 인식 픽셀 유동화 기능은 얼마든지 미세한 효과를 낼 수 있으므로 미묘하게 얼굴을 변경했는지의 여부를 탐지하는 매우 흥미로운 검증 사례가 될 수 있습니다.

이번 연구는 다음 질문을 토대로 수행되었습니다.

연구 프로젝트를 진행한 결과, 딥러닝의 한 형태인 합성곱 신경망(CNN: Convolutional Neural Network)을 트레이닝함으로써 변경된 얼굴 이미지를 인식할 수 있게 되었습니다. 연구원들은 인터넷에서 발췌한 수천 장의 사진에 포토샵의 얼굴 인식 픽셀 유동화 기능을 사용할 광범위한 이미지 트레이닝 세트를 만들었습니다. 트레이닝을 위해 이렇게 수집된 사진 일부를 무작위로 선별하고, 이 데이터 세트에 있는 이미지를 변경할 아티스트 한 명을 채용했습니다. 이러한 인간의 창의적 요소를 가미하여 테스트 세트에 사용된 변경 내용과 기법의 범위를 인위적으로 생성된 이미지 이상으로 폭넓게 확장했습니다.

“먼저 사람들에게 하나는 수정본이라는 걸 알 수 있는 두 장의 이미지(원본 및 수정본)를 보여주었습니다. 원본 조작을 탐지하는 툴이 유용해지려면, 편집된 얼굴을 식별함에 있어 인간의 눈보다 툴이 월등한 수준으로 탐지 기능을 수행할 수 있어야 하거든요”라고 올리버는 설명합니다.

변경된 얼굴 이미지지를 육안으로 판별할 수 있는 확률은 53%로, 이는 우리의 예상보다 약간 높았습니다. 하지만 연속적인 실험 결과, CNN 툴은 최고 99%까지 달성했습니다.

또한 이 툴은 안면 왜곡이 적용된 특정 영역과 방법까지 식별해냈습니다. 실험에서 이 툴은 변경된 이미지를 추정된 원본 상태로 복구했고, 그 결과는 연구원들조차 놀라게 했습니다.

“수많은 기하학적 변형이 가능하기 때문에 불가능할 것으로 생각했습니다. 하지만 딥러닝은 인위적인 작업물과 같은 낮은 수준의 이미지 데이터 합성부터 레이아웃과 같은 변경의 단서를 제공하는 높은 수준의 요소까지 학습하므로 이러한 놀라운 결과가 나타난 것 같습니다”라고 UC 버클리의 알렉세이 A. 이프로스 교수는 말합니다.

“이미지 편집 내용을 원래대로 되돌려주는 마법과도 같은 일반적인 ‘실행 취소’ 버튼에 대한 아이디어를 현실로 구현하기에는 아직 갈 길이 멉니다. 오늘날 우리가 소비하는 디지털 정보를 점점 더 신뢰하기가 어려워지고 있는 만큼 관련 연구가 계속해서 활발하게 이루어지기를 기대”한다고 리처드는 말합니다.

어도비의 비전은 무엇일까요? 어도비는 크리에이터를 위해 존재하며, 고객의 입장에서 먼저 생각합니다. 우리는 고객이 아이디어를 구현하는 데 필요한 툴을 제공하여 무한한 상상력을 자유롭게 펼치도록 하는 데 모든 열정을 기울이고 있습니다.

이와 동시에 다수의 어도비 리서치 프로젝트를 수행하여 자사 제품으로 제작한 디지털 미디어의 진위를 파악하고 제품 오용 식별 및 방지를 위해 노력하고 있습니다.

“특정 유형의 이미지 편집을 탐지할 수 있다는 것만으로도 이는 중요한 업적이 될 것이며, 실행 취소 기능은 놀라울 정도로 제 기능을 발휘합니다. 그러나 이러한 기술을 넘어, 최선의 방어는 조작된 콘텐츠가 약이 될 수도 있지만 때로는 독이 될 수도 있다는 사실을 사용자가 자각하도록 인식을 일깨우는 일이 될 것”이라고 어도비 리서치의 총괄 책임자 가빈 밀러(Gavin Miller)는 말합니다.

콘텐츠의 진위성 문제는 업계에서 화두가 되고 있는 사안으로, 어도비는 고객과 파트너, 그리고 커뮤니티와 함께 이에 대한 대처 방안을 지속적으로 강구할 것입니다. 어도비는 끊임없이 진화하는 디지털 캔버스에서 창의력과 스토리텔링 역량을 함양하는 동시에, 실제로 구현될 수 있는 안전 장치에 관한 논의를 계속 이어갈 수 있기를 바랍니다.

모두가 참여하는 이미지 포렌식을 향한 어도비의 여정이 이제 시작됩니다.

원문보기