다중 카메라 그린 스크린 가상 프로덕션에서 물리적 행위자와 가상 환경을 구성하기 위해 심층 신경망을 활용했다. 

프로젝트 파트너 : University of York , Dock10

요크 대학의 연구원들은 맨체스터에 위치한 텔레비전 시설인 Dock10과의 협력의 일환으로 학계와 산업계 간의 지식 이전을 탐구하고 있습니다.

이 프로젝트는 대학의 주요 AI 연구원과 Dock10의 가상 제작(VP) 전문가를 모아 VP의 주요 과제를 해결합니다. 즉, 멀티 카메라 그린 스크린 스튜디오에서 사실적인 조명 상호 작용을 시뮬레이션하는 것입니다.

가벼운 상호작용은 VP의 핵심 요소입니다. 가상 환경에서 배우가 광원에 의해 조명되는 등 다양한 방식으로 나타날 수 있습니다. 단일 카메라 영화 제작(하나의 기본 카메라를 사용하여 장면 캡처)에서 이러한 효과는 배우 뒤에 위치한 LED 패널(LED 볼륨이라고도 함)의 큰 벽과 후반 작업에 추가된 시각 효과의 조합을 통해 얻을 수 있습니다. .

그러나 이러한 기술은 스포츠 보도, 음악 공연 또는 게임 쇼를 포함하여 멀티 카메라 그린 스크린 스튜디오를 사용하는 라이브 또는 '실시간' TV 제작에는 적합하지 않습니다. 이러한 맥락에서 생산 시 여러 각도에서 성능을 동시에 포착해야 하므로 LED 볼륨은 적합하지 않습니다.

AI Composure 프로젝트는 그린 스크린 제작에서 현재 조명 상호 작용에 대한 제약을 제거하려는 AI 기반 합성 파이프라인의 형태로 VP 실무를 위한 완전히 새로운 접근 방식을 모색하고 있습니다. 

제안된 시스템은 값비싼 LED 벽 없이 다중 카메라 가상 스튜디오에서 실제 배우와 가상 환경 간의 양방향 조명 상호 작용을 시뮬레이션합니다. 이 프로젝트는 궁극적으로 실시간으로 적용할 수 있는 새로운 AI 기반 합성 기술의 기반을 마련하여 라이브 또는 '라이브' 프로덕션에 적합하게 만듭니다.

이번 협업은 XR Network+ Embedded R&D 자금 지원 요청이 지원하는 5개 프로젝트 중 하나이며 , 가상 제작과 관련된 분야에서 학계와 산업 간 지식 이전을 탐구하기 위해 영국 대학의 연구원에게 최대 £60,000의 보조금이 수여됩니다. 

출처 XR 네트워크

참고 이미지 · 공개 아카이브에서는 원본보다 약한 흐림 처리로 제공됩니다.