[ 매드타임스 한수경 기자] 지금 보고 있는 동영상을 3D로 만들 수 없을까? 하는 생각을 할 때가 있다. 이런 생각을 구현한 AI가 공개됐다. 바로 엔비디아의 뉴럴엔젤로(Neuralangelo)다. 뉴럴엔젤로는 2D 비디오 클립을 3D 구조와 장면으로 변환할 수 있는 AI다. 말 그대로 모바일 또는 카메라로 촬영한 비디오 클립에서 건물, 조각품 및 실제 물체의 상세한 복제본을 만드는 것.
뉴럴엔젤로는 미켈란젤로에서 따왔다. 엔비디아는 "미켈란젤로가 대리석 블록으로 놀랍고 생생한 비전을 조각한 것처럼, 뉴럴엔젤로는 복잡한 세부 사항과 텍스처로 3D 구조를 생성힌다. 그런 다음 크리에이티브 전문가는 이러한 3D 개체를 디자인 응용 프로그램으로 가져와 예술, 비디오 게임 개발, 로봇 공학 및 산업용 디지털 트윈에 사용할 수 있게 편집할 수 있다"라고 밝혔다.
이는 게임 캐릭터와 대화할 수 있는 엔비디아의 AI와 HiFA의 연구진이 개발 중인 새로운 텍스트-3D 제너레이티브 AI를 기반으로 한다. 데모에서 엔비디아 연구원들은 뉴럴엔젤로가 미켈란젤로의 다비드와 같은 복잡한 조각품은 물론 평판 트럭과 같은 일상적인 물건, 건물 내부와 외부를 어떻게 재구성하는지 보여 주었다.
3D 장면을 재구성하는 이전의 AI 모델은 반복적인 텍스처 패턴, 균일한 색상 및 강한 색상 변화를 정확하게 캡처하는 데 어려움이 있었다고 엔비디아는 지적한다. 뉴럴엔젤로는 이러한 미세한 디테일을 캡처하는 데 도움이 되는 엔비디아 인스턴트 NeRF의 기반 기술인 인스턴트 뉴럴 그래픽 프리미티브를 채택했다.
이 모델은 다양한 각도에서 촬영한 물체 또는 장면의 2D 비디오를 사용하여 깊이, 크기 및 모양을 파악하기 위해 여러 측면에서 피사체를 고려하는 아티스트처럼 다양한 시점을 포착하는 여러 프레임을 선택한다. 각 프레임의 카메라 위치가 결정되면 뉴랄란젤로의 AI는 조각가가 피사체의 모양을 깎기 시작하는 것처럼 장면의 대략적인 3D 표현을 생성한다. 그런 다음 조각가가 천이나 인물의 질감을 모방하기 위해 돌을 정성스럽게 다듬는 것처럼 모델이 렌더링을 최적화하여 디테일을 선명하게 만든다. 최종 결과물은 가상 현실 애플리케이션, 디지털 트윈 또는 로봇 개발에 사용할 수 있는 3D 오브젝트 또는 대규모 장면이다.
엔비디아는 "높은 충실도 덕분에 개발자와 크리에이티브 전문가가 스마트폰으로 캡처한 영상을 사용하여 프로젝트에 사용할 수 있는 가상 오브젝트를 빠르게 생성할 수 있다."라고 설명했다.
이 기술을 설명하는 논문의 공동 저자이기도 한 엔비디아 리서치 수석 연구 책임자 밍유 리우(Ming-Yu Liu)는 뉴럴엔젤로의 기능이 현실 세계와 디지털 세계를 연결해 잠재적으로 "크리에이터에게 큰 혜택"이 될 것이라고 평가했다. 이어 "이 툴을 통해 개발자는 작은 조각상이든 거대한 건물이든 세부적인 오브젝트를 가상 환경으로 가져오는 비디오 게임이나 산업용 디지털 트윈이다."라고 덧붙였다.
한편, 엔비디아의 연구원들은 6월 18일에서 22일까지 밴쿠버에서 열리는 컴퓨터 비전과 패턴 인식 컨퍼런스(Computer Vision and Pattern Recognition Conference, CVPR)에서 약 30개의 다른 프로젝트와 함께 뉴럴엔젤로에 대한 자세한 내용을 공개할 예정이다.
[이미지 엔비디아]
