3. 가상현실과 미디어 기술

<HMD의 이해>

1. HMD(Head Mounted Display)란??

- 머리에 쓰는 형태의 화면표시 기기

- 작은 디스플레이가 부착된 장치를 머리에 쓰면 거대한 화면을 보는 듯한 효과를 줌

- 몰입형 가상현실 기기

※ 다이브 : 모바일 지원 HMD

가. 시대변화에 따른 디스플레이의 발달

1) 르네상스

- 투시 원근법의 탄생으로

- 2차원인 판에 3차원처럼 옮길 수 있게 됨

- 조금 더 사실적으로 옮김

2) 2800년대

- 사진 현상, 인화 기술의 탄생

- 다게레오타입, 칼로타입 등이 있음

- 안료, 잉크 대신 새로운 매체의 탄생

3) 디지털 시대

- 이미지 센서, 3D 사진, 3D 동영상

- 디지털 파일을 표시해주는 디스플레이 기기 발전

나. HMD의 역사

1) 이반 서덜랜드(Ivan Sutherland)

- 상업화 및 보급은 안됨

2) 1994년 HMD : VFX-1

- 3축 자이로 스코프

- 최초의 상업화

3) 안경형 HMD

- 사용자의 눈 가까이에 작은 디스플레이만 적용

- 사용자가 바라보는 대상의 정보를 표기하는 증강현실 구현

소재 : LCD, OLED

- 머리에 장착해야하기 때문에 가볍고 얇은 디플레이가 필요함

다. HMD의 원리와 적용기술

2D의 화면이지만 HMD를 통해 입체적으로 바뀜

1) 평행법과 교차법

- 매직아이 원리와 비슷

- 입체감을 구현하는 원리

- 볼록렌즈가 초점을 뒤로 위치시킴

2) 양한 시차

- 양쪽 눈의 위치차이로 인한 입체감

- 양쪽 눈에 다른 화명이 보이도록 고안

이로 인해 입체공간인 것처럼 착각을 일으키게 제작됨

3) 헤드 트래킹

- 머리의 움직임을 인식하는 기술

- 머리의 움직임에 따라 화면도 같은 방향으로 전환

4) 모션 트래킹

- 손 발, 몸동작을 인식하는 기술

5) 아이 트래킹

- 눈동자 움직임을 인식하여 시선을 따라 화면 이동

라. HMD의 단점

1) 화질

- 해결해야 할 과제

-  360도 4K(3840*2160)의 화질도 체감상 HD화질(1280*720)이다.

이유는 전체가 4K이기 때문에 HMD에 보여주는 화질은 120도 기준으로 1/3로 줄기 때문이다.

2) 3D영상

- 영상을 2개로 겹치기 때문에 화질 저하

- 영상촬영 및 유통기술의 한계

3) 1인용

- 1인 1대만 사용

- 다른 디스플레이는 여러명이서 볼 수 있지만, HMD는 머리에 장착해야하기 때문이다.

같이 즐기려면, 거의 스마트폰처럼 1대를 더 구입해야 하는데...

기기 가격을 찾아보면 알겠지만 무지 비쌈

4) 무게

- 장시간 착용하면 무겁고 불편

5) 외부 상호작용

- 우리의 시야 앞에는 HMD의 화면만이 나오기 때문이다.

- 외부상황을 인지하기 힘듦

- 긴급한 상황에 대처하기 어렵게 된다.

6) 멀미

- 몰입도가 높은 만큼

- 예민한 사람은 심각하다고 함

대부분의 것들이 기술적인 하계로 점차 개선되고 있는 추새다.

마. HMD의 장점

1) 몰입감

- 스테레오 스코피 기술을 사용한 입체감 구현

- 높은 현상감

2) 공간

- 공간에 구애 받지 않음

- TV등을 설치하려면 벽면이 필요하지만 HMD는 그냥 착용만 하면 됨

3) 헤드 트래킹

- 머리의 움직임으로 시점이 움직임

- 직관적 인터페이스

4) 개인의 사생활보장

- 사용자의 눈앞에서만 보여지기 때문에 보안성에서도 우수

5) 외부 환경 차단

- 교육 및 훈련에서 실제같은 효과 증대

- 게임 및 영화에서도 마찬가지다.

<가상현실 콘텐츠의 제작방법>

1. 가상현실 콘텐츠의 제작 방법

가. 콘텐츠 제작 종류

1) 실사기반 콘텐츠 제작

- 제작방법이 쉬움

- 제작기간이 짧음

- 접근성이 높음

2) 그래픽스를 통한 프리렌더(Pre-Render) 방식

- 사전에 렌더링을 만든 후 사용자가 보는 형태로 품질이 좋다

- 미리 만들어 놓은 것이기에 상호작용의 자유도가 낮음

3) 게임 엔진을 하용한 실시간 콘텐츠

- 유니티 엔진, 언리얼 엔진 등의 게임엔진을 사용

- 실시간 상호작용이 가능한 환경 구현

배틀그라운드를 VR로 만들면 그게 상호작용임

유저와 유저가 전투를 하는 것이기 대문

※ 360도 영상

- 시청자가 주변을 둘러보면서 더 많은 정보를 얻을 수 있게 해줌

2. 가상현실(VR) 촬영 및 제작

가. 촬영방법

1) 여려대의 카메라를 사용

- 렌즈의 화각에 따라 여러대의 카메라를 사용

(화각이 120도면 3대, 60도면 6대 등)

- 최근에는 360도 카메라도 등장해서 1대로도 가능

2) VR촬영장비

*  VR카메라 *

- 360도 카메라

- 리그(Rig)라는 장비를 통해 기존의 카메라 여러대로 구현 가능

- 당연히 카메라 1대 1대 화질이 합쳐저 많이 쓸수록 고화질

2000만화소 6대를 사용하면 1,2000만 화소

2000만화소 12대를 사용하면 2,400만 화소가 된다.

데이터량이 2배가 늘어나는 것이니 이것을 처리하는 PC도 더 좋아야 된다.

결국 돈....

* 스티칭 서버 *

- 대부분 고화질, 대용량이므로 고사양의 PC가 필요

- 촬영한 영상, 사진을 하나의 360영상으로 결합 및 변환 하는 장치

- 그냥 고사양의 PC라고 생가하자

* 스티칭 솔루션 *

- VR영상으로 만들어주는 컴퓨터 프로그램, 소프트웨어

- Vahana, Autopan : 스티칭과 스트리밍 동시 가능

최신 Adobe Premier Pro CC, Cyberlink PowerDirector : 편집기능만 제공

이외에도 많은 기업에서 VR관련 프로그램을 많이 만들고 있다.

나. 제작방법

1) 3D 입체 보정 

- 카메라로 촬영한 VR콘텐츠를 입체감 있게 보정하는 과정

- 입체값 설정 및 보정

- 입체멀미 현상보정

2) 편집 및 색보정

3) VFX, 입체 음향, 음향효과 등

2,3의 과정은 기존영상과 같은 작업이다.

다. VR의 한계

1) 더 많은 시간과 자본지출

- 일반영상은 평면1장만 하면되지만,

VR을 360도로 상,화,좌,우,앞,뒤를 다해야하기 때문에 시간이 더 걸린다.

또한 이러한 VR영상은 데이터량의 증가에 따라 고사양의 장비들을 요구하기 때문에,

지출이 더욱 증가할 수 밖에 없다.

2) 콘텐츠의 품질

- 4K영상을 보다라도 체감하는 화질을 HD화질이다.

- 사람눈 17250 PPI, HMD는 550PPI로 품질이 매우 차이가 남

3) 응답속도 지연

- 즉각적인 반응이 아닌 사용자가 고개를 움직인 후에 장면이 전환됨

- 이질적인 문제, 인지 부조화 등으로 인해 더욱 불편함

- 현재는 20msec

데이터압축기술, 초저지연 등의 기술이 점차 발전하고 있음

<그래픽스 기반 가상현실 콘텐츠 제작방법>

1. 다양한 VR 콘텐츠 제작

가. 게임

- 소니 : 플레이스테이션 VR

- 스코넥 앤터테이먼트 : 국내 VR 콘텐츠 개발사

- 이외에도 스퀘어에닉스, 캡콤, 배데스다 등 다양한 회사에서 VR게임을 개발하고 있음

나. 방송

- 넥스트VR & CNN : 2015년 미국 대선후보 토론회 VR제작

- 자동차 회사 : 신차홍보를 VR 프로모션 방식을 이용

다. 영화

- 구글 : Help제작

라. 교육

- 굿게임 스튜디오 : Alive(청소년 대상 안전교육용 VR)

마. 군사

- 미국의 육해공이 VR을 통해 가상훈련시스템을 개발

2. 그래픽스 기발 가상현실(VR)

가. 소프트웨어

- 유니티, 마야, 3D 맥스 등

나. 제작과정

1) 일반 게임을 반드는 것과 다르지 않음

2) HMD를 통해 영상을 구현하는 형태로 최종 렌더링을 해야함

1장면을 8방으로 만들어야 하기 때문에 제작시간이 오래 걸림

다. 그래픽스 기반 VR구분

1) Pre-Rendered 가상현실

- 고전적인 3D 콘텐츠와 같이 모델 기반 렌더링

- 미리 렌더링한 영상을 제공

- 참여자가 적극적으로 개입할 수 없음

- 선형적 서사, 영화, 드라마에 유리 

2) Interactive 가상현실

- 언리얼, 유니티와 같은 게임엔진이 필수

- 고품질의 그래픽을 위해 최적화가 반드시 필요함

- 실시간 시각화를 위해 빠른 알고리즘과 고사양 시스템이 필요

- 참여자가 적극적으로 개입할 수 있음

- 실시간 렌더링 VR콘텐츠, 실시간으로 작용하는 게임에서 유리