[VR&AR] 오감을 실현하는 가상증강현실 기술

가상현실 핵심 기술

1. 몰입 가시화 기술

1-1. HMD 기술

• 가상현실 콘텐츠를 체험하려면 머리에 HMD를 쓰는 것이 일반적
• 기술적 바탕은 이반 서덜랜드가 구축, 현재는 사용자에게 시각적으로 완전히 몰입된 가상공간을 제공하기 위해 시야각을 확대하고 해상도를 높이는 방향으로 지속적인 연구가 이루어지고 있음
  • 대표적인 HMD : 오큘러스-오큘러스 리프트, HTC-바이브, 소니-플레이스테이션 VR, 삼성-기어 VR

1-2. 몰입형 프로젝션 디스플레이 기술

• 몰입형 프로젝션 장치 기반 디스플레이 환경에서는 HMD를 사용하지 않고 여러 사람이 동시에 가상현실을 체험할 수 있음
• 장치 내부에 들어가면 각 면의 디스플레이 화면이 입체적으로 보이기 때문에 HMD 없이 높은 몰입감을 느낄 수 있음
• 동굴에 들어간 것 같다고 해서 CAVE 장치라고도 함

1-3. 영상 가시화 소프트웨어 기술

• 가시화 작업은 복잡하고 시간이 많이 소요되기 때문에 대부분 가시화 알고리즘이 구현된 오픈 소스 라이브러리를 사용
• 인터페이스의 구현에는 Win32 API, MFC, Java SWT 와 같은 플랫폼 또는 라이브러리 사용
• 일련의 알고리즘을 모두 이해하고 직접 구현하는 경우는 찾아보기 힘듬
• 2021년 7월 한국전자통신연구원 : 국내에서 처음으로 멀미 없는 입체 영상을 만드는 제작 소프트웨어 개발
• 비정형 플렌옵틱 콘텐츠 획득, 생성, 저작 및 가시화 플랫폼 소프트웨어 기술

2. 실감 상호작용 기술

2-1. 모션 기반 시뮬레이터

• 움직이는 탑승물 등의 장치에 진짜로 탑승한 것과 같은 느낌을 제공하는 기술
• 자동차나 비행기를 조종하는 운전 시뮬레이터, 스키를 타고 내려오는 스포츠 시뮬레이터 등이 대표적
• 영상의 출력 결과와 시뮬레이터의 움직임이 제대로 동기화되지 않으면 가이버 멀리 유발

2-2. 위치 추적 기술

• 가상증강현실에서 사용자의 위치 및 방향을 추적하는 기술은 사용자가 바라보는 위치와 방향에 맞추어 콘텐츠를 디스플레이하기 위해 반드시 필요
• 인체 모션 인식 기술은 가상환경을 체험하는 사용자의 상호작용 동작을 인식하고 가상현실 내의 캐릭터를 연동하기 위한 핵심 기술
  • 인체 모션 인식 기술 : 사용자 관절의 정보 획득 기술
    • 카메라를 통해 마커를 인식하는 방식
    • 센서를 부착해 인식하는 방식
    • 마커와 센서를 사용하지 않는 마커리스로 인식하는 방식

2-3. 핸틱 기술

• 가상현실 공간 내에서 가시화된 3D 객체와 가상으로 접촉하면 촉각 정보와 힘의 정보가 느껴지도록 상호작용하는 기술
• 햅틱 기기
  • 물리적 힘을 가상의 사물에 전달하고, 힘이 전달된 물체는 가상 공간 내에서 변형되기도 하면서 상호작용
  • 가상공간에서 시각 정보로 획득한 물체의 단단함, 무게감 등이 근육 감각을 자극해 감각 정보로 전달
  • 최근에는 햅틱 정보를 전달하기 위해 신체와 밀착해 상호작용할 수 있도록 하는 모션슈트도 개발
• 햅틱 기술
  • 정밀한 감각 정보가 필요한 수술이나 재활과 같은 의료 분야, 제작이나 훈련이 필요한 분야 등에 필요
  • 가상현실 전문업체 햅트엑스는 가상현실에서 물체를 느낄 수 있는 VR 햅틱 글러브인 '글러브 디벨롭먼트' 키트 출시

3. 가상현실 환경 생성 및 시뮬레이션 기술

3-1. 가상현실 저작 기술

• 개발자는 가상환경 구성을 위한 엔진을 구동하기 위한 도구를 실제처럼 체험할 3차원 공간을 만들어야 함
• VR 기기를 착용하고 실제 공간에서 움직여야 하기 때문에 현실의 바닥이나 벽 등을 가상공간에도 동일하게 표현해야 함

3-2. 360도 파노라마 가상현실 환경 생성 기술

• 인간의 시야각을 충족하는 가상현실 콘텐츠는 사용자의 몰입감을 높여 가상현실을 실제처럼 인지하는 데 중요한 역할
• 360도 파노라마 영상 제작 기술에는 스티칭 기술 필요
  • 스티칭 기술 : 각각의 카메라로 촬영한 영상 소스를 정해진 시야각과 화면 크기 기준으로 초점 거리와 왜곡률을 보정하고 이어서 붙이는 기술
• 최근에는 촬영과 동시에 스티칭이 이루어지는 기술 개발됨

증강현실 핵심 기술

1. 센싱 및 트래킹 기술

• 증강현실은 사용자에게 정확한 AR 영상을 합성해 보여주기 위해 이미지 영상에서 특징점을 추출하고 추출된 특징점을 레퍼런스 DB데이터와 비교해 카메라의 위치를 트래킹하는 방식의 기술을 이용함
• 최근에는 마커 이미지를 사용하지 않고 현실 객체 인식 기반 증강현실 기술을 이용하기 시작

2. 영상 합성 기술

• 실제 환경의 이미지에 가상의 물체를 합성하는 기술과 실제 환경과 가상의 물체를 합성한 결과를 사용자에게 제공하는 VR 기기에 대한 기술 필요
• ex) 마이크로소프트-홀로렌즈

3. 실시간 증강현실 상호작용 기술

• 스마트폰을 사용하는 경우 터치를 하거나 자이로센서와 연동해 상호작용 할 수 있고 홀로렌즈를 사용할 경우에는 손 동작을 통해 상호작용하면서 AR객체를 컨트롤할 수 있음