눈이 보는 곳에만 힘을 쏟다

사람은 자기 시야 전체를 선명하게 보고 있다고 느낀다. 그 느낌은 사실이 아니다. 지금 이 문장을 읽는 동안에도 실제로 고해상도로 받아들이는 영역은 문장 몇 글자 폭뿐이고, 나머지 방 안의 풍경은 대충 뭉개진 정보와 기억의 합성이다. 눈은 그 사실을 감추는 데 능하다. 초당 몇 번씩 눈알을 굴려 좁은 고해상도 창을 여기저기 옮기고, 뇌는 그 조각들을 이어 붙여 '전체가 선명하다'는 착각을 만들어 낸다.

이 착각이 헤드마운트 디스플레이 렌더링의 경제학을 전부 지배한다. 화면 전체를 균일한 정밀도로 그리는 것은 사람의 눈이 요구하지도 않는 정보를 만드는 일이다. 이 장은 그 낭비를 어떻게 발견했고, 얼마나 줄였고, 줄이는 과정에서 어떤 새로운 문제가 생겼는지를 다룬다. 그리고 착시가 무너지는 두 지점도 함께 본다. 눈이 모이는 거리와 초점이 맺히는 거리가 어긋나는 문제, 그리고 실제 세계가 가상 물체를 제대로 가려 주지 못하는 문제다.

망막은 균질하지 않다

원리는 해부학이다. 빛을 받는 세포가 망막 전체에 고르게 깔려 있지 않다. 중심 한 점에 극단적으로 몰려 있고, 그 점에서 각도상 몇 도만 벗어나도 밀도가 급격히 떨어진다.

Curcio와 Sloan, Kalina, Hendrickson이 1990년 『Journal of Comparative Neurology』에 실은 광수용체 지도가 이 분야의 정본이다. 이들이 사람 망막 여러 장을 직접 세어 얻은 수치는 다음과 같다.

표 출처: ^[1] (본문 기준으로 재구성)

두 가지를 짚어 둘 필요가 있다. 첫째, 개인차가 세 배를 넘는다. 최대 원뿔세포 밀도가 10만인 사람과 32만인 사람이 같은 헤드셋을 쓴다. '표준 눈'을 가정한 파라미터는 누군가에게는 과하고 누군가에게는 부족하다. 둘째, 자주 인용되는 '147,000개/mm²'는 Curcio의 값이 아니다. 그 숫자는 Shroff가 2011년에 낸 안과 수치 편람에서 온 것이고, 백과사전 항목이 Curcio의 개인 범위와 한 문장에 섞어 놓는 바람에 널리 잘못 퍼졌다. 원 논문의 평균 최대 밀도는 199,000개/mm²다.

중심와의 물리적 크기와 시야각을 짝지은 수치들도 널리 쓰이지만 출처가 다르다. 중심와 지름 약 1.5mm가 시야각 약 5°, 무혈관대 0.5mm, 중심소와(foveola)에서 100μm당 원뿔세포 50개 대 주변부 12개, 그리고 시신경 섬유의 약 절반이 중심 2°를 담당한다는 서술은 모두 백과사전 수준의 2차 요약이다. 이 값들을 섞어 쓸 때 조심할 점이 두 개 있다.

하나는 환산 계수가 서로 맞지 않는다는 점이다. 1.5mm를 5°로 보면 밀리미터당 3.33도, 0.35mm를 1°로 보면 2.86도, 0.5mm를 1.5°로 보면 3.00도가 나온다. Drasdo와 Fowler가 제시한 표준 망막 환산인 밀리미터당 약 3.5도를 쓰면 각각 약 5.2°, 약 1.2°, 약 1.75°가 되어야 한다. 무혈관대를 1.5°로 적은 문헌은 이 환산에서 벗어난다.

다른 하나는 선밀도와 면밀도가 충돌한다는 점이다. 100μm당 50개는 밀리미터당 500개이고, 이를 면밀도로 환산하면 대략 25만 개/mm²가 된다. 같은 백과사전 문서가 147,000개/mm²에 대응하는 선밀도를 밀리미터당 383개로 적고 있다. 두 숫자를 한자리에서 인용하면 25만과 14만 7천이 부딪친다. 파라미터를 뽑아 쓸 사람이라면 어느 계열의 숫자를 쓰는지 스스로 정하고 일관되게 가야 한다.

그럼에도 그림의 골자는 흔들리지 않는다. 사람이 고해상도로 받아들이는 영역은 팔을 뻗어 엄지손톱을 세웠을 때 그 손톱이 가리는 정도다. 나머지는 도약안구운동으로 순간순간 채워 넣은 합성이다.

중심와는 시야의 중심 2°만을 본다… 시신경 섬유의 약 절반이 중심와에서 오는 정보를 나르고, 나머지 절반이 망막의 나머지 전체에서 오는 정보를 나른다.

The fovea sees only the central two degrees of the visual field... approximately half the nerve fibers in the optic nerve carry information from the fovea, while the remaining half carry information from the rest of the retina.

이 서술도 Curcio 논문에 있는 내용이 아니라 2차 요약이다. 그 논문은 광수용체 밀도 지도를 다루고 시신경 섬유의 배분은 다루지 않는다. 다만 렌더링 설계자에게 필요한 결론은 이미 충분히 명확하다. 눈이 요구하는 정보량 자체가 시야 중심에 몰려 있으므로, 시선이 어디를 향하는지 알면 계산량을 원리적으로 한 자릿수 이상 줄일 수 있다.

한 가지 한계를 미리 박아 둔다. 위 밀도는 정적인 해부 수치다. 주변시가 무엇에 둔감한지는 말해 주지만, 주변시가 무엇에 여전히 예민한지는 말해 주지 않는다. 주변시는 해상도에 둔감하되 움직임과 깜박임과 대비 변화에는 놀랄 만큼 예민하다. 이 비대칭이 뒤에 나오는 모든 문제의 출발점이다. ^[1]

시선을 알면 그래픽스가 싸진다

이심률에 따라 시력이 떨어진다는 사실 자체는 오래된 지식이다. Østerberg가 1935년에 이미 광수용체 분포를 보고했다. 그래픽스가 이 사실을 성능으로 바꾸려 한 시도도 생각보다 이르다. Levoy와 Whitaker는 1990년 『Symposium on Interactive 3D Graphics』에서 시선 방향에 따라 볼륨 렌더링의 표본 밀도를 바꾸는 방법을 제시했다. Curcio의 해부 논문과 같은 해다. Luebke와 Hallen은 2001년 Eurographics에서 지각 기반으로 기하를 단순화하는 접근을 내놓았다. 포비티드 렌더링을 '2010년대에 등장한 기법'으로 적으면 20년을 건너뛰는 셈이 된다.

그러나 개념과 제품 사이에는 세 가지 공백이 있었다. 실시간 GPU에서 굴러가는 구조, 사람이 눈치채지 못하는 열화의 한계를 실제로 측정한 값, 그리고 그렇게 해서 몇 배 빨라지는지에 대한 숫자다. Guenter와 Finch, Drucker, Tan, Snyder가 2012년 SIGGRAPH Asia에서 발표한 「Foveated 3D Graphics」가 이 셋을 한꺼번에 채웠다.

구조는 단순하다. 시선 추적기로 응시점을 받고, 그 점을 중심으로 세 겹의 이미지 레이어를 동심원처럼 쌓는다. 안쪽 레이어는 각도상 좁지만 표본 밀도가 높다. 바깥으로 갈수록 덮는 각도는 커지고 표본 비율은 뚝 떨어진다. 세 장을 각각 그린 뒤 합성해 최종 화면을 만든다.

우리는 주변시에서 시력이 떨어지는 현상을 이용해 데스크톱 HD 디스플레이(1920×1080)에서 그래픽 연산을 5~6배 가속한다. 우리 방법은 사용자의 응시점을 추적하고, 그 주위에 각도상 크기는 점점 커지되 샘플링 비율은 점점 낮아지는 세 개의 이미지 레이어를 렌더링한다.

We exploit the falloff of acuity in the visual periphery to accelerate graphics computation by a factor of 5-6 on a desktop HD display (1920×1080). Our method tracks the user's gaze point and renders three image layers around it at progressively higher angular size but lower sampling rate.

표 출처: ^[2] (본문 기준으로 재구성)

이 표에서 가장 오래 살아남은 값은 속도가 아니라 이심률 계수다. 1도당 1.32~1.65 각분이라는 기울기는 사용자 실험으로 얻은 값이고, 이후 거의 모든 포비티드 렌더링 구현이 이 값을 파라미터 기준으로 삼는다. 정확히 말하면 이 논문의 기여는 아이디어의 발명이 아니다. 3레이어 실시간 GPU 구현과 정신물리 실험을 하나로 묶은 첫 사례라는 것이 정확한 위치다.

한계도 이 논문이 스스로 남겼다. 주변부를 그냥 흐리게 하면 시간적 앨리어싱이 생겨 오히려 눈에 띈다. 그리고 시선 추적이 느리면 눈이 먼저 새 지점에 도착하고 고해상도 영역이 뒤늦게 따라오는 것이 보인다. 이 두 문제가 정면으로 다뤄지기까지 각각 4년과 5년이 더 걸린다. ^[2]

흐리게 하면 들킨다

앞 절의 한계는 사실 방향이 잘못 잡힌 문제였다. 문제는 화소를 덜 그린 것이 아니라 잘못된 종류의 신호를 버린 것이다.

Patney와 Salvi, Kim, Kaplanyan, Wyman, Benty, Luebke, Lefohn이 2016년 SIGGRAPH Asia에서 발표한 연구가 이 구분을 세웠다. 핵심 발견은 주변시의 비대칭이다. 주변시는 해상도에는 둔감하지만 대비에는 민감하다. 저해상도로 그리는 과정에서 세부만 사라지는 것이 아니라 대비도 함께 뭉개지는데, 사람이 '뭔가 이상하다'고 느끼는 원인은 사라진 세부가 아니라 사라진 대비였다.

해법은 그래서 역설적이다. 주변부를 저해상도로 그린 뒤, 후처리 필터로 대비를 다시 살려 준다. 해상도는 돌아오지 않지만 사람의 수용도는 크게 올라간다.

표 출처: ^[3] (본문 기준으로 재구성)

우리는 눈의 고정 영역 바깥으로 갈수록 점진적으로 세부를 줄여 영상을 합성하는 포비티드 렌더링 시스템을 제시한다… 우리 시스템은 셰이딩 횟수를 최대 70%까지 줄인다.

We present a foveated rendering system which synthesizes images with progressively less detail outside the eye fixation region... our system reduces the number of shades by up to 70%.

시간적 안정성도 함께 잡혔다. 결과 영상이 프레임 사이에서 출렁이지 않아, 시간 필터를 건 비포비티드 렌더링과 비슷한 품질을 냈다. 이것이 중요한 이유는 주변시가 깜박임에 예민하다는 앞 절의 지적 때문이다. 정지 화면에서 안 보이던 열화가 움직이는 화면에서 갑자기 보이는 일이 포비테이션의 전형적 실패 모드다.

이 연구가 세운 문법은 한 문장으로 줄여진다. 덜 그리는 것이 목표가 아니라, 사람이 놓치지 않는 신호는 복원하고 놓치는 신호만 버리는 것이 목표다. 오늘날 상용 헤드셋의 포비테이션 맵 설계가 모두 이 계보 아래에 있다.

한계는 두 갈래다. 대비 보정 필터 자체가 연산 비용이라 절감분을 일부 먹는다. 그리고 콘텐츠 종류에 따라 이 필터가 아티팩트를 키운다. 가는 선, 작은 텍스트, 반복되는 격자 무늬가 최악의 조합이다. 치수선과 주기가 촘촘한 격자와 작은 글자가 가득한 설계 도면 화면은 포비테이션에 가장 불리한 종류의 콘텐츠다. 몰입형 화면에서 도면을 검토하는 용도를 상정한다면, 게임 벤치마크에서 나온 절감률을 그대로 기대하면 안 된다. ^[3]

눈보다 늦으면 안 된다

포비티드 렌더링에서 가장 자주 얼버무려지던 숫자가 시선 추적 속도다. 원리는 명백하다. 눈이 도약안구운동으로 새 지점에 도착했는데 고해상도 영역이 아직 옛 자리에 있으면, 사용자는 저해상도 주변부를 중심와로 직접 들여다보게 된다. 열화가 숨을 곳이 없어지는 순간이다.

Albert와 Patney, Luebke, Kim이 2017년 『ACM Transactions on Applied Perception』에 실은 연구가 이 값을 실측했다. 방법은 정직하다. 시선 추적 지연을 인위적으로 늘려 가며, 참가자가 수용하는 포비테이션 강도가 어디서부터 떨어지는지를 측정했다.

표 출처: ^[4] (본문 기준으로 재구성)

포비티드 렌더링은 주변시 시력이 떨어진다는 잘 알려진 사실에 기반한 성능 최적화다. 사용자의 중심(중심와) 시야에는 고품질 영상을, 주변부에는 저품질 영상을 보여줌으로써 연산 비용을 줄인다.

Foveated rendering is a performance optimization based on the well-known degradation of peripheral visual acuity. It reduces computational costs by showing a high-quality image in the user's central (foveal) vision and a lower quality image in the periphery.

50~70ms라는 예산의 가치는 그것이 구매 결정과 파이프라인 설계를 동시에 묶는다는 데 있다. 시선 추적 카메라의 프레임레이트, 시선 추정 알고리즘의 처리 시간, 렌더링 큐의 길이, 디스플레이 갱신 주기가 모두 이 하나의 예산을 나눠 쓴다. 상용 기기가 시선 추적을 200Hz급으로 올리는 이유가 여기 있다. Varjo XR-4의 시선 추적이 200Hz로 도는 것은 사양서에 적을 자랑거리가 아니라 이 예산을 지키기 위한 최소 조건에 가깝다.

한계는 예산이라는 말 자체에 있다. 50~70ms는 평균적으로 참을 만한 값이지 알아채지 못하는 값이 아니다. 실험은 특정 콘텐츠와 특정 포비테이션 강도 조건에서 수행됐다. 고대비 텍스트를 읽거나 시선을 빠르게 옮기며 화면을 훑는 작업에서는 더 엄격한 예산이 필요할 가능성이 높다. 도면 검토가 정확히 그 작업이다. ^[4]

하드웨어로 내려온 포비테이션

논문의 절감률이 제품의 절감률이 되려면 오버헤드가 사라져야 한다. 세 겹의 레이어를 따로 그려 합성하는 방식은 그 합성 자체가 비용이다. 화면 영역마다 다른 정밀도로 셰이딩하라는 명령을 래스터라이저가 직접 받아들이면 그 비용이 거의 0이 된다. 그것이 가변 셰이딩률(Variable Rate Shading)이다.

이 기능에도 선행 계보가 있다. NVIDIA의 공식 문서 자체가 Turing의 VRS 앞에 Maxwell 세대의 Multi-Res Shading과 Pascal 세대의 Lens Matched Shading을 선행으로 명시한다. 2015년과 2016년의 일이다. 고정 포비티드 렌더링도 Quest Pro에서 시작한 것이 아니라 Oculus Go와 초기 Quest 세대에 이미 상용화돼 있었다. 다만 그 상용화 시점을 확인할 1차 출처는 이번 조사에서 확보하지 못했으므로 단정하지는 않는다.

Direct3D 12의 Tier 2 VRS가 지금의 표준 형태다. 화면을 정사각 타일로 나누고, 타일마다 1바이트짜리 '셰이딩률 이미지'로 정밀도를 지정한다.

표 출처: ^[5] (본문 기준으로 재구성)

표의 첫 줄에는 단서가 필요하다. Microsoft 문서가 스스로 모순된다. Tier 2 요약 불릿은 '화면공간 이미지 타일 크기는 16x16 이하'라고 적는데, 타일 크기를 설명하는 절에서는 8·16·32 중 하나라고 적는다. 질의로 반환되는 값이 후자이므로 8·16·32를 쓰는 편이 규범적이지만, 인용할 때는 이 불일치를 알고 있어야 한다.

4x4 셰이딩률은 화소 16개를 한 번만 셰이딩하고 결과를 복사한다는 뜻이다. 여기서 가장 중요한 성질이 따라온다.

가변 셰이딩률—또는 거친 화소 셰이딩—은 렌더링 성능/전력을 이미지 영역마다 다른 비율로 배분할 수 있게 하는 기법이다. … 거친 화소 셰이딩을 사용할 때에도 깊이·스텐실·커버리지는 언제나 전체 샘플 해상도로 계산되어 출력된다.

Variable-rate shading—or coarse pixel shading—is a mechanism that lets you allocate rendering performance/power at rates that vary across your rendered image. … When coarse pixel shading is used, depth and stencil and coverage are always computed and emitted at the full sample resolution.

깊이와 스텐실과 커버리지가 언제나 전체 샘플 해상도로 계산된다는 것은, 실루엣이 뭉개지지 않는다는 뜻이다. 물체의 경계선은 온전하고 빛과 재질 계산만 싸진다. 이 성질이 포비테이션을 실무적으로 쓸 만하게 만든다. 형태는 유지되고 음영만 성겨지기 때문에 사람이 알아채기 어렵다.

Meta Quest Pro는 이 위에 시선 추적을 얹었다. 렌즈 왜곡만 보고 화면 가장자리를 일괄로 낮추는 고정 포비테이션과 달리, 시선 추적 포비테이션은 응시점을 실제 해상도로 그리고 주변을 훨씬 공격적으로 낮춘다. 대신 요건이 붙는다. Vulkan을 써야 하고 Multiview 스테레오 렌더링이 필수이며 지원 기기가 한정된다.

한계는 숫자가 없다는 것이다. Meta 문서는 시선 추적 포비테이션이 고정 포비테이션보다 '평균적으로 GPU 절감이 크다'고만 적고 구체적 퍼센트를 공개하지 않는다. 다른 상용 기기도 마찬가지다. Apple도 자사 플랫폼의 포비테이션 절감률을 공개하지 않는다. 즉 5~6배와 70%는 논문의 수치이고, 상용 제품의 실제 절감률은 사실상 공개된 숫자가 없다. 이 둘을 구분해서 읽어야 한다.

기술적 부작용도 하나 있다. 거친 화소는 화면공간 미분값을 키워 밉맵 선택을 한 단계 흐린 쪽으로 밀어낸다. 텍스처가 의도보다 더 흐려지므로 셰이더에서 보정해야 한다. ^[5]

2,300만 화소라는 전제 조건

디스플레이 해상도가 어느 선을 넘으면 포비테이션은 선택지가 아니라 전제 조건이 된다. Apple Vision Pro가 그 선을 넘은 첫 상용 제품이다.

표 출처: ^[6] (본문 기준으로 재구성)

화소 피치 7.5μm의 의미는 비교로 잡힌다. 사람 머리카락 굵기가 약 70μm이니, 화소 하나가 머리카락 굵기의 10분의 1이다. 이 밀도의 마이크로 OLED는 그전까지 시제품에만 있었다.

주사율과 메모리 대역폭에서는 세대를 섞지 말아야 한다. 2024년 2월에 출시된 M2 탑재 초판은 90Hz, 96Hz, 100Hz를 지원하고 최대가 100Hz다. 120Hz는 2025년 10월 15일에 발표된 M5 탑재 개정판부터다. 메인 칩 메모리 대역폭도 초판 M2가 100GB/s, M5 개정판이 153GB/s다. 표에 적은 256GB/s는 메인 칩이 아니라 R1 보조 칩의 값이다. Apple의 사양 페이지는 항상 최신 모델 기준으로 갱신되므로, 초판 기기의 근거로 현재 페이지를 그대로 인용하면 세대가 어긋난다.

R1이라는 별도 칩의 역할이 이 제품의 설계 철학을 말해 준다. 메인 칩이 앱을 돌리는 동안 R1은 카메라 12대와 센서 5개, 마이크 6개의 입력만 전담한다. 실제 세계의 빛이 카메라에 들어와 다시 디스플레이에서 광자로 나오기까지 12밀리초를 보장한다. 비디오 패스스루가 '화면을 본다'에서 '창밖을 본다'로 넘어가는 임계점이 이 근처에 있다.

렌더링 관점의 결론은 단순하다. 2,300만 화소를 90Hz 이상으로 전부 그리는 것은 가능하지 않다. 그래서 이 플랫폼은 앱이 포비테이션을 직접 구현하지 않아도 컴포지터 단계에서 적용한다. 포비티드 렌더링이 성능 옵션이 아니라 시스템의 기본 동작이 된 것이다.

한계는 검증이다. 12ms는 Apple의 자체 측정치이고 독립 검증된 수치가 아니다. 눈당 해상도와 시야각은 공식 사양서에 아예 없다. 널리 인용되는 값들은 분해와 3자 측정에서 나왔으며 Apple이 확인한 적이 없다. 비교 표를 만들 때 공식값과 3자 추정치를 같은 칸에 넣으면 나중에 곤란해진다. ^[6]

눈이 모이는 곳과 초점이 맺히는 곳

포비테이션이 계산의 낭비를 줄이는 문제라면, 다음 문제는 착시 자체가 무너지는 지점이다.

사람의 두 눈은 물체를 볼 때 두 가지를 동시에 한다. 눈알을 안쪽으로 모아 시선을 한 점에 맞추는 수렴(vergence), 그리고 수정체 두께를 바꿔 초점을 맞추는 조절(accommodation)이다. 자연 상태에서 이 둘은 평생 같은 거리에 묶여 있다. 가까운 것을 보면 눈이 모이면서 동시에 수정체가 두꺼워진다. 신경계는 이 연결을 평생 학습한다.

스테레오 헤드셋은 이 연결을 끊는다. 화면은 고정된 광학 거리에 있고, 보통 1.3~2m에 상당한다. 조절은 언제나 그 거리에 고정된다. 반면 수렴은 가상 물체의 깊이를 따라 자유롭게 움직인다. 눈앞 30cm에 떠 있는 가상 물체를 보면 눈은 30cm로 모이지만 수정체는 1.5m에 초점을 맞추고 있다. 평생 함께 움직였던 두 신호가 어긋난다.

이 현상을 HMD 맥락에서 처음 보고한 것은 Wann과 Rushton, Mon-Williams가 1995년 『Vision Research』에 실은 논문이다. 실험으로 결정적인 근거를 세운 것은 Hoffman과 Girshick, Akeley, Banks가 2008년 『Journal of Vision』에 발표한 연구다. 이들은 조절 거리를 자유롭게 바꿀 수 있는 광학 벤치를 만들어, 불일치가 없는 조건과 비교했다.

수렴-조절 불일치는 시각 수행을 저해하고 시각 피로를 유발한다.

Vergence–accommodation conflicts hinder visual performance and cause visual fatigue.

논문 제목 자체가 결론이다. 불일치가 있으면 입체시 정확도가 떨어지고 융합에 걸리는 시간이 길어지며 피로와 두통이 늘어난다. 보고되는 증상은 눈 피로, 시각 피로, 두통, 입체 효과의 방향감각 상실, 시각 수행 저하다.

'0.4디옵터까지는 괜찮다'는 기준이 이 논문과 함께 인용되는 일이 많은데, 귀속이 틀렸다. 그 수치는 Shibata와 동료들이 2011년 『Journal of Vision』에 실은 「The zone of comfort」에서 나왔고, Hoffman의 2008년 논문은 이런 단일 상수를 제시하지 않는다. 더 중요한 것은 Shibata의 편안한 영역이 고정 상수가 아니라는 점이다. 시청 거리에 따라 달라지고, 교차 시차와 비교차 시차에 대해 비대칭이다. '한계 0.4디옵터'라는 단일값 서술은 과단순화다. 개인차와 연령차도 크다. 노안이 오면 조절 능력 자체가 줄어들어 문제의 성질이 달라진다.

이 문제의 무게는 '적응하면 된다'는 말로 넘길 수 없다는 데 있다. 광학 구조에서 필연적으로 나오는 문제다. 이 논문 이후 varifocal, multifocal, light field, holographic이라는 네 갈래의 디스플레이 연구가 모두 하나의 질문 아래 정렬된다. 이 불일치를 어떻게 없앨 것인가.

한 가지 투명하게 남겨 둘 점이 있다. Hoffman 등의 2008년 논문 원문 초록은 이번 조사에서 확보하지 못했다. 학술지와 논문 데이터베이스 모두 자동 접근을 차단했다. 위 서술은 제목과 2차 출처 요약에 기반한다. ^[7]

초점면을 옮기는 네 갈래

첫째, varifocal. 가장 직접적인 접근이다. 시선 추적으로 사용자가 지금 어느 깊이를 보고 있는지 알아낸 뒤, 화면의 광학 거리를 그 깊이로 옮긴다. 초점면 하나를 실시간으로 이동시키는 방식이다.

다초점면 디스플레이의 선행은 Akeley와 Watt, Girshick, Banks가 2004년 SIGGRAPH에서 발표한 시제품이다. 널리 알려진 후속은 Meta Reality Labs의 Half Dome 계열이다. 1번 시제품은 기계식 액추에이터로 렌즈의 초점을 물리적으로 다시 맞췄다. 작동은 하지만 가동부 때문에 무겁고 소음이 있으며 수명이 문제였다. 3번 시제품은 가동부를 없애고 액정 렌즈 6층을 쌓은 전자식 구조로 바꿨다. 각 층이 켜짐과 꺼짐 두 상태를 가지므로 층을 조합하면 이산적인 초점 상태를 여러 개 만들 수 있고, 이 방식으로 64개의 이산 초점면을 구현한 것으로 알려져 있다.

렌더링 쪽 부담은 포비테이션과 성질이 같다. 시선 깊이 추정, 초점면 전환, 그에 맞춘 피사계 심도 렌더링이 한 프레임 안에 맞물려야 한다. 시선 추적 지연이 곧 품질이 된다.

한계가 많다. Half Dome 각 세대의 시야각, 디옵터 범위, 초점 전환 지연, 무게 같은 핵심 수치를 이번 조사에서 1차 출처로 확인하지 못했다. 원문 블로그 주소들이 모두 죽어 있었다. 64개 초점면도 2차 출처 기반이다. 공개 연도와 발표 행사도 미검증이다. 원리적으로도 이산 초점면은 근사이고 완전한 연속 조절을 제공하지 못한다. 그리고 이 계열은 여러 해째 시제품 단계에 머물러 있다.

Meta의 Half Dome 시제품은 액정 렌즈 적층으로 64개의 이산 초점면을 만들었으나, 현재 이 기술을 사용한 양산 제품은 없다.

Meta's Half Dome prototypes used liquid crystal lens stacks creating 64 discrete focal planes, but no production products currently available using these technologies.

둘째, 광선장. varifocal이 초점면을 옮기는 접근이라면, 광선장 디스플레이는 눈에 들어오는 광선 자체를 재현하는 접근이다. Lanman과 Luebke가 2013년 『ACM Transactions on Graphics』에 실은 근안 광선장 디스플레이가 이 계열의 기준점이다.

구조는 패널 앞에 마이크로렌즈 배열을 놓는 것이다. 각 렌즈가 패널의 작은 화소 묶음을 서로 다른 방향의 광선으로 쏘아 보낸다. 눈의 동공에 여러 방향의 광선이 동시에 들어오면, 수정체는 어느 거리에 초점을 맞추느냐에 따라 실제 물체를 볼 때와 똑같이 선명해지거나 흐려진다.

우리는 유한한 피사계 심도 범위 안에서 눈의 연속적인 조절을 지원하는 근안 광선장 디스플레이를 제시한다 … 관찰자의 자연스러운 조절 범위 안에서 가상 물체의 선명한 상을 그려낸다 … 거의 올바른 수렴, 조절, 양안 시차, 망막 흐림의 깊이 단서를 제공한다.

We present near-eye light field displays that support continuous accommodation of the eye throughout a finite depth of field … depicting sharp images of virtual objects within a viewer's natural accommodation range … nearly correct convergence, accommodation, binocular disparity, and retinal defocus depth cues.

네 가지 깊이 단서가 모두 동시에, 자연스럽게 제공된다는 것이 이 접근의 힘이다. 시선 추적도 가동부도 필요 없다. 광학만으로 불일치가 사라진다. 마이크로렌즈 배열 덕분에 두께도 극적으로 얇아져, 안경형 형태 인자의 가능성을 처음 보였다.

대가가 치명적이다. 저자들은 해상도와 시야각과 피사계 심도 사이에 근본적인 교환 관계가 있음을 정식화했다. 방향 정보를 담으려면 화소를 각도에 나눠 써야 하므로, 광선장이 풍부해질수록 공간 해상도가 떨어진다. 2013년 시제품의 화질은 당시 일반 헤드셋보다도 낮았다. 이 교환 관계가 광선장 디스플레이가 아직 상용화되지 못한 핵심 이유다. 다만 시제품의 마이크로렌즈 피치와 유효 해상도, 시야각, 조절 범위는 이번 조사에서 확인하지 못했다. 논문 본문에 실려 있을 가능성이 높으므로 '논문에 없다'가 아니라 '확인하지 못했다'로 적는 것이 정확하다.

셋째, 홀로그래픽. 빛의 진폭뿐 아니라 위상까지 제어해 파면 자체를 재구성하는 접근이다. 원리적으로 깊이 단서를 완전하게 제공하므로 불일치가 아예 생기지 않는다. 문제는 광엔진의 부피였다.

근안 홀로그래픽 디스플레이의 선행은 Maimone과 Georgiou, Kollin이 2017년 『ACM Transactions on Graphics』에 실은 연구다. 시야 80°와 90Hz 이상의 실시간 위상 홀로그래피를 보였다. 여기서 한 걸음 더 나간 것이 Gopakumar와 Lee, Choi, Chao, Peng, Kim, Wetzstein이 2024년 『Nature』에 발표한 메타표면 도파관 기반 풀컬러 3D 홀로그래픽 AR 디스플레이다.

표 출처: ^[8][9][10] (본문 기준으로 재구성)

여기서 우리는 역설계된 풀컬러 메타표면 격자, 소형 분산 보상 도파관 구조, 인공지능 기반 홀로그래피 알고리즘의 독창적 결합을 통해 이러한 난제들을 극복하는 홀로그래픽 AR 시스템을 제시한다.

Here we introduce a holographic AR system that overcomes these challenges using a unique combination of inverse-designed full-colour metasurface gratings, a compact dispersion-compensating waveguide geometry and artificial-intelligence-driven holography algorithms.

이 연구에서 가장 오래 남을 발상은 세 번째 항목이다. 실제 도파관은 이론대로 동작하지 않는다. 그 비이상적 거동까지 신경망이 학습해 위상 패턴을 계산한다. 광학의 불완전함을 소프트웨어가 보정하는 구조다. 근안 디스플레이 설계의 표준 문법이 될 가능성이 크다.

한계는 형태 인자와 잡음이다. 시야각, 아이박스 크기, 도파관 두께, 시제품 전체 크기 같은 수치를 이번 조사에서 확인하지 못했다. 홀로그래픽 디스플레이는 일반적으로 스페클 잡음과 좁은 아이박스가 고질적 문제이며, 실시간 위상 계산의 연산 부담도 크다. 연구 시제품이고 상용화 일정은 없다.

넷째, 광학 투시. 앞의 셋이 화면을 고치는 접근이라면, 이 접근은 화면을 통하지 않는다. Microsoft HoloLens 2가 대표 사례다. 사용자가 유리를 통해 실제 세계를 직접 보고, 그 위에 빛을 얹는다. 광엔진의 빛이 도파관 렌즈 안으로 들어가 전반사로 눈앞까지 전달된 뒤 회절 격자로 눈을 향해 빠져나온다.

광학: 투시형 홀로그래픽 렌즈(도파관). 홀로그래픽 해상도: 2k 3:2 광엔진. 홀로그래픽 밀도: 2.5k 라디안트 초과(라디안당 광점 수). 눈 기반 렌더링: 3D 눈 위치에 맞춘 디스플레이 최적화.

Optics: See-through holographic lenses (waveguides). Holographic resolution: 2k 3:2 light engines. Holographic density: >2.5k radiants (light points per radian). Eye-based rendering: Display optimization for 3D eye position.

'눈 기반 렌더링'을 명시적 사양으로 내건 첫 상용 AR 기기라는 점이 이 제품의 위치다. 시선 추적이 인터랙션뿐 아니라 광학 보정에까지 쓰였다.

표 출처: ^[8][9][10] (본문 기준으로 재구성)

베이스라인 98.6mm는 4대 전체에 적용되는 값이 아니다. Microsoft 공식 표는 이 값과 동일 평면 조건을 전방을 향한 가시광 카메라에 한정해 명시한다. 시야각 52°와 가격 3,500달러도 공식 하드웨어 페이지에 없고 3자 출처에서만 확인된다. 공식 디스플레이 항목은 2k 3:2 광엔진과 2.5k 라디안트 초과까지다.

한계가 이 접근의 성격을 가장 잘 보여 준다. 실효 해상도에 논란이 있다. Microsoft는 도당 47화소를 주장했으나 디스플레이 분석가 Karl Guttag는 레이저 빔 스캐닝 방식의 특성상 실측 해상도가 도당 20화소 미만이라고 반박했다. 스캐닝 방식에서 '화소'는 고정 격자가 아니라 빔이 그리는 궤적이므로 정격 수치와 실효 선명도가 크게 벌어질 수 있다. 다만 Guttag의 원문 분석에는 이번에 접근하지 못해 그의 측정 방법을 직접 확인하지는 못했다. 시야각 52°도 여전히 좁아 가상 물체가 시야 가장자리에서 잘려 나간다. 그리고 구조적으로 검은색을 표현할 수 없다. 빛을 더할 수만 있고 뺄 수 없으므로 가상 물체가 언제나 반투명하게 보인다. Microsoft는 2024년 이 제품의 생산 종료를 발표했다. ^[8][9][10]

못 그린 프레임을 만들어낸다

비디오 패스스루에는 두 가지 구조적 문제가 있다. 지연과 왜곡이다.

지연은 앞에서 봤다. 빛이 카메라에 들어와 처리를 거쳐 디스플레이에서 다시 나오기까지의 시간이 길면, 고개를 돌렸을 때 세상이 뒤늦게 따라와 멀미가 난다.

왜곡은 기하학의 문제다. 카메라는 눈이 있는 자리에 없다. 이마 바깥쪽으로 몇 센티미터 떨어져 있다. 카메라가 찍은 영상을 그대로 보여주면 시차가 틀어져 손이 부자연스럽게 커 보이거나 가까운 물체의 거리감이 어긋난다. 보정하려면 장면의 깊이를 추정해 카메라 시점의 영상을 눈 시점으로 재투영해야 한다. 깊이 추정이 틀린 경계에서는 물결치는 왜곡이 남는다.

같은 재투영 기술이 프레임레이트 방어에도 쓰인다. 이쪽 계보가 렌더링 예산에 직접 영향을 준다.

표 출처: ^[11] (본문 기준으로 재구성)

AppSW의 발상이 가장 과감하다. 72Hz로 표시하면서 앱은 36fps로만 그린다. 나머지 프레임은 모션 벡터 버퍼와 깊이 버퍼를 써서 합성한다.

[Application SpaceWarp는] 초기 테스트에서 최대 70퍼센트의 추가 연산 여유를 확보했다. … AppSW가 요구하는 모션 벡터와 깊이 데이터는 [컬러 버퍼보다] 훨씬 낮은 해상도여도 된다.

[Application SpaceWarp] achieved up to 70 percent additional compute in initial testing. … motion vector and depth data required by AppSW can be much lower resolution [than the color buffer].

렌더링 36/45/60fps가 표시 72/90/120Hz가 된다. 모션 벡터와 깊이 버퍼를 컬러보다 낮은 해상도로 만들 수 있다는 점이 절감의 핵심이다. 인스턴스가 수만 개 되는 장면에서 렌더링 예산이 절반으로 줄어드는 것은 결정적이다.

기기별 사양도 정리해 둔다.

표 출처: ^[11] (본문 기준으로 재구성)

Quest 3의 주사율을 '90~120Hz'로 적은 요약을 자주 보게 되는데, 72Hz와 80Hz가 빠진 불완전한 서술이다. Varjo XR-4의 도당 51화소가 기본형 전체에 적용되는 값인지 포커스 영역 한정인지는 공식 제품 페이지에 명시되어 있지 않다. 출시 시점도 그 페이지에 없다.

한계는 재투영의 본질에서 나온다. 재투영은 근본적으로 외삽이다. 빠르게 움직이는 물체의 경계, 반투명 표면, 반사 표면에서 유령상과 찢어짐이 남는다. 패스스루 카메라의 시차 왜곡은 손이 얼굴에 가까울 때 여전히 뚜렷하다. Meta가 Flamera 같은 광선장 패스스루 카메라를 연구하는 이유가 이것이다. 그리고 주요 기기 모두 패스스루 영상의 실효 해상도를 공식 공개하지 않는다. Vision Pro의 12ms도 자체 측정치다. ^[11]

가려지지 않으면 거기 있지 않다

AR이 '겹쳐 보이는 화면'이 아니라 '거기 있는 물건'이 되려면, 실제 세계가 가상 물체를 가려야 한다. 가상 물체가 실제 건물 앞에 떠 있으면 그 순간 거짓말이 들통난다. 문제는 렌더러가 실제 세계의 깊이를 모른다는 것이다.

이 문제의 1차 문헌은 Wloka와 Anderson이 1995년 『Symposium on Interactive 3D Graphics』에 발표한 「Resolving occlusion in augmented reality」다. Azuma가 1997년 『Presence』에 실은 서베이는 이를 인용해 정리하면서, AR의 요건을 세 가지로 못 박았다.

[증강현실은] 세 가지 기본 특징을 갖춘 시스템이다: 실제 세계와 가상 세계의 결합, 실시간 상호작용, 그리고 가상 물체와 실제 물체의 정확한 3차원 정합.

[AR is] a system that incorporates three basic features: a combination of real and virtual worlds, real-time interaction, and accurate 3D registration of virtual and real objects.

세 번째 요건이 가림 처리가 존재하는 이유다. 가림은 정합이 시각적으로 검증되는 가장 엄격한 시험대다. 몇 센티미터만 어긋나도 경계에서 바로 보인다.

해법은 세 갈래다.

정적 환경 메시. 깊이 센서로 공간을 스캔해 실시간 환경 메시를 만들고, 렌더러가 이 메시를 깊이 버퍼에만 쓰고 색은 그리지 않는 '가림 전용 지오메트리'로 처리한다. 벽과 바닥과 가구처럼 움직이지 않는 것은 이걸로 충분하다. HoloLens 2의 1MP ToF 깊이 센서가 이 방식의 표준을 세웠다. 다만 ToF 깊이 센싱의 기점을 2019년으로 잡으면 계보를 놓친다. HoloLens 1세대가 2016년에 이미 ToF 센서를 탑재했고, 그 계보는 2010년 Kinect까지 올라간다. HoloLens 2의 1MP ToF는 2세대 개선이지 최초가 아니다.

실시간 깊이 맵. Meta의 Depth API가 매 프레임 깊이 맵을 앱에 넘겨, 지나가는 사람이나 손처럼 움직이는 것까지 가릴 수 있게 한다. 동적 가림이다.

의미 분할. Apple ARKit의 People Occlusion은 사람을 따로 분할해 사람 뒤로 가상 물체를 보낸다. 도입 시점을 정리하면 2019년에 해당하는 것은 ARKit 3의 People Occlusion이고, LiDAR 스캐너는 2020년 3월 iPad Pro와 그해 10월 iPhone 12 Pro부터다. 두 시점을 한 해로 묶으면 안 된다. People Occlusion의 도입 버전과 연도 자체도 이번 조사에서 1차 출처로 확인하지 못했다.

표 출처: ^[12] (본문 기준으로 재구성)

이 표가 실무에서 가장 자주 쓰이는 정보인데, 정작 중요한 칸이 비어 있다. Meta는 깊이 맵의 해상도와 갱신 주기, 정확도를 공개하지 않는다. 문서에 명시되어 있지 않다. 확인된 것은 최소 유효 거리 0.2m뿐이다.

한계가 여기서 가장 두껍다. 0.2m 미만에서는 손 가림의 정확도가 떨어져 손가락 윤곽이 뭉개진다. Depth API는 가림과 레이캐스팅에는 쓸 수 있지만 물리 충돌에는 쓸 수 없다. 더 근본적으로, 실외 현장은 실내보다 훨씬 불리하다. ToF와 구조광 방식 모두 직사광선에 취약하다. 그리고 잎처럼 얇고 미세하며 반투명한 경계는 깊이 센서가 가장 못 다루는 형태다. 경계가 뭉개지면 가림도 뭉개지고, 가림이 뭉개지면 크기와 거리 판단이 무너진다.

현장에 서서 아직 세워지지 않은 구조물을 미리 확인하려는 용도를 생각해 보면 이 한계의 무게가 드러난다. 그 구조물이 기존 물체와 건물에 제대로 가려져야 크기와 위치를 판단할 수 있다. 실내 몇 미터 범위에서는 지금 기술로 충분하다. 야외 원거리 가림은 여전히 미해결이며, 위성 측위와 SLAM과 의미 분할을 결합한 접근이 연구 단계에 있다. ^[12]

무엇을 믿고 무엇을 의심할 것인가

이 장의 숫자들은 성격이 두 층으로 갈린다. 논문에서 나온 절감률과 지연 예산은 실험 조건이 명시되어 재현 가능한 값이다. 상용 제품의 절감률은 사실상 공개되어 있지 않다. Meta는 시선 추적 포비테이션이 고정 포비테이션보다 '평균적으로' 낫다고만 적는다. Apple은 자사 플랫폼의 포비테이션 절감률을 공개하지 않는다. 패스스루의 실효 해상도도, 깊이 맵의 정확도도 공개되지 않는다.

그래서 성능 예측을 세울 때의 규칙은 단순하다. 논문의 5~6배와 70%는 상한이 아니라 특정 조건의 관측값으로 읽는다. 시선 추적 포비테이션의 이득은 콘텐츠에 따라 크게 흔들린다고 가정한다. 가는 선과 작은 텍스트와 규칙적 격자가 많은 화면은 이 최적화의 최악 조건이라고 미리 잡아 둔다. 그리고 수렴-조절 불일치는 지금 살 수 있는 어떤 제품으로도 해결되지 않았다는 사실을 착용 시간 계획에 반영한다.

포비티드 렌더링은 눈의 구조가 남긴 낭비를 되찾는 기술이고, 그 되찾음의 한계는 눈이 무엇에 둔감한가가 아니라 눈이 무엇에 여전히 예민한가에서 정해진다. 대비와 깜박임과 지연과 가림 경계, 그 네 가지가 예민함의 목록이다. ^{[2][4][6][10]}

한 문장

시선이 닿는 좁은 영역에만 힘을 쏟는 것이 몰입형 렌더링의 유일한 경제학이고, 그 절감이 들키는 지점은 언제나 사람이 여전히 예민한 신호 — 대비, 깜박임, 지연, 가림 경계 — 에서 나온다. ^[1][4][7]