눈은 어떻게 거리를 아는가

증강현실을 "3차원 물체를 화면에 띄우는 기술"이라고 이해하면 곤란한 일이 생긴다. 그 이해로는 실패가 설명되지 않는다. 물체를 정확히 모델링하고 정확히 그려도 그것이 공간 속 제자리에 있어 보이지 않는 일이 흔하다. 가상 의자가 바닥에서 몇 센티미터 떠 보인다. 가상 안내판이 벽보다 앞에 있어야 하는데 벽을 뚫고 보인다. 눈이 아프다. 이 현상들은 그래픽 품질의 문제가 아니다. 인간의 깊이 지각이 무엇을 입력으로 받는지, 그 입력 중 무엇을 기계가 만들어낼 수 있고 무엇을 만들어낼 수 없는지의 문제다.

그래서 이 장은 기계가 아니라 눈에서 시작한다. 눈이 거리를 어떻게 알아내는지 알면, 기계가 무엇을 위조해야 하는지가 나온다.

눈 바닥에 도착한 그림에는 거리가 없다

망막은 곡면이지만 본질적으로 2차원 센서다. 3차원 공간의 한 점이 눈으로 들어오면 나눗셈을 한 번 거쳐 평면에 찍힌다. 공간 좌표 (X, Y, Z)는 상 좌표 (fX/Z, fY/Z)가 된다. f는 눈의 절점에서 망막까지의 거리이고 사람의 경우 약 17밀리미터다. 이 나눗셈에서 Z가 사라진다. 분모로 들어가 약분되어 버린다.

결과는 이렇다. 한 점이 망막 어딘가에 맺혔다는 사실은 그 점이 눈에서 뻗어 나간 하나의 시선 위에 있다는 것만 말해 준다. 그 선 위의 어느 지점인지는 말해 주지 않는다. 5센티미터 앞의 먼지와 5킬로미터 앞의 산봉우리가 같은 자리에 찍힐 수 있다.

버클리는 1709년에 이 사정을 정확히 적었다. 거리는 그 자체로는 보이지 않는다. 거리를 나타내는 선이 눈의 바닥에서 한 점으로 끝나기 때문이다. 3백 년 전의 문장이지만 기하학적으로 여전히 맞다.

이 상황을 이해하는 데 도움이 되는 그림이 하나 있다. 창문 유리에 물감을 대고 창밖 풍경을 그대로 따라 그린다고 하자. 그 그림 한 장만 들고 있는 사람에게 "그림 속 나무가 몇 미터 앞에 있었는가"를 묻는다. 답은 그림 안에 없다. 그림 밖의 단서와 상식으로 채워 넣어야 한다. 망막이 받는 것이 정확히 그 그림이다.

그러므로 깊이 지각은 측정이 아니다. 마르가 1982년에 정리한 표현을 쓰면, 그것은 역문제 풀이다. 미지수보다 방정식이 부족한 문제를 억지로 푸는 일이다. 뇌는 두 가지를 동원한다. 하나는 여러 개의 부분적 단서다. 각각은 불완전하고 조건부이며 거리대마다 유효성이 다르다. 다른 하나는 세상에 대한 사전 가정이다. 빛은 위에서 온다. 물체는 강체다. 바닥은 평평하다. 팔머가 1999년 시각과학 교과서에서 정리한 대로, 이 가정들이 없으면 역문제는 풀리지 않는다.

정보량의 규모를 보면 문제의 성격이 더 분명해진다. 인간 망막에는 간상세포가 약 1억 2천만 개, 원추세포가 약 6백만 개 있다. 이 신호가 시신경 축삭 약 100만 개로 빠져나간다. 전체로 보면 100대 1 수준의 수렴이다. 다만 이 비율을 중심시에 그대로 적용하면 틀린다. 중심와에서는 원추세포 하나가 미짓 신경절세포 약 두 개로 이어져 사실상 확장에 가깝다. 100대 1급 수렴은 간상세포와 주변시의 성질이다.

중심와의 공간 분해능은 다음 표의 세 값으로 요약된다. 단위를 분각과 초각으로 통일해 비교했다.

표 출처: ^[1] (본문 기준으로 재구성)

여기서 눈여겨볼 것은 마지막 줄이다. 두 선분이 한 직선 위에 놓였는지를 판정하는 과제에서 인간은 수용체 간격보다 미세한 차이를 잡아낸다. 최적 조건의 5초각을 기준으로 하면 원추 간격의 약 6분의 1, 시력 한계의 약 12분의 1이다. 개별 수용체가 표본화하지 못하는 정보를 여러 수용체의 응답 분포에서 복원한다는 뜻이다. 눈은 카메라보다 추론기에 가깝다.

그리고 여기에 증강현실이 성립하는 이유가 있다. 뇌가 추론으로 깊이를 만든다면, 추론의 입력을 위조하면 존재하지 않는 깊이를 만들어 넣을 수 있다. 정확한 표현은 "3차원 물체를 띄우는 기술"이 아니라 "깊이 추론의 입력을 위조하는 기술"이다. 그렇다면 위조해야 할 입력의 목록이 필요하다. 목록의 각 항목마다 얼마나 정확히 위조해야 하는지도 필요하다. 이 장의 나머지가 그 목록이다. ^[1]

가림, 가장 강하지만 가장 인색한 증인

한 물체의 윤곽이 다른 물체의 윤곽을 끊고 지나가면 끊은 쪽이 앞이다. 이 판정의 시각적 서명은 T자 접합이다. 두 윤곽이 T자 모양으로 만날 때 세로획을 가진 쪽, 즉 끊긴 쪽이 뒤에 있는 물체다. 나카야마와 시모조, 실버먼이 1989년에 보였듯 이 판정은 자동적이고 빠르다.

가림이 모든 거리대에서 최강 단서가 되는 이유는 세 가지다.

첫째, 물리적으로 위배되기 어렵다. 불투명한 물체는 예외 없이 뒤를 가린다. 반례는 거울과 유리, 그림자 정도이고 자연 장면에서 드물다.

둘째, 판정에 필요한 정밀도가 낮다. 두 윤곽이 만나서 하나가 끊기는지만 보면 된다. 미세한 양을 재는 과제가 아니다.

셋째, 성능이 거리에 거의 무관하다. 커팅과 비시턴이 1995년에 아홉 단서를 공통 척도로 비교했을 때, 가림은 가시 범위 전체에서 약 0.1퍼센트의 일정한 깊이 역치를 제공했다. 그들이 든 예시가 이 값의 뜻을 잘 보여준다. 1미터 거리에서는 종이 한 장 두께, 2킬로미터 거리에서는 건물 앞에 선 자동차의 폭이다. 다른 단서들은 거리 z 또는 z의 제곱에 비례해 무너지지만 가림은 그렇지 않다.

대가는 인색함이다. 가림은 순서만 알려준다. 거리 차이의 양은 한 톨도 알려주지 않는다. 손가락이 달을 가린다는 사실에서 손가락이 달보다 38만 킬로미터 가깝다는 정보는 나오지 않는다. 그저 손가락이 앞이라는 것만 나온다.

책상 위에 명함 두 장을 겹쳐 놓아 보면 알 수 있다. 어느 쪽이 위인지는 자를 대지 않고도 즉시 안다. 그러나 두 장의 간격이 0.1밀리미터인지 1밀리미터인지는 아무리 보아도 알 수 없다. 가림은 판사이지 측량사다 — 앞뒤를 선고하고 거리는 함구한다.

이 순서 전용이라는 성질 때문에 가림을 다른 단서와 같은 축에 놓는 일에는 주의가 필요하다. 깊이차 비율로 역치를 정의하는 방식은 원래 양을 주는 단서를 위한 것이다. 커팅과 비시턴의 도표에서도 가림은 값이 0인 선이 아니라 순서 판별의 최소값 위치에 전 거리대에 걸친 수평선으로 그려진다.

증강현실에서 가림은 단일 최대 난제다. 가상 물체를 실제 장면 위에 그리면 깊이 의도와 무관하게 무조건 앞에 보인다. 벽 뒤에 두려 한 안내판이 벽을 투시한 것처럼 보이는 현상이 이것이고, 흔히 투시 문제라고 부른다. 원인은 광학에 있다. 광학투과 방식은 실세계 빛에 가상 빛을 더하기만 한다. 더하기만 하는 장치는 검은 픽셀을 만들 수 없다. 검은 픽셀을 만들 수 없으면 실물을 가릴 수 없다. 비디오투과 방식은 실세계를 카메라로 받아 깊이맵과 함께 합성하므로 가림을 해결한다. 대가는 통과 영상의 지연과 화질, 시야다. 어떤 방식을 고를 것인가는 결국 가림을 포기할 것인가라는 질문으로 환원된다. ^[2]

두 눈이라는 측량기

두 눈이 좌우로 떨어져 있어 같은 장면을 조금 다른 각도에서 본다. 두 망막의 대응 지점에 맺히는 점들의 자취를 호롭터라 부른다. 이론적으로는 주시점과 두 눈의 절점을 지나는 원, 그리고 그에 수직인 선이다. 실제로 측정하면 근거리에서 이론보다 편평해지고, 편심 주시에서는 뒤틀린다. 주의할 점이 하나 있다. 호롭터는 주시점과 같은 깊이의 정면 평면이 아니다. 그 평면 위의 점들은 시차가 0이 아니다.

호롭터를 벗어난 점은 두 망막에서 어긋나게 맺힌다. 이 어긋남이 양안시차다. 소각 근사에서 깊이차가 만드는 시차각은 눈 사이 거리와 깊이차의 곱을 거리의 제곱으로 나눈 값이다. 분모의 제곱이 핵심이다. 거리가 두 배 멀어지면 같은 깊이차가 만드는 시차는 4분의 1로 줄어든다. 감도가 거리 제곱으로 무너진다는 뜻이다.

엄지를 세우고 한쪽 눈씩 번갈아 감으면 엄지가 좌우로 껑충 뛴다. 그 뛰는 폭이 곧 거리계다. 팔을 뻗을수록 폭이 급격히 줄고, 저 멀리 건물은 아예 뛰지 않는다.

숫자로 보면 이 붕괴가 얼마나 빠른지 분명해진다. 성인 평균 눈 사이 거리 63밀리미터를 기준으로, 판별 가능한 최소 깊이차를 세 가지 역치에 대해 계산했다. 5초각에서 10초각은 최적 실험실 조건의 값이고 20초각에서 40초각은 임상 정상 범위다.

표 출처: ^[3] (본문 기준으로 재구성)

첫 열의 값을 일반적인 인간 성능으로 읽으면 안 된다. 그것은 상한이다. 임상 정상 범위를 넣으면 같은 식이 2배에서 4배 나쁜 값을 준다. 실사용 조건에서 10미터 앞 두 물체의 30센티미터 깊이차를 시차만으로 분간하기 어렵다는 뜻이다.

이 표의 함의는 커팅과 비시턴의 구역 구분과 직결된다. 그들은 양안시차와 운동 원근의 유용성이 10퍼센트 깊이 역치에 도달하는 지점을 약 30미터로 보고, 이 거리를 행동공간의 상한으로 삼았다. 30미터를 넘으면 두 눈을 쓰는 이득이 크게 감소한다. 양안시차가 수백 미터까지 느리게 감쇠한다는 서술은 이 기준과 맞지 않는다.

또 하나의 한계는 융합이다. 시차가 일정 범위를 넘으면 두 상이 하나로 합쳐지지 않고 이중상으로 갈라진다. 이 범위를 파눔 융합역이라 부르는데, 자극의 공간 주파수와 크기, 노출 시간, 편심도에 강하게 의존해 문헌값이 수 분각에서 수십 분각까지 흩어진다. 단일 상수로 쓸 수 없는 양이다. 그리고 융합역을 넘어도 깊이감이 사라지지는 않는다. 정성적 입체감은 수 도 단위의 시차까지 유지된다.

마지막으로 시차만으로는 절대 거리를 알 수 없다. 시차는 비율을 준다. 그 비율을 미터로 환산하려면 눈 사이 거리와 수렴 각도를 알아야 한다.

증강현실에서 양안시차는 재현하기 가장 쉬운 단서다. 좌우 눈에 다른 영상을 그리면 끝난다. 그래서 거의 모든 헤드셋이 이것부터 한다. 함정은 눈 사이 거리다. 성인 평균은 63밀리미터지만 범위는 대략 50밀리미터에서 75밀리미터에 걸친다. 렌더링에 가정한 값이 실제 사용자와 4밀리미터, 즉 6.3퍼센트 다르면 인지되는 거리 전체가 약 6퍼센트 체계적으로 편향된다. 개별 물체의 오차가 아니라 공간 전체의 배율 오차다. 헤드셋에 눈 사이 거리 조절 장치가 붙어 있는 이유이고, 자동 측정이 고급 기기의 기본 기능이 된 이유다. ^[3]

수렴, 절대 거리를 말하는 드문 증인

가까운 것을 볼 때 두 눈은 안쪽으로 모이고 먼 것을 볼 때 평행해진다. 이 모임 각도는 눈 사이 거리와 대상 거리로 결정된다. 중요한 점은 이 정보가 망막 이미지에서 나오지 않는다는 것이다. 안구 근육의 상태에서 나온다. 망막 바깥의 정보라는 뜻이다.

그래서 수렴은 드문 성질을 갖는다. 절대 거리를 준다. 장면 안에 비교 대상이 없어도, 아는 물체가 하나 없어도, 각도만으로 몇 미터인지 나온다. 대부분의 단서가 비교와 상대 관계에 의존하는 가운데 이것은 예외다.

문제는 감도다. 거리에 대한 각도 변화율이 거리의 제곱에 반비례한다. 다음 표가 그 결과다. 눈 사이 거리 63밀리미터를 가정했다.

표 출처: ^[4] (본문 기준으로 재구성)

1미터에서 2미터로 갈 때는 각도가 1.8도 줄어든다. 10미터에서 20미터로 갈 때는 0.18도 줄어든다. 같은 두 배 변화인데 신호의 크기가 열 배 다르다. 안구 위치 감각 자체의 잡음을 감안하면 실용 한계는 대략 2미터다. 트레실리언과 몬윌리엄스, 켈리가 1999년에 수렴 단서의 신뢰성을 높이는 조건을 검토한 연구에서도, 낙관적으로 보아 3미터에서 6미터 정도가 상한이다.

양팔로 물건을 안을 때 팔이 얼마나 벌어졌는지로 물건 크기를 짐작하는 일과 비슷하다. 눈은 두 눈이 모이는 각도로 거리를 짐작한다. 다만 물건이 멀어지면 팔이 거의 움직이지 않아 분간이 되지 않는다.

수렴은 혼자 움직이지 않는다. 수렴과 조절은 신경적으로 교차 연결되어 있다. 수렴이 일어나면 조절이 따라오고 조절이 일어나면 수렴이 따라온다. 임상에서는 이 연동 비율을 별도의 지표로 측정한다. 하워드와 로저스가 정리한 대로, 이 두 계통을 따로 떼어 생각하는 것은 실험실에서만 가능한 일이다.

증강현실에서 수렴은 공짜다. 양안 시차를 제대로 주면 눈이 알아서 모인다. 진짜 문제는 수렴이 정확히 작동한다는 바로 그 사실이다. 수렴은 가상 물체가 있다고 주장되는 거리를 충실히 가리킨다. 그런데 초점은 하드웨어가 정한 자리에 묶여 있다. 두 증인이 같은 물체에 대해 다른 거리를 증언한다. ^[4]

초점이라는 배신자

수정체의 굴절력을 바꿔 상을 망막에 맺는 작용이 조절이다. 그 강도는 디옵터로 잰다. 디옵터는 거리의 역수다. 1미터는 1디옵터, 2미터는 0.5디옵터, 무한대는 0디옵터다.

조절 상태도 수렴처럼 망막 바깥의 신호이므로 원리적으로는 절대 거리를 말할 수 있다. 그런데 두 가지가 발목을 잡는다.

첫째는 초점심도다. 인간 눈의 초점심도는 대략 플러스마이너스 0.2에서 0.3디옵터다. 동공 크기와 판정 기준에 따라 변한다. 이 범위 안의 거리 차이는 흐림으로 전혀 구분되지 않는다. 문제는 디옵터가 거리의 역수라는 점이다. 먼 거리일수록 같은 디옵터 폭에 해당하는 거리 범위가 폭발적으로 넓어진다.

표 출처: ^[5] (본문 기준으로 재구성)

표의 마지막 두 줄을 나란히 읽어 보면 사정이 드러난다. 1미터와 2미터의 차이가 0.5디옵터다. 2미터와 무한대의 차이도 0.5디옵터다. 조절이라는 증인에게 2미터 너머는 전부 같은 곳이다 — 10미터와 무한대를 구별할 방법이 없다.

카메라 초점링을 돌려 거리를 읽는 일과 같다. 30센티미터에서 1미터까지는 링이 큰 각도로 돌아간다. 5미터에서 무한대까지는 링 끝에서 겨우 몇 밀리미터 움직인다. 그 구간에서는 링의 눈금으로 거리를 읽을 수 없다.

둘째는 노화다. 조절 진폭은 나이가 들면서 거의 선형으로 붕괴한다. 듀언이 1912년에 전 연령대의 정상값을 정리한 고전 자료가 기준선으로 쓰인다. 널리 재현되는 평균 곡선은 10세에 약 14디옵터, 20세에 약 11디옵터, 30세에 약 9디옵터, 40세에 약 6디옵터, 50세에 약 2에서 2.5디옵터, 60세에 1디옵터 이하다. 임상에서 쓰는 평균 근사식 하나는 18.5에서 연령의 0.3배를 빼는 형태이고, 이 식으로는 20세에 12.5디옵터, 40세에 6.5디옵터가 나온다. 주의할 점이 둘 있다. 1912년 인구를 대상으로 한 자료라는 점, 그리고 측정 기준을 주관적 흐림으로 잡는지 객관적 굴절 변화로 잡는지에 따라 수 디옵터가 달라진다는 점이다. 그래도 방향은 확고하다. 50대에는 이 증인이 법정에 나오지 못한다.

흐림 자체에는 부호가 없다. 상이 흐리다는 사실은 초점이 앞으로 틀렸는지 뒤로 틀렸는지 알려주지 않는다. 눈의 색수차와 비대칭 수차가 이 부호를 부분적으로 복원해 준다. 파장에 따라 굴절률이 다르므로 흐림의 색 구성이 방향 정보를 담는다.

여기서 구분을 하나 해 두어야 한다. 조절이 2미터 부근에서 은퇴한다는 이야기는 조절 근육의 상태, 즉 망막 바깥 신호에 해당한다. 망막에 맺힌 흐림 패턴 자체는 별개의 단서이고, 유효 범위도 다르다. 헬드와 쿠퍼, 뱅크스가 2012년에 보인 결론이 이 구분을 뒷받침한다. 흐림과 양안시차는 상보적이며, 시차가 약해지는 원거리와 대규모 장면에서 흐림의 상대적 기여가 오히려 커진다. 조절 신호와 흐림 단서를 한 범주로 묶으면 두 가지 다른 것을 섞는 셈이 된다.

참고로 눈은 아무 자극이 없을 때 무한대에 초점을 맞추지 않는다. 라이보위츠와 오웬스가 1975년에 보인 대로, 어둠 속에서 조절은 약 1.5디옵터, 즉 67센티미터 부근의 휴식 상태로 돌아간다.

증강현실에서 조절은 재현이 가장 어려운 단서다. 통상의 헤드셋은 고정된 광학 상면 하나만 갖는다. 마이크로소프트의 혼합현실 설계 지침은 디스플레이의 초점거리를 약 2.0미터로 명시하고 콘텐츠의 최적 배치 범위를 1.25미터에서 5미터로 권고한다. 매직리프 원은 초점면을 두 장 두어 근거리와 중거리를 나눴다. 가변초점 광학, 다초점 디스플레이, 라이트필드, 홀로그래픽 디스플레이가 모두 이 한 단서를 되살리기 위한 시도다. ^[5]

수렴과 조절이 싸울 때

실세계에서는 수렴 거리와 조절 거리가 항상 같다. 손끝을 보면 눈은 손끝으로 모이고 초점도 손끝에 맞는다. 두 계통이 신경적으로 짝지어져 있으므로 한쪽만 움직이는 일이 거의 없다.

스테레오 디스플레이는 이 짝을 강제로 분리한다. 수렴은 양안 시차가 지시하는 가상 거리를 따라간다. 초점은 광학 상면에 묶인다. 두 회로가 서로 다른 값을 요구하며 싸우고, 그 대가가 눈 피로와 두통, 융합 지연, 깊이 판단의 왜곡이다. 호프먼과 거식, 애클리, 뱅크스가 2008년에 초점 단서를 올바르게 제시한 조건과 그렇지 않은 조건을 비교해 이 대가를 정량적으로 보였다. 초점을 맞춰 준 조건에서 스테레오 융합 시간이 짧아지고 피로 보고가 줄었다.

손가락은 코앞 30센티미터를 가리키는데 눈의 초점은 2미터 벽에 못 박혀 있는 상태를 생각하면 된다. 몸의 두 기관이 같은 물체에 대해 다른 거리를 증언하고, 뇌는 그 모순을 매 순간 중재하느라 지친다.

중요한 실무 규칙이 하나 있다. 이 충돌의 크기는 미터가 아니라 디옵터로 재야 한다. 상면 2미터, 즉 0.5디옵터를 기준으로 콘텐츠 거리별 충돌량을 계산하면 다음과 같다.

표 출처: ^[6] (본문 기준으로 재구성)

미터로 보면 1.25미터와 5미터는 상면에서 각각 0.75미터, 3미터 떨어져 있어 전혀 대칭이 아니다. 디옵터로 보면 둘 다 0.3디옵터다. 이것이 디옵터로 재야 하는 이유다.

편안한 영역의 경계값에 대해서는 정확한 인용이 필요하다. 시바타와 김, 호프먼, 뱅크스가 2011년에 스테레오 디스플레이의 불편을 예측하는 편안 영역을 측정했는데, 업계에서 흔히 인용되는 "상면 기준 플러스마이너스 0.3디옵터"는 이 논문의 결과가 아니다. 논문이 제시한 것은 상수 창이 아니라 회귀선이고, 그 경계의 기울기는 1보다 크다. 부호별 편차는 최소 0.3디옵터에서 최대 0.8디옵터 사이에 놓인다. 최소값 0.3디옵터는 캠벨이 1957년에 보고한 초점심도에서 온 값이다.

거리 의존 방향도 통념과 반대다. 디옵터로 잰 편안 영역은 원거리에서 좁고 근거리에서 넓다. 같은 디옵터 크기의 충돌이라면 근거리보다 원거리에서 약간 더 불편하다. 비대칭은 부호에 따라 갈린다. 화면 뒤쪽으로 들어가는 충돌은 원거리 시청에서 더 불편하고, 화면 앞쪽으로 나오는 충돌은 근거리 시청에서 더 불편하다. 근거리 시청이 총 피로가 크다는 사실과 디옵터 창이 근거리에서 넓다는 사실은 양립한다. 창의 폭과 누적 피로는 다른 양이다.

하드웨어 권고치는 정확히 옮겨야 한다. 마이크로소프트의 혼합현실 편안성 문서는 홀로렌즈 1세대와 2세대에 공통으로 적용되는 지침으로 다음을 제시한다. 디스플레이 고정 초점거리 약 2.0미터, 최적 콘텐츠 배치 1.25미터에서 5미터, 40센티미터부터 콘텐츠를 서서히 사라지게 할 것, 렌더링 클리핑 평면은 30센티미터에 둘 것, 40센티미터보다 가까운 홀로그램은 제시하지 말 것이다. 1미터 이내의 콘텐츠도 근거리 직접 상호작용 용도로는 허용되며, 전체 사용 시간의 일부로 제한하는 깊이 예산 개념을 쓴다. 문서의 표현은 거리가 줄면 불편 가능성이 지수적으로 증가한다는 것이지 사용 불가가 아니다.

두 가지 흔한 오기를 짚어 둔다. 근접 클리핑 값으로 자주 인용되는 0.85미터는 이 편안성 지침의 값이 아니다. 구 윈도 홀로그래픽 응용 프로그래밍 인터페이스의 기본 근평면 값이다. 그리고 1.25미터에서 5미터라는 권장 범위가 플러스마이너스 0.3디옵터 계산과 정확히 일치한다는 설명은 사후 역산이다. 마이크로소프트가 그 범위를 경험적으로 제시한 것이지 디옵터 창에서 도출한 것이 아니다.

이 하나의 물리량에서 증강현실 기기의 콘텐츠 배치 규칙, 클리핑 거리, 광학 설계, 사용 시간 권고가 전부 나온다. 손 앞 작업 거리인 30센티미터에서 70센티미터를 지원하려는 모든 기기가 여기서 막힌다. 가변초점 광학이 다음 세대의 경쟁 지점이 된 이유가 이것이다. ^[6]

움직여야 보이는 깊이

관찰자가 옆으로 움직이면 가까운 물체는 빠르게, 먼 물체는 느리게 반대 방향으로 흐른다. 커팅과 비시턴은 이것을 운동 원근이라 불렀다. 흔히 운동시차라고도 한다.

기하학적으로 이것은 양안시차와 같은 삼각측량이다. 다른 점은 기선이다. 두 눈 사이 거리가 아니라 머리가 움직인 거리가 기선이 된다. 그래서 잠재력이 더 크다. 6.3센티미터만 움직이면 양안시차와 동등하고, 한 걸음 옆으로 가면 기선이 수십 센티미터가 된다.

달리는 기차 창밖을 보면 전봇대는 휙휙 지나가고 먼 산은 거의 따라온다. 그 속도 차이가 곧 거리표다.

수치를 볼 때 두 가지 각속도를 구분해야 한다. 하나는 절대 각속도다. 측방 이동 속도를 거리로 나눈 값이다. 다른 하나는 두 특징 사이의 차등 각속도이고, 이것이 깊이차를 실제로 부호화한다. 차등 각속도는 이동 속도와 깊이차의 곱을 거리의 제곱으로 나눈 값이다. 양안시차와 똑같은 거리 제곱 법칙이다. 단서의 유효 범위를 정하는 것은 이 차등 성분이다.

표 출처: ^[7] (본문 기준으로 재구성)

역치도 두 가지를 구분해야 한다. 참조물이 없는 절대 운동의 검출 역치는 대략 0.1에서 0.3도/s다. 그러나 정지한 참조물이 함께 보일 때의 상대 운동 역치는 훨씬 미세해 대략 1에서 2분각/s, 즉 0.02에서 0.03도/s 수준이다. 한 자릿수 차이다. 운동 원근의 판정은 후자에 해당한다. 절대 운동 역치를 이 단서의 한계 근거로 쓰면 앞의 표와 어긋나는 결론이 나온다.

조건이 하나 붙는다. 망막 위의 움직임만으로는 물체가 움직인 것인지 내가 움직인 것인지 알 수 없다. 자기 운동 정보가 결합되어야 부호와 절대 스케일이 확정된다. 안구 운동의 원심성 복사, 전정 신호, 목의 고유수용감각이 그 역할을 한다. 나브롯이 2003년에 안구 운동 신호가 이 역할을 한다는 것을 실험으로 보였다. 로저스와 그레이엄은 1979년에 시차 이외의 모든 단서를 제거한 자극에서도 사람이 양안시차에 필적하는 깊이를 본다는 것을 보였다. 운동 원근이 독립 단서라는 근거가 이 실험이다.

가만히 서 있을 때도 이 단서는 완전히 꺼지지 않는다. 정립 자세의 자연스러운 체간 동요로 머리가 미세하게 흔들린다. 통상 수 밀리미터 수준의 실효값이고 좌우 최대 진폭이 약 1센티미터에 이른다. 근거리에서는 이것만으로도 유의미한 시차가 발생한다.

증강현실에서 운동 원근은 6자유도 머리 추적이 정확하면 저절로 나온다. 부정확하면 즉시 무너진다. 지연이 오차로 번역되는 비율을 계산해 두면 예산을 잡을 수 있다. 머리 병진 속도 0.5미터/초에서 지연 20밀리초는 위치 오차 1센티미터를 만든다. 머리 회전 100도/초에서 지연 10밀리초는 각도 오차 1.0도를 만들고, 팔 길이 0.6미터 지점에서는 약 10.5밀리미터의 어긋남이 된다. 가상 물체가 머리 움직임에 맞춰 헤엄치듯 미끄러지는 현상이 이 단서의 오염이다. 아주마와 비숍이 1994년에 광학투과 헤드셋의 정적 정합과 동적 정합을 개선하는 문제를 정리했는데, 그 이후로도 지연은 사라지지 않았다. ^[7]

바닥이라는 기준면

지면에 놓인 물체는 멀수록 시야에서 높은 곳, 즉 지평선에 가까운 곳에 보인다. 눈높이와 거리로 시선의 하강각이 결정된다. 하강각은 눈높이를 거리로 나눈 값의 아크탄젠트다.

이 단서가 강력한 이유는 상수가 크기 때문이다. 서 있는 사람의 눈높이 1.6미터는 양안 기선 6.3센티미터의 약 25배다. 같은 거리 제곱 감도 저하를 겪어도 절대 성능이 훨씬 오래 유지된다. 그래서 커팅과 비시턴의 분석에서 행동공간과 조망공간 모두 가림 다음가는 자리를 차지한다.

게다가 이 단서는 절대 거리를 준다. 눈높이를 알면 하강각에서 바로 미터가 나온다. 눈높이 1.6미터를 기준으로 계산한 값이 다음과 같다.

표 출처: ^[8] (본문 기준으로 재구성)

감도를 계산할 때 흔한 실수가 있다. 하강각의 미분을 눈높이를 거리의 제곱으로 나눈 값으로 적는 경우가 있는데, 그것은 거리가 눈높이보다 훨씬 클 때만 성립하는 근사다. 정확한 값은 눈높이를 거리의 제곱과 눈높이의 제곱의 합으로 나눈 값이다. 이 단서의 유효 하한으로 흔히 제시되는 2미터에서 두 값을 비교하면 차이가 크다. 정확값은 미터당 0.244라디안이고 근사값은 0.400라디안이다. 근사를 쓰면 감도를 64퍼센트 과대평가한다.

전제 조건이 둘 있다. 물체가 지면에 접촉해 있어야 한다. 접촉하지 않으면 이 단서의 정보량은 0이다. 그리고 관찰자가 자신의 눈높이와 시선 방향, 따라서 지각된 눈 수준을 알아야 한다. 우이와 우, 허가 2001년에 프리즘으로 지각된 눈 수준을 조작해 이 메커니즘을 직접 입증했다. 눈 수준을 옮기면 거리 판단이 예측한 방향으로 정확히 어긋났다. 세지윅이 1986년에 정리한 공간 지각 개관도 지평선을 기준면으로 삼는 이 구조를 중심에 놓는다.

사진 속 사람의 발이 화면 아래쪽에 있을수록 가까이 있다. 발끝의 높이가 그대로 거리 눈금이다.

증강현실에서 이 단서를 살리려면 실세계 지면 평면을 정확히 추정해야 한다. 평면 검출의 정확도가 곧 거리 정확도다. 추정한 바닥 높이가 어긋나면 거리 오차는 물체 거리에 비례해 커진다. 오차 비율은 바닥 높이 오차를 눈높이로 나눈 값이다. 눈높이 1.6미터에서 바닥을 2센티미터 잘못 잡으면 비율이 1.25퍼센트이고, 10미터 앞 물체에서 12.5센티미터의 거리 오차가 된다. 가상 가구가 미묘하게 바닥에서 떠 보이는 현상 대부분은 시차가 아니라 이 평면 추정 오차 탓이다. ^[8]

크기라는 세상 지식

물체의 시각은 실제 크기를 거리로 나눈 값에 비례해 줄어든다. 같은 크기임을 알 수 있는 물체가 둘 있으면 시각의 비가 거리 비의 역수가 된다. 어느 쪽이 얼마나 더 먼지가 나온다. 이것이 상대 크기다. 다만 상대적이어서 절대 거리는 나오지 않는다.

절대 거리를 얻으려면 물체의 실제 크기를 알아야 한다. 친숙한 크기라고 부르는 단서다. 실제 크기를 알면 시각으로 나누어 거리가 확정된다. 이텔슨이 1951년에 한 고전적 실험이 이 단서의 효력을 보였다. 같은 각크기로 보이도록 배치한 트럼프 카드의 실물 크기만 바꿔 제시하면 지각된 거리가 따라 바뀐다. 고겔이 1969년에 망막상 크기의 감지 문제를 다룬 연구도 같은 결합 구조를 다룬다.

이 단서의 장점은 거리 의존성이 완만하다는 것이다. 시각은 거리의 1승에 반비례해 줄어든다. 시차와 수렴의 거리 제곱 붕괴보다 훨씬 느리다. 키 1.7미터 사람의 시각을 계산하면 다음과 같다.

표 출처: ^[9] (본문 기준으로 재구성)

1킬로미터 앞의 사람도 시력 한계 1분각보다 여섯 배 가까이 크다. 크기 변별의 웨버 비가 2에서 3퍼센트이므로 거리 비도 그 정도 분해능으로 판별된다. 단점은 세상 지식에 의존한다는 점이다. 처음 보는 물체에는 무력하다. 크기 가정이 틀리면 거리 판단이 그대로 틀린다. 크기와 거리의 곱이 일정하게 유지된다는 불변 가설은 달 착시 같은 현상의 해석 틀이기도 하다.

사진에 찍힌 자동차가 손톱만 하면 골목이 깊고 화면을 꽉 채우면 코앞이다. 자동차의 실제 크기를 알기 때문에 가능한 계산이다.

증강현실에서 가상 모델의 스케일 오차는 곧 거리 오차로 번역된다. 가상 의자를 실제보다 10퍼센트 크게 만들면 뇌는 그것을 10퍼센트 가까이 있다고 읽는다. 렌더링 단위를 실측 미터에 정확히 맞추는 일이 미학이 아니라 지각 정확도의 문제인 이유다. ^[9]

결 기울기와 모여드는 직선

깁슨이 1950년에 지각 이론의 중심에 놓은 단서가 결 기울기다. 자갈밭이나 타일처럼 통계적으로 균질한 표면을 비스듬히 보면 표면 요소의 상이 거리에 따라 체계적으로 변한다. 변화는 세 성분으로 분해된다.

첫째는 크기 기울기다. 요소의 가로 시각이 거리에 반비례해 줄어든다. 둘째는 압축이다. 지면을 비스듬히 보므로 세로가 가로보다 더 줄어든다. 세로 시각은 거리의 제곱에 반비례하고, 따라서 요소의 종횡비가 거리에 반비례해 납작해진다. 셋째는 밀도 변화다.

밀도의 방향과 지수를 정확히 잡아야 한다. 가로가 거리의 1승, 세로가 2승에 반비례하므로 요소 하나의 상 면적은 거리의 세제곱에 반비례한다. 그러면 상에서 단위 면적당 요소 수는 거리의 세제곱에 비례한다. 즉 멀어질수록 증가한다. 지평선 쪽으로 갈수록 결이 촘촘하게 뭉쳐 보이는 현상이 바로 이것이다. 정면을 향한 평면이라면 지수가 2가 된다. 밀도가 거리 제곱에 반비례해 줄어든다고 적으면 부호와 지수가 모두 뒤집힌다.

자갈밭에 서서 발밑을 보면 자갈이 크고 성글다. 저 끝을 보면 잘고 빽빽하다. 자갈 크기가 어디서나 같다는 것을 알기 때문에 그 변화가 눈금이 된다.

세 성분은 원리상 독립이다. 커팅과 밀러드가 1984년에 이들을 분리해 제시하는 실험으로 사람이 평면 경사 판단에는 주로 압축을, 곡면 지각에는 크기 기울기를 쓴다는 것을 밝혔다. 다만 결 기울기의 정밀도는 낮다. 표면이 정말 균질하다는 가정에 의존하는데 현실의 표면은 대개 그렇지 않다. 경사각 판단 오차가 10도를 넘는 일이 흔하다.

여기서 목록 정리가 필요하다. 커팅과 비시턴이 1995년에 비교한 아홉 정보원에 결 기울기는 별 항목으로 들어가지 않는다. 크기 기울기는 상대 크기로, 밀도 기울기는 상대 밀도로 흡수된다. 압축 기울기는 심리적 효력이 미약하다는 이유로 목록에서 명시적으로 제외되었고, 그 근거로 든 것이 커팅과 밀러드의 1984년 연구다. 따라서 아홉 단서 순위 안에서 결 기울기의 등수를 말하는 것은 목록을 잘못 옮긴 것이다.

선 원근도 사정이 같다. 실제로 평행한 직선들이 상에서 한 소실점으로 수렴하는 현상이고, 알베르티가 1435년에 작도법으로 체계화한 이래 회화의 기본 문법이 되었다. 소실점의 상 좌표는 방향 벡터의 가로 성분과 세로 성분을 각각 깊이 성분으로 나눈 뒤 초점거리를 곱한 값이다. 깊이 성분이 0인 방향, 즉 상면에 평행한 방향에는 유한한 소실점이 존재하지 않는다. 방향 벡터에 초점거리를 곱한 3차원 벡터를 소실점이라고 적으면 차원이 맞지 않는다.

정보량은 크다. 소실점은 그 선들의 3차원 방향을 알려준다. 수평면의 소실선인 지평선은 관찰자의 눈높이를 알려준다. 지평선이 보이면 하강각 단서가 곧바로 작동한다. 대가는 가정 의존성이다. 이 선들이 실제로 평행하고 이 모서리가 직각이라는 강한 사전 가정을 넣어야 쓸 수 있다. 에임스 방은 바로 이 가정을 공격해 만든 착시다. 사다리꼴 방을 직육면체로 가정하는 순간 그 안의 사람 크기가 두 배로 달라 보인다. 사전 가정이 강한 단서는 맞을 때 강력하고 틀릴 때 크게 틀린다. 커팅과 비시턴이 선 원근을 아홉 정보원에 넣지 않은 이유도 여기에 있다. 그들은 선 원근을 결 기울기들과 가림의 조합으로 환원해 별도 논의를 생략했다.

증강현실에서 결 기울기는 사실상 공짜다. 텍스처를 입히고 원근 투영으로 렌더링하면 세 성분이 물리적으로 정확히 나온다. 주의할 점은 충돌이다. 가상으로 깔아 놓은 표면과 그 아래 비쳐 보이는 실제 표면이 서로 다른 경사를 주장하면 두 표면이 분리되어 보인다.

선 원근에서 주의할 점은 투영 행렬이다. 렌더 카메라의 시야각과 왜곡이 헤드셋 광학의 실제 값과 일치해야 한다. 어긋나면 개별 물체의 오차가 아니라 공간 전체의 왜곡이 생기고, 사용자는 원인을 짚어내지 못한다. 다만 왜곡의 방향을 단순하게 말할 수는 없다. 어느 시야각을 고정 기준으로 잡는지, 관찰자가 불일치를 부분적으로 보정하는지에 따라 부호가 갈린다. 실측 문헌은 기하 시야각이 디스플레이 시야각보다 큰 축소 조건에서 지각 거리가 늘어난다고 보고하는 쪽이다. 참고로 인간의 양안 수평 시야는 약 200도이고 고해상 중심시는 약 2도에 불과하다. 헤드셋의 좁은 시야가 무엇을 잘라내는지 가늠할 때 이 두 값을 나란히 놓으면 된다. ^[10][11]

공기가 쓰는 거리계

대기 중의 분자와 에어로졸이 빛을 산란시킨다. 멀리 있는 물체일수록 대비가 낮고 밝으며 푸르스름해진다. 코슈미더가 1924년에 수평 시정 이론을 세우며 정리한 법칙이 이 감쇠를 기술한다. 거리를 지난 물체의 대비는 초기 대비에 지수 감쇠 항을 곱한 값이 된다. 지수의 계수가 소광계수다.

여기서 반드시 구분해야 할 것이 시정의 정의다. 서로 다른 두 규약이 통용된다. 코슈미더의 시각 역치 규약은 대비가 인간의 역치인 2퍼센트까지 떨어지는 거리를 시정으로 삼고, 이 경우 시정은 자연로그 50, 즉 3.912를 소광계수로 나눈 값이다. 반면 기상 관측에서 쓰는 기상광학거리는 투과율 5퍼센트를 기준으로 하므로 자연로그 20, 즉 2.996을 쓴다. 기상청이 발표한 시정 수치에 3.912를 적용하면 소광계수를 약 30퍼센트 과대추정하고, 뒤따르는 대비 감쇠 값이 전부 과장된다.

기상 규약을 일관되게 적용해 계산한 값이 다음과 같다. 맑은 날 시정 20킬로미터는 소광계수 미터당 약 1.50에 10의 마이너스 4승을 곱한 값에 해당하고, 짙은 안개 시정 200미터는 미터당 약 1.50에 10의 마이너스 2승을 곱한 값에 해당한다.

표 출처: ^[12] (본문 기준으로 재구성)

이 지수 법칙의 함의가 중요하다. 맑은 날에는 소광계수가 너무 작아서 수십 미터 안에서는 감쇠가 측정 불가 수준이다. 대기 원근은 원리적으로 먼 거리 전용 단서다. 커팅과 비시턴의 분석에서 유일하게 멀어질수록 상대적 유용성이 올라가는 항목이 이것이다. 반대로 안개나 미세먼지가 짙으면 소광계수가 백 배 커져 근거리에서도 강하게 작동한다. 이때 거리 판단은 체계적으로 왜곡되어 실제보다 멀게 보인다. 프라이와 브리지먼, 엘러브록이 1949년에 대기 산란이 양안 깊이 지각에 미치는 영향을 측정한 연구가 이 왜곡을 다룬 이른 예다.

산이 겹겹이 선 수묵화에서 뒤로 갈수록 먹이 옅어진다. 화가는 공기가 하는 일을 흉내 낸 것이고, 우리 눈은 그 흉내를 진짜 거리로 읽는다.

증강현실에서 이 단서의 재현 가능성은 렌더링 방식에 따라 갈린다. 비디오투과 방식은 안개 효과를 그냥 그리면 된다. 광학투과 방식은 실세계 빛에 가상 빛을 더하기만 하는 가산 합성이므로 대비를 낮추는 조작을 물리적으로 수행할 수 없다. 멀리 있는 가상 물체를 흐릿하게 만들려면 빛을 빼야 하는데 그럴 수단이 없다. 가림 문제와 같은 뿌리에서 나오는 한계다. ^[12]

발밑의 그림자

물체가 지면에 드리우는 그림자는 접촉 여부를 알려준다. 접촉하지 않는다면 얼마나 떠 있는지도 알려준다. 커스틴과 마마시안, 닐이 1997년에 보고한 이른바 상자 속 공 실험이 이 단서의 힘을 극적으로 보여준다. 공의 상 자체는 전혀 건드리지 않고 그림자의 궤적만 대각선으로 바꾼다. 그러면 관찰자는 같은 영상에서 공이 수평으로 굴러가는 대신 위로 떠오르며 뒤로 물러나는 것을 본다. 그림자가 물체의 크기와 위치 단서를 이긴 것이다. 마마시안과 닐, 커스틴이 1998년에 정리한 개관이 이 결과의 이론적 함의를 다룬다.

음영은 별개의 정보다. 표면의 곡률과 볼록·오목을 알려주지만 조명 방향이 모호해 그 자체로는 양의적이다. 라마찬드란이 1988년에 보인 대로 뇌는 빛이 위에서 온다는 사전 가정으로 이 모호성을 해소한다. 같은 음영 패턴을 180도 돌리면 볼록이 오목으로 뒤집힌다.

그림자 가장자리의 번짐, 즉 반그림자에는 높이 정보가 들어 있다. 번짐 폭은 광원의 각크기와 광선 경로 길이의 곱으로 결정된다. 태양의 각지름은 평균 약 0.53도이고 근일점과 원일점 사이에서 0.524도에서 0.542도로 변한다. 기준 길이는 물체의 높이가 아니라 물체 가장자리에서 그림자까지의 광선 경로 길이라는 점에 주의해야 한다. 태양이 천정에 있을 때는 두 값이 같아지므로 지면에서 1미터 떠 있는 물체의 번짐 폭이 약 9.3밀리미터, 10센티미터 떠 있으면 약 0.9밀리미터가 된다. 태양 고도가 낮아지면 번짐이 지면에 비스듬히 투영되어 폭이 대략 고도의 사인값에 반비례해 늘어난다. 고도 40도에서 약 14밀리미터, 고도 20도에서 약 27밀리미터다.

무대 위 배우의 발밑을 보면 알 수 있다. 그림자가 발에 붙어 있으면 바닥을 딛고 선 것이고, 그림자가 발에서 떨어져 뒤에 있으면 공중에 떠 있는 것이다. 관객은 배우를 보지 않고 그림자를 보고 판단한다.

단서 강도로는 그림자가 약한 편이다. 그러나 공중에 뜬 물체처럼 지면 접촉 단서가 없는 경우에는 사실상 유일한 단서가 된다. 증강현실에서 접지 그림자 하나만 정확히 넣어도 떠 있는 느낌이 극적으로 줄어든다. 문제는 실세계 조명을 추정해야 한다는 점이다. 광원 방향과 색온도, 확산 정도를 모르면 그림자가 거짓말을 한다. 애플의 증강현실 프레임워크와 구글의 증강현실 프레임워크가 환경 조명을 구면조화 계수 형태로 추정해 제공하는 이유다. 실내 다중 광원 환경에서 이 추정이 실패하면 가상 물체가 즉시 이물감을 준다. ^[13]

세 개의 공간

커팅과 비시턴이 1995년에 한 기여는 새 단서를 발견한 것이 아니다. 아홉 정보원을 하나의 공통 척도로 비교 가능하게 만든 것이다. 그들은 각 단서에 대해 판별 가능한 최소 깊이 역치를 정의하고, 이를 관찰 거리에 대해 로그 대 로그 평면에 겹쳐 그렸다. 용어를 정확히 쓸 필요가 있다. 이들의 측도는 판별 가능한 최소 깊이 역치이고, 깊이 대비라는 말은 이들의 용어가 아니다. 그것은 별개의 입체시 유도 현상을 가리킨다. 원문의 핵심 도판은 두 장이고 구역별 단서 순위는 표로 제시된다.

아홉 정보원의 목록은 다음과 같다. 가림, 상대 크기, 상대 밀도, 시야 내 높이, 대기 원근, 운동 원근, 양안시차, 수렴, 조절이다. 수렴과 조절은 별개 항목이며, 결 기울기와 선 원근, 그림자는 목록에 들어가지 않는다.

로그 대 로그 평면에 그리면 단서마다 다른 기울기의 직선이 나온다. 가림은 거의 수평선이다. 거리와 무관하다는 뜻이다. 양안시차와 수렴, 운동 원근, 시야 내 높이는 거리 제곱 계열로 가파르게 악화한다. 상대 크기와 상대 밀도는 거리의 1승 계열로 완만하게 악화한다. 대기 원근만 홀로 오른쪽 아래로 향한다. 멀수록 좋아지는 유일한 단서다.

이 직선들이 교차하는 지점들이 공간을 세 구역으로 나눈다. 개인공간은 팔이 닿는 약 2미터까지다. 행동공간은 즉시 걸어가거나 물건을 던질 수 있는 약 30미터까지다. 30미터라는 경계는 임의로 정한 값이 아니다. 양안시차와 운동 원근의 유용성이 10퍼센트 깊이 역치에 도달하는 거리가 그쯤이다. 그 너머가 조망공간이다.

구역이 바뀌면 상위 단서의 순서가 바뀐다는 것이 결론이다.

표 출처: ^[14] (본문 기준으로 재구성)

이 표를 읽을 때 신뢰 수준을 구분해야 한다. 세 구역의 경계와 가림이 모든 구역에서 1위라는 사실, 조망공간에서 대기 원근이 부상한다는 사실은 확고하다. 그러나 각 구역 3위 이하의 정확한 배열은 로그 대 로그 그래프에서 읽어내는 값이라 해석의 여지가 있다. 특히 운동 원근과 상대 크기의 상대적 위치가 그렇다.

같은 지도라도 축척을 바꾸면 쓸모 있는 정보가 달라진다. 1대 500 도면에서는 문이 열리는 방향이 보이고 1대 5만 도면에서는 산맥이 보인다. 거리대가 바뀌면 뇌가 신뢰하는 단서도 그렇게 교체된다.

설계로 옮기면 함의가 분명하다. 커팅이 1997년에 실재와 가상 실재를 눈이 어떻게 재는지 비교한 후속 논의에서 짚은 대로, 목표 거리대가 무엇을 정확히 만들어야 하는지를 결정한다. 손 앞 작업 거리인 30센티미터에서 70센티미터는 조절과 수렴 문제가 지배하므로 가변초점 광학이 필수적이다. 실내 배치 거리인 2미터에서 10미터는 가림과 지면 평면, 양안시차 정합이 승부처다. 30미터 이상의 야외 안내는 가림과 크기, 고도 정합만 맞으면 되고 초점은 사실상 무관하다. 하나의 기기로 세 구역을 모두 잘하기는 원리적으로 어렵다. ^[14]

증인들이 서로 다른 말을 할 때

여러 단서가 각기 다른 깊이를 주장할 때 뇌는 두 가지 방식 중 하나를 쓴다.

불일치가 작으면 신뢰도 가중 평균을 취한다. 각 단서의 추정치에 그 분산의 역수를 가중치로 걸어 더하는 방식이다. 랜디와 맬로니, 존스턴, 영이 1995년에 약한 융합 모형으로 정식화한 구조이고, 통계학에서는 최대우도추정에 해당한다. 이 방식의 이점은 정밀도 향상이다. 통합 추정치의 분산의 역수는 개별 분산 역수의 합이 된다. 즉 단서가 늘면 정밀도가 오른다.

숫자를 정확히 써야 하는 지점이 여기다. 분산이 같은 두 단서를 결합하면 통합 분산은 절반이 된다. 정밀도를 분산의 역수로 정의하는 표준 용법에서는 정밀도가 정확히 두 배, 즉 100퍼센트 향상이다. 표준편차는 1을 2의 제곱근으로 나눈 값, 약 0.71배가 되므로 29퍼센트 감소다. 정밀도가 41퍼센트 향상된다는 표현은 표준편차의 역수를 정밀도라 부른 결과이고 지표를 섞어 쓴 것이다.

결정적으로 가중치는 고정되어 있지 않다. 상황에 따라 재계산된다. 거리가 멀어지면 시차의 분산이 커지므로 그 가중치가 자동으로 떨어진다. 에른스트와 뱅크스가 2002년에 시각과 촉각의 크기 판단에서 실측 통합 분산이 이 예측과 일치함을 보였다. 통합의 방식에도 조건이 있다. 힐리스와 에른스트, 뱅크스, 랜디가 2002년에 보인 대로 같은 감각 양상 안의 단서들은 강제로 융합되어 개별 단서에 대한 접근 자체가 사라지고, 감각 양상이 다르면 개별 접근이 남는다.

불일치가 크면 평균이 깨지고 거부가 일어난다. 한 단서가 다른 단서를 완전히 기각하는 것이다. 가림이 전형적인 거부 단서다. 시차가 가상 물체를 뒤에 놓으라고 말해도 가림이 앞이라고 말하면 대개 가림이 이긴다. 때로는 두 해석이 모두 무너져 물체가 종잇장처럼 납작해 보이기도 한다.

여기서 흔한 혼동을 정리해 둔다. 평균과 거부를 가르는 기준을 파눔 융합역으로 잡는 설명이 있는데 그것은 두 원리를 섞은 것이다. 파눔 융합역은 양안 단일시의 한계, 즉 이중상이 시작되는 경계다. 단서 간 가중 평균과 거부를 가르는 기준이 아니다. 융합역을 넘어도 시차는 정성적 깊이를 계속 제공하고, 약한 융합 모형의 거부 항도 융합역으로 매개되지 않는다.

여러 증인의 진술을 신빙성에 따라 가중 평균하는 재판정을 떠올리면 된다. 대개는 평균으로 사실을 재구성한다. 그러나 결정적 물증이 나오면 어긋나는 증언은 평균에 섞이지 않고 그냥 기각된다.

증강현실은 필연적으로 단서를 충돌시킨다. 조절은 화면을 가리키고 수렴은 가상 거리를 가리킨다. 가림은 무조건 앞을 주장한다. 그래서 설계 전략이 두 갈래로 갈린다. 하나는 충돌하는 단서의 신뢰도를 의도적으로 낮추는 길이다. 초점 흐림을 렌더링으로 흉내 내 조절 단서의 분산을 키우고, 콘텐츠를 초점면 근처에 두어 충돌 자체를 줄인다. 다른 하나는 가장 강한 단서를 정확히 맞춰 나머지를 끌고 가는 길이다. 가림과 접지 그림자, 지면 정합에 우선 투자한다. 모든 단서를 다 맞추려는 시도보다 이 우선순위 판단이 실제 품질을 가른다. ^[15]

무엇을 속일 수 있고 무엇을 못 속이는가

이론이 예측하는 왜곡은 실측으로 확인된다. 다만 인용을 정확히 해야 한다.

레너와 벨리치코프스키, 헬머트가 2013년에 가상환경의 자기중심 거리 지각에 관한 문헌을 개관했다. 이들이 제시한 수치는 지각된 거리가 모델 거리의 평균 약 74퍼센트라는 것이다. 이 값은 헤드셋 가상현실에 한정된 값이 아니라 가상환경 전반의 평균이다. 그리고 이 논문은 메타분석이 아니라 서술형 문헌 개관이다. 연구 간 분포를 60에서 90퍼센트로 제시하는 인용을 종종 보게 되는데, 그 범위는 원문에 없다.

광학투과 증강현실은 사정이 다르다. 실세계가 그대로 보이므로 압축이 덜하지만, 패턴이 단조롭지 않다. 스완과 존스, 콜스태드, 리빙스턴, 스몰먼이 2007년에 광학투과 방식의 자기중심 깊이 판단을 측정한 결과가 두 갈래로 나온다. 3미터에서 7미터 구간의 블라인드 워킹 과제에서는 과소추정이 가상현실보다 작았다. 5미터에서 45미터 구간의 지각적 매칭 과제에서는 약 23미터를 경계로 편향의 방향이 과소추정에서 과대추정으로 전환되었다. 따라서 증강현실에서도 거리가 압축된다고 단정할 수 없다. 조건을 명시하지 않은 압축 진술은 근거가 없다. 엘리스와 멩게스가 1998년에 근거리 가상 물체의 정위를 측정한 연구도 근거리에서는 별도의 편향 구조가 있음을 보인다.

원인은 하나가 아니다. 좁은 시야각으로 주변 시야의 광류와 지면 단서가 잘려 나간다. 초점면이 고정되어 있다. 눈 사이 거리 설정이 부정확하다. 렌더 시야각과 광학 시야각이 어긋난다. 기기의 무게와 관성이 자세와 머리 움직임을 바꾼다. 이 모두가 기여한다.

단서별 재현 난이도로 정리하면 세 등급이 나온다.

표 출처: ^[16] (본문 기준으로 재구성)

지연 예산도 함께 두어야 한다. 움직임에서 발광까지의 총 지연은 통상 20밀리초 이하를 권장치로 쓴다. 사람이 지연을 검출하는 역치는 연구에 따라 약 3밀리초에서 17밀리초까지 보고되는데, 실험 과제와 자극, 측정법이 크게 달라 단일 수치로 제시할 수 없다. 어떤 과제에서 측정한 값인지를 함께 밝혀야 의미가 있다. 정합 오차로 환산하면 감각이 잡힌다. 머리 회전 100도/초에서 지연 10밀리초는 각도 오차 1.0도이고, 팔 길이 0.6미터 지점에서 약 10.5밀리미터의 어긋남이다.

잘 지은 무대 세트도 관객이 자리에서 한 걸음만 옆으로 나오면 들통난다. 증강현실의 깊이는 그 세트이고, 사용자의 머리는 잠시도 가만있지 않는 관객이다.

실용적 결론은 투자 배분이다. 쉬움 등급 단서를 개선하는 일은 이미 포화 상태다. 렌더링 품질을 더 올려도 깊이 정확도는 거의 개선되지 않는다. 실제 병목은 어려움 등급의 세 항목과 중간 등급의 추적 지연이다. 기술 로드맵을 읽을 때 물어야 할 질문은 하나로 압축된다. 이 신기술이 어느 단서를 되살리는가. 그 답이 나오면 가치 평가는 즉시 끝난다.

깊이는 눈에 들어오지 않는다. 망막에서 사라진 거리를 뇌가 열 개 남짓한 불완전한 증인의 진술로 다시 세우고, 증강현실은 그 증인석에 위조된 진술을 끼워 넣는다. 그러므로 이 기술의 한계는 화면의 해상도나 모델의 정교함에 있지 않고 증인 명부에 적혀 있다 — 어떤 증인은 소프트웨어로 매수되고, 어떤 증인은 광학을 다시 설계하지 않는 한 결코 매수되지 않는다. ^[16]