유리와 렌즈에서 시작하다

겹침은 하나의 기술이 아니다

증강현실의 역사를 설명하는 가장 흔한 방식은 1968년에서 출발하는 것이다. 아이번 서덜랜드가 반투명 거울이 달린 장치를 만들었고, 컴퓨터가 그린 선이 실제 방 위에 겹쳐 보였으며, 거기서 모든 것이 시작되었다는 이야기다. 이 설명은 사실관계가 틀렸다기보다 쓸모가 없다. 1968년을 기점으로 삼으면 그 장치가 왜 그 시점에 만들어질 수 있었는지를 설명할 수 없다. 더 나쁜 것은, 설계를 하는 사람에게 필요한 지식이 하나도 남지 않는다는 점이다.

겹친다는 일은 하나의 기술이 아니다. 최소한 여섯 개의 서로 다른 문제가 각각 풀려야 한다. 첫째, 실제 장면과 인공의 상을 같은 광로에 합치는 광학 결합이다. 둘째, 두 눈에 서로 다른 상을 주어 깊이를 만들어내는 입체 생성이다. 셋째, 관찰자가 머리를 움직여도 표식이 기준선에서 벗어나지 않게 하는 무시차 정렬이다. 넷째, 무엇을 겹칠지를 그 순간의 조건으로부터 계산하는 연산이다. 다섯째, 관찰자의 머리 자세를 측정해 표시 내용에 되먹이는 추적이다. 여섯째, 이 모든 것을 사람의 머리에 얹을 수 있는 크기와 무게로 만드는 폼팩터다.

1968년 이전에 이 여섯 개는 전부 어딘가에 존재했다. 다만 한 자리에 모인 적이 없었다. 그리고 각각을 만든 사람들은 서로를 몰랐고, 증강현실이라는 말은 그때로부터 다시 22년 뒤에야 생긴다. 이 장이 하는 일은 그 여섯 조각을 각각 누가, 어떤 문제를 풀려다가, 어떤 물건으로 확보했는지 특정하는 것이다.

표 출처: ^[1][2][3] (본문 기준으로 재구성)

한 가지를 미리 밝혀 둔다. 이 표는 계보처럼 보이지만 계보가 아니다. 월러스턴에서 휘트스톤으로, 다시 페퍼와 그럽으로 아이디어가 전달되었다는 기록은 존재하지 않는다. 오히려 반사 조준경에 관한 기록은 그 착상을 1900년 하워드 그럽의 독립적인 기원으로 서술한다. 카메라 루시다의 문서화된 직계 귀결은 겹침 쪽이 아니라 사진술 쪽이다. 즉 이 표는 사후에 구성된 것이며, 구성한 이유는 각 요소가 어떤 문제에 대한 답이었는지를 보여주기 위해서다. 유리와 렌즈라는 단일한 줄기를 실재하는 혈통으로 읽으면 안 된다. ^[1][2][3]

1806년, 그리는 손과 보는 눈을 같은 좌표계에 올리다

1806년 영국의 화학자 윌리엄 하이드 월러스턴이 특허 하나를 낸다. 영국 특허 제2993호이고, 명칭은 길다.

An Instrument Whereby Any Person May Draw in Perspective, or May Copy or Reduce Any Print or Drawing

'누구든지 원근법으로 그릴 수 있게 하고, 어떤 판화나 그림이라도 복제하거나 축소할 수 있게 하는 기구'라는 뜻이다. 문헌에서 이 특허명은 흔히 앞쪽 절만 잘라 인용되는데, 잘린 뒤쪽 절이 이 도구의 두 번째 용도를 담고 있으므로 축약할 때는 말줄임을 표기하는 것이 맞다.

물건 자체는 작다. 눈앞에 작은 프리즘을 두고, 화가는 스케치북을 내려다본다. 그러면 종이 위에 바깥 풍경이 겹쳐 보인다. 화가는 겹쳐 보이는 윤곽을 그대로 따라 그린다. 단순한 형태는 45도로 기울인 반투명 거울을 쓰고, 월러스턴이 특허를 낸 형태는 네 개의 면을 가진 프리즘 안에서 빛을 두 번 전반사시킨다. 프리즘형의 이점은 두 가지다. 상이 뒤집히거나 좌우가 바뀌지 않고, 반투명 거울처럼 빛을 절반씩 나누지 않으므로 밝기 손실이 적다.

기록상 이 원리를 처음 적은 사람은 월러스턴이 아니다. 요하네스 케플러가 1611년 『Dioptrice』에서 같은 광학을 200년 앞서 기술했다. 다만 여기에는 반드시 따라붙어야 하는 단서가 있다. 케플러가 실제로 작동하는 카메라 루시다를 만들었다는 증거는 없다. 원리의 기술과 도구의 제작 사이에 200년이 있었다는 사실은, 이 책에서 계속 반복될 한 가지 패턴의 첫 사례다. 원리를 아는 것과 물건을 만드는 것은 다른 일이며, 둘 사이의 간격을 결정하는 것은 대개 광학이 아니라 수요다.

카메라 루시다를 증강현실의 조상으로 부를 근거는 세 가지다. 첫째, 인공의 상을 실제 작업면에 정합시켜 겹친다는 광학 결합을 실용 도구로 처음 구현했다. 둘째, 그 결합의 목적이 감상이 아니라 작업이었다. 사용자는 이 기구로 무언가를 보는 것이 아니라 무언가를 그린다. 이것이 오늘날 조립 지시나 시공 검수에 쓰이는 작업지원형 증강현실과 직접 통하는 성질이다. 셋째, 이 기구가 실제로 푼 문제가 정합 문제였다.

19세기 초 측량과 탐험과 박물학은 정확한 원근 기록을 대량으로 요구했다. 사진은 아직 없었고 자유 스케치는 원근이 틀렸다. 그러니까 문제는 보는 것이 아니었다. 문제는 보는 것과 그리는 손을 같은 좌표계에 올리는 것이었다. 이 문장을 그대로 두고 단어만 바꾸면 오늘날 증강현실의 정합 요건이 된다. 가상의 상과 실제 공간을 같은 좌표계에 올리는 것이다.

결말은 성공이면서 실패다. 카메라 루시다는 잘 팔렸고 널리 쓰였다. 사진술이 보급되면서 원근 기록 도구로서는 쇠퇴했지만, 현미경 표본을 도해하는 기구로는 1980년대까지 표준 장비로 남았다. 그리고 가장 흥미로운 결말은 1833년에 있다. 윌리엄 헨리 폭스 탤벗이 이 기구를 써 보고 실망한 것이 사진술을 발명하려는 직접적인 동기가 되었다. 겹쳐 보이는 상을 손으로 따라 그리는 일은 여전히 손재주를 요구했고, 탤벗에게는 그 손재주가 없었다. 그는 손을 건너뛰고 상 자체를 고정하는 방법을 찾기로 했다. 증강현실 계열 도구의 실패가 기록 매체의 혁신을 낳은 것이다. ^[1]

1832년, 깊이는 세계가 아니라 두 장의 그림에 있다

다음 조각은 겹침이 아니라 깊이다. 그리고 이 조각을 만든 동기는 기술이 아니라 학술 논쟁이었다.

1830년대 생리광학은 사람이 깊이를 어떻게 아는지를 두고 갈라져 있었다. 한쪽은 원근, 가림, 크기 같은 단안 단서만으로 깊이 지각을 설명할 수 있다고 보았다. 다른 쪽은 두 눈에 들어오는 상의 차이, 즉 양안시차가 독립적인 깊이 단서라고 보았다. 찰스 휘트스톤은 후자였고, 논쟁을 말로 이길 수 없다고 판단해 장치를 만들었다.

연도는 정확히 적어야 한다. 널리 인용되는 1838년은 발명 연도가 아니라 발표 연도다. 최초의 입체경은 1832년 휘트스톤이 고안하고 광학기사 R. 머리가 제작했으며, 1838년 6월 21일 왕립학회에서 결과가 처음 발표되었다. 반사경식과 프리즘식 두 형태가 있었다. 6년의 차이가 사소해 보일 수 있지만, 발명과 발표와 실용화를 구분하지 않는 습관은 이 분야의 연대기를 조직적으로 왜곡한다. 뒤에 나올 반사 조준경과 HUD에서 그 왜곡이 훨씬 커진다.

장치가 증명한 명제는 단순하고 강력하다. 좌우 눈에 시차가 있는 두 장의 그림을 각각 보여주면 뇌가 그것을 하나의 입체로 합성한다. 다시 말해 깊이는 세계에 있는 성질이 아니라, 두 눈에 어떤 두 장의 이미지를 주느냐로 만들어낼 수 있는 결과다. 이후 만들어진 모든 머리 착용 디스플레이는 이 명제 위에 서 있다.

표 출처: ^[4] (본문 기준으로 재구성)

데이비드 브루스터가 1849년에 거울 대신 렌즈를 써서 크기를 줄이자 입체경은 빅토리아 시대의 대중 오락기구가 되었다. 1939년 View-Master로 완전히 산업화되었다. 100년에 걸친 이 궤적이 보여주는 것은, 감각을 확장하는 장치가 학술 논쟁의 도구에서 거실의 장난감이 되는 데 필요한 것이 원리의 개선이 아니라 크기와 단가의 축소라는 사실이다.

설계의 관점에서 이 명제에는 대가가 따른다. 깊이를 두 장의 이미지로 만든다는 것은, 깊이를 주려는 장치가 언제나 두 장을 만들어야 한다는 뜻이다. 한 장이 아니라 두 장이다. 표시 소자도 두 개, 광학계도 두 개, 그리고 무언가를 그려야 한다면 그리는 일도 두 번이다. 사람마다 두 눈 사이의 거리가 다르므로 두 광학계의 간격을 조정할 수단도 필요하다. 이 요구는 1832년의 나무 상자에서도, 오늘날의 머리 착용 장치에서도 똑같이 성립한다. 입체경이 증명한 것은 가능성이었지만, 동시에 이후 200년간 모든 설계자가 지불하게 될 비용의 청구서이기도 했다.

한 가지를 분명히 해 둘 필요가 있다. 입체경 계열은 겹침이 없다. 사용자는 실제 세계를 보지 않고 두 장의 사진만 본다. 순수한 몰입 장치다. 여기서 두 갈래가 갈린다. 실제 세계를 차단하고 인공의 상만 주는 쪽과, 실제 세계를 남겨 두고 그 위에 인공의 상을 얹는 쪽이다. 이 분기는 이후 가상현실과 증강현실의 갈림길로 그대로 이어지며, 이 장에서 다루는 물건들도 이 기준으로 나눠 읽어야 한다. ^[4]

1862년, 판유리 한 장으로 만든 결합기

실제 공간 규모의 광학 결합기는 극장에서 나왔다.

원안은 공학자 헨리 디륵스의 것으로, 1858년에 착안하고 모형까지 만들었다. 그러나 무대에 올린 사람은 런던 왕립 폴리테크닉 연구소의 관장 존 헨리 페퍼였다. 1862년 12월 그 연구소에서 공개되었고, 공연작은 찰스 디킨스의 『The Haunted Man and the Ghost's Bargain』의 한 장면이었다. 1863년 내내 흥행해 더 큰 극장으로 옮겼다. 특허는 1863년 2월에 임시로, 10월에 확정으로 나왔다. 특허번호 자체는 확인되지 않았으므로 이 책에서는 적지 않는다.

원리는 지금 보아도 놀랄 만큼 단순하다. 객석과 무대 사이에 거대한 판유리를 통상 45도로 세운다. 관객은 그 유리를 통해 무대를 본다. 객석 아래에는 관객이 볼 수 없는 방이 하나 있고, 그 방에 배우를 세워 조명을 준다. 그 상이 판유리에 반사되어, 관객에게는 실제 배우 옆에 반투명한 인물이 서 있는 것으로 보인다. 아래 방의 조명 밝기를 조절하면 유령이 나타나고 사라진다. 판유리의 모서리는 무대 바닥 문양 안에 숨긴다.

이것이 왜 중요한가. 관객이 보는 것은 스크린에 비친 영상이 아니다. 실제 3차원 공간과 같은 깊이에 놓인 상이다. 오늘날 광학 시스루 방식의 머리 착용 디스플레이가 쓰는 반투과 거울은 원리적으로 이 무대 장치의 축소판이다. 실제 장면의 빛은 결합기를 투과해서 오고, 인공의 상은 결합기에 반사되어 온다. 두 광선속이 관찰자의 눈에서 합쳐진다. 1862년과 2026년 사이에 달라진 것은 반사시킬 상을 무엇으로 만드는지뿐이다.

이 방식에는 피할 수 없는 성질이 하나 따라온다. 결합기는 빛을 나눈다. 관객에게 도달하는 무대의 빛은 유리를 투과한 몫이고, 유령의 빛은 유리에 반사된 몫이다. 두 몫을 합쳐도 원래의 빛보다 많아지지 않으므로, 겹쳐진 상은 반드시 반투명하게 보인다. 실제 배우처럼 불투명한 인물을 유리로 세우는 일은 원리적으로 불가능하다. 무대는 이 한계를 내용으로 바꿨다. 반투명하게 보여야 하는 대상을 골랐고, 그것이 유령이었다. 밝기를 조절해 나타나고 사라지게 하는 연출도 같은 한계에서 나온 것이다. 겹칠 수 있는 것에 맞춰 겹칠 내용을 정한 이 선택은, 광학 시스루 방식을 쓰는 모든 장치가 지금도 반복하고 있는 타협이다.

동시에 이 장치가 갖지 못한 것을 정확히 적어야 한다. 페퍼의 유령은 고정된 관객 시점을 전제로 한 무대 착시다. 관객이 자리를 옮기면 유령의 위치가 무대에 대해 어긋난다. 겹쳐진 상이 실제 대상에 결박되어 있지 않은 것이다. 뒤에 나올 반사 조준경이 확보하는 성질, 즉 관찰자의 눈 위치가 변해도 표식의 정렬이 유지되는 성질이 여기에는 원리적으로 없다. 그러므로 페퍼의 유령을 증강현실 하드웨어의 원형이라고 단정하는 흔한 서술은 과장이다. 공통점은 결합기라는 한 요소이며, 그 요소만으로 원형이라고 부를 수는 없다.

왜 1862년이었는지도 기술이 아니라 시장의 문제였다. 19세기 중반 흥행 산업은 환등을 이용한 유령쇼로 이미 포화 상태였고, 관객은 스크린에 비친 것이 아니라 무대 위에 실재하는 것을 요구했다. 문제는 밝기도 해상도도 아니었다. 실제 공간과 같은 깊이에 상을 놓는 것이었다.

결말은 두 가지다. 하나는 사람의 문제다. 디륵스는 자신의 원안이 페퍼의 이름으로 알려진 데 불만을 품었으나, 공동특허에도 불구하고 명칭은 페퍼에게 귀속되었다. 다른 하나는 기술의 수명이다. 이 장치는 소멸하지 않았다.

표 출처: ^[2] (본문 기준으로 재구성)

2012년 코첼라의 그 장면을 언론은 홀로그램이라고 불렀다. 오보다. 홀로그램은 빛의 간섭 무늬를 기록해 파면을 재생하는 기술이고, 그 무대에서 쓰인 것은 1862년의 원리 그대로다. 이 오보가 반복되는 이유는 이 분야의 용어 혼란에서 늘 같다. 새로 보이는 체험에 가장 최신으로 들리는 이름을 붙이는 관성이 있고, 그 관성은 160년 된 광학을 최신 기술로 오인시킨다. ^[2]

1900년, 시차를 없앤다는 말의 정확한 뜻

산업화는 군사에서 일어났다. 그리고 이 항목에서 통설이 가장 많이 틀린다.

1900년 아일랜드의 광학설계자 하워드 그럽이 영국 특허 제12108호를 얻는다. 명칭은 'Gun Sight for large and small Ordnance'다. 구조는 이렇다. 광원으로 조준 표식인 레티클을 비추고, 콜리메이터 렌즈로 그 빛을 평행광으로 만든다. 평행광을 반투명 유리에 반사시키면 사수의 눈에는 표식이 무한대 거리에 맺힌 허상으로 보인다. 사수는 바깥의 표적과 무한대의 표식을 동시에 본다. 눈의 초점을 바꿀 필요가 없고, 눈 위치가 조금 흔들려도 표식과 장비의 정렬이 유지된다.

여기서 반드시 바로잡아야 할 서술이 있다. 이 성질을 두고 '머리를 움직여도 표식이 대상에 붙어 있게 만들었다'고 쓰는 해설이 많다. 광학적으로 틀렸다. 무시차 성질이 뜻하는 것은 레티클이 총이나 기체의 조준선에 고정되어 있으므로, 눈 위치가 바뀌어도 레티클이 가리키는 조준점이 변하지 않는다는 것이다. 표식이 표적에 붙는다는 뜻이 아니다. 표적이 움직이면 레티클은 따라가지 않는다. 표적의 운동을 반영하기 시작한 것은 1941년의 자이로 조준경이며, 그조차 표식을 표적에 붙이는 것이 아니라 계산된 선도각에 붙인다.

이 구분이 중요한 이유는 증강현실의 핵심 요건이 바로 여기에서 갈리기 때문이다. 표식을 장비 좌표계에 고정하는 것과 세계 좌표계에 고정하는 것은 전혀 다른 문제다. 전자는 1900년에 풀렸고, 후자는 1968년에도 완전히 풀리지 않았다. 반사 조준경을 세계 정합의 기원으로 소급하는 서술은 이 두 좌표계를 혼동한 결과다.

그럽이 푼 문제는 조준 정확도가 아니었다. 1차대전 공중전에서 조종사는 기체를 조종하면서 전방을 보고 동시에 기계식 가늠쇠 두 개를 정렬해야 했다. 눈을 조준기로 내리는 순간 표적과 자세를 놓친다. 그러니까 문제는 시선을 전방에서 떼지 않는 것이었다. 이 요구가 head-up이라는 단어의 기원이고, 겹침 기술을 군용으로 밀어붙인 최초의 고유 문제다.

채택 과정도 정확히 적어야 한다. 1900년 특허와 항공 적용 사이에는 18년이 있다. 1918년 베를린의 Optische Anstalt Oigee가 만든 반사 조준경이 복엽기 알바트로스 D.Va와 삼엽기 포커 Dr.I에 쓰였는데, 사료의 표현은 운용 시험이다. 실전 투입이라고 쓰거나 전과를 붙이는 서술은 근거를 넘어선다. 전투기와 폭격기에 널리 채택된 것은 1930년대에 들어서이고, 먼저 프랑스가, 이후 주요 공군의 대부분이 도입했다. 모든 공군의 표준이 되었다는 표현도 사료의 '대부분'을 넘는다.

표 출처: ^[3] (본문 기준으로 재구성)

18년의 지연이 말해 주는 것은 원리의 미성숙이 아니다. 1900년에는 항공기라는 수요처가 없었다. 원리가 먼저 있고 수요가 뒤에 생기면, 그 사이의 기간 동안 기술은 잊히지 않고 다만 팔리지 않는다. 이 패턴은 개인용 머리 착용 장치에서 훨씬 극적으로 반복된다.

계보의 끝은 지금이다. 반사 조준경은 지상 대공포와 자유선회 기관총으로 확산되었고, 오늘날 소총용 도트사이트로 여전히 대량 생산된다. 다만 오늘날까지 끊기지 않은 단일한 표준이라는 서술에는 유보가 필요하다. 미군이 도트사이트를 광범위하게 도입한 시점은 2000년대 초 Aimpoint CompM2이며, 1930년대부터 계속 표준이었던 것은 아니다. ^[3]

1901년, 소설이 먼저 적어 놓은 요구

1901년, 『오즈의 마법사』를 쓴 L. 프랭크 바움이 『The Master Key: An Electrical Fairy Tale』을 낸다. 전기 요정담이라는 부제가 붙은 소년 소설이다. 소년이 우연히 전기의 악마를 불러내고, 악마는 세 번에 걸쳐 방문하며 매번 세 개씩, 모두 아홉 개의 전기 장치를 준다. 그 아홉 개 중 두 번째 방문의 세 개 중 하나가 '캐릭터 마커'라는 안경이다. 문헌에서 이를 '세 가지 선물 중 하나'로 적는 경우가 많은데, 작품 안의 장치 수를 3분의 1로 줄인 서술이다.

원문이 이 안경을 설명하는 문장은 그대로 옮길 가치가 있다.

While you wear them every one you meet will be marked upon the forehead with a letter indicating his or her character. The good will bear the letter 'G,' the evil the letter 'E.' The wise will be marked with a 'W' and the foolish with an 'F.' The kind will show a 'K' upon their foreheads and the cruel a letter 'C.'

착용자가 만나는 모든 사람의 이마에 그 사람의 속성을 나타내는 문자가 겹쳐 보인다. 선하면 G, 악하면 E, 현명하면 W, 어리석으면 F, 친절하면 K, 잔인하면 C다.

이것은 광학 결합도 아니고 입체 생성도 아니다. 전혀 다른 요소다. 실세계의 객체를 인식하고, 그 객체에 결박된 문자 정보를 덧씌운다. 오늘날의 용어로 옮기면 객체 인식과 라벨 오버레이의 결합이다. 인식 대상은 사람이고, 표시 위치는 이마이며, 표시 내용은 그 사람의 속성이다. 위치가 대상에 결박되어 있으므로, 대상이 움직이면 문자도 따라 움직여야 한다. 1900년의 반사 조준경이 갖지 못한 세계 정합이 이 허구의 안경에는 있다.

여기서 중요한 것은 기술이 아니라 요구다. 1901년은 전기가 만능의 미래 기술로 상상되던 시기였고, 바움은 그 기대를 소설로 썼다. 그런데 그가 상상한 것은 더 잘 보이는 화면이 아니었다. 눈에 보이지 않는 속성을 보이게 하는 것이었다. 증강현실의 본질적 약속이 기술보다 거의 100년 앞서 문학에 기록되어 있는 셈이다. 설계를 하는 사람에게 이 사실은 유용하다. 사용자가 원하는 것은 겹쳐진 그림이 아니라 보이지 않던 정보다.

소설 속의 결말도 빼놓을 수 없다. 소년은 이 안경 때문에 오히려 곤경에 빠진다. 사람마다 이마에 붙은 문자를 보게 되자 그는 누구도 편하게 대할 수 없게 되고, 판단이 정보에 끌려다닌다. 정보 과잉 오버레이의 부작용을 처음 지적한 사례로 읽을 수 있다. 무엇을 겹칠 수 있는지와 무엇을 겹쳐야 하는지가 다른 문제라는 것을, 허구가 실물보다 먼저 말했다. ^[5]

1931년, 합성 환경이라는 명제

다음 조각은 광학도 아니고 정합도 아니다. 돈이다.

1929년 에드윈 링크가 전기기계식 비행 훈련 장치를 만든다. 모터로 피치와 롤을 움직여 난기류까지 흉내내고, 조종사는 덮개를 닫은 채 계기만 보며 비행한다. 파란 외장 때문에 블루 박스라는 별칭이 붙었다. 특허 연도는 자료마다 어긋나 인용되지만 확정할 수 있다. 특허는 US 1,825,462 'Combination training device for student aviators and entertainment apparatus'이고, 1930년 3월 12일 출원, 1931년 9월 29일 등록이다. 1929는 시제기 제작 연도이며 특허 연도가 아니다.

채택의 계기는 기술의 성숙이 아니었다. 사망 사고였다. 1934년 항공우편 스캔들로 미 육군항공대가 우편 수송을 떠맡았는데, 조종사들이 계기비행에 익숙하지 않아 78일 동안 12명이 죽었다. 링크는 평가단이 비행 불가라고 판단한 안개 속을 직접 계기비행으로 뚫고 착륙해 보였다. 그렇게 계약을 따냈다.

표 출처: ^[6] (본문 기준으로 재구성)

링크 트레이너는 증강현실의 직접 조상이 아니다. 겹치는 것이 없고 광학 결합기도 없다. 그러나 이 장치가 확립한 명제가 이후 수십 년의 연구비를 결정했다. 훈련은 실제 환경 없이 합성 환경에서 더 안전하고 더 싸게 할 수 있다는 명제다. 이 명제가 성립하는 순간 합성 환경은 오락이 아니라 원가 절감 수단이 된다. 1968년 이후 머리 착용 디스플레이 연구를 실제로 지불한 주체가 군과 항공이었던 이유도 같은 논리다.

채택의 범위도 적어 둘 만하다. 합성 환경 훈련은 한 나라의 실험으로 끝나지 않고 하나의 산업이 되었다. 미국, 영국, 독일, 일본, 소련이 모두 이 방식을 채택했다. 전쟁 중에 서로 싸우던 나라들이 같은 결론에 도달한 것인데, 그 결론은 디스플레이 기술에 대한 신념이 아니라 훈련 사고의 비용에 대한 계산에서 나왔다.

여기에서 나오는 교훈은 냉정하다. 새로운 디스플레이 기술의 첫 지속 가능한 시장은 오락이 아니었다. 사고를 줄여 돈을 아끼는 훈련이었다. 이 장에서 실패하는 물건들은 대부분 오락 시장을 겨냥했고, 성공하는 물건들은 대부분 사고와 비용을 겨냥했다. ^[6]

1941년, 겹치는 내용이 계산되기 시작하다

반사 조준경은 정적인 표식을 겹친다. 표식의 위치는 장비에 대해 고정되어 있고, 바뀌는 것은 사수가 보는 표적뿐이다. 다음 도약은 겹치는 내용 자체를 그 순간의 조건으로부터 만들어내는 일이었다.

공중전의 명중률을 지배하는 것은 조준의 정밀도가 아니라 얼마나 앞을 겨누느냐였다. 필요한 선도각은 표적의 속도, 각속도, 탄속의 함수이고 사람이 순간적으로 계산할 수 없다. 편각 사격은 숙련 조종사만 가능한 기술이어서, 전시에 대량으로 양성된 신참 조종사에게는 재현 불가능했다. 문제는 인간의 계산 능력이었고, 해법은 계산을 기계에 넘기고 결과만 시야에 겹치는 것이었다.

자이로 조준경은 자이로스코프로 기체의 선회율과 속도를 측정하고, 필요한 선도각을 계산해 반사 조준경의 레티클 위치를 실시간으로 움직인다. 설계 주체를 정확히 적어야 한다. GGS Mk I과 Mk II의 설계는 영국 판버러의 왕립항공연구소(RAE)이고, 페란티는 제조사다. 페란티가 에든버러 Crewe Toll에 지은 신공장은 Mk II 생산을 위한 것이었다. 페란티를 개발 주체로 적는 서술은 제조사를 설계자로 바꿔치기한 것이다.

표 출처: ^[7] (본문 기준으로 재구성)

독일의 EZ 42는 같은 원리로 실패했으므로 따로 볼 가치가 있다. 1942년 여름에 개발을 시작해 1944년 7월에 초도 33대 중 3대를 인도했고, 이후 770대가 대부분 1945년 초에 나왔다. 중량이 13.6킬로그램이고 1대를 만드는 데 130시간의 공수가 들었다. 결국 Fw 190과 Me 262에 약 200대가 장착되는 데 그쳤으며, 안정성 문제로 조종사들이 신뢰하지 않았다. 영국과 미국은 성공하고 독일은 실패한 이유는 원리가 아니라 생산공학과 시기였다. 원리는 맞는데 제조가 따라가지 못한 실패의 초기 사례다.

증강현실의 관점에서 이 전환은 결정적이다. 오버레이가 고정 그래픽에서 실시간 계산 결과로 바뀌었다. 1968년의 장치가 한 일도 본질적으로 같고, 다만 계산의 주체가 자이로 기구에서 디지털 컴퓨터로 바뀌었을 뿐이다. 겹칠 내용을 누가 정하는가라는 질문이 이때 처음 기계 쪽으로 넘어간다. ^[7]

1942년, 눈에 보이지 않는 정보를 시야에 넣다

야간전투기에는 구조적인 문제가 있었다. 레이더 화면을 보는 사람과 조준하는 사람이 달랐다. 조종사는 레이더 조작수의 구두 유도에 의존했고, 교전 직전 몇 초 동안은 구두 전달의 지연이 치명적이었다. 문제는 레이더 성능이 아니라 시선이 두 곳에 나뉘어 있다는 것이었다. 정보를 조종사의 시선 한 곳에 모으는 것이 유일한 해법이었다.

1942년 10월 영국 통신연구소(TRE)가 레이더 표시관의 영상과 자이로 조준경의 투사상을 항공기 앞유리의 평평한 영역에 겹치는 데 성공했다. 두 가지 점에서 새롭다. 첫째, 겹치는 내용이 표적이 아니라 센서 데이터다. 사람 눈에 보이지 않는 정보가 시야에 들어갔다. 둘째, 투사면이 조준경의 부속 유리가 아니라 조종석 앞유리 자체다. 특정 장비의 부품이 아니라 조종석 창 전체가 디스플레이라는 개념이 여기서 나온다.

이 실험은 실세계에 정합된 센서 정보의 중첩이라는 오늘날의 요건에 가장 먼저 도달했다. 그만큼 서사에서 비중이 큰 항목인데, 바로 그래서 연대의 불확실성을 숨기면 안 된다. HUD의 역사를 다루는 사료는 1942년 10월 실험에 결합된 것이 표준 GGS Mk.II라고 적는다. 그러나 자이로 조준경을 다루는 사료는 Mk II의 시험과 배치를 1943년 말로 적는다. 1942년 10월에 표준 Mk.II는 아직 존재하지 않았으므로 둘 중 하나는 반드시 틀리다. 이 책은 어느 쪽도 임의로 고르지 않고, 결합 대상을 시제형 또는 초기형 자이로 조준경으로 완화해 적는다. 1942년 10월이라는 시점과 실험 내용 자체도 단일 사료에 의존하므로, 영국 공문서나 항공전자 분야의 사사로 교차 확인할 필요가 있다.

투사면이 바뀌었다는 사실에는 조직적인 함의도 있다. 결합기가 조준기의 부속품일 때 그 유리는 무기 체계의 일부이고, 무기를 만드는 사람이 설계한다. 결합기가 조종석 앞유리일 때 그 유리는 기체 구조의 일부이고, 기체를 만드는 사람이 설계한다. 표시할 정보는 레이더에서 오고, 그 레이더는 또 다른 사람이 만든다. 무엇을 어디에 겹칠지가 한 회사의 결정 사항이 아니게 되는 순간이 여기다. 이후 이 분야에서 표시 규격과 기호 체계가 끝없이 논쟁거리가 되는 이유의 절반은 이 구조에서 나온다.

결말은 성공이면서 지연이다. 실험은 작동했지만 즉시 실전 배치되지 않았다. 종전과 함께 우선순위에서 밀렸고, 실용 HUD가 나오기까지 16년이 더 걸렸다. 발표와 실용화 사이가 벌어지는 전형적인 사례이며, 원인은 언제나 기술만이 아니다. ^[8]

1958년, 창이 디스플레이가 되다

1950년대 말 전술 교리가 바뀐다. 고고도 폭격에서 초저공 침투로 옮겨 가면서, 조종사가 계기를 보려고 시선을 내리는 1초에서 2초가 곧 지면 충돌을 뜻하게 되었다. HUD를 요구한 것은 디스플레이 기술의 성숙이 아니라 고도 60미터에서 시속 900킬로미터로 나는 임무라는 새 요구였다.

블랙번의 함재 공격기 버캐니어가 이 요구를 받았다. 왕립항공연구소가 비행 정보와 무기 조준 정보를 하나의 결합기에 통합한 Strike Sight를 설계했고, head-up display라는 용어 자체가 이 시기에 처음 쓰였다. 계보상 이 지점은 세 줄기가 하나의 제품으로 합쳐지는 자리다. 반사 조준경의 무한대 허상, 자이로 조준경의 실시간 연산, TRE 실험의 센서 정보 중첩이다.

연대와 주체는 자주 잘못 인용되므로 표로 정리한다.

표 출처: ^[9] (본문 기준으로 재구성)

여기서 두 가지 흔한 오류를 정정한다. 첫째, 1958년 4월 30일은 NA.39 시제기의 초도비행일이며 버캐니어의 실전 배치는 1962년이다. 초도비행을 실용화와 같은 말로 쓰면 4년이 사라진다. 둘째, 초기 양산 HUD를 만든 곳은 Rank Cintel이고 Elliott Flight Automation은 이후 그 사업을 인수했다. 375대를 엘리엇 단독의 실적으로 적는 것은 정확하지 않다. 다만 엘리엇이 Mark III까지 버캐니어용으로 375대를 만들었고, 그 장비가 약 25년간 운용되며 fit and forget이라는 평판을 얻었다는 사실은 그대로다. 손 볼 일이 없다는 뜻이다.

1942년 TRE 실험과 1958년 버캐니어를 원인과 결과로 잇는 서술도 조심해야 한다. 사료는 Strike Sight의 동기를 초저고도 고속에서 수 초 안에 투하해야 하는 요구로 설명하며, TRE 실험의 계승이라고 말하지 않는다. 16년의 간격이 있고 기관도 다르다. 연대순의 인접을 인과로 바꾸는 것은 역사 서술에서 가장 흔한 오류다.

HUD 계보에서 설계자가 반드시 알아야 할 것은 세대 구분이다. 1세대는 CRT 형광면, 2세대는 LED 백라이트 LCD, 3세대는 광도파로 결합기, 4세대는 투명 매질 위의 레이저 주사다. 이 중 3세대의 광도파로는 오늘날의 머리 착용 증강현실 장치가 그대로 물려받은 광학계다. 군용에서 민항으로, 민항에서 자동차로, 자동차에서 소비자 장치로 광학계와 용어가 함께 이동했다.

한 가지 과장은 걷어내야 한다. 이 계보를 프리히스토리 중 유일하게 오늘날까지 끊기지 않은 산업이라고 부르는 서술이 있는데 성립하지 않는다. 페퍼의 유령은 160년간 존속해 지금도 무대에서 쓰이고, 반사 조준경은 소총용 도트사이트로 대량 생산되며, 카메라 루시다는 현미경 도해 기구로 1980년대까지 표준이었다. 살아남은 계보는 하나가 아니다. ^[9]

1955년부터 1962년까지, 개인이 쓰는 장치라는 형태

군에서 일어난 일과 나란히, 민간에서는 완전히 다른 동기로 완전히 다른 물건이 구상되었다. 만든 사람은 영화촬영감독 모턴 하일리그다. 1926년 12월 22일에 태어나 1997년 5월 14일에 죽었다.

시작은 장치가 아니라 글이었다. 1955년 하일리그는 「미래의 영화」라는 에세이를 쓴다. 원 게재지는 멕시코시티의 건축 잡지 『Espacios』 제23-24호로 알려져 있으나, 호수와 발행월은 1차 확인되지 않았다. 확정된 것은 1992년 MIT Press의 학술지 『Presence: Teleoperators and Virtual Environments』 제1권 3호 279면부터 294면에 'El Cine del Futuro: The Cinema of the Future'로 재수록되었다는 사실이다.

에세이의 주장은 이렇다. 영화는 시각 매체가 아니라 의식 전달 매체다. 그러므로 미래의 영화는 시각뿐 아니라 청각, 후각, 촉각, 평형감각까지 동원해 관객의 감각 전체를 점유해야 한다. 하일리그는 인간 감각의 주의 배분을 백분율로 추정하고, 각 감각에 얼마의 대역폭을 할당해야 하는지까지 논했다. 중요한 것은 이것이 장치 설명이 아니라 설계 요구사항 명세였다는 점이다. 이후 그가 만든 물건들은 모두 이 에세이가 먼저 규정한 요구를 하드웨어로 옮긴 것이다. 이 분야에서 이론이 장치를 앞선 드문 사례다.

동기는 순수한 발상이 아니었다. 1950년대 초 미국 영화산업은 텔레비전에 관객을 빼앗기고 있었고, 시네라마와 3D 영화와 시네마스코프와 Smell-O-Vision 같은 감각 확장 실험이 쏟아지던 시기였다. 하일리그의 이론은 텔레비전이 줄 수 없는 것을 극장이 주어야 한다는 산업적 생존 문제에 대한 답이었다.

첫 번째 하드웨어는 특허로만 남았다. 1957년 5월 24일 출원, 1960년 10월 4일 등록된 미국 특허 2,955,156이고 명칭은 'Stereoscopic-television apparatus for individual use'다. 특허 원문은 구성을 명시한다. 중공 케이싱 하나, 광학유닛 한 쌍, 텔레비전관 한 쌍, 이어폰 한 쌍, 공기 분출 노즐 한 쌍이다. 텔레비전관은 컬러를 권장한다. 주변시용 렌즈가 텔레비전관에서 오는 주변 광선을 꺾어 눈 옆쪽으로 입사시켜 수평과 수직 약 140도의 시야를 만든다. 이어폰은 외이를 덮지 않아 귀가 집음기관으로 계속 기능하게 설계되었다. 노즐은 속도와 온도와 냄새가 다른 기류를 내보낸다. 좌우 광학유닛과 텔레비전관은 사용자의 눈에 맞춰 개별 조정되고, 스트랩으로 머리에 고정한다.

오늘날 머리 착용 디스플레이의 폼팩터가 1957년에 이미 전부 명세화되어 있다. 머리 고정, 양안 개별 디스플레이, 동공간거리 조정, 넓은 시야, 귀를 막지 않는 음향이다. 다만 계보를 정확히 놓아야 한다. 이 장치는 얼굴에 밀착하는 케이싱 안에 텔레비전관을 두므로 시스루가 아니다. 실세계의 빛이 눈에 들어오지 않는다. 헤드트래킹도 없다. 그러므로 이것은 증강현실이 아니라 가상현실 계보의 원형이다. 앞에서 세운 기준, 즉 실세계를 차단하는가 남기는가라는 기준을 여기에도 일관되게 적용해야 한다. 이 장치가 증강현실의 전사에 기여한 것은 광학 결합이 아니라 폼팩터 하나다.

실패했다. 특허는 등록되었으나 제작되지 못했고 상용화되지 못했다. 하일리그는 끝내 투자를 유치하지 못했다. 원인은 두 겹이다. 기술적으로는 소형 컬러 CRT가 없었고 콘텐츠 공급원도 없었다. 경제적으로는 투자자가 판매 경로를 상상하지 못했다. 통설은 후자가 결정적이었다고 본다.

두 번째 하드웨어는 실물로 만들어졌다. 미국 특허 3,050,870 'Sensorama Simulator'이며 1961년 1월 10일 출원, 1962년 8월 28일 등록되었고 1962년에 시연되었다. 사업 모델이 바뀐 것이 핵심이다. 개인이 사서 머리에 쓰는 장치에서, 설치해 두고 동전을 받는 기기로 옮겼다. 기술이 바뀐 것이 아니라 과금 방식이 바뀌었다. 하일리그 자신이 문제를 기술이 아니라 경제로 인식했음을 보여주는 대목이다.

물건은 아케이드 게임기처럼 생긴 캐비닛이다. 관람자가 후드에 얼굴을 넣으면 여섯 가지가 동시에 작동한다. 입체 영상, 후드 내부의 스테레오 스피커, 전자석으로 제어되는 방향 분사기, 좌석에 붙은 진동 유닛, 모터로 상하 구동되는 좌석, 송풍 덕트다. 감각 제어 신호는 필름의 자기 트랙에 영상과 동기되어 기록된다. 대표 콘텐츠는 브루클린 거리를 오토바이로 달리는 영상이고, 관람자는 얼굴에 바람과 좌석의 진동과 입체 시야와 도시의 냄새를 함께 느꼈다.

표 출처: ^[10][11][12] (본문 기준으로 재구성)

수치에 관해 두 가지를 정정한다. 이 장치를 후드당 1~4인 수용으로 적는 서술이 있는데 특허 원문의 오독이다. 원문은 장치가 1인에서 4인을 위해 구성되며 각 관람자가 개별 후드를 쓴다고 기술한다. 후드 하나에 네 사람이 들어가는 것이 아니다. 또 시야를 눈당 수평 약 150도로 적는 수치는 출처가 확인되지 않는다. 특허 원문이 말하는 값은 약 160도에서 180도다.

센소라마는 「미래의 영화」 명세의 완전한 하드웨어 구현이다. 그런데 결정적인 것이 없다. 상호작용이 전혀 없다. 관람자는 시선을 돌릴 수도 없고 경로를 바꿀 수도 없다. 머리를 돌려도 화면은 그대로다. 헤드트래킹의 부재가 이 계보의 한계를 규정한다. 아무리 많은 감각을 동원해도, 관람자의 행동이 표시 내용에 되먹여지지 않으면 그것은 좌석이 움직이는 영화다.

실패했다. 원인을 하나로 뭉개면 안 된다. 사료는 두 가지를 든다. 하나는 콘텐츠 제작비다. 신작 한 편을 찍으려면 촬영자 몸에 35mm 카메라 3대를 매달아야 했고, 하일리그는 그 비용을 댈 자금을 얻지 못했다. 다른 하나는 판매 경로다. 투자자와 업계가 이 물건을 어떻게 팔아야 할지 이해하지 못했다. 이것은 자금 부족과 다른 문제다. 수요와 유통이 없다는 뜻이다. 자금난 하나로 요약하는 흔한 서술은 두 번째 원인을 지운다.

기술적 실패가 아니었다는 점이 중요하다. 장치는 작동했고 사람들은 감탄했다. 다만 편당 제작비를 회수할 유통 구조가 없었다. 체험은 훌륭한데 콘텐츠 단가가 시장을 만들지 못하는 이 실패 유형은 이후 60년간 계속 반복된다.

이론 쪽의 결말은 다르다. 감각 확장 영화의 유행은 1950년대 말 대부분 사라졌고 하일리그의 구상도 함께 묻혔다. 그러나 1992년 『Presence』 창간 초기에 에세이가 재수록되면서 그의 이론은 학계의 정전으로 복권되었다. 발표로부터 37년 뒤의 재발견이다. ^[10][11][12]

1961년, 머리의 방향이 곧 의도다

마지막 조각은 추적이다.

필코의 엔지니어 찰스 코모와 제임스 브라이언이 1961년에 헤드사이트를 발표한다. 원 발표는 『Electronics』 제34권 1961년 11월 10일자 86면부터 90면까지다. 구성은 세 부분이다. 헬멧에 장착한 CRT, 자기식 헤드트래킹 장치, 원격지의 폐회로 카메라다. 자기식 추적 장치가 착용자의 머리 움직임을 감지해 멀리 떨어진 카메라를 같은 방향으로 회전시킨다. 착용자가 고개를 돌리면 원격지의 시야도 함께 돌아간다.

동기는 오락이 아니었다. 위험 환경의 원격 감시였다. 방사성 물질을 취급하는 구역이나 사람이 직접 갈 수 없는 장소에서, 고정 카메라는 시야가 고정되어 상황 파악이 안 된다. 조이스틱으로 카메라를 돌리면 조작 자체가 주의를 빼앗는다. 그러니까 문제는 보는 것이 아니었다. 보려는 의도를 조작 없이 전달하는 것이었고, 머리의 방향이 그 의도의 가장 자연스러운 표현이었다.

이 장치가 추가한 요소는 명확하다. 머리 자세를 측정해 표시 내용을 그에 맞춰 갱신하는 폐루프다. 하일리그의 장치에는 이것이 없었다. 다만 계보를 정직하게 적어야 한다. 헤드사이트가 보여주는 것은 컴퓨터 그래픽이 아니라 실시간 카메라 영상이며, 실제 시야와의 광학 결합이 전혀 없다. 착용자는 앞을 보지 못하고 화면만 본다. 그러므로 이것은 증강현실이 아니라 원격현전이다. 겹침의 계보에 추적이 더해진 사건이 아니라, 다른 축에서 추적이 먼저 나타난 사건이다.

여기에 두 가지 유보가 붙는다. 첫째, 장치의 표시 구성에 관해 사료가 갈린다. 헬멧에 장착된 CRT 하나라는 서술과 양안 각각에 비디오 스크린을 두었다는 서술이 공존하며, 어느 쪽인지 1차 확인되지 않았다. 둘째, 이 계보가 1960년대와 70년대 헬리콥터의 야간 착륙용 헬멧 카메라 시스템으로 이어졌다는 서술은 널리 인용되지만, 통상 근거로 제시되는 문헌에서 확인되지 않는다. 마빈 민스키가 1980년에 원격현전이라는 용어를 제안한 것은 별개로 사실이다. ^[13]

통설과 사료가 갈리는 곳

지금까지 다룬 항목들은 대중 해설에서 특정한 방향으로 일관되게 왜곡된다. 왜곡의 방향은 대체로 두 가지다. 연도를 앞으로 당기고, 시험을 실전으로 격상한다. 설계를 하는 사람에게 연대의 정확성은 취미가 아니다. 어떤 요소가 언제 확보되었는지를 틀리게 알면, 지금 무엇이 해결된 문제이고 무엇이 미해결 문제인지를 판단할 수 없게 된다.

표 출처: ^{[6][7][9][14]} (본문 기준으로 재구성)

출처의 편중도 밝혀 둘 필요가 있다. 이 장이 다룬 열네 개 항목 중 상당수는 영문 위키백과 단독 근거이고, 보조로 쓰인 일반 웹 자료는 학술 출처도 1차 사료도 아니다. 버캐니어용 375대, EZ 42의 770대, 항공우편 78일 12명 같은 수치는 모두 단일한 3차 출처에 의존한다. 조사 과정 자체에도 한계가 있었다. 검색 할당이 소진된 상태에서 이미 알고 있는 문헌만 직접 확인하는 방식으로 수행되었으므로, 비영어권 사료와 1930년대부터 50년대 사이의 산업용 광학 중첩 장치, 초기 의료 분야의 광학 투사 사례는 체계적으로 누락되었을 가능성이 있다. 1962년 휴즈 항공이 만들었다고 알려진 단안 시스루 장치는 이 장에서 제외했는데, 서덜랜드 이전의 머리 착용 광학 시스루 사례로 중요할 수 있으나 뒷받침할 두 번째 출처를 찾지 못했기 때문이다.

검증에서 반대 방향의 오류도 있었다. 확인할 수 있는 것을 확인하지 못했다고 남겨 둔 경우다. 필코 헤드사이트의 원 발표 서지는 오랫동안 2차 인용에 의존한 값으로 취급되었으나, 실제로는 저자와 날짜와 권호와 면수가 통용되는 문헌 목록에 그대로 실려 있다. 하일리그 에세이의 1992년 재수록 서지도 학술 식별자로 확정된다. 학술지 『Presence』 제1권 3호 279면부터 294면, 식별자 10.1162/pres.1992.1.3.279다. 확인되지 않았다는 표시가 근거 없이 남아 있으면, 확인된 사실과 미확인 사실의 경계 자체가 흐려진다. 검증은 모르는 것을 모른다고 적는 일만이 아니라 아는 것을 안다고 적는 일까지다.

특히 조심해야 할 오염이 하나 있다. 서덜랜드가 자기 장치를 'Stereoscopic-Television Apparatus for Individual Use'라 부르기를 선호했다는 서술이 일부 문헌에 있다. 그 문구는 서덜랜드의 것이 아니라 하일리그의 1960년 특허 2,955,156의 제목이다. 두 항목이 뒤섞인 결과로 보이며, 이 문장을 인용하면 두 사람의 장치를 한 사람의 것으로 만들게 된다. 이 책은 이 서술을 쓰지 않는다.

이런 유보를 적는 이유는 겸손이 아니다. 어떤 수치가 단일 출처에 의존하는지 아는 사람만이 그 수치에 근거해 판단할 때 얼마나 조심해야 하는지를 안다. ^{[6][7][9][14]}

1968년에 남아 있던 것

이제 처음의 질문으로 돌아간다. 1968년에 무엇이 남아 있었는가.

서덜랜드는 1938년에 태어나 1963년 MIT에서 박사학위를 받았다. 지도교수는 클로드 섀넌이었고 심사위원에 마빈 민스키와 스티븐 쿤스가 있었다. 1962년에 Sketchpad를 만들었다. 1964년 릭라이더의 후임으로 ARPA 정보처리기술국의 실장이 되었고, 재임 종료 시점은 통상 1966년으로 표기되나 사료 내부가 어긋난다. 이후 1965년부터 1968년까지 하버드 부교수, 1968년부터 1974년까지 유타대 교수였다. 1965년에는 「The Ultimate Display」라는 에세이를 IFIP 학술대회 회보 506면부터 508면에 실었다. 그가 그 글에서 말한 궁극의 디스플레이는 장치가 아니라 방이었다.

궁극의 디스플레이란 컴퓨터가 물질의 존재 자체를 제어하는 방이다.

1968년에 그가 실제로 만든 것은 그 방이 아니었다. 반투명 거울로 컴퓨터가 생성한 와이어프레임 선화를 실제 방 위에 겹치고, 천장에 매단 기계식 링크 암이 머리 위치를 측정해 시점에 맞춰 그림을 다시 그리는 장치였다. 작업은 1966년 MIT 링컨연구소에서 착수되었고, 완성 장소는 사료가 갈린다. 하버드라는 서술과 유타대라는 서술이 각각 다른 문헌에 있으며, 어느 하나를 확정 사실로 적을 근거가 없다. 학생 밥 스프롤, 퀸틴 포스터, 대니 코헨이 참여했다.

별칭에 관한 오해도 바로잡을 가치가 있다. 흔히 장치가 너무 무거워 천장에 매달았고 그래서 다모클레스의 칼이라 불렸다고 서술된다. 서덜랜드 본인의 설명은 다르다. 그 별칭은 디스플레이를 지지하고 추적하는 기계 시스템에 붙인 농담 이름이며, 머리 위로 뻗은 거대한 십자 모양 구조물의 생김새에서 나온 말장난이다. 별칭이 가리키는 것은 머리에 쓰는 부분이 아니라 천장의 추적 암이다.

또 하나의 오해는 이 장치를 가상현실의 시작으로 부르는 것이다. 이 장치는 반투명 거울로 실세계를 그대로 보면서 그래픽을 겹치는 광학 시스루 장치다. 이 장에서 계속 써 온 기준으로 보면 증강현실 쪽에 훨씬 가깝다.

그렇다면 남은 과제가 계산뿐이었다고 말할 수 있는가. 말할 수 없다. 이 장치는 여섯 개의 서브시스템으로 구성되었다.

표 출처: ^[14] (본문 기준으로 재구성)

앞선 60년의 물건들이 제공한 것은 사실상 헤드셋 광학계 하나다. 실시간 3차원 파이프라인의 세 부분과 시점 변환용 머리위치 센서는 앞선 항목 어디에도 없었다. 그러므로 1968년에 계산만 남아 있었다는 서술은 여섯 개 중 네 개에서 다섯 개를 지운다. 표시 휘도와 추적 정밀도 문제도 그대로 남아 있었다.

정확한 문장은 이렇다. 1968년 이전에 겹침의 광학은 확보되어 있었고, 겹칠 내용을 조건으로부터 계산한다는 발상도 확보되어 있었으며, 머리 자세를 측정해 되먹인다는 발상도 다른 축에서 확보되어 있었다. 그러나 이 세 발상이 각각 다른 목적으로 다른 기관에서 만들어져 서로를 모른 채 흩어져 있었다. 서덜랜드가 만든 것은 요소가 아니라 요소들의 결합이다. 그리고 그 결합에는 새로 만들어야 할 부품이 네 개 더 있었다.

그가 결합의 주체가 될 수 있었던 조건도 우연이 아니다. 그는 ARPA에서 당대의 계산기를 직접 다뤄 본 사람이었다. 광학을 아는 사람도 있었고 추적을 아는 사람도 있었지만, 그 둘을 컴퓨터에 붙일 수 있는 위치에 있던 사람이 드물었다.

이 장치를 보고한 논문 자체에 관해서도 한 가지 유보가 필요하다. 제목은 'A head-mounted three dimensional display'이고 1968년 AFIPS 추계 합동 컴퓨터 학술대회에서 발표되었다. 통상 757면부터 764면으로 인용되지만, 원문 데이터베이스 접근이 막혀 이 면수를 1차로 확인하지 못했다. 이 논문이 몇 번 인용되었는지도 확인하지 못했다. 서지 데이터베이스 두 곳이 모두 응답하지 않았기 때문이다. 이 책이 어느 논문의 인용 횟수도 적지 않는 이유가 여기에 있다. 인용 횟수는 어떤 문헌이 정전이 되었는지를 보여주는 유용한 신호이지만, 확인하지 않은 숫자를 권위의 근거로 쓰는 것은 그 신호를 반대로 쓰는 일이다.

마지막으로 이 장의 시간 범위가 무엇을 다루지 않았는지 밝혀 둔다. 증강현실이라는 용어 자체는 1990년 보잉의 토머스 코델에게서 나온다. 실제와 가상의 결합, 실시간 상호작용, 정확한 3차원 정합이라는 세 요건은 1997년의 개관 논문에서 정립된다. 로널드 아주마가 학술지 『Presence』 제6권 4호 355면부터 385면에 실은 글이다. 즉 1968년은 물건의 역사에서 한 매듭이지만 정의의 역사에서는 아무것도 아니다. 1968년에 서덜랜드가 만든 장치를 증강현실이라고 부른 사람은 1968년에 아무도 없었다. 그 장치가 무엇이었는지를 규정하는 언어는 22년 뒤에, 정합을 요건으로 못 박는 정의는 다시 그 뒤에 도착한다. ^[14]

이 장의 한 문장

증강현실은 1968년에 발명된 것이 아니라, 1806년부터 1961년까지 서로를 모르는 사람들이 각자의 문제를 풀다가 남긴 광학과 연산과 추적이라는 조각들이 한 번도 한 자리에 모인 적 없이 흩어져 있던 상태에서, 그 조각들을 하나의 장치에 결합하려는 시도가 처음 성공한 것이며, 그 결합을 위해서는 여섯 개의 부품 중 네 개를 새로 만들어야 했다. ^{[1][3][8][13]}