이름과 정의

이름을 잘못 붙이면 예산이 틀어진다

새로운 기술을 실무에 들일 때 가장 비싼 실수는 장비 선택이 아니다. 무엇을 하려는 것인지에 이름을 잘못 붙이는 것이다. 이름이 틀리면 요구사항이 틀리고, 요구사항이 틀리면 검수 기준이 틀리고, 검수 기준이 틀리면 돈이 엉뚱한 곳으로 간다.

증강현실은 이 함정이 특히 깊은 분야다. 같은 단어가 세 층위에서 다르게 쓰인다. 제조사의 홍보 문구에서 한 뜻, 학술 논문에서 다른 뜻, 발주 문서에서 또 다른 뜻이다. 화면에 무언가를 겹쳐 보여 주는 모든 것을 증강현실이라 부르는 관행이 널리 퍼져 있다. 그 관행을 따르면 방송 화면의 자막과 현장에 정확히 고정된 3차원 모델이 같은 범주에 들어간다. 둘의 제작 비용은 자릿수가 다르다.

그래서 이 장은 장비도 응용도 다루지 않는다. 정의만 다룬다. 정의의 역사를 따라가는 이유는 학술적 예의가 아니다. 각 정의가 무엇을 포함하고 무엇을 배제하는지가 곧 검수 기준의 원형이기 때문이다. 배제 목록이 없는 정의는 계약서에서 쓸모가 없다.

정의가 검수 기준의 원형이라는 말을 조금 더 풀어 둔다. 검수란 결국 두 가지를 확인하는 일이다. 무엇이 있어야 하는가, 그리고 무엇이 있으면 안 되는가. 전자만 적힌 문서는 검수에 쓸 수 없다. 납품물이 요건을 넘어서는지 모자라는지 판정할 기준이 없기 때문이다. 좋은 정의는 후자를 준다. 이 장에서 다루는 정의들 가운데 어떤 것은 후자가 대단히 분명하고 어떤 것은 거의 없다. 그 차이가 실무적 쓸모의 차이다.

용어의 혼란이 비용으로 바뀌는 경로도 짧다. 발주자는 현장에 정확히 고정된 3차원 표시를 생각하며 '증강현실'이라고 쓴다. 수행자는 화면 위 오버레이를 생각하며 같은 단어를 읽는다. 양쪽 모두 거짓말을 하지 않았다. 그런데 납품 단계에서 요구와 결과가 만나지 않는다. 이때 다툼의 대상은 품질이 아니라 정의다. 정의를 문서 앞에 못 박아 두는 습관 하나가 이 다툼을 예방한다.

계보는 1965년에 시작한다. 그러나 출발점 문서에는 '증강현실'이라는 말이 없다. 이름이 붙기까지 25년이 걸렸고, 이름에 조건이 붙기까지 다시 7년이 걸렸다. 그 과정에서 무엇이 더해졌는지를 표로 먼저 세워 둔다.

표 출처: ^[1][2][3][4] (본문 기준으로 재구성)

이 표의 각 줄이 이 장의 절이 된다. ^[1][2][3][4]

창이 아니라 거울

아이번 서덜랜드가 1965년 IFIP 총회에서 발표한 「The Ultimate Display」는 흔히 가상현실의 창세기로 인용된다. 그 인용은 대체로 틀린 부분을 인용한다. 이 문서는 하드웨어 논문이 아니다. 구현도 측정도 없는 디스플레이 철학 선언문이다. 당시 서덜랜드는 ARPA의 정보처리기술실 실장이었다.

핵심 논지는 목적의 전환이다. 그때까지 디스플레이는 무언가를 재현하는 장치였다. 서덜랜드는 재현을 목적에서 내렸다. 컴퓨터에 연결된 디스플레이의 가치는 물리세계에 존재할 수 없는 개념을 감각 가능하게 만드는 데 있다는 것이다.

A display connected to a digital computer gives us a chance to gain familiarity with concepts not realizable in the physical world. It is a looking glass into a mathematical wonderland.

디지털 컴퓨터에 연결된 디스플레이는 물리세계에서는 실현될 수 없는 개념들과 친숙해질 기회를 우리에게 준다. 그것은 수학적 원더랜드로 들어가는 거울이다.

이 두 문장에 이 계보 전체의 방향이 들어 있다. 디스플레이는 현실을 들여다보는 창이 아니라 다른 세계로 들어가는 거울이라는 것이다. 재현의 정확도가 아니라 경험의 가능성이 평가 기준이 된다. 실무에서 이 구분은 사소하지 않다. 사진처럼 똑같이 보이는 것이 목표라면 사진을 찍으면 된다. 아직 존재하지 않는 상태를 몸으로 판단하게 하는 것이 목표라면 다른 도구가 필요하다.

같은 문서에서 서덜랜드는 시각 단일 감각 가정을 깬다. 그는 힘 되먹임 조이스틱 같은 역감 디스플레이와 청각을 시각과 동급으로 놓고, 가능한 한 많은 감각에 봉사해야 한다고 적는다. 36년 뒤 아주마와 공저자들이 증강현실을 시각에 한정하지 않는다고 못 박은 것의 원형이 여기 있다.

다감각 요구를 1965년에 적어 둔 것이 왜 중요한지는 반대 경우를 상상하면 드러난다. 시각만을 전제로 출발한 계보라면 소리와 힘은 나중에 덧붙이는 부가 기능이 된다. 부가 기능은 예산이 줄면 가장 먼저 삭제된다. 반대로 처음부터 동급의 감각으로 적혀 있으면 삭제할 때 근거를 대야 한다. 정의 문서에 무엇이 적혀 있는지가 예산 협상의 판을 정한다.

가장 자주 인용되는 대목은 물질의 존재 자체를 제어하는 방이라는 구절이다. 그러나 원문에서 그것은 마지막 한 문단의 사고실험일 뿐이다. 논문의 실질은 그 앞의 다감각·상호작용 논의다. 이 구절을 가상현실의 정의처럼 사용하는 것은 과잉 인용이다.

실무자에게 더 중요한 예언은 다른 곳에 있다. 우리가 어디를 보는지에 따라 표시가 달라지게 만드는 실험을 서덜랜드는 제안한다. 오늘날의 시선 기반 렌더링, 곧 포비티드 렌더링과 정확히 같은 발상이다. 1965년에 그것이 왜 필요한지가 이미 논리적으로 도출되어 있었다.

이 문서의 한계는 분명하다. '증강현실'이라는 용어가 없다. 실세계와 가상물을 좌표적으로 맞추는 정합이라는 개념도 없다. 구현도 측정치도 없다. 그러니 기술 사양의 근거로 인용할 수 있는 문서가 아니다.

서지 자체에도 유보가 붙는다. 통상 인용되는 분량 3쪽은 페이지 범위 506-508에서 역산한 추정이다. 이 조사에서 대조에 사용한 공개 PDF는 원 프로시딩 스캔이 아니라 2007년에 재입력·재조판된 2쪽짜리 전사본이다. 내용과 참고문헌 2건, 저자 소속은 그 전사본으로 확인되지만 원본 조판 분량은 확정할 수 없다. IFIP 총회의 정확한 개최 장소와 일자도 그 PDF에서는 확인되지 않는다. 참고문헌이 단 2건이라는 사실은 이 문서의 성격을 잘 말해 준다. 1963년 자신의 Sketchpad와 1964년 노울턴의 BEFLIX, 그것이 전부다. ^[5]

반투명 거울 한 장이 만든 구분

1968년 논문은 성격이 정반대다. 서덜랜드는 실제로 작동하는 머리 착용 디스플레이를 만들었고, 그것을 수치로 보고했다. 논문 작성 당시 소속은 유타대학이었고, 연구 수행은 하버드대학에서 ARPA와 해군연구청의 지원으로 이뤄졌다.

원리는 단순하다. 머리에 붙인 소형 음극선관 두 개가 선화 영상을 그린다. 그 빛을 프리즘 속 반투명 거울로 접어 눈에 넣는다. 거울이 반투명이므로 사용자는 음극선관 영상과 방 안의 실물을 동시에 본다. 광학 시스루 증강현실의 원형이 여기서 나왔다.

머리 위치는 두 방식으로 측정한다. 천장에 매단 기계식 팔, 또는 초음파 센서다. 측정값이 들어오면 행렬 승산기가 관측자 좌표계 변환을 수행하고, 클리핑 디바이더가 시야 절단과 원근 나눗셈을 실시간으로 처리한다. 눈에 띄는 설계 결정이 하나 있다. 서덜랜드는 안구 회전을 아예 측정하지 않는다고 명시한다. 시선 추적을 포기한 대신 머리 위치와 자세만 측정하고 프레임 단위 재계산으로 버틴 것이다.

안구 회전을 측정하지 않겠다는 이 결정에는 배울 점이 있다. 서덜랜드는 측정 항목을 늘려 정확도를 올리는 길을 택하지 않았다. 측정 항목을 줄이고 계산을 자주 하는 길을 택했다. 센서를 늘리면 교정과 동기화의 부담이 함께 늘어나고, 그 부담은 결국 지연으로 돌아온다. 무엇을 측정하지 않을지 정하는 것이 시스템 설계의 절반이라는 사실이 첫 장치에서 이미 드러난다.

이 논문의 한 문장이 증강현실을 가상현실에서 갈라놓았다.

Half-silvered mirrors in the prisms through which the user looks allow him to see both the images from the cathode ray tubes and objects in the room simultaneously. Thus displayed material can be made either to hang disembodied in space or to coincide with maps, desk tops, walls, or the keys of a typewriter.

사용자가 들여다보는 프리즘 속의 반투명 거울은, 음극선관에서 나온 영상과 방 안의 물체를 동시에 볼 수 있게 해 준다. 따라서 표시된 내용은 공간에 실체 없이 떠 있게 할 수도 있고, 지도나 책상 위, 벽, 또는 타자기의 자판에 정확히 겹쳐지게 할 수도 있다.

두 번째 문장이 결정적이다. 표시 내용을 공간에 떠 있게 할 수도 있고, 실물의 특정 위치에 겹쳐 일치시킬 수도 있다는 선택지가 여기서 처음 제시된다. 가상 정보를 실세계의 특정 물체에 좌표적으로 고정시킨다는 발상, 곧 오늘날의 정합이 실물로 구현된 순간이다. 떠 있는 그림과 고정된 그림은 사용자에게 전혀 다른 것이다. 전자는 표시장치이고 후자는 도구다.

1965년 문서가 개념이었다면 1968년 논문은 예산이다. 지연, 정확도, 시야각이라는 세 가지 공학 항목이 처음 숫자로 제시된다. 주요 값은 다음과 같다.

표 출처: ^[6] (본문 기준으로 재구성)

이 표에서 눈여겨볼 것은 두 줄의 관계다. 요구 정확도는 약 1/10인치인데 광학계 왜곡만으로 최대 0.3인치의 오차가 생긴다. 즉 광학 왜곡 하나가 요구 정확도를 세 배 넘겨 위반한다. 정합 오차 예산이 처음부터 초과 상태였다는 뜻이다. 이 구조는 지금도 바뀌지 않았다. 증강현실 시스템의 품질 문제는 언제나 오차 예산의 배분 문제다.

표의 값은 이 조사에서 원문과 대조했다. 다만 대조 방법을 정확히 적어 둘 필요가 있다. 대조에 쓴 공개 PDF는 텍스트층이 없는 순수 이미지 스캔이어서 통상적인 전문 대조가 성립하지 않는다. 8쪽 전부를 광학 문자 인식으로 재추출해 확인했고, 위 18개 값은 전부 원문과 일치했다. 그러니 이 수치들의 근거는 전문 대조가 아니라 OCR 대조다. 이런 구분을 적어 두지 않으면 후속 인용이 검증 강도를 실제보다 높게 가정한다. ^[6]

1968년 장치가 못 한 것

한계를 함께 읽어야 이 논문의 위치가 정확해진다. 가장 큰 것은 은선 제거의 포기다. 서덜랜드는 가려진 선을 지우는 문제를 풀지 않았다. 그 결과 모든 물체가 투명한 선으로만 보인다. 불투명 물체 표시는 현재 능력 밖이라고 원문이 명시한다.

이 한계는 겉보기 문제가 아니다. 불투명이 없으면 앞뒤 관계가 보이지 않는다. 앞뒤 관계가 보이지 않으면 사용자는 가상물이 실물의 앞에 있는지 뒤에 있는지 판단할 수 없다. 오늘날 실물이 가상물을 가려야 하는 차폐 처리가 증강현실 품질의 핵심 항목인 이유가 1968년에 이미 드러나 있었다.

두 번째 한계는 구속이다. 머리 추적이 천장에 고정된 기계 팔 또는 초음파에 묶여 있다. 사용자는 방 밖으로 나갈 수 없다. 작업체적이 지름 약 1.8m에 높이 약 0.9m라는 표의 값이 그 구속의 크기다. 초음파 방식에는 별도 문제가 있다. 40kHz의 파장이 약 1/3인치이므로 같은 간격의 모호성이 생기고, 그래서 완전한 보고가 불가능하다고 원문이 적는다.

세 번째는 이름이다. 이 논문에도 '증강현실'이라는 용어는 등장하지 않는다. 장치는 있었고 이름은 없었다. ^[6]

이름이 붙은 해

이름은 항공기 조립 현장에서 나왔다. 보잉 컴퓨터 서비스의 연구·기술 부문에 있던 토머스 코델과 데이비드 미젤이 그 일을 했다.

문제는 대단히 구체적이었다. 항공기 배선 하네스를 조립할 때 실물 크기의 도면판과 템플릿을 항공기 형식마다 따로 만들어야 했다. 형식이 늘면 치구도 늘고, 치구가 늘면 제작·보관·갱신 비용이 모두 늘어난다. 두 사람의 제안은 이 물리적 치구를 투시형 헤드마운트 디스플레이로 대체하자는 것이었다. 논문은 그 장치를 HUDset이라 부른다.

The authors describe the design and prototyping steps they have taken toward the implementation of a heads-up, see-through, head-mounted display (HUDset). Combined with head position sensing and a real world registration system, this technology allows a computer-produced diagram to be superimposed and stabilized on a specific position on a real-world object.

저자들은 헤드업 방식의 투시형 헤드마운트 디스플레이(HUDset) 구현을 향해 밟아 온 설계 및 시제작 단계를 기술한다. 머리 위치 감지와 실세계 정합 시스템이 결합되면, 이 기술은 컴퓨터가 생성한 도면을 실세계 물체의 특정 위치에 겹쳐서 안정적으로 고정시킬 수 있게 해 준다.

여기서 두 단어를 붙여 읽어야 한다. superimposed와 stabilized다. 겹치는 것만으로는 부족하고 안정적으로 유지되어야 한다. 겹침은 한 프레임의 성질이고 안정은 시간에 걸친 성질이다. 증강현실의 난이도가 후자에 있다는 사실이 이름과 함께 태어났다.

이 논문의 가치 논증 방식도 기록해 둘 만하다. 코델과 미젤은 새 볼거리를 더한다고 말하지 않았다. 무엇을 없앨 수 있는지로 말했다. 템플릿, 도면판, 마스킹 장치가 사라진다는 것이 제안의 근거다. 다시 말해 증강현실의 산업적 정의는 처음부터 정보를 띄우는 일이 아니라 물리적 치구를 정보로 대체하는 일이었다.

설계·기획 실무에서 증강현실의 사업 논리도 같은 형태를 취해야 한다. 현장에 반복 설치하던 기준점, 규준틀, 말뚝 같은 물리적 치구가 정보로 대체되는지를 따지는 것이 출발점이다. 대체되는 것이 없다면 비용 정당화가 어렵다.

치구를 정보로 대체한다는 논리에는 한 가지 전제가 숨어 있다. 대체되는 치구가 이미 존재하고, 그 비용이 장부에 잡혀 있어야 한다는 것이다. 보잉의 도면판은 그 조건을 만족했다. 형식마다 실물 크기로 만들어야 했고, 그 제작과 보관과 폐기가 모두 비용으로 계상되어 있었다. 그래서 제안이 견적 비교의 형태를 띨 수 있었다. 반대로 대체할 치구가 없는 업무에서는 같은 논리가 작동하지 않는다. 그런 업무에서는 증강현실이 비용 절감이 아니라 판단 품질의 문제로 정당화되어야 하고, 판단 품질은 절감액처럼 쉽게 숫자로 바뀌지 않는다. 사업 논거를 세울 때 자기 업무가 어느 쪽인지 먼저 구별하는 것이 정직하다.

연도 표기에는 주의가 필요하다. 흔히 이 논문의 출판 연도인 1992년을 용어의 탄생 연도로 적는데, 두 연도는 다르다. 용어 창안은 1990년 보잉 재직 중 토머스 코델에게 귀속되는 것으로 정리되어 있고, 최초의 학술 출판은 1992년 1월 7일 하와이 시스템과학 국제학술대회에서다. 창안 연도와 출판 연도를 붙여 적는 것이 정확하다.

이 항목에는 검증 한계가 크게 붙는다. 본문 전문을 확보하지 못해 초록만 원문과 대조했다. 그래서 본문 안에서 '증강현실'을 어떻게 정의했는지의 정확한 문장은 확인하지 못했다. 흔히 인용되는 '우리는 이 기술을 증강현실이라 부른다' 류의 문구도 확인되지 않았다. 더 조심할 점이 하나 더 있다. 이 논문에 정량 사양이 제시되지 않았다는 진술은 초록만 보고 본문 전체의 부재를 단정한 것이므로 성립하지 않는다. 올바른 표기는 본문 미확보로 확인 불가다. 서지 자체는 확인됐다. 학술대회 논문집 제2권 659-669쪽이고 인용은 1,463회다.

같은 1992년에 빼놓으면 안 될 사례가 하나 더 있다. 미 공군 암스트롱 연구소의 루이스 로젠버그가 만든 Virtual Fixtures다. 실제로 동작한 몰입형 증강현실 시스템의 초기 사례로 널리 인용된다. 이름이 붙은 해에 장치도 함께 진전하고 있었다는 뜻이다. 이 조사는 이 시스템의 원문을 다루지 않았으므로 여기서는 연표상의 존재만 기록한다. ^[7]

무엇을 그리지 않을지 아는 시스템

1993년 파이너와 매킨타이어, 젤리그만이 발표한 KARMA는 질문을 한 칸 올렸다. 그전까지 증강현실은 겹쳐 보여 주는 장치의 문제였다. 이 논문에서 증강현실은 무엇을 겹칠지 스스로 결정하는 시스템의 문제가 된다. 파이너와 매킨타이어는 컬럼비아대학, 젤리그만은 AT&T 벨 연구소 소속이었다.

KARMA는 유지보수 지원을 위한 지식 기반 증강현실을 뜻한다. 시제품의 대상은 레이저 프린터 한 대의 간단한 유지보수였다. 프린터 주요 부품에 3차원 트래커를 붙여 위치와 자세를 감시한다. 여기까지는 장치다. 핵심은 그다음이다. IBIS라는 규칙 기반 도해 생성 시스템이 오버레이 그래픽을 실시간으로 자동 설계한다.

작동 방식을 예로 보면 이해가 빠르다. 사용자에게 어떤 물체의 위치를 보여 주라는 목표가 주어진다. 시스템은 그 물체가 다른 물체에 가려졌는지 판단한다. 가려졌으면 투시되게 그린다. 이미 실세계에서 그대로 보인다면 아예 그리지 않는다.

마지막 규칙이 이 논문의 기여다. 오버레이의 최적 형태가 적게 그리기일 수 있다는 것을 규칙으로 명시했다. 증강현실의 품질을 정보량으로 평가하는 습관이 여기서 부정된다. 잘 만든 오버레이는 많이 그리는 오버레이가 아니라 필요한 것만 그리는 오버레이다.

원리적 전환은 연역이다. 이전까지 증강현실의 콘텐츠는 사람이 미리 만들어 둔 것이었다. KARMA는 세계 모델에서 표시 내용을 끌어냈다. 무엇이 어디에 있고 무엇에 가려져 있는가가 입력이고, 무엇을 어떻게 그릴지가 출력이다. 설계 검토 도구를 만들 때 곧바로 부딪히는 문제, 곧 도면 전체를 띄울 것인가 지금 필요한 한 요소만 띄울 것인가라는 문제의 최초 형식화가 이것이다.

인용문은 다음과 같다.

We believe that one of the most powerful uses of virtual worlds will not be to replace the real world, but rather to augment the user's view of the real world with additional information. This idea, introduced by Ivan Sutherland's pioneering work on head-mounted displays, is often referred to as augmented reality.

우리는 가상세계의 가장 강력한 쓰임새 가운데 하나가 실세계를 대체하는 것이 아니라, 사용자의 실세계에 대한 시야를 추가 정보로 증강하는 데 있다고 믿는다. 아이번 서덜랜드의 선구적인 헤드마운트 디스플레이 연구에서 도입된 이 발상은 흔히 증강현실이라 불린다.

이 인용에는 출처 조건이 꼬리처럼 붙는다. 저널 본문이 유료여서 인용문은 저자 연구실의 KARMA 프로젝트 공식 설명 페이지에서 가져왔다. 그리고 그 페이지는 1993년 7월 시점의 문서가 아니다. 페이지의 감사문에 1994년 이후의 연구 계약 번호가 기재되어 있고, 정식 서지도 저자 3인의 1993년 논문을 외부에서 인용하는 형태로만 표기되어 있으며, 증강현실의 정식 정의문도 없다. 게다가 이 페이지는 증강현실이라는 발상을 코델이 아니라 서덜랜드에게 귀속시킨다. 따라서 위 문장을 1993년 논문의 정의로 인용하면 안 된다. 저자들의 연구실이 밝힌 문제의식으로만 읽어야 한다.

적용 범위의 한계도 분명하다. 대상은 레이저 프린터 한 대 규모의 실내 환경이다. 트래커를 부품마다 물리적으로 부착해야 했다. 야외의 대규모 지형에는 그대로 옮겨지지 않는다. 그러니 KARMA에서 가져올 것은 시스템 구성이 아니라 규칙이다. 보이면 그리지 않는다는 규칙 하나가 30년 뒤에도 유효하다.

서지와 지표는 다음과 같다. 학술지 제36권 7호 53-62쪽이고, 이 조사가 수집한 2026년 9월 스냅숏 기준 인용은 약 969회다. ^[8]

장치가 아니라 좌표

1994년 폴 밀그램과 키시노 후미오는 증강현실과 가상현실을 대립항에서 끌어내렸다. 두 기술을 하나의 축 위의 서로 다른 위치로 다시 놓은 것이다. 밀그램은 토론토대학 산업공학과 소속으로 1993년부터 1994년까지 교토의 ATR에 초빙 연구 중이었고, 키시노는 그 ATR 통신시스템연구소 소속이었다.

축의 왼쪽 끝은 실물만으로 이루어진 환경이다. 오른쪽 끝은 가상물만으로 이루어진 환경이다. 그 사이 전부가 혼합현실이다. 이 축이 가상성 연속체다. 증강현실은 축의 왼쪽 절반을 가리키고, 증강가상은 오른쪽 절반을 가리킨다.

이 도식 하나로 증강현실과 가상현실과 텔레프레즌스가 같은 좌표계에 올라갔다. 이후 30년간 거의 모든 관련 논문의 첫 그림이 이 그림이 되었다.

그런데 밀그램의 진짜 기여는 연속체가 아니다. 그는 이 1차원 축이 불충분하다고 스스로 선언하고 세 개의 축을 세운다. 세 질문으로 옮기면 다음과 같다.

표 출처: ^[1][9] (본문 기준으로 재구성)

원문 선언은 다음과 같다.

This paper focuses on Mixed Reality (MR) visual displays, a particular subset of Virtual Reality (VR) related technologies that involve the merging of real and virtual worlds somewhere along the "virtuality continuum" which connects completely real environments to completely virtual ones. […] An (approximately) three dimensional taxonomy is proposed, comprising the following dimensions: Extent of World Knowledge ("how much do we know about the world being displayed?"), Reproduction Fidelity ("how 'realistically' are we able to display it?"), and Extent of Presence Metaphor ("what is the extent of the illusion that the observer is present within that world?").

이 논문은 혼합현실(MR) 시각 디스플레이에 초점을 맞춘다. 이는 완전히 실제인 환경과 완전히 가상인 환경을 잇는 '가상성 연속체' 위 어딘가에서 실세계와 가상세계의 융합을 수반하는, 가상현실(VR) 관련 기술들의 한 특정 부분집합이다. […] (근사적으로) 3차원인 분류체계를 제안하며, 그 차원은 다음과 같다. 세계 지식의 정도('표시되는 세계에 대해 우리는 얼마나 알고 있는가?'), 재현 충실도('우리는 그것을 얼마나 사실적으로 표시할 수 있는가?'), 현존 은유의 정도('관찰자가 그 세계 안에 현존한다는 착각은 어느 정도인가?').

괄호 속 '근사적으로'를 놓치면 안 된다. 저자 스스로 이 분류가 엄밀한 3차원이 아님을 인정한 표현이다.

논문은 또 하나의 구분을 남긴다. 실물과 가상물, 직접 관찰과 재합성 관찰, 그리고 광학적 의미의 실상과 허상을 각각 구별한 것이다. 이 구분이 중요한 이유는 하나다. 실물의 영상과 자기 손의 실재성은 같은 '실재'가 아니다. 카메라로 찍어 화면에 띄운 실물은 이미 한 번 합성을 거쳤다. 이 차이가 뒤의 재현 충실도 논의로 이어진다.

이 구분은 장비 방식 선택에 바로 걸린다. 사용자가 실세계를 눈으로 직접 보는 방식과, 카메라로 찍은 실세계 영상을 화면으로 보는 방식은 같은 실재를 다루지 않는다. 후자에서 실세계는 이미 렌더링된 대상이다. 밝기와 색, 해상도, 시간 지연이 모두 장비의 함수가 된다. 그러니 두 방식의 비교는 화면 크기나 무게의 비교가 아니라, 실세계를 어디까지 장비에 맡기느냐의 비교다. 밀그램은 이 선택을 취향의 문제에서 좌표의 문제로 옮겨 놓았다.

서지와 지표를 정리하면 다음과 같다. 1994년 7월 8일 투고, 8월 25일 개정, 12월 게재이고, 학술지 권호는 E77-D 제12호이며 시작 페이지는 1321이다. 혼합현실 하이브리드 디스플레이는 6개 부류로 제시된다. 검토한 선행 분류체계는 셰리든 1992, 젤처 1992, 나이마크 1991, 로비넷 1992의 4건이다. 나이마크는 원문에서 같은 해 두 건으로 인용된다.

한계는 원문이 스스로 밝힌다. 이 분류는 시각 디스플레이에만 한정된다. 청각과 촉각, 전정감각의 증강현실은 언급만 하고 다루지 않는다. 또 현존 은유 축이 재현 충실도 축과 완전히 직교하지는 않는다고 논문이 인정한다. 이 비직교성이 27년 뒤 재검토의 근거가 된다.

서지에 남은 불확정도 적어 둔다. 끝 페이지는 통상 1329로 인용되지만 이 조사에서 원문으로 확인하지 못했다. 인용 횟수는 약 4,635회로 알려져 있으나 이 논문에는 문헌 식별자가 없어 확인하지 못했다. 다만 같은 조사에서 식별자로 조회에 성공한 다른 세 건의 인용수가 보고값과 정확히 일치했으므로 같은 시점의 값일 개연성은 높다. 저널명 표기도 두 가지가 돌아다닌다. 저자 공개 전문의 머리말과 공식 명칭이 조금 다르며 둘은 같은 저널이다. 그리고 저자 공개 전문의 원 주소는 현재 응답하지 않는다. 재현 가능한 인용을 위해서는 웹 아카이브 보존본 주소를 출처로 적어야 한다. ^[1][9]

세계 지식이 표시 가능한 것의 상한을 정한다

밀그램이 다케무라 하루오, 우쓰미 아키라, 키시노 후미오와 함께 쓴 자매 논문은 세 축을 가장 상세히 서술한 판본이다. 앞의 학술지 논문에도 세 축의 절과 그림이 이미 모두 들어 있다는 점은 분명히 해 둘 필요가 있다. 약어 세 개도 거기서 이미 쓰인다. 자매 논문은 새 축을 만든 것이 아니라 같은 축을 더 길게 쓴 것이다.

여기서 혼합현실의 표준 정의가 나온다.

Within this framework it is straightforward to define a generic Mixed Reality (MR) environment as one in which real world and virtual world objects are presented together within a single display, that is, anywhere between the extrema of the RV continuum. […] In simple terms, EWK defines how much we actually know about objects and the world in which they are displayed. […] The term "Reproduction Fidelity" refers to the relative quality with which the synthesising display is able to reproduce the actual or intended images of the objects being displayed. […] the Extent of Presence Metaphor (EPM) axis, that is, the extent to which the observer is intended to feel "present" within the displayed scene.

이 틀 안에서는 일반적인 혼합현실(MR) 환경을, 실세계 물체와 가상세계 물체가 하나의 디스플레이 안에 함께 제시되는 환경, 즉 실재-가상 연속체의 양 극단 사이 어디엔가 놓인 환경으로 정의하는 것이 간명하다. […] 간단히 말해 EWK는 우리가 물체들과 그것들이 표시되는 세계에 대해 실제로 얼마나 알고 있는지를 규정한다. […] '재현 충실도'라는 용어는, 합성하는 디스플레이가 표시 대상 물체의 실제 영상 또는 의도된 영상을 재현해 낼 수 있는 상대적 품질을 가리킨다. […] 현존 은유의 정도(EPM) 축은, 관찰자가 표시된 장면 안에 '현존한다'고 느끼도록 의도된 정도를 말한다.

이 논문은 당시의 논쟁에 답을 낸다. 증강현실을 투시형 머리 착용 디스플레이에만 한정할 것인가라는 물음에 아니라고 답한다. 증강현실을 장치가 아니라 연속체 위의 좌표로 정의한 결과다. 그 덕에 모니터 기반 오버레이와 비디오 시스루, 태블릿 기반 표시가 모두 같은 이론 틀에 들어간다.

세계 지식 축의 서술이 실무에 가장 직접적이다. 이 축은 두 종류의 지식으로 쪼개진다. 어디에 있는가에 관한 지식과 무엇인가에 관한 지식이다. 위치는 알지만 정체는 모르는 구간, 또는 그 반대의 구간이 존재하고, 실제 증강현실 시스템이 놓이는 자리가 바로 그 중간이라고 논문은 밝힌다.

이 지적을 실무 언어로 옮기면 이렇다. 컴퓨터가 그 장소에 대해 무엇을 아는지가 표시 가능한 것의 상한을 정한다. 지형 모델이 없고 시설물 위치가 없고 경계 정보가 없으면, 아무리 좋은 장비를 써도 오버레이는 그저 떠 있는 그림에 머문다. 장비 예산을 늘리기 전에 모델 예산을 늘려야 하는 이유가 이 축에 들어 있다.

재현 충실도 축의 서술에도 날카로운 지적이 있다. 이 축은 실물의 재현과 가상물의 렌더링을 같은 축 위에 놓는다. 그러면 광학 시스루가 축의 오른쪽 끝에 놓인다. 직접 관찰된 현실이 곧 궁극의 충실도이기 때문이다. 이 관점에서 보면 화질 경쟁의 목표는 현실을 이기는 것이 아니라 현실과 구별되지 않는 것이다.

현존 은유 축은 바깥에서 들여다보기부터 그 안에 있기까지의 범위다. 같은 모델을 책상 위 축소 모형처럼 보는 것과 실제 크기로 그 안에 서서 보는 것이 이 축의 양끝이다. 두 방식은 판단할 수 있는 사항이 서로 다르다.

이 논문이 남긴 역발상도 기록해 둘 만하다. 세계 지식의 부족이 증강현실의 한계가 아니라 강점일 수 있다는 것이다. 사람이 가상 포인터로 실측하면서 세계 모델을 점진적으로 쌓아 간다는 발상이다. 측량이 완결되기 전에 시작해서, 관측할수록 모델이 채워지는 작업 흐름의 이론적 근거가 여기 있다.

서지에는 주의가 크게 붙는다. 이 논문의 연도는 1994년이다. 전자판 등록일이 1995년으로 색인되어 문헌마다 표기가 엇갈리므로, 인용할 때는 1994년으로 적고 색인상 1995년임을 병기하는 편이 안전하다. 근거는 네 가지다. 논문 자신의 첫 참고문헌이 수록 권을 1994년으로 명기한다. 같은 논문의 두 번째 참고문헌이 자매 논문을 1994년 12월로 인용한다. 저자 공개 원고 표지에 1994년 저작권 표시가 있다. 후속 재검토 논문도 1994년으로 인용한다. 자매 논문이 6개 부류를, 이 논문이 7개 부류를 제시하지만 두 논문은 같은 해의 자매편이므로 확장의 선후 서사를 만들어서는 안 된다.

한계도 원문이 자인한다. 서술은 시각 디스플레이에 엄격히 한정된다. 재현 충실도 축은 복잡한 주제의 심한 단순화이며 디스플레이 하드웨어와 신호처리, 렌더링 기법을 한데 뭉뚱그린 것이라고 논문이 스스로 적는다. 페이지 범위 282-292는 통상 인용값이며 원문 대조로 확인하지 못했다. 인용은 약 2,367회다. 다케무라의 현재 소속은 오사카대학이다. 1990년대 후반부터 2001년까지의 소속과 혼동하지 않아야 하며, 이 논문 집필 당시 소속은 ATR이다. ^[1]

세 조건

오늘날 교과서에 실린 표준 정의는 1997년 로널드 아주마의 서베이에서 나왔다. 아주마는 당시 휴스 연구소 소속이었다. 그는 증강현실을 머리 착용 디스플레이를 쓰는 시스템으로 한정하던 관행을 명시적으로 거부하고, 장치가 아니라 성질로 정의했다.

Some researchers define AR in a way that requires the use of Head-Mounted Displays (HMDs). To avoid limiting AR to specific technologies, this survey defines AR as systems that have the following three characteristics: 1) Combines real and virtual 2) Interactive in real time 3) Registered in 3-D

일부 연구자들은 헤드마운트 디스플레이(HMD)의 사용을 요구하는 방식으로 AR을 정의한다. AR을 특정 기술에 한정하는 것을 피하기 위해, 이 서베이는 AR을 다음 세 가지 특성을 갖는 시스템으로 정의한다. 1) 실재와 가상을 결합한다 2) 실시간으로 상호작용한다 3) 3차원으로 정합된다

세 문장은 짧다. 짧은 것이 이 정의의 힘이다. 세 조건이 모두 필요조건이므로, 하나라도 없으면 증강현실이 아니다. 정의는 이때 비로소 판정 도구가 된다. ^[2]

아주마 정의가 배제하는 것

정의의 실용성은 포함 목록이 아니라 배제 목록에서 나온다. 아주마의 세 조건은 배제가 대단히 깨끗하다.

첫 번째 배제는 상호작용이 없는 완벽한 합성이다. 실사 영상과 가상 생물을 3차원으로 완벽히 섞은 영화는 첫 번째 조건과 세 번째 조건을 만족한다. 그러나 상호작용이 없다. 그러므로 증강현실이 아니다. 아주마 자신이 든 예가 「Jurassic Park」이다.

두 번째 배제는 3차원 정합이 없는 실시간 오버레이다. 생중계 화면 위에 얹히는 2차원 자막은 실시간이고 실재와 가상의 결합이기도 하다. 그러나 3차원으로 정합되어 있지 않다. 그러므로 증강현실이 아니다.

무엇이 남는지도 분명하다. 모니터 기반 인터페이스, 단안 시스템, 투시형 머리 착용 디스플레이가 모두 포함된다. 표로 정리하면 다음과 같다.

표 출처: ^[2] (본문 기준으로 재구성)

두 번째 조건이 비용에 미치는 영향도 짚어 둘 필요가 있다. 실시간 상호작용은 표현의 문제가 아니라 계산 구조의 문제다. 미리 만들어 둔 영상은 아무리 정교해도 사용자의 위치와 시선에 반응하지 못한다. 반응하게 만들려면 장면을 그때그때 계산해야 하고, 그 순간 품질의 상한이 장비 성능에 묶인다. 사전 제작 영상과 실시간 생성 영상 사이의 품질 격차는 이 구조에서 나온다. 발주 문서가 영화 같은 화질과 실시간 상호작용을 동시에 요구하면, 두 요구가 서로 예산을 잡아먹는다는 사실을 양쪽이 먼저 합의해야 한다.

이 표가 왜 중요한지는 검수 상황을 떠올리면 분명해진다. 납품된 결과물이 화면 위에 아무리 정교한 영상을 띄우더라도, 시점이 바뀔 때 가상물이 실세계의 같은 자리에 머물지 않으면 세 번째 조건이 깨진다. 보기에 좋은 것과 정의를 만족하는 것은 다른 문제다.

정의의 수명이 이 배제 방식에서 나온다. 조건 명제는 장치 목록과 달리 미래의 장치를 미리 포섭한다. 1997년에는 존재하지도 않던 휴대기기 기반 증강현실과 투사 방식의 매핑이 이 정의에 그대로 들어온다. 30년을 버틴 정의다. ^[2]

정합은 왜 그토록 어려운가

아주마의 서베이는 정의 이후 절반을 세 번째 조건에 쓴다. 정합이 왜 어려운지를 정량적으로 해부한 것이다. 결론은 하나로 모인다. 시스템 지연이 정합 오차의 단일 최대 원인이며, 다른 모든 원인을 합친 것보다 크다.

원리는 간단하다. 머리가 움직이는 동안 화면은 과거의 머리 위치로 그려진 그림을 보여 준다. 지연 시간과 회전 속도의 곱이 각도 오차가 된다. 각도 오차에 대상까지의 거리를 곱하면 길이 오차가 된다. 그래서 지연은 밀리초의 문제가 아니라 밀리미터의 문제다.

주요 수치는 다음과 같다. 단위와 조건을 함께 읽어야 한다.

표 출처: ^[2][10] (본문 기준으로 재구성)

이 표에서 가장 잔인한 줄은 요구 조건과 프레임버퍼 소모의 대비다. 각도 오차 0.5° 이하를 지키려면 지연이 10ms 이하여야 하는데, 60Hz 프레임버퍼를 한 번 훑어 내보내는 것만으로 16.67ms가 쓰인다. 다른 처리를 전부 0으로 놓아도 요구를 만족할 수 없다. 1997년의 진단은 지연 예산이 구조적으로 초과 상태라는 것이었다.

0.5°라는 기준이 어디서 나왔는지도 함께 보아야 한다. 사람 눈의 중심와 원추세포 밀도는 약 120개/도이고, 이는 약 0.5분각 간격에 해당한다. 사람은 그만큼 미세한 어긋남을 분해할 수 있다. 감각을 돕는 비교값도 논문이 든다. 보름달의 시직경이 약 0.5°이고, 팔 길이에 든 10센트 동전이 1.2~2.0°다. 다시 말해 정합 오차 5°는 보름달 열 개를 늘어놓은 크기의 어긋남이다. 모르고 지나갈 수 있는 크기가 아니다.

지연과 오차 외에 광학 시스루와 비디오 시스루의 근본 차이도 이 표에 들어 있다. 광학 방식에서 실세계의 빛은 수 나노초에 눈에 닿는다. 사실상 지연이 없다. 그러니 가상물만 늦는다. 비디오 방식에서는 실세계 영상도 디지타이징을 거치므로 함께 늦는다. 둘이 같이 늦는 것과 한쪽만 늦는 것은 사용자에게 다르게 보인다. 방식 선택이 미관 문제가 아니라 오차 구조의 선택이라는 뜻이다.

예측에 관한 수치도 함께 읽어야 한다. 지연이 약 80ms 이하인 구간에서 예측은 동적 오차를 최대 한 자릿수까지 줄인다. 관성센서를 쓰면 예측 정확도가 2~3배 향상된다. 여기서 조건이 중요하다. 효과는 지연이 이미 작을 때 커진다. 지연이 큰 시스템에 예측을 얹어 해결하려는 시도는 순서가 뒤집힌 것이다. 먼저 지연을 줄이고, 남은 몫을 예측으로 메우는 것이 이 수치가 말하는 순서다.

한계도 분명히 적어야 한다. 이 서베이는 시각을 전제로 서술한다. 청각과 촉각의 증강현실은 1997년판 정의에서 명시적으로 다루지 않는다. 인용된 성능 수치는 1990년대 중반 하드웨어 기준이므로 오늘날 기기에 그대로 적용해서는 안 된다. 다만 요구 조건 쪽은 성질이 다르다. 각도 오차를 0.5° 이하로 유지해야 한다는 조건은 장비가 아니라 인간 시각계의 성질에서 나온 것이므로 지금도 유효하다. 하드웨어 수치는 낡고 인간 수치는 낡지 않는다.

서지는 다음과 같다. 학술지 제6권 4호 355-385쪽, 1997년 8월 게재다. ^[2][10]

빼기도 증강이다

2001년 아주마는 바이오, 베링거, 파이너, 줄리어, 매킨타이어와 함께 후속 논문을 냈다. 이 논문의 성격을 정확히 규정하는 것이 중요하다. 흔히 1997년 정의의 갱신판으로 소개되지만 그것은 틀렸다. 저자들의 목표는 원래 서베이를 대체하는 것이 아니라 보완하는 것이라고 원문이 명시한다. 새 진전의 대표 사례를 제시하는 것이 이 논문의 일이다.

세 조건의 표현은 다음과 같이 바뀐다. 실재 환경 안에서 실물과 가상물을 결합한다. 상호작용적으로, 그리고 실시간으로 동작한다. 실물과 가상물을 서로 정합시킨다. 표현은 길어졌으나 내용은 1997년과 실질적으로 같다. 특정 디스플레이 기술에 한정하지 않는다는 단서조차 1997년 본문에 이미 있었다. 그러니 두 정의 사이에 교체나 수정의 서사를 만들면 사실과 어긋난다.

그렇다면 2001년이 실제로 더한 것은 무엇인가. 두 가지다.

첫째는 감각의 확장이다. 증강현실은 시각이라는 감각에 한정되지 않으며 청각과 촉각, 후각을 포함해 모든 감각에 잠재적으로 적용될 수 있다고 못 박는다. 1997년판이 시각을 전제로 썼던 부분이 여기서 보완된다.

둘째는 빼기의 편입이다.

we define an AR system to have the following properties: ■ combines real and virtual objects in a real environment; ■ runs interactively, and in real time; and ■ registers (aligns) real and virtual objects with each other. Note that we don't restrict this definition of AR to particular display technologies, such as a head-mounted display (HMD). Nor do we limit it to our sense of sight. AR can potentially apply to all senses, including hearing, touch, and smell. Certain AR applications also require removing real objects from the perceived environment, in addition to adding virtual objects. For example, an AR visualization of a building that stood at a certain location might remove the building that exists there today. Some researchers call the task of removing real objects mediated or diminished reality, but we consider it a subset of AR.

우리는 AR 시스템을 다음의 성질을 갖는 것으로 정의한다. ■ 실재 환경 안에서 실물과 가상물을 결합한다 ■ 상호작용적으로, 그리고 실시간으로 동작한다 ■ 실물과 가상물을 서로 정합(정렬)시킨다. 우리는 이 AR의 정의를 헤드마운트 디스플레이(HMD)와 같은 특정 디스플레이 기술로 한정하지 않는다는 점에 유의하라. 또한 시각이라는 감각에 한정하지도 않는다. AR은 청각, 촉각, 후각을 포함해 모든 감각에 잠재적으로 적용될 수 있다. 어떤 AR 응용은 가상물을 더하는 것에 더해, 지각되는 환경에서 실물을 제거하는 일도 요구한다. 예를 들어 어떤 장소에 서 있었던 건물의 AR 시각화는 오늘 그 자리에 존재하는 건물을 제거해야 할 수 있다. 일부 연구자는 실물을 제거하는 이 작업을 매개된 현실(mediated reality) 또는 감소된 현실(diminished reality)이라 부르지만, 우리는 그것을 AR의 부분집합으로 본다.

인용문 뒷부분이 실무에 결정적이다. 저자들이 든 예시가 바로 어떤 장소에 서 있던 건물을 지우고 그 자리를 다르게 보여 주는 시각화다. 설계 검토에서 가장 자주 필요한 조작이 이것이다. 기존 구조물을 지우고, 옹벽을 지우고, 그 자리에 대안을 세워 비교하는 일이다. 더하기만 다루는 정의 아래에서는 이 작업이 증강현실 밖에 있었다. 2001년의 이 문단으로 비로소 정의 안으로 들어온다.

이 확장에는 두 겹의 유보가 붙는다. 모든 감각에 적용될 수 있다는 것은 원문 표현대로 잠재적 가능성이다. 2001년 시점에 시각 외 감각의 실증 사례는 사실상 없었다. 또 감소된 현실을 증강현실의 부분집합으로 규정한 것은 이 저자들의 입장이다. 이를 별개 범주로 두는 문헌도 있다. 매개된 현실 계열의 논의가 그렇다. 이 조사는 그 계열의 원문을 확보하지 못했다. 가상으로 실물을 지우는 작업을 설계 검토의 주된 수단으로 쓸 계획이라면 별도 조사가 필요하다.

서지와 부수 사실은 다음과 같다. 학술지 제21권 6호 34-47쪽, 2001년 11월과 12월 합본호다. 1997년 서베이 이후 약 4년간의 진전을 정리했고, 대표 사례로 증강현실 응용을 빠르게 만드는 소프트웨어 도구가 무료로 공개된 일을 든다. 본문 표기와 프로젝트 공식 명칭의 대소문자가 다르므로 인용 시 확인이 필요하다. ^[2]

연속체는 사실 불연속이다

2021년 리처드 스카베즈와 미시 스미스, 메리 휘튼은 밀그램의 연속체를 정면으로 재검토했다. 스카베즈는 라트로브대학, 스미스는 독립 연구자, 휘튼은 노스캐롤라이나대학 채플힐 소속이다. 심사자로 마크 빌링허스트와 디터 슈말슈티크가 참여했다.

주장은 세 가지다.

첫째, 연속체는 사실 불연속이다. 축의 오른쪽 끝에 있는 완전한 가상현실은 도달 불가능하다. 이유는 감각의 종류에 있다. 기존 기기는 시각과 청각, 촉각 같은 외수용감각만 자극한다. 고유수용감각과 내장감각 같은 내수용감각은 건드리지 못한다. 아무리 정교한 식사 장면을 보여 줘도 사용자는 여전히 배가 고프다. 이 감각 충돌 때문에 외부형 가상환경과 직접 뇌 자극 방식의 가상현실 사이에는 건널 수 없는 틈이 생긴다.

둘째, 그렇다면 현재의 가상현실도 전부 혼합현실이다. 머리에 쓴 헤드셋 자체가 실세계에 놓인 실물이기 때문이다. 여기서 정의의 한 단어를 바꾸자는 제안이 나온다.

First, we argue that the RV continuum is, in fact, discontinuous: that the "virtual reality" endpoint is unreachable, and any form of technology-mediated reality is, in fact, mixed reality. Second, we consider the term "mixed reality," and argue for the continuing utility of Milgram and Kishino's definition, with one small but significant change: Instead of requiring that real and virtual objects be combined within a single display, we propose that real and virtual objects and stimuli could be combined within a single percept.

첫째, 우리는 실재-가상 연속체가 사실은 불연속이라고 주장한다. 즉 '가상현실'이라는 종점은 도달 불가능하며, 기술로 매개된 현실은 어떤 형태든 사실상 혼합현실이다. 둘째, 우리는 '혼합현실'이라는 용어를 검토하여, 밀그램과 키시노의 정의가 여전히 유용함을 주장하되 작지만 중요한 변경을 하나 가한다. 실물과 가상물이 하나의 디스플레이 안에서 결합될 것을 요구하는 대신, 실물과 가상물 및 자극이 하나의 지각(percept) 안에서 결합될 수 있다고 제안한다.

디스플레이에서 지각으로의 이 한 단어 교체가 기준점을 옮긴다. 결합이 일어나는 장소가 장치가 아니라 사람의 지각이 된다. 그러면 표시 성능이 아니라 지각 결과가 평가 대상이 된다.

셋째, 세 축을 재편한다. 재현 충실도와 현존 은유는 밀그램 자신이 비직교라고 인정했으므로 하나로 합친다. 합친 자리에 몰입을 놓는데, 시스템이 지원하는 유효 행위의 집합으로 몰입을 정의한다. 그리고 사용자 경험의 일관성을 재는 정합성 축을 새로 세운다.

표 출처: ^[11] (본문 기준으로 재구성)

실무에 직접 쓰이는 개념은 정합성의 내부와 외부 구분이다. 가상현실에서는 가상물끼리의 내적 정합성이 문제다. 증강현실에서 정합성은 주로 외적이다. 가상물이 실제 지면 위에 앉아 있는지, 허공에 떠 있는지가 곧 품질이 된다. 30년 전에 정합이라 부르던 공학 문제가 여기서 외적 정합성이라는 경험 품질 지표로 번역된다. 지표가 경험 쪽으로 옮겨지면 검수 방법도 바뀐다. 오차를 밀리미터로 재는 것에 더해, 사용자가 어긋남을 알아채는지를 재야 한다.

첫째 주장이 실무에 주는 교훈은 기대 관리다. 완전한 몰입은 장비의 성능으로 도달할 목표가 아니라 원리적으로 닫힌 지점이다. 그렇다면 목표를 다시 써야 한다. 현실과 구별되지 않는 경험이 아니라, 판단하려는 항목에 대해 올바른 판단을 내리게 하는 경험이 목표가 된다. 앉은 자리에서 배고픔이 사라지지 않는다는 사실은 기술의 결함이 아니라 조건이다. 조건을 결함으로 취급하면 예산이 끝없이 들어간다.

이 논문이 남긴 비용 기록도 한 줄 옮겨 둘 만하다. 1990년대 중반 연구실 표준 구성은 머리 착용 디스플레이와 고성능 워크스테이션, 추적 장치였다. 총 시스템 비용이 100,000 USD를 쉽게 넘었다고 원문이 적는다. 통화 단위는 원문에 명시되어 있다.

한계는 논문 형식에서 온다. 이 글은 관점 논문이며 실증 연구가 아니다. 저자들 스스로 자신들의 혼합현실 정의가 지나치게 포괄적이어서 혼란을 준다는 비판이 가능함을 인정하고 반박을 제시한다. 그리고 세계 지식 축에 대해서는 밀그램 이후 후속 연구가 거의 없다고 지적하며 그 부분을 미개척지로 남겨 둔다. 실무자에게 이 지적이 뜻하는 바는 냉정하다. 대상지에 대한 지식의 양을 어떻게 재고 어떻게 늘릴지에 관한 이론은 아직 비어 있다.

서지는 다음과 같다. 2020년 12월 30일 투고, 2021년 3월 5일 채택, 3월 24일 게재이고, 학술지 제2권 논문번호 647997이며 분량은 8쪽이다. 통상 인용되는 15쪽은 다른 논문의 쪽수와 혼동된 값이다. 논문은 지난 25년을 검토 기간으로 표현하지만, 1994년부터 2021년까지의 실제 경과는 27년이다. ^[11]

이름이 다시 흔들릴 때

정의의 역사는 1997년에 끝나지 않았다. 2010년대 후반에 다시 흔들린다. 흔들림의 원인이 앞 시기와 다르다는 점이 중요하다.

2019년 막시밀리안 슈파이허와 브라이언 홀, 미하엘 네벨링은 혼합현실이라는 말이 실제로 어떻게 쓰이는지를 문헌 검토와 전문가 인터뷰로 조사했다. 결과는 통일된 정의가 없다는 것이었다. 후속 재검토 논문이 이 조사를 인용해 요약한 바에 따르면, 혼합현실은 서로 충돌하는 네 방식으로 정의되어 왔다. 증강현실과 가상현실의 합, 증강현실의 동의어, 증강현실의 더 강한 판본, 그리고 밀그램과 키시노가 정의한 그대로다.

이 조사가 남긴 가장 유명한 문장은 인터뷰 대상자의 항변이다.

if [a console video game] is MR, then everything is

만약 [콘솔 비디오게임]이 MR이라면, 그럼 전부 다 MR이다

한 문장에 딜레마가 압축되어 있다. 정의를 넓히면 변별력을 잃고, 좁히면 실제로 존재하는 시스템을 담지 못한다. 방법론의 전환도 여기서 일어난다. 밀그램과 아주마는 정의를 규범적으로 선언했다. 이 조사는 정의를 경험적으로 조사했다. 정의는 논문이 정하는 것이 아니라 공동체가 쓰는 것이라는 관점이다.

이 항목은 이 조사에서 가장 취약한 항목이다. 원 논문 전문을 확보하지 못했다. 위 인용문과 네 가지 상충 정의의 요약은 모두 2021년 재검토 논문의 본문을 통해 대조한 2차 인용이다. 그래서 검토한 논문 편수와 인터뷰한 전문가 수는 여기에 적지 않았다. 기억에 의존한 숫자를 적으면 책이 틀린다. 서지 정량값만 확인됐다. 2019년 학술대회 논문집 1-15쪽으로 15쪽 분량이고 인용은 691회다. 저자 소속은 확정하지 못했다.

2022년 필립 라우슈나벨과 공저자들은 용어 혼란 자체를 정리하려 했다. 진단은 간명하다. 네 용어가 현실을 어떻게 생성하거나 변형하는가를 가리키는 데 쓰이지만 그 사용이 일관되지 않아 개념적 경계가 불분명해졌다는 것이다.

Augmented Reality (AR), Virtual Reality (VR), Mixed Reality, and Extended Reality (often – misleadingly – abbreviated as XR) are commonly used terms to describe how technologies generate or modify reality. However, academics and professionals have been inconsistent in their use of these terms. This has led to conceptual confusion and unclear demarcations. […] we conclude that (1) XR should not be used to connote extended reality, but as a more open approach where the X implies the unknown variable: xReality

증강현실(AR), 가상현실(VR), 혼합현실, 그리고 확장현실(흔히 — 오해를 부르는 방식으로 — XR로 줄여 쓰는)은 기술이 현실을 생성하거나 변형하는 방식을 기술하는 데 흔히 쓰이는 용어들이다. 그러나 학자들과 실무자들은 이 용어들을 일관되지 않게 사용해 왔다. 이는 개념적 혼란과 불분명한 경계 획정으로 이어졌다. […] 우리는 다음과 같이 결론짓는다. (1) XR은 확장현실(extended reality)을 뜻하는 말로 쓰여서는 안 되며, X가 미지수를 함의하는 더 열린 접근, 곧 xReality로 쓰여야 한다

저자들의 제안은 X를 미지수로 읽는 것이다. 특정 기술 묶음을 가리키는 고정 명칭이 아니라 아직 정해지지 않은 변수를 담는 틀로 쓰자는 것이다.

이 논문의 위치가 중요한 이유는 혼란의 출처에 있다. 1994년과 1997년의 정의는 연구 공동체 안에서 만들어졌다. 2020년대의 혼란은 다르다. 제조사들이 마케팅 목적으로 서로 다른 정의를 유포하면서 생긴 혼란이다. 그래서 실무자는 제품 홍보 문구의 혼합현실과 논문의 혼합현실을 같은 것으로 읽어서는 안 된다. 발주 문서에 용어를 쓸 때는 어느 정의를 따르는지 문서 안에 적어 두어야 한다.

이 항목도 초록만 원문과 대조했다. 공저자 전체 명단과 권호, 페이지, 소속을 확인하지 못했다. 제안된 틀의 구체적 축 구성도 초록만으로는 알 수 없다. 인용은 약 917회다. ^[3][4]

정의를 실무 문장으로 바꾸기

지금까지의 계보를 실무 문서에 쓸 수 있는 형태로 압축해 둔다. 새로 만드는 기준이 아니다. 앞의 정의들에서 그대로 끌어낸 것이다.

첫째 문장은 아주마의 세 조건에서 온다. 표시물이 실세계와 결합되어야 하고, 사용자의 조작에 실시간으로 반응해야 하고, 3차원으로 정합되어야 한다. 이 세 가지를 모두 요구하지 않는 문서는 증강현실이 아닌 결과물을 받아도 거절할 근거가 없다. 특히 세 번째를 빠뜨리는 경우가 많다. 세 번째가 비용의 대부분을 만든다.

둘째 문장은 코델과 미젤에서 온다. 무엇이 사라지는지를 적어야 한다. 현장에 반복 설치하던 기준점과 규준틀 같은 물리적 치구가 몇 개 줄어드는지, 그 제작과 보관과 갱신에 들던 비용이 얼마인지가 사업 논거다. 볼거리가 늘어난다는 서술만으로는 예산 심사를 통과하기 어렵다.

셋째 문장은 밀그램의 세계 지식 축에서 온다. 대상지에 대해 무엇을 알고 있는지를 목록으로 적어야 한다. 지형 모델의 해상도, 시설물 위치의 좌표 정확도, 경계 정보의 출처가 그 목록이다. 이 목록이 빈약하면 어떤 장비를 써도 표시 품질의 상한이 낮다. 장비 사양서를 쓰기 전에 이 목록을 쓰는 것이 순서다.

넷째 문장은 KARMA에서 온다. 무엇을 그리지 않을지를 적어야 한다. 실세계에서 이미 보이는 것은 그리지 않는다는 규칙, 가려진 것만 투시해 보여 준다는 규칙이 그 예다. 표시 항목의 수를 성능 지표로 삼으면 결과물이 반드시 산만해진다.

다섯째 문장은 아주마와 공저자들의 2001년 논문에서 온다. 빼기를 요구 사항에 포함할지를 정해야 한다. 기존 구조물을 지운 상태를 보여 주는 기능은 더하기와 난이도가 다르다. 필요하면 별도 항목으로 적고, 필요 없으면 명시적으로 제외한다.

여섯째 문장은 스카베즈와 공저자들에게서 온다. 품질을 지각으로 재야 한다. 밀리미터 단위의 오차 측정에 더해, 사용자가 어긋남을 알아채는지를 확인하는 절차가 필요하다. 가상물이 실제 지면에 앉아 보이는지가 외적 정합성이고, 그것이 곧 사용자가 체감하는 품질이다.

일곱째 문장은 라우슈나벨과 공저자들에게서 온다. 어느 정의를 따르는지 문서 안에 적어야 한다. 제조사 홍보 문구의 용어와 학술 문헌의 용어는 같은 글자를 쓰면서 다른 것을 가리킨다. 출처를 밝힌 정의 한 줄이 나중의 해석 다툼을 없앤다.

일곱 문장을 모두 갖춘 요구서는 길지 않다. 한 쪽으로 충분하다. 그 한 쪽이 없으면 수십 쪽의 사양서가 판정 불가능해진다. ^{[2][11][3][4]}

이 장이 확정하지 못한 것

정의를 다루는 장이 스스로의 불확실성을 숨기면 정의를 논할 자격이 없다. 이 장의 근거 조사에서 확정하지 못한 항목을 모아 둔다.

전문을 확보하지 못해 초록 또는 2차 출처에만 의존한 항목이 넷이다. 코델과 미젤의 1992년 논문, 슈파이허 외의 2019년 논문, KARMA의 1993년 학술지 본문, 라우슈나벨 외의 2022년 논문이다. 앞의 절들에서 각각 어떤 문장이 어디서 왔는지 적어 두었다. 원문 확보 후 재확인이 필요하다.

서지 세부가 미확정인 것이 둘이다. 밀그램과 키시노의 1994년 논문 끝 페이지, 그리고 밀그램 외 자매 논문의 페이지 범위다. 자매 논문의 연도는 1994년으로 확정했으나 색인이 1995년으로 되어 있어 병기가 필요하다. 1965년 문서의 학술대회 개최 장소와 일자도 대조에 쓴 자료에서는 확인되지 않는다.

수치 관련으로는 밀그램과 키시노 1994년 논문의 인용 횟수를 확인하지 못했다. 각 논문의 인용 횟수는 모두 이 조사가 2026년 9월에 수집한 스냅숏 기준이며 조회 시점에 따라 달라진다. 인용할 때는 기준 시점을 반드시 함께 적어야 한다. 확인된 값을 정리하면 다음과 같다.

표 출처: ^{[7][1][2][3][4]} (본문 기준으로 재구성)

이 장에서 아예 다루지 못한 것도 둘이다. 매개된 현실 계열의 원문을 확보하지 못했다. 가상으로 실물을 지우는 작업을 설계 검토의 주된 수단으로 삼으려면 별도 조사가 필요하다. 그리고 국제·국가 표준화 기구의 공식 정의는 이 조사에서 다루지 않았다. 공공 발주 문서에 쓸 정의가 필요하다면 별도로 확인해야 한다.

마지막으로 조사 조건 자체를 적어 둔다. 이 조사는 웹 검색 예산과 문헌 데이터베이스 일일 예산이 모두 소진된 상태에서, 키워드 검색 없이 이미 알고 있는 주소로 직접 내려받는 방식으로만 수행됐다. 따라서 위에 없는 중요한 정의 문헌이 누락됐을 가능성이 있다. 이 장의 계보는 완결된 목록이 아니라 확인된 목록이다. ^{[7][1][2][3][4]}

한 문장

증강현실은 장비의 이름이 아니라 세 가지 조건의 이름이며, 실재와 가상이 결합되고 실시간으로 상호작용하고 3차원으로 정합되어야 한다는 그 조건이 곧 검수 기준이므로, 정의를 느슨하게 쓰는 순간 검수도 느슨해진다. ^[2]