표: 웹판 필자 작성
공식 제품 문서는 기능을 확인하는 1차 자료지만 효과에 대한 독립 평가가 아니다. 조사에서 찾지 못했다는 사실 또한 해당 기능이나 프로젝트가 없다는 증거가 되지 않는다. ## 웹판에서 다시 확인한 내용 확인일은 **2026년 9월 30일**이다. 다음 항목은 원고의 단정이나 미확인 부분을 보완하기 위해 공식 자료를 대조한 결과다. ### iScape — 조경 AR 기능의 존재 공식 사용 안내는 표면 탐지, 식물·시설물 배치, 3차원 이동·회전·크기 조절을 설명한다. 따라서 ‘조경 AR 기능이 없다’는 식의 일반화는 적절하지 않다. 이 안내만으로 측량 정합 정확도나 장기 생장 예측 성능을 판단하지는 않는다. [공식 AR 사용 안내](https://www.iscapeit.com/blog/create-an-immersive-landscape-design) [1] ### Tangible Landscape — 함께 만지는 지형 프로젝트 소개는 실물 모형을 스캔하고 GIS 계산·투영·3차원 렌더링으로 연결하는 구조를 설명한다. 헤드셋 AR과 구분해 공간 투영과 협업의 사례로 읽는다. 홈페이지의 저작권 연도만으로 프로젝트의 중단 여부를 판단할 수는 없다. [프로젝트 소개](https://tangible-landscape.github.io/) [2] ### Lands Design — 생장과 계절의 표현 공식 도움말은 Season 설정과 개체의 수고·수령, Growth 옵션에 연결된 렌더링을 설명한다. 원고의 ‘생장·계절 기능 미확인’을 보완한다. 이 문서는 모델 표현 기능에 대한 근거이며 현장 AR 연결이나 생장 예측의 타당성까지 입증하지 않는다. [Document Properties](https://help.landsdesign.com/interface/document-properties/) [3] ### ARCore Depth — 거리 수치의 의미 Depth 문서의 0.5~5m는 가장 정확한 결과를 얻는 거리대다. 최대 지원 거리와 동일한 뜻이 아니다. 장면의 특징, 기기 움직임과 센서 조건이 결과에 영향을 준다. [Depth 공식 문서](https://developers.google.com/ar/develop/depth) [4] ### Geospatial Depth — 건물·지형과 수목을 구분 VPS 지원 위치에서 Streetscape Geometry를 켜면 주변 건물·지형 정보를 깊이 영상에 결합하며, 공식 문서는 최대 65m 범위를 설명한다. 이를 잎·가지·움직이는 수관의 재현 정확도로 해석해서는 안 된다. [Geospatial Depth 공식 문서](https://developers.google.com/ar/develop/java/depth/geospatial-depth) [5] ### Geospatial API — 위치 기반 AR의 별도 조건 이 API는 기기 센서·GPS와 VPS를 함께 사용한다. 지리적 위치를 정하는 기능과 로컬 장면의 깊이를 추정하는 기능은 다르다. 대상지에서의 지원 여부와 초기 위치 추정, 추적 회복을 확인해야 한다. [Geospatial API 개요](https://developers.google.com/ar/develop/geospatial) [6] [1][2][3][4][5][6] ## 원고의 결론을 읽을 때 26장의 대상은 8개 사무소의 공개 기록이다. 이것으로 전체 조경 업계의 AR 사용 여부를 판정할 수 없다. 사무소 직접 인터뷰로 오해할 수 있는 표현도 웹판에서 수정했다. 33장의 ‘식생·수목 2편’은 수집된 140개 문헌 기록의 분류 결과다. 동일 연구의 프리프린트·출판본이 함께 포함될 수 있으며, 전 세계 독립 연구의 총수와 같지 않다. 검색 범위 밖의 연구와 분류 차이도 고려해야 한다. 인수·통합·도메인 변경은 프로젝트 실패와 같은 사건이 아니다. 제품의 계속 제공, 기능 변경, 유지보수와 지원 종료를 각각 확인해야 한다. 이 웹판은 원고 전체의 모든 시세·제품 상태·사례를 재검증한 판본이 아니다. 확인한 보완 내용과 원고의 조사 기록을 구분해 읽는다. [7][8][9][10][11][12] ## 다음 조사에 남길 질문 ‘쓰는가’에서 한 걸음 더 들어가 **무엇을 결정할 때, 어떤 조건에서, 얼마나 반복해서 사용했는가**를 묻는다. 발주처·장소·시점이 있는 현장 기록, 비교 가능한 정확도·사용성 지표, 모델 수정·운영 비용, 실제 결정에 반영된 과정이 후속 조사에 필요하다.본문의 번호를 누르면 출처로 이동합니다. 절 끝의 번호는 그 절의 사실 자료를, 표 아래의 번호는 표에 사용한 자료를 가리킵니다. 비교·계산·비유와 결론은 필자의 재구성입니다. 한 번호에 함께 사용한 문헌이 둘 이상이면 묶어서 적었습니다.
서지정보와 확인 메모는 옵시디언 조사 기록을 바탕으로 복원했습니다. 원 기록의 ‘전문 확인’·‘조회’ 표기는 당시 조사 상태이며 이번 웹판에서 모두 재검증했다는 뜻은 아닙니다. 불완전한 서지사항은 임의로 채우지 않았습니다.
공식 기능 문서 대조
↩1 ↩2공식 기능 문서 대조
↩1 ↩2공식 기능 문서 대조
↩1 ↩2공식 기능 문서 대조
↩1 ↩2공식 기능 문서 대조
↩1 ↩2공식 기능 문서 대조
↩1 ↩2판정 불가 — 본문 소멸. 확인된 것은 URL과 발행일뿐이다.
사내 연구·홍보. 프로젝트 적용은 VR 설계검토 수준.
연구 프로토타입(사내 펠로십 연구). 오픈소스로 공개했다고 밝힘.
부재의 확인. 자사 사이트 검색 + 사이트맵 전수 + Wayback 색인 세 경로 모두 0건.
부재의 확인. 확인 경로를 사무소별로 명시했다.
표의 편수·주제 분류·당시 인용 수는 이 조사 목록의 집계다. 전 세계 연구의 총수 또는 현재 인용 수가 아니다.
↩표: 웹판 필자 작성
## 1. 장면과 좌표의 기준을 정한다 현장의 기준점과 모델 원점, 축 방향, 단위, 표고 기준을 기록한다. 같은 위치처럼 보여도 좌표계나 높이 기준이 다르면 다른 장면이다. 화면을 손으로 옮겨 보기 좋게 맞춘 것과 측정한 기준에 맞춘 것을 기록에서 구분한다. 실제 위치를 아는 점을 여러 곳 선택해 초기 정합에 쓰는 점과 결과 확인에 쓰는 점을 나눈다. 가까운 한 점만 맞아도 먼 곳의 방향 오차는 클 수 있다. 관찰 거리를 바꾸고 여러 방향으로 이동해 확인한다. 좌표를 이해하려면 [10장](https://spatialflare.com/augmented-reality-landscape/chapters/ch10.html), 추적을 이해하려면 [12장](https://spatialflare.com/augmented-reality-landscape/chapters/ch12.html)을 함께 읽는다. [1][2] ## 2. 식물 객체에 시점과 근거를 붙인다 나무 모델의 모양만 저장하면 나중에 그 크기가 무엇을 뜻했는지 알 수 없다. 같은 수종이라도 식재 규격·토양·관리·경쟁 조건에 따라 생장이 달라진다. 장기 상태는 단일한 확정 모습보다 여러 가정으로 비교한다. | 필드 | 기록할 내용 | 표시 원칙 | | --- | --- | --- | | 개체 식별자 | 설계도·수량표와 연결되는 ID | 화면과 결과표에서 같은 ID 사용 | | 수종·규격 | 학명 또는 수종명, 식재 시 수고·수관폭·흉고직경 등 | 단위와 규격 체계를 함께 기록 | | 위치 | 좌표계, 원점, 축 방향, 표고 기준 | 변환 과정과 기준점을 보관 | | 시점 | 식재 시점, 경과 연수, 계절 | ‘10년 뒤’의 기준 연도를 표시 | | 생장 가정 | 데이터 출처, 토양·관수·전정 등의 가정 | 관측값·문헌값·예시값을 구분 | | 불확실성 | 수고·수관폭의 범위 또는 복수 시나리오 | 가장 유리한 시나리오만 보여주지 않기 | | 모델 버전 | 형상·속성·시나리오의 수정일 | 화면 기록에 버전을 함께 남기기 |표 출처: [3] (본문 기준으로 재구성)
Lands Design의 공식 도움말에는 계절과 개체의 수고·수령에 연결된 표현 기능이 설명되어 있다. 이 기능의 존재와 현장의 생장 예측 정확도는 별도로 검증해야 한다. [Lands Design 도움말](https://help.landsdesign.com/interface/document-properties/) [3] ## 3. 과제에 맞는 표현 방식을 고른다 **모형 위의 투영**은 여러 사람이 같은 지형을 함께 바꾸며 논의하는 데 사용할 수 있다. **스마트폰 AR**은 실제 대상지에서 여러 위치의 시야를 비교하는 접근이다. **몰입형 VR**은 현장 방문이 어려운 상황에서 대안을 검토하는 선택지다. 목적이 다르므로 같은 정확도·성과 지표로 줄 세우지 않는다. Tangible Landscape는 실물 모형의 변경을 GIS 계산과 투영·3차원 표현으로 연결한다. iScape의 공식 AR 안내는 표면 탐지 뒤 식물과 시설물을 배치하고 움직이며 살펴보는 과정을 설명한다. 이 자료들은 기능과 상호작용의 근거이며, 특정 조경 프로젝트의 검수 성과를 입증하는 자료는 아니다. [Tangible Landscape](https://tangible-landscape.github.io/) · [iScape AR 안내](https://www.iscapeit.com/blog/create-an-immersive-landscape-design) [4][5] ## 4. 가장 어려운 현장 조건부터 시험한다 햇빛이 강한 곳과 그늘, 수관 아래와 개방된 장소, 가까운 대상과 먼 대상을 나누어 시험한다. 모델을 처음 띄운 순간뿐 아니라 이동·회전·일시 가림·재시작 후에도 같은 위치에 돌아오는지 본다. 성능은 기종, 운영체제와 앱 버전, 날씨, 관찰 거리와 함께 기록한다. 깊이 영상의 유효 거리, 지리적 위치 추정, 가상 객체의 정합 오차는 서로 다른 값이다. ARCore의 0.5~5m 설명은 가장 정확한 깊이 결과를 얻는 거리대에 관한 것이며, 측량 정확도나 현장 정합을 보증하지 않는다. [ARCore Depth](https://developers.google.com/ar/develop/depth) | 시험 | 방법 | 결과 기록 | | --- | --- | --- | | 위치·높이 | 독립된 확인점에서 실제 위치와 표시 위치 비교 | 점별 편차와 관찰 거리 | | 방향 | 서로 떨어진 대상과 여러 시선 방향 확인 | 가까운 곳과 먼 곳의 오차 차이 | | 추적 회복 | 이동·가림·재시작 뒤 동일 장면 재관찰 | 회복 시간, 실패 횟수, 재정합 여부 | | 가림·가독성 | 수목·시설물 뒤의 모델과 밝은 배경 관찰 | 잘못 겹치는 부분과 읽기 어려운 정보 | | 사용성 | 같은 과제를 수행하고 판단 이유 질문 | 완료 시간, 오류, 설명 요청, 불편 | | 운영 | 준비·모델 수정·배포·결과 회수까지 수행 | 작업 시간, 담당자, 추가 비용 | [6][7] ## 5. 설득력과 정확도를 따로 평가한다 현실적으로 보인다는 응답만으로 설계 검토가 정확해졌다고 결론 내릴 수 없다. 만족도와 함께 실제 판단의 정답률, 대안 차이의 이해, 의견의 구체성을 본다. 종이 도면이나 일반 3D 화면과 비교한다면 같은 대안·같은 정보·같은 시간을 제공한다. 참여자 수, 모집 방식, 경험 수준, 기기 사용의 어려움, 관찰 장소를 기록한다. 편의 표본의 반응을 전체 주민의 의견으로 확대하지 않는다. 주변 사람을 촬영하는 상황과 결과 공유 범위도 참여 안내에 포함한다. [29장: 주민과 함께 보다](https://spatialflare.com/augmented-reality-landscape/chapters/ch29.html) [8][9][10][11] ## 6. 보여준 화면을 다시 만들 수 있게 남긴다 최종 결과 묶음에는 모델, 좌표 변환 정보, 대안·시점·생장 가정표, 기기·앱 버전, 관찰 위치, 화면 기록, 오차 기록, 결정 이유를 포함한다. 다음 담당자가 같은 장면을 재현할 수 있어야 검토가 이어진다. 화면에 보이는 수목이 예시 모델인지 실제 설계 객체인지, 미래 모습이 예측인지 시나리오인지 명시한다. 현장 AR의 출력이 승인 자료에 어떻게 연결되는지는 발주처·설계자·검토자가 먼저 정한다. 특정 플랫폼이 바뀌어도 남길 수 있는 모델과 속성, 문서 형태를 마련한다. [23장: 플랫폼과 표준](https://spatialflare.com/augmented-reality-landscape/chapters/ch23.html) · [33장: 자라는 것을 어떻게 보여줄까](https://spatialflare.com/augmented-reality-landscape/chapters/ch33.html) [12][13] ## 현장 기록 양식 [현장 기록 CSV 내려받기](https://spatialflare.com/augmented-reality-landscape/downloads/field-checklist.csv). 한 행을 한 관찰 또는 한 시험으로 사용한다. 허용 오차와 합격 기준은 해당 프로젝트의 목적에 맞춰 사전에 정하고, 측정하지 않은 칸은 빈칸 또는 ‘미측정’으로 남긴다.본문의 번호를 누르면 출처로 이동합니다. 절 끝의 번호는 그 절의 사실 자료를, 표 아래의 번호는 표에 사용한 자료를 가리킵니다. 비교·계산·비유와 결론은 필자의 재구성입니다. 한 번호에 함께 사용한 문헌이 둘 이상이면 묶어서 적었습니다.
서지정보와 확인 메모는 옵시디언 조사 기록을 바탕으로 복원했습니다. 원 기록의 ‘전문 확인’·‘조회’ 표기는 당시 조사 상태이며 이번 웹판에서 모두 재검증했다는 뜻은 아닙니다. 불완전한 서지사항은 임의로 채우지 않았습니다.
아주마 자신이 '정합 문제는 전혀 해결되지 않았다(far from solved)'고 적었다. 당시 성공 사례는 대부분 시점이 고정되어 있거나, 물체가 고정되어 있거나, 이동 범위가 제한되거나, 기준마커가 붙은 단 하나의 물체에만 작동했다. 야외·대규모·자연물에 대한 정합은 논의조차 못 했다.
공식 기능 문서 대조
↩1 ↩2공식 기능 문서 대조
↩공식 기능 문서 대조
↩공식 기능 문서 대조
↩1 ↩2공식 기능 문서 대조
↩1 ↩2공공 시범사업(실제 행정계획에 연동된 지자체 발주·자금 지원 워크숍). 일부 제안은 실제 시공까지 갔다고 논문이 밝히나 그 근거는 회의 전언 1건.
연구 프로토타입(파일럿 연구). 다만 결과가 실제 공원 재설계 팀에 전달되어 사용되고 있다고 논문이 명기했으므로, 실무로 이어진 드문 경우다.
연구 프로토타입(현장 피험자간 실험). 실제 허가 절차나 주민 협의에 투입된 것은 아니다.
표 출처: [4] (본문 기준으로 재구성)
데이비드 브루스터가 1849년에 거울 대신 렌즈를 써서 크기를 줄이자 입체경은 빅토리아 시대의 대중 오락기구가 되었다. 1939년 View-Master로 완전히 산업화되었다. 100년에 걸친 이 궤적이 보여주는 것은, 감각을 확장하는 장치가 학술 논쟁의 도구에서 거실의 장난감이 되는 데 필요한 것이 원리의 개선이 아니라 크기와 단가의 축소라는 사실이다. 설계의 관점에서 이 명제에는 대가가 따른다. 깊이를 두 장의 이미지로 만든다는 것은, 깊이를 주려는 장치가 언제나 두 장을 만들어야 한다는 뜻이다. 한 장이 아니라 두 장이다. 표시 소자도 두 개, 광학계도 두 개, 그리고 무언가를 그려야 한다면 그리는 일도 두 번이다. 사람마다 두 눈 사이의 거리가 다르므로 두 광학계의 간격을 조정할 수단도 필요하다. 이 요구는 1832년의 나무 상자에서도, 오늘날의 머리 착용 장치에서도 똑같이 성립한다. 입체경이 증명한 것은 가능성이었지만, 동시에 이후 200년간 모든 설계자가 지불하게 될 비용의 청구서이기도 했다. 한 가지를 분명히 해 둘 필요가 있다. 입체경 계열은 겹침이 없다. 사용자는 실제 세계를 보지 않고 두 장의 사진만 본다. 순수한 몰입 장치다. 여기서 두 갈래가 갈린다. 실제 세계를 차단하고 인공의 상만 주는 쪽과, 실제 세계를 남겨 두고 그 위에 인공의 상을 얹는 쪽이다. 이 분기는 이후 가상현실과 증강현실의 갈림길로 그대로 이어지며, 이 장에서 다루는 물건들도 이 기준으로 나눠 읽어야 한다. [4] ### 1862년, 판유리 한 장으로 만든 결합기 실제 공간 규모의 광학 결합기는 극장에서 나왔다. 원안은 공학자 헨리 디륵스의 것으로, 1858년에 착안하고 모형까지 만들었다. 그러나 무대에 올린 사람은 런던 왕립 폴리테크닉 연구소의 관장 존 헨리 페퍼였다. 1862년 12월 그 연구소에서 공개되었고, 공연작은 찰스 디킨스의 『The Haunted Man and the Ghost's Bargain』의 한 장면이었다. 1863년 내내 흥행해 더 큰 극장으로 옮겼다. 특허는 1863년 2월에 임시로, 10월에 확정으로 나왔다. 특허번호 자체는 확인되지 않았으므로 이 책에서는 적지 않는다. 원리는 지금 보아도 놀랄 만큼 단순하다. 객석과 무대 사이에 거대한 판유리를 통상 45도로 세운다. 관객은 그 유리를 통해 무대를 본다. 객석 아래에는 관객이 볼 수 없는 방이 하나 있고, 그 방에 배우를 세워 조명을 준다. 그 상이 판유리에 반사되어, 관객에게는 실제 배우 옆에 반투명한 인물이 서 있는 것으로 보인다. 아래 방의 조명 밝기를 조절하면 유령이 나타나고 사라진다. 판유리의 모서리는 무대 바닥 문양 안에 숨긴다. 이것이 왜 중요한가. 관객이 보는 것은 스크린에 비친 영상이 아니다. 실제 3차원 공간과 같은 깊이에 놓인 상이다. 오늘날 광학 시스루 방식의 머리 착용 디스플레이가 쓰는 반투과 거울은 원리적으로 이 무대 장치의 축소판이다. 실제 장면의 빛은 결합기를 투과해서 오고, 인공의 상은 결합기에 반사되어 온다. 두 광선속이 관찰자의 눈에서 합쳐진다. 1862년과 2026년 사이에 달라진 것은 반사시킬 상을 무엇으로 만드는지뿐이다. 이 방식에는 피할 수 없는 성질이 하나 따라온다. 결합기는 빛을 나눈다. 관객에게 도달하는 무대의 빛은 유리를 투과한 몫이고, 유령의 빛은 유리에 반사된 몫이다. 두 몫을 합쳐도 원래의 빛보다 많아지지 않으므로, 겹쳐진 상은 반드시 반투명하게 보인다. 실제 배우처럼 불투명한 인물을 유리로 세우는 일은 원리적으로 불가능하다. 무대는 이 한계를 내용으로 바꿨다. 반투명하게 보여야 하는 대상을 골랐고, 그것이 유령이었다. 밝기를 조절해 나타나고 사라지게 하는 연출도 같은 한계에서 나온 것이다. 겹칠 수 있는 것에 맞춰 겹칠 내용을 정한 이 선택은, 광학 시스루 방식을 쓰는 모든 장치가 지금도 반복하고 있는 타협이다. 동시에 이 장치가 갖지 못한 것을 정확히 적어야 한다. 페퍼의 유령은 고정된 관객 시점을 전제로 한 무대 착시다. 관객이 자리를 옮기면 유령의 위치가 무대에 대해 어긋난다. 겹쳐진 상이 실제 대상에 결박되어 있지 않은 것이다. 뒤에 나올 반사 조준경이 확보하는 성질, 즉 관찰자의 눈 위치가 변해도 표식의 정렬이 유지되는 성질이 여기에는 원리적으로 없다. 그러므로 페퍼의 유령을 증강현실 하드웨어의 원형이라고 단정하는 흔한 서술은 과장이다. 공통점은 결합기라는 한 요소이며, 그 요소만으로 원형이라고 부를 수는 없다. 왜 1862년이었는지도 기술이 아니라 시장의 문제였다. 19세기 중반 흥행 산업은 환등을 이용한 유령쇼로 이미 포화 상태였고, 관객은 스크린에 비친 것이 아니라 무대 위에 실재하는 것을 요구했다. 문제는 밝기도 해상도도 아니었다. 실제 공간과 같은 깊이에 상을 놓는 것이었다. 결말은 두 가지다. 하나는 사람의 문제다. 디륵스는 자신의 원안이 페퍼의 이름으로 알려진 데 불만을 품었으나, 공동특허에도 불구하고 명칭은 페퍼에게 귀속되었다. 다른 하나는 기술의 수명이다. 이 장치는 소멸하지 않았다. | 재사용 사례 | 구현 | | --- | --- | | 디즈니 유령의 저택 | 길이 90피트 장면, 높이 30피트 판유리 | | Musion Eyeliner | 45도 금속화 필름 + LED 또는 프로젝터 | | 2012 코첼라 공연 | Dr. Dre·Snoop Dogg 무대의 투팍 등장 장면 |표 출처: [2] (본문 기준으로 재구성)
2012년 코첼라의 그 장면을 언론은 홀로그램이라고 불렀다. 오보다. 홀로그램은 빛의 간섭 무늬를 기록해 파면을 재생하는 기술이고, 그 무대에서 쓰인 것은 1862년의 원리 그대로다. 이 오보가 반복되는 이유는 이 분야의 용어 혼란에서 늘 같다. 새로 보이는 체험에 가장 최신으로 들리는 이름을 붙이는 관성이 있고, 그 관성은 160년 된 광학을 최신 기술로 오인시킨다. [2] ### 1900년, 시차를 없앤다는 말의 정확한 뜻 산업화는 군사에서 일어났다. 그리고 이 항목에서 통설이 가장 많이 틀린다. 1900년 아일랜드의 광학설계자 하워드 그럽이 영국 특허 제12108호를 얻는다. 명칭은 'Gun Sight for large and small Ordnance'다. 구조는 이렇다. 광원으로 조준 표식인 레티클을 비추고, 콜리메이터 렌즈로 그 빛을 평행광으로 만든다. 평행광을 반투명 유리에 반사시키면 사수의 눈에는 표식이 무한대 거리에 맺힌 허상으로 보인다. 사수는 바깥의 표적과 무한대의 표식을 동시에 본다. 눈의 초점을 바꿀 필요가 없고, 눈 위치가 조금 흔들려도 표식과 장비의 정렬이 유지된다. 여기서 반드시 바로잡아야 할 서술이 있다. 이 성질을 두고 '머리를 움직여도 표식이 대상에 붙어 있게 만들었다'고 쓰는 해설이 많다. 광학적으로 틀렸다. 무시차 성질이 뜻하는 것은 레티클이 총이나 기체의 조준선에 고정되어 있으므로, 눈 위치가 바뀌어도 레티클이 가리키는 조준점이 변하지 않는다는 것이다. 표식이 표적에 붙는다는 뜻이 아니다. 표적이 움직이면 레티클은 따라가지 않는다. 표적의 운동을 반영하기 시작한 것은 1941년의 자이로 조준경이며, 그조차 표식을 표적에 붙이는 것이 아니라 계산된 선도각에 붙인다. 이 구분이 중요한 이유는 증강현실의 핵심 요건이 바로 여기에서 갈리기 때문이다. 표식을 장비 좌표계에 고정하는 것과 세계 좌표계에 고정하는 것은 전혀 다른 문제다. 전자는 1900년에 풀렸고, 후자는 1968년에도 완전히 풀리지 않았다. 반사 조준경을 세계 정합의 기원으로 소급하는 서술은 이 두 좌표계를 혼동한 결과다. 그럽이 푼 문제는 조준 정확도가 아니었다. 1차대전 공중전에서 조종사는 기체를 조종하면서 전방을 보고 동시에 기계식 가늠쇠 두 개를 정렬해야 했다. 눈을 조준기로 내리는 순간 표적과 자세를 놓친다. 그러니까 문제는 시선을 전방에서 떼지 않는 것이었다. 이 요구가 head-up이라는 단어의 기원이고, 겹침 기술을 군용으로 밀어붙인 최초의 고유 문제다. 채택 과정도 정확히 적어야 한다. 1900년 특허와 항공 적용 사이에는 18년이 있다. 1918년 베를린의 Optische Anstalt Oigee가 만든 반사 조준경이 복엽기 알바트로스 D.Va와 삼엽기 포커 Dr.I에 쓰였는데, 사료의 표현은 운용 시험이다. 실전 투입이라고 쓰거나 전과를 붙이는 서술은 근거를 넘어선다. 전투기와 폭격기에 널리 채택된 것은 1930년대에 들어서이고, 먼저 프랑스가, 이후 주요 공군의 대부분이 도입했다. 모든 공군의 표준이 되었다는 표현도 사료의 '대부분'을 넘는다. | 장비 | 국가 | 연도 | 비고 | | --- | --- | --- | --- | | 그럽 특허 제12108호 | 영국 | 1900 | 'Gun Sight for large and small Ordnance' | | Oigee 반사 조준경 | 독일 | 1918 | 알바트로스 D.Va·포커 Dr.I 운용 시험 | | Revi C12/A | 독일 | 1937 설계 | 전투기용 표준형 | | 98식 조준기 | 일본 | 1930년대 | 항공기용 | | Flakvisier 40 | 독일 | 1940년대 | 지상 대공포용 | | Mark III Free Gun Reflector Sight | 영국 | 1943 | 자유선회 기관총용, 양산 |표 출처: [3] (본문 기준으로 재구성)
18년의 지연이 말해 주는 것은 원리의 미성숙이 아니다. 1900년에는 항공기라는 수요처가 없었다. 원리가 먼저 있고 수요가 뒤에 생기면, 그 사이의 기간 동안 기술은 잊히지 않고 다만 팔리지 않는다. 이 패턴은 개인용 머리 착용 장치에서 훨씬 극적으로 반복된다. 계보의 끝은 지금이다. 반사 조준경은 지상 대공포와 자유선회 기관총으로 확산되었고, 오늘날 소총용 도트사이트로 여전히 대량 생산된다. 다만 오늘날까지 끊기지 않은 단일한 표준이라는 서술에는 유보가 필요하다. 미군이 도트사이트를 광범위하게 도입한 시점은 2000년대 초 Aimpoint CompM2이며, 1930년대부터 계속 표준이었던 것은 아니다. [3] ### 1901년, 소설이 먼저 적어 놓은 요구 1901년, 『오즈의 마법사』를 쓴 L. 프랭크 바움이 『The Master Key: An Electrical Fairy Tale』을 낸다. 전기 요정담이라는 부제가 붙은 소년 소설이다. 소년이 우연히 전기의 악마를 불러내고, 악마는 세 번에 걸쳐 방문하며 매번 세 개씩, 모두 아홉 개의 전기 장치를 준다. 그 아홉 개 중 두 번째 방문의 세 개 중 하나가 '캐릭터 마커'라는 안경이다. 문헌에서 이를 '세 가지 선물 중 하나'로 적는 경우가 많은데, 작품 안의 장치 수를 3분의 1로 줄인 서술이다. 원문이 이 안경을 설명하는 문장은 그대로 옮길 가치가 있다. > While you wear them every one you meet will be marked upon the forehead with a letter indicating his or her character. The good will bear the letter 'G,' the evil the letter 'E.' The wise will be marked with a 'W' and the foolish with an 'F.' The kind will show a 'K' upon their foreheads and the cruel a letter 'C.' 착용자가 만나는 모든 사람의 이마에 그 사람의 속성을 나타내는 문자가 겹쳐 보인다. 선하면 G, 악하면 E, 현명하면 W, 어리석으면 F, 친절하면 K, 잔인하면 C다. 이것은 광학 결합도 아니고 입체 생성도 아니다. 전혀 다른 요소다. 실세계의 객체를 인식하고, 그 객체에 결박된 문자 정보를 덧씌운다. 오늘날의 용어로 옮기면 객체 인식과 라벨 오버레이의 결합이다. 인식 대상은 사람이고, 표시 위치는 이마이며, 표시 내용은 그 사람의 속성이다. 위치가 대상에 결박되어 있으므로, 대상이 움직이면 문자도 따라 움직여야 한다. 1900년의 반사 조준경이 갖지 못한 세계 정합이 이 허구의 안경에는 있다. 여기서 중요한 것은 기술이 아니라 요구다. 1901년은 전기가 만능의 미래 기술로 상상되던 시기였고, 바움은 그 기대를 소설로 썼다. 그런데 그가 상상한 것은 더 잘 보이는 화면이 아니었다. 눈에 보이지 않는 속성을 보이게 하는 것이었다. 증강현실의 본질적 약속이 기술보다 거의 100년 앞서 문학에 기록되어 있는 셈이다. 설계를 하는 사람에게 이 사실은 유용하다. 사용자가 원하는 것은 겹쳐진 그림이 아니라 보이지 않던 정보다. 소설 속의 결말도 빼놓을 수 없다. 소년은 이 안경 때문에 오히려 곤경에 빠진다. 사람마다 이마에 붙은 문자를 보게 되자 그는 누구도 편하게 대할 수 없게 되고, 판단이 정보에 끌려다닌다. 정보 과잉 오버레이의 부작용을 처음 지적한 사례로 읽을 수 있다. 무엇을 겹칠 수 있는지와 무엇을 겹쳐야 하는지가 다른 문제라는 것을, 허구가 실물보다 먼저 말했다. [5] ### 1931년, 합성 환경이라는 명제 다음 조각은 광학도 아니고 정합도 아니다. 돈이다. 1929년 에드윈 링크가 전기기계식 비행 훈련 장치를 만든다. 모터로 피치와 롤을 움직여 난기류까지 흉내내고, 조종사는 덮개를 닫은 채 계기만 보며 비행한다. 파란 외장 때문에 블루 박스라는 별칭이 붙었다. 특허 연도는 자료마다 어긋나 인용되지만 확정할 수 있다. 특허는 US 1,825,462 'Combination training device for student aviators and entertainment apparatus'이고, 1930년 3월 12일 출원, 1931년 9월 29일 등록이다. 1929는 시제기 제작 연도이며 특허 연도가 아니다. 채택의 계기는 기술의 성숙이 아니었다. 사망 사고였다. 1934년 항공우편 스캔들로 미 육군항공대가 우편 수송을 떠맡았는데, 조종사들이 계기비행에 익숙하지 않아 78일 동안 12명이 죽었다. 링크는 평가단이 비행 불가라고 판단한 안개 속을 직접 계기비행으로 뚫고 착륙해 보였다. 그렇게 계약을 따냈다. | 항목 | 수치 | | --- | --- | | 최초 구매 | 1934년 6월 23일, 미 육군항공대 6대 | | 대당 가격 | 3,500달러 | | 2차대전 중 생산 | 10,000대 이상, 45분에 1대 출하 | | 훈련 인원 | 미군 조종사 50만 명 이상 | | 채택 계기 | 78일간 조종사 12명 사망 |표 출처: [6] (본문 기준으로 재구성)
링크 트레이너는 증강현실의 직접 조상이 아니다. 겹치는 것이 없고 광학 결합기도 없다. 그러나 이 장치가 확립한 명제가 이후 수십 년의 연구비를 결정했다. 훈련은 실제 환경 없이 합성 환경에서 더 안전하고 더 싸게 할 수 있다는 명제다. 이 명제가 성립하는 순간 합성 환경은 오락이 아니라 원가 절감 수단이 된다. 1968년 이후 머리 착용 디스플레이 연구를 실제로 지불한 주체가 군과 항공이었던 이유도 같은 논리다. 채택의 범위도 적어 둘 만하다. 합성 환경 훈련은 한 나라의 실험으로 끝나지 않고 하나의 산업이 되었다. 미국, 영국, 독일, 일본, 소련이 모두 이 방식을 채택했다. 전쟁 중에 서로 싸우던 나라들이 같은 결론에 도달한 것인데, 그 결론은 디스플레이 기술에 대한 신념이 아니라 훈련 사고의 비용에 대한 계산에서 나왔다. 여기에서 나오는 교훈은 냉정하다. 새로운 디스플레이 기술의 첫 지속 가능한 시장은 오락이 아니었다. 사고를 줄여 돈을 아끼는 훈련이었다. 이 장에서 실패하는 물건들은 대부분 오락 시장을 겨냥했고, 성공하는 물건들은 대부분 사고와 비용을 겨냥했다. [6] ### 1941년, 겹치는 내용이 계산되기 시작하다 반사 조준경은 정적인 표식을 겹친다. 표식의 위치는 장비에 대해 고정되어 있고, 바뀌는 것은 사수가 보는 표적뿐이다. 다음 도약은 겹치는 내용 자체를 그 순간의 조건으로부터 만들어내는 일이었다. 공중전의 명중률을 지배하는 것은 조준의 정밀도가 아니라 얼마나 앞을 겨누느냐였다. 필요한 선도각은 표적의 속도, 각속도, 탄속의 함수이고 사람이 순간적으로 계산할 수 없다. 편각 사격은 숙련 조종사만 가능한 기술이어서, 전시에 대량으로 양성된 신참 조종사에게는 재현 불가능했다. 문제는 인간의 계산 능력이었고, 해법은 계산을 기계에 넘기고 결과만 시야에 겹치는 것이었다. 자이로 조준경은 자이로스코프로 기체의 선회율과 속도를 측정하고, 필요한 선도각을 계산해 반사 조준경의 레티클 위치를 실시간으로 움직인다. 설계 주체를 정확히 적어야 한다. GGS Mk I과 Mk II의 설계는 영국 판버러의 왕립항공연구소(RAE)이고, 페란티는 제조사다. 페란티가 에든버러 Crewe Toll에 지은 신공장은 Mk II 생산을 위한 것이었다. 페란티를 개발 주체로 적는 서술은 제조사를 설계자로 바꿔치기한 것이다. | 장비 | 국가·제작 | 시점 | 결과 | | --- | --- | --- | --- | | GGS Mk I | RAE 설계, 페란티 제조 | 1941년 봄 제한생산, 7월 실전 | 성공 | | GGS Mk II | RAE 설계, 페란티 제조 | 1943년 말 시험·배치 | 성공 | | K-14 / Mk18 | 미국 스페리 | 2차대전 후반 | 성공 | | EZ 42 | 독일 아스카니아 | 1942년 여름 착수 | 사실상 실패 |표 출처: [7] (본문 기준으로 재구성)
독일의 EZ 42는 같은 원리로 실패했으므로 따로 볼 가치가 있다. 1942년 여름에 개발을 시작해 1944년 7월에 초도 33대 중 3대를 인도했고, 이후 770대가 대부분 1945년 초에 나왔다. 중량이 13.6킬로그램이고 1대를 만드는 데 130시간의 공수가 들었다. 결국 Fw 190과 Me 262에 약 200대가 장착되는 데 그쳤으며, 안정성 문제로 조종사들이 신뢰하지 않았다. 영국과 미국은 성공하고 독일은 실패한 이유는 원리가 아니라 생산공학과 시기였다. 원리는 맞는데 제조가 따라가지 못한 실패의 초기 사례다. 증강현실의 관점에서 이 전환은 결정적이다. 오버레이가 고정 그래픽에서 실시간 계산 결과로 바뀌었다. 1968년의 장치가 한 일도 본질적으로 같고, 다만 계산의 주체가 자이로 기구에서 디지털 컴퓨터로 바뀌었을 뿐이다. 겹칠 내용을 누가 정하는가라는 질문이 이때 처음 기계 쪽으로 넘어간다. [7] ### 1942년, 눈에 보이지 않는 정보를 시야에 넣다 야간전투기에는 구조적인 문제가 있었다. 레이더 화면을 보는 사람과 조준하는 사람이 달랐다. 조종사는 레이더 조작수의 구두 유도에 의존했고, 교전 직전 몇 초 동안은 구두 전달의 지연이 치명적이었다. 문제는 레이더 성능이 아니라 시선이 두 곳에 나뉘어 있다는 것이었다. 정보를 조종사의 시선 한 곳에 모으는 것이 유일한 해법이었다. 1942년 10월 영국 통신연구소(TRE)가 레이더 표시관의 영상과 자이로 조준경의 투사상을 항공기 앞유리의 평평한 영역에 겹치는 데 성공했다. 두 가지 점에서 새롭다. 첫째, 겹치는 내용이 표적이 아니라 센서 데이터다. 사람 눈에 보이지 않는 정보가 시야에 들어갔다. 둘째, 투사면이 조준경의 부속 유리가 아니라 조종석 앞유리 자체다. 특정 장비의 부품이 아니라 조종석 창 전체가 디스플레이라는 개념이 여기서 나온다. 이 실험은 실세계에 정합된 센서 정보의 중첩이라는 오늘날의 요건에 가장 먼저 도달했다. 그만큼 서사에서 비중이 큰 항목인데, 바로 그래서 연대의 불확실성을 숨기면 안 된다. HUD의 역사를 다루는 사료는 1942년 10월 실험에 결합된 것이 표준 GGS Mk.II라고 적는다. 그러나 자이로 조준경을 다루는 사료는 Mk II의 시험과 배치를 1943년 말로 적는다. 1942년 10월에 표준 Mk.II는 아직 존재하지 않았으므로 둘 중 하나는 반드시 틀리다. 이 책은 어느 쪽도 임의로 고르지 않고, 결합 대상을 시제형 또는 초기형 자이로 조준경으로 완화해 적는다. 1942년 10월이라는 시점과 실험 내용 자체도 단일 사료에 의존하므로, 영국 공문서나 항공전자 분야의 사사로 교차 확인할 필요가 있다. 투사면이 바뀌었다는 사실에는 조직적인 함의도 있다. 결합기가 조준기의 부속품일 때 그 유리는 무기 체계의 일부이고, 무기를 만드는 사람이 설계한다. 결합기가 조종석 앞유리일 때 그 유리는 기체 구조의 일부이고, 기체를 만드는 사람이 설계한다. 표시할 정보는 레이더에서 오고, 그 레이더는 또 다른 사람이 만든다. 무엇을 어디에 겹칠지가 한 회사의 결정 사항이 아니게 되는 순간이 여기다. 이후 이 분야에서 표시 규격과 기호 체계가 끝없이 논쟁거리가 되는 이유의 절반은 이 구조에서 나온다. 결말은 성공이면서 지연이다. 실험은 작동했지만 즉시 실전 배치되지 않았다. 종전과 함께 우선순위에서 밀렸고, 실용 HUD가 나오기까지 16년이 더 걸렸다. 발표와 실용화 사이가 벌어지는 전형적인 사례이며, 원인은 언제나 기술만이 아니다. [8] ### 1958년, 창이 디스플레이가 되다 1950년대 말 전술 교리가 바뀐다. 고고도 폭격에서 초저공 침투로 옮겨 가면서, 조종사가 계기를 보려고 시선을 내리는 1초에서 2초가 곧 지면 충돌을 뜻하게 되었다. HUD를 요구한 것은 디스플레이 기술의 성숙이 아니라 고도 60미터에서 시속 900킬로미터로 나는 임무라는 새 요구였다. 블랙번의 함재 공격기 버캐니어가 이 요구를 받았다. 왕립항공연구소가 비행 정보와 무기 조준 정보를 하나의 결합기에 통합한 Strike Sight를 설계했고, head-up display라는 용어 자체가 이 시기에 처음 쓰였다. 계보상 이 지점은 세 줄기가 하나의 제품으로 합쳐지는 자리다. 반사 조준경의 무한대 허상, 자이로 조준경의 실시간 연산, TRE 실험의 센서 정보 중첩이다. 연대와 주체는 자주 잘못 인용되므로 표로 정리한다. | 사건 | 시점 | 주체 | | --- | --- | --- | | NA.39 시제기 초도비행 | 1958년 4월 30일 | 블랙번 | | 초기 양산 HUD 제작 | 1958 | Rank Cintel | | HUD 사업 인수 후 양산 | 이후 | Elliott Flight Automation | | 버캐니어용 누적 생산 | Mark III까지 375대 | Elliott | | 버캐니어 실전 배치 | 1962 | 영국 해군 항공대 | | 미사일 공격용 파생형 | 1959 | 잉글리시 일렉트릭 라이트닝 | | 계기비행 HUD 접근 절차 | 1975 | 민항 규정 | | 민항 도입 | 1970년대 | 여객기 | | 양산차 최초 탑재 | 1988 | 올즈모빌 커틀러스 슈프림 |표 출처: [9] (본문 기준으로 재구성)
여기서 두 가지 흔한 오류를 정정한다. 첫째, 1958년 4월 30일은 NA.39 시제기의 초도비행일이며 버캐니어의 실전 배치는 1962년이다. 초도비행을 실용화와 같은 말로 쓰면 4년이 사라진다. 둘째, 초기 양산 HUD를 만든 곳은 Rank Cintel이고 Elliott Flight Automation은 이후 그 사업을 인수했다. 375대를 엘리엇 단독의 실적으로 적는 것은 정확하지 않다. 다만 엘리엇이 Mark III까지 버캐니어용으로 375대를 만들었고, 그 장비가 약 25년간 운용되며 fit and forget이라는 평판을 얻었다는 사실은 그대로다. 손 볼 일이 없다는 뜻이다. 1942년 TRE 실험과 1958년 버캐니어를 원인과 결과로 잇는 서술도 조심해야 한다. 사료는 Strike Sight의 동기를 초저고도 고속에서 수 초 안에 투하해야 하는 요구로 설명하며, TRE 실험의 계승이라고 말하지 않는다. 16년의 간격이 있고 기관도 다르다. 연대순의 인접을 인과로 바꾸는 것은 역사 서술에서 가장 흔한 오류다. HUD 계보에서 설계자가 반드시 알아야 할 것은 세대 구분이다. 1세대는 CRT 형광면, 2세대는 LED 백라이트 LCD, 3세대는 광도파로 결합기, 4세대는 투명 매질 위의 레이저 주사다. 이 중 3세대의 광도파로는 오늘날의 머리 착용 증강현실 장치가 그대로 물려받은 광학계다. 군용에서 민항으로, 민항에서 자동차로, 자동차에서 소비자 장치로 광학계와 용어가 함께 이동했다. 한 가지 과장은 걷어내야 한다. 이 계보를 프리히스토리 중 유일하게 오늘날까지 끊기지 않은 산업이라고 부르는 서술이 있는데 성립하지 않는다. 페퍼의 유령은 160년간 존속해 지금도 무대에서 쓰이고, 반사 조준경은 소총용 도트사이트로 대량 생산되며, 카메라 루시다는 현미경 도해 기구로 1980년대까지 표준이었다. 살아남은 계보는 하나가 아니다. [9] ### 1955년부터 1962년까지, 개인이 쓰는 장치라는 형태 군에서 일어난 일과 나란히, 민간에서는 완전히 다른 동기로 완전히 다른 물건이 구상되었다. 만든 사람은 영화촬영감독 모턴 하일리그다. 1926년 12월 22일에 태어나 1997년 5월 14일에 죽었다. 시작은 장치가 아니라 글이었다. 1955년 하일리그는 「미래의 영화」라는 에세이를 쓴다. 원 게재지는 멕시코시티의 건축 잡지 『Espacios』 제23-24호로 알려져 있으나, 호수와 발행월은 1차 확인되지 않았다. 확정된 것은 1992년 MIT Press의 학술지 『Presence: Teleoperators and Virtual Environments』 제1권 3호 279면부터 294면에 'El Cine del Futuro: The Cinema of the Future'로 재수록되었다는 사실이다. 에세이의 주장은 이렇다. 영화는 시각 매체가 아니라 의식 전달 매체다. 그러므로 미래의 영화는 시각뿐 아니라 청각, 후각, 촉각, 평형감각까지 동원해 관객의 감각 전체를 점유해야 한다. 하일리그는 인간 감각의 주의 배분을 백분율로 추정하고, 각 감각에 얼마의 대역폭을 할당해야 하는지까지 논했다. 중요한 것은 이것이 장치 설명이 아니라 설계 요구사항 명세였다는 점이다. 이후 그가 만든 물건들은 모두 이 에세이가 먼저 규정한 요구를 하드웨어로 옮긴 것이다. 이 분야에서 이론이 장치를 앞선 드문 사례다. 동기는 순수한 발상이 아니었다. 1950년대 초 미국 영화산업은 텔레비전에 관객을 빼앗기고 있었고, 시네라마와 3D 영화와 시네마스코프와 Smell-O-Vision 같은 감각 확장 실험이 쏟아지던 시기였다. 하일리그의 이론은 텔레비전이 줄 수 없는 것을 극장이 주어야 한다는 산업적 생존 문제에 대한 답이었다. 첫 번째 하드웨어는 특허로만 남았다. 1957년 5월 24일 출원, 1960년 10월 4일 등록된 미국 특허 2,955,156이고 명칭은 'Stereoscopic-television apparatus for individual use'다. 특허 원문은 구성을 명시한다. 중공 케이싱 하나, 광학유닛 한 쌍, 텔레비전관 한 쌍, 이어폰 한 쌍, 공기 분출 노즐 한 쌍이다. 텔레비전관은 컬러를 권장한다. 주변시용 렌즈가 텔레비전관에서 오는 주변 광선을 꺾어 눈 옆쪽으로 입사시켜 수평과 수직 약 140도의 시야를 만든다. 이어폰은 외이를 덮지 않아 귀가 집음기관으로 계속 기능하게 설계되었다. 노즐은 속도와 온도와 냄새가 다른 기류를 내보낸다. 좌우 광학유닛과 텔레비전관은 사용자의 눈에 맞춰 개별 조정되고, 스트랩으로 머리에 고정한다. 오늘날 머리 착용 디스플레이의 폼팩터가 1957년에 이미 전부 명세화되어 있다. 머리 고정, 양안 개별 디스플레이, 동공간거리 조정, 넓은 시야, 귀를 막지 않는 음향이다. 다만 계보를 정확히 놓아야 한다. 이 장치는 얼굴에 밀착하는 케이싱 안에 텔레비전관을 두므로 시스루가 아니다. 실세계의 빛이 눈에 들어오지 않는다. 헤드트래킹도 없다. 그러므로 이것은 증강현실이 아니라 가상현실 계보의 원형이다. 앞에서 세운 기준, 즉 실세계를 차단하는가 남기는가라는 기준을 여기에도 일관되게 적용해야 한다. 이 장치가 증강현실의 전사에 기여한 것은 광학 결합이 아니라 폼팩터 하나다. 실패했다. 특허는 등록되었으나 제작되지 못했고 상용화되지 못했다. 하일리그는 끝내 투자를 유치하지 못했다. 원인은 두 겹이다. 기술적으로는 소형 컬러 CRT가 없었고 콘텐츠 공급원도 없었다. 경제적으로는 투자자가 판매 경로를 상상하지 못했다. 통설은 후자가 결정적이었다고 본다. 두 번째 하드웨어는 실물로 만들어졌다. 미국 특허 3,050,870 'Sensorama Simulator'이며 1961년 1월 10일 출원, 1962년 8월 28일 등록되었고 1962년에 시연되었다. 사업 모델이 바뀐 것이 핵심이다. 개인이 사서 머리에 쓰는 장치에서, 설치해 두고 동전을 받는 기기로 옮겼다. 기술이 바뀐 것이 아니라 과금 방식이 바뀌었다. 하일리그 자신이 문제를 기술이 아니라 경제로 인식했음을 보여주는 대목이다. 물건은 아케이드 게임기처럼 생긴 캐비닛이다. 관람자가 후드에 얼굴을 넣으면 여섯 가지가 동시에 작동한다. 입체 영상, 후드 내부의 스테레오 스피커, 전자석으로 제어되는 방향 분사기, 좌석에 붙은 진동 유닛, 모터로 상하 구동되는 좌석, 송풍 덕트다. 감각 제어 신호는 필름의 자기 트랙에 영상과 동기되어 기록된다. 대표 콘텐츠는 브루클린 거리를 오토바이로 달리는 영상이고, 관람자는 얼굴에 바람과 좌석의 진동과 입체 시야와 도시의 냄새를 함께 느꼈다. | 항목 | 특허 원문 기준 | | --- | --- | | 특허 | US 3,050,870 'Sensorama Simulator' | | 출원·등록 | 1961년 1월 10일 출원, 1962년 8월 28일 등록 | | 수용 인원 | 장치 전체가 1~4인, 관람자마다 개별 후드 | | 시야 | 완전 주변시 3-D, 약 160~180도 | | 제작 콘텐츠 | 단편영화 5편 (자료에 따라 6편) | | 촬영 장비 | 촬영자 몸에 35mm 카메라 3대 장착 |표 출처: [10][11][12] (본문 기준으로 재구성)
수치에 관해 두 가지를 정정한다. 이 장치를 후드당 1~4인 수용으로 적는 서술이 있는데 특허 원문의 오독이다. 원문은 장치가 1인에서 4인을 위해 구성되며 각 관람자가 개별 후드를 쓴다고 기술한다. 후드 하나에 네 사람이 들어가는 것이 아니다. 또 시야를 눈당 수평 약 150도로 적는 수치는 출처가 확인되지 않는다. 특허 원문이 말하는 값은 약 160도에서 180도다. 센소라마는 「미래의 영화」 명세의 완전한 하드웨어 구현이다. 그런데 결정적인 것이 없다. 상호작용이 전혀 없다. 관람자는 시선을 돌릴 수도 없고 경로를 바꿀 수도 없다. 머리를 돌려도 화면은 그대로다. 헤드트래킹의 부재가 이 계보의 한계를 규정한다. 아무리 많은 감각을 동원해도, 관람자의 행동이 표시 내용에 되먹여지지 않으면 그것은 좌석이 움직이는 영화다. 실패했다. 원인을 하나로 뭉개면 안 된다. 사료는 두 가지를 든다. 하나는 콘텐츠 제작비다. 신작 한 편을 찍으려면 촬영자 몸에 35mm 카메라 3대를 매달아야 했고, 하일리그는 그 비용을 댈 자금을 얻지 못했다. 다른 하나는 판매 경로다. 투자자와 업계가 이 물건을 어떻게 팔아야 할지 이해하지 못했다. 이것은 자금 부족과 다른 문제다. 수요와 유통이 없다는 뜻이다. 자금난 하나로 요약하는 흔한 서술은 두 번째 원인을 지운다. 기술적 실패가 아니었다는 점이 중요하다. 장치는 작동했고 사람들은 감탄했다. 다만 편당 제작비를 회수할 유통 구조가 없었다. 체험은 훌륭한데 콘텐츠 단가가 시장을 만들지 못하는 이 실패 유형은 이후 60년간 계속 반복된다. 이론 쪽의 결말은 다르다. 감각 확장 영화의 유행은 1950년대 말 대부분 사라졌고 하일리그의 구상도 함께 묻혔다. 그러나 1992년 『Presence』 창간 초기에 에세이가 재수록되면서 그의 이론은 학계의 정전으로 복권되었다. 발표로부터 37년 뒤의 재발견이다. [10][11][12] ### 1961년, 머리의 방향이 곧 의도다 마지막 조각은 추적이다. 필코의 엔지니어 찰스 코모와 제임스 브라이언이 1961년에 헤드사이트를 발표한다. 원 발표는 『Electronics』 제34권 1961년 11월 10일자 86면부터 90면까지다. 구성은 세 부분이다. 헬멧에 장착한 CRT, 자기식 헤드트래킹 장치, 원격지의 폐회로 카메라다. 자기식 추적 장치가 착용자의 머리 움직임을 감지해 멀리 떨어진 카메라를 같은 방향으로 회전시킨다. 착용자가 고개를 돌리면 원격지의 시야도 함께 돌아간다. 동기는 오락이 아니었다. 위험 환경의 원격 감시였다. 방사성 물질을 취급하는 구역이나 사람이 직접 갈 수 없는 장소에서, 고정 카메라는 시야가 고정되어 상황 파악이 안 된다. 조이스틱으로 카메라를 돌리면 조작 자체가 주의를 빼앗는다. 그러니까 문제는 보는 것이 아니었다. 보려는 의도를 조작 없이 전달하는 것이었고, 머리의 방향이 그 의도의 가장 자연스러운 표현이었다. 이 장치가 추가한 요소는 명확하다. 머리 자세를 측정해 표시 내용을 그에 맞춰 갱신하는 폐루프다. 하일리그의 장치에는 이것이 없었다. 다만 계보를 정직하게 적어야 한다. 헤드사이트가 보여주는 것은 컴퓨터 그래픽이 아니라 실시간 카메라 영상이며, 실제 시야와의 광학 결합이 전혀 없다. 착용자는 앞을 보지 못하고 화면만 본다. 그러므로 이것은 증강현실이 아니라 원격현전이다. 겹침의 계보에 추적이 더해진 사건이 아니라, 다른 축에서 추적이 먼저 나타난 사건이다. 여기에 두 가지 유보가 붙는다. 첫째, 장치의 표시 구성에 관해 사료가 갈린다. 헬멧에 장착된 CRT 하나라는 서술과 양안 각각에 비디오 스크린을 두었다는 서술이 공존하며, 어느 쪽인지 1차 확인되지 않았다. 둘째, 이 계보가 1960년대와 70년대 헬리콥터의 야간 착륙용 헬멧 카메라 시스템으로 이어졌다는 서술은 널리 인용되지만, 통상 근거로 제시되는 문헌에서 확인되지 않는다. 마빈 민스키가 1980년에 원격현전이라는 용어를 제안한 것은 별개로 사실이다. [13] ### 통설과 사료가 갈리는 곳 지금까지 다룬 항목들은 대중 해설에서 특정한 방향으로 일관되게 왜곡된다. 왜곡의 방향은 대체로 두 가지다. 연도를 앞으로 당기고, 시험을 실전으로 격상한다. 설계를 하는 사람에게 연대의 정확성은 취미가 아니다. 어떤 요소가 언제 확보되었는지를 틀리게 알면, 지금 무엇이 해결된 문제이고 무엇이 미해결 문제인지를 판단할 수 없게 된다. | 흔한 서술 | 사료가 말하는 것 | | --- | --- | | 입체경은 1838년 휘트스톤의 발명 | 1832년 고안·제작, 1838년 왕립학회 발표 | | 링크 트레이너 1929년 특허 | 1929년 시제기, 특허는 1930년 출원·1931년 등록 | | 1918년 Oigee 조준경 실전 투입 | 알바트로스 D.Va·포커 Dr.I 운용 시험 | | 1930년대 이후 모든 공군의 표준 | 먼저 프랑스, 이후 주요 공군의 대부분 | | 1941년 페란티가 자이로 조준경을 개발 | RAE 판버러 설계, 페란티 제조 | | 1958년 버캐니어가 HUD를 실용화 | 1958년 시제기 초도비행, 실전 배치는 1962년 | | HUD 375대는 엘리엇의 실적 | 초기 양산은 Rank Cintel, 엘리엇이 사업 인수 | | 센소라마는 후드당 1~4인 | 장치 전체가 1~4인, 후드는 1인용 | | 센소라마는 자금난으로 소멸 | 제작비 과다와 판매 경로 부재의 두 원인 | | 무거워서 천장에 매달아 다모클레스의 칼 | 본인 설명으로는 천장 추적 구조물의 생김새에 붙인 농담 | | 1968년 장치는 하버드에서 완성 | 하버드와 유타대로 사료가 갈린다 |표 출처: [6][7][9][14] (본문 기준으로 재구성)
출처의 편중도 밝혀 둘 필요가 있다. 이 장이 다룬 열네 개 항목 중 상당수는 영문 위키백과 단독 근거이고, 보조로 쓰인 일반 웹 자료는 학술 출처도 1차 사료도 아니다. 버캐니어용 375대, EZ 42의 770대, 항공우편 78일 12명 같은 수치는 모두 단일한 3차 출처에 의존한다. 조사 과정 자체에도 한계가 있었다. 검색 할당이 소진된 상태에서 이미 알고 있는 문헌만 직접 확인하는 방식으로 수행되었으므로, 비영어권 사료와 1930년대부터 50년대 사이의 산업용 광학 중첩 장치, 초기 의료 분야의 광학 투사 사례는 체계적으로 누락되었을 가능성이 있다. 1962년 휴즈 항공이 만들었다고 알려진 단안 시스루 장치는 이 장에서 제외했는데, 서덜랜드 이전의 머리 착용 광학 시스루 사례로 중요할 수 있으나 뒷받침할 두 번째 출처를 찾지 못했기 때문이다. 검증에서 반대 방향의 오류도 있었다. 확인할 수 있는 것을 확인하지 못했다고 남겨 둔 경우다. 필코 헤드사이트의 원 발표 서지는 오랫동안 2차 인용에 의존한 값으로 취급되었으나, 실제로는 저자와 날짜와 권호와 면수가 통용되는 문헌 목록에 그대로 실려 있다. 하일리그 에세이의 1992년 재수록 서지도 학술 식별자로 확정된다. 학술지 『Presence』 제1권 3호 279면부터 294면, 식별자 10.1162/pres.1992.1.3.279다. 확인되지 않았다는 표시가 근거 없이 남아 있으면, 확인된 사실과 미확인 사실의 경계 자체가 흐려진다. 검증은 모르는 것을 모른다고 적는 일만이 아니라 아는 것을 안다고 적는 일까지다. 특히 조심해야 할 오염이 하나 있다. 서덜랜드가 자기 장치를 'Stereoscopic-Television Apparatus for Individual Use'라 부르기를 선호했다는 서술이 일부 문헌에 있다. 그 문구는 서덜랜드의 것이 아니라 하일리그의 1960년 특허 2,955,156의 제목이다. 두 항목이 뒤섞인 결과로 보이며, 이 문장을 인용하면 두 사람의 장치를 한 사람의 것으로 만들게 된다. 이 책은 이 서술을 쓰지 않는다. 이런 유보를 적는 이유는 겸손이 아니다. 어떤 수치가 단일 출처에 의존하는지 아는 사람만이 그 수치에 근거해 판단할 때 얼마나 조심해야 하는지를 안다. [6][7][9][14] ### 1968년에 남아 있던 것 이제 처음의 질문으로 돌아간다. 1968년에 무엇이 남아 있었는가. 서덜랜드는 1938년에 태어나 1963년 MIT에서 박사학위를 받았다. 지도교수는 클로드 섀넌이었고 심사위원에 마빈 민스키와 스티븐 쿤스가 있었다. 1962년에 Sketchpad를 만들었다. 1964년 릭라이더의 후임으로 ARPA 정보처리기술국의 실장이 되었고, 재임 종료 시점은 통상 1966년으로 표기되나 사료 내부가 어긋난다. 이후 1965년부터 1968년까지 하버드 부교수, 1968년부터 1974년까지 유타대 교수였다. 1965년에는 「The Ultimate Display」라는 에세이를 IFIP 학술대회 회보 506면부터 508면에 실었다. 그가 그 글에서 말한 궁극의 디스플레이는 장치가 아니라 방이었다. > 궁극의 디스플레이란 컴퓨터가 물질의 존재 자체를 제어하는 방이다. 1968년에 그가 실제로 만든 것은 그 방이 아니었다. 반투명 거울로 컴퓨터가 생성한 와이어프레임 선화를 실제 방 위에 겹치고, 천장에 매단 기계식 링크 암이 머리 위치를 측정해 시점에 맞춰 그림을 다시 그리는 장치였다. 작업은 1966년 MIT 링컨연구소에서 착수되었고, 완성 장소는 사료가 갈린다. 하버드라는 서술과 유타대라는 서술이 각각 다른 문헌에 있으며, 어느 하나를 확정 사실로 적을 근거가 없다. 학생 밥 스프롤, 퀸틴 포스터, 대니 코헨이 참여했다. 별칭에 관한 오해도 바로잡을 가치가 있다. 흔히 장치가 너무 무거워 천장에 매달았고 그래서 다모클레스의 칼이라 불렸다고 서술된다. 서덜랜드 본인의 설명은 다르다. 그 별칭은 디스플레이를 지지하고 추적하는 기계 시스템에 붙인 농담 이름이며, 머리 위로 뻗은 거대한 십자 모양 구조물의 생김새에서 나온 말장난이다. 별칭이 가리키는 것은 머리에 쓰는 부분이 아니라 천장의 추적 암이다. 또 하나의 오해는 이 장치를 가상현실의 시작으로 부르는 것이다. 이 장치는 반투명 거울로 실세계를 그대로 보면서 그래픽을 겹치는 광학 시스루 장치다. 이 장에서 계속 써 온 기준으로 보면 증강현실 쪽에 훨씬 가깝다. 그렇다면 남은 과제가 계산뿐이었다고 말할 수 있는가. 말할 수 없다. 이 장치는 여섯 개의 서브시스템으로 구성되었다. | 서브시스템 | 1968년 이전에 확보되어 있었는가 | | --- | --- | | 헤드셋 광학계 | 있었다. 페퍼의 유령과 반사 조준경의 결합기 원리, 하일리그의 폼팩터 | | 머리위치 센서 | 없었다. 필코의 자기식 추적은 카메라 조향용이며 시점 변환용이 아니다 | | 클리핑 디바이더 | 없었다 | | 행렬 곱셈기 | 없었다 | | 벡터 생성기 | 없었다 | | 범용 컴퓨터 | 있었으나 이 용도로 연결된 적은 없었다 |표 출처: [14] (본문 기준으로 재구성)
앞선 60년의 물건들이 제공한 것은 사실상 헤드셋 광학계 하나다. 실시간 3차원 파이프라인의 세 부분과 시점 변환용 머리위치 센서는 앞선 항목 어디에도 없었다. 그러므로 1968년에 계산만 남아 있었다는 서술은 여섯 개 중 네 개에서 다섯 개를 지운다. 표시 휘도와 추적 정밀도 문제도 그대로 남아 있었다. 정확한 문장은 이렇다. 1968년 이전에 겹침의 광학은 확보되어 있었고, 겹칠 내용을 조건으로부터 계산한다는 발상도 확보되어 있었으며, 머리 자세를 측정해 되먹인다는 발상도 다른 축에서 확보되어 있었다. 그러나 이 세 발상이 각각 다른 목적으로 다른 기관에서 만들어져 서로를 모른 채 흩어져 있었다. 서덜랜드가 만든 것은 요소가 아니라 요소들의 결합이다. 그리고 그 결합에는 새로 만들어야 할 부품이 네 개 더 있었다. 그가 결합의 주체가 될 수 있었던 조건도 우연이 아니다. 그는 ARPA에서 당대의 계산기를 직접 다뤄 본 사람이었다. 광학을 아는 사람도 있었고 추적을 아는 사람도 있었지만, 그 둘을 컴퓨터에 붙일 수 있는 위치에 있던 사람이 드물었다. 이 장치를 보고한 논문 자체에 관해서도 한 가지 유보가 필요하다. 제목은 'A head-mounted three dimensional display'이고 1968년 AFIPS 추계 합동 컴퓨터 학술대회에서 발표되었다. 통상 757면부터 764면으로 인용되지만, 원문 데이터베이스 접근이 막혀 이 면수를 1차로 확인하지 못했다. 이 논문이 몇 번 인용되었는지도 확인하지 못했다. 서지 데이터베이스 두 곳이 모두 응답하지 않았기 때문이다. 이 책이 어느 논문의 인용 횟수도 적지 않는 이유가 여기에 있다. 인용 횟수는 어떤 문헌이 정전이 되었는지를 보여주는 유용한 신호이지만, 확인하지 않은 숫자를 권위의 근거로 쓰는 것은 그 신호를 반대로 쓰는 일이다. 마지막으로 이 장의 시간 범위가 무엇을 다루지 않았는지 밝혀 둔다. 증강현실이라는 용어 자체는 1990년 보잉의 토머스 코델에게서 나온다. 실제와 가상의 결합, 실시간 상호작용, 정확한 3차원 정합이라는 세 요건은 1997년의 개관 논문에서 정립된다. 로널드 아주마가 학술지 『Presence』 제6권 4호 355면부터 385면에 실은 글이다. 즉 1968년은 물건의 역사에서 한 매듭이지만 정의의 역사에서는 아무것도 아니다. 1968년에 서덜랜드가 만든 장치를 증강현실이라고 부른 사람은 1968년에 아무도 없었다. 그 장치가 무엇이었는지를 규정하는 언어는 22년 뒤에, 정합을 요건으로 못 박는 정의는 다시 그 뒤에 도착한다. [14] ### 이 장의 한 문장 증강현실은 1968년에 발명된 것이 아니라, 1806년부터 1961년까지 서로를 모르는 사람들이 각자의 문제를 풀다가 남긴 광학과 연산과 추적이라는 조각들이 한 번도 한 자리에 모인 적 없이 흩어져 있던 상태에서, 그 조각들을 하나의 장치에 결합하려는 시도가 처음 성공한 것이며, 그 결합을 위해서는 여섯 개의 부품 중 네 개를 새로 만들어야 했다. [1][3][8][13]본문의 번호를 누르면 출처로 이동합니다. 절 끝의 번호는 그 절의 사실 자료를, 표 아래의 번호는 표에 사용한 자료를 가리킵니다. 비교·계산·비유와 결론은 필자의 재구성입니다. 한 번호에 함께 사용한 문헌이 둘 이상이면 묶어서 적었습니다.
서지정보와 확인 메모는 옵시디언 조사 기록을 바탕으로 복원했습니다. 원 기록의 ‘전문 확인’·‘조회’ 표기는 당시 조사 상태이며 이번 웹판에서 모두 재검증했다는 뜻은 아닙니다. 불완전한 서지사항은 임의로 채우지 않았습니다.
표 출처: [1][2][3][4] (본문 기준으로 재구성)
이 표의 각 줄이 이 장의 절이 된다. [1][2][3][4] ### 창이 아니라 거울 아이번 서덜랜드가 1965년 IFIP 총회에서 발표한 「The Ultimate Display」는 흔히 가상현실의 창세기로 인용된다. 그 인용은 대체로 틀린 부분을 인용한다. 이 문서는 하드웨어 논문이 아니다. 구현도 측정도 없는 디스플레이 철학 선언문이다. 당시 서덜랜드는 ARPA의 정보처리기술실 실장이었다. 핵심 논지는 목적의 전환이다. 그때까지 디스플레이는 무언가를 재현하는 장치였다. 서덜랜드는 재현을 목적에서 내렸다. 컴퓨터에 연결된 디스플레이의 가치는 물리세계에 존재할 수 없는 개념을 감각 가능하게 만드는 데 있다는 것이다. > A display connected to a digital computer gives us a chance to gain familiarity with concepts not realizable in the physical world. It is a looking glass into a mathematical wonderland. > 디지털 컴퓨터에 연결된 디스플레이는 물리세계에서는 실현될 수 없는 개념들과 친숙해질 기회를 우리에게 준다. 그것은 수학적 원더랜드로 들어가는 거울이다. 이 두 문장에 이 계보 전체의 방향이 들어 있다. 디스플레이는 현실을 들여다보는 창이 아니라 다른 세계로 들어가는 거울이라는 것이다. 재현의 정확도가 아니라 경험의 가능성이 평가 기준이 된다. 실무에서 이 구분은 사소하지 않다. 사진처럼 똑같이 보이는 것이 목표라면 사진을 찍으면 된다. 아직 존재하지 않는 상태를 몸으로 판단하게 하는 것이 목표라면 다른 도구가 필요하다. 같은 문서에서 서덜랜드는 시각 단일 감각 가정을 깬다. 그는 힘 되먹임 조이스틱 같은 역감 디스플레이와 청각을 시각과 동급으로 놓고, 가능한 한 많은 감각에 봉사해야 한다고 적는다. 36년 뒤 아주마와 공저자들이 증강현실을 시각에 한정하지 않는다고 못 박은 것의 원형이 여기 있다. 다감각 요구를 1965년에 적어 둔 것이 왜 중요한지는 반대 경우를 상상하면 드러난다. 시각만을 전제로 출발한 계보라면 소리와 힘은 나중에 덧붙이는 부가 기능이 된다. 부가 기능은 예산이 줄면 가장 먼저 삭제된다. 반대로 처음부터 동급의 감각으로 적혀 있으면 삭제할 때 근거를 대야 한다. 정의 문서에 무엇이 적혀 있는지가 예산 협상의 판을 정한다. 가장 자주 인용되는 대목은 물질의 존재 자체를 제어하는 방이라는 구절이다. 그러나 원문에서 그것은 마지막 한 문단의 사고실험일 뿐이다. 논문의 실질은 그 앞의 다감각·상호작용 논의다. 이 구절을 가상현실의 정의처럼 사용하는 것은 과잉 인용이다. 실무자에게 더 중요한 예언은 다른 곳에 있다. 우리가 어디를 보는지에 따라 표시가 달라지게 만드는 실험을 서덜랜드는 제안한다. 오늘날의 시선 기반 렌더링, 곧 포비티드 렌더링과 정확히 같은 발상이다. 1965년에 그것이 왜 필요한지가 이미 논리적으로 도출되어 있었다. 이 문서의 한계는 분명하다. '증강현실'이라는 용어가 없다. 실세계와 가상물을 좌표적으로 맞추는 정합이라는 개념도 없다. 구현도 측정치도 없다. 그러니 기술 사양의 근거로 인용할 수 있는 문서가 아니다. 서지 자체에도 유보가 붙는다. 통상 인용되는 분량 3쪽은 페이지 범위 506-508에서 역산한 추정이다. 이 조사에서 대조에 사용한 공개 PDF는 원 프로시딩 스캔이 아니라 2007년에 재입력·재조판된 2쪽짜리 전사본이다. 내용과 참고문헌 2건, 저자 소속은 그 전사본으로 확인되지만 원본 조판 분량은 확정할 수 없다. IFIP 총회의 정확한 개최 장소와 일자도 그 PDF에서는 확인되지 않는다. 참고문헌이 단 2건이라는 사실은 이 문서의 성격을 잘 말해 준다. 1963년 자신의 Sketchpad와 1964년 노울턴의 BEFLIX, 그것이 전부다. [5] ### 반투명 거울 한 장이 만든 구분 1968년 논문은 성격이 정반대다. 서덜랜드는 실제로 작동하는 머리 착용 디스플레이를 만들었고, 그것을 수치로 보고했다. 논문 작성 당시 소속은 유타대학이었고, 연구 수행은 하버드대학에서 ARPA와 해군연구청의 지원으로 이뤄졌다. 원리는 단순하다. 머리에 붙인 소형 음극선관 두 개가 선화 영상을 그린다. 그 빛을 프리즘 속 반투명 거울로 접어 눈에 넣는다. 거울이 반투명이므로 사용자는 음극선관 영상과 방 안의 실물을 동시에 본다. 광학 시스루 증강현실의 원형이 여기서 나왔다. 머리 위치는 두 방식으로 측정한다. 천장에 매단 기계식 팔, 또는 초음파 센서다. 측정값이 들어오면 행렬 승산기가 관측자 좌표계 변환을 수행하고, 클리핑 디바이더가 시야 절단과 원근 나눗셈을 실시간으로 처리한다. 눈에 띄는 설계 결정이 하나 있다. 서덜랜드는 안구 회전을 아예 측정하지 않는다고 명시한다. 시선 추적을 포기한 대신 머리 위치와 자세만 측정하고 프레임 단위 재계산으로 버틴 것이다. 안구 회전을 측정하지 않겠다는 이 결정에는 배울 점이 있다. 서덜랜드는 측정 항목을 늘려 정확도를 올리는 길을 택하지 않았다. 측정 항목을 줄이고 계산을 자주 하는 길을 택했다. 센서를 늘리면 교정과 동기화의 부담이 함께 늘어나고, 그 부담은 결국 지연으로 돌아온다. 무엇을 측정하지 않을지 정하는 것이 시스템 설계의 절반이라는 사실이 첫 장치에서 이미 드러난다. 이 논문의 한 문장이 증강현실을 가상현실에서 갈라놓았다. > Half-silvered mirrors in the prisms through which the user looks allow him to see both the images from the cathode ray tubes and objects in the room simultaneously. Thus displayed material can be made either to hang disembodied in space or to coincide with maps, desk tops, walls, or the keys of a typewriter. > 사용자가 들여다보는 프리즘 속의 반투명 거울은, 음극선관에서 나온 영상과 방 안의 물체를 동시에 볼 수 있게 해 준다. 따라서 표시된 내용은 공간에 실체 없이 떠 있게 할 수도 있고, 지도나 책상 위, 벽, 또는 타자기의 자판에 정확히 겹쳐지게 할 수도 있다. 두 번째 문장이 결정적이다. 표시 내용을 공간에 떠 있게 할 수도 있고, 실물의 특정 위치에 겹쳐 일치시킬 수도 있다는 선택지가 여기서 처음 제시된다. 가상 정보를 실세계의 특정 물체에 좌표적으로 고정시킨다는 발상, 곧 오늘날의 정합이 실물로 구현된 순간이다. 떠 있는 그림과 고정된 그림은 사용자에게 전혀 다른 것이다. 전자는 표시장치이고 후자는 도구다. 1965년 문서가 개념이었다면 1968년 논문은 예산이다. 지연, 정확도, 시야각이라는 세 가지 공학 항목이 처음 숫자로 제시된다. 주요 값은 다음과 같다. | 항목 | 값 | |---|---| | 시야각 | 40° | | 가상상 거리 | 각 눈 앞 약 18인치(약 46cm) | | 소형 음극선관 화면 | 약 0.5인치 사각, 공칭 스폿 0.6mil(약 15µm) | | 머리 이동 작업체적 | 지름 약 6피트(약 1.8m) × 높이 3피트(약 0.9m) | | 상하 틸트 | 서론은 30~40°, 센서 절은 약 40° | | 위치 센서 목표 분해능 | 1/100인치(약 0.25mm), 회전 1/10,000 | | 요구 정확도 | 약 1/10인치(약 2.5mm) | | 광학계 핀쿠션 왜곡 | 약 3%, 최대 0.3인치(약 7.6mm) 오차 | | 초음파 구성 | 송신기 3개(37 / 38.6 / 40.2kHz), 수신기 4개, 경로 12개 | | 초음파 모호성 | 40kHz 파장 약 1/3인치로 1/3인치 간격 모호성 | | 표시 성능 | 3,000선 @ 30fps, 선당 약 10µs | | 행렬 승산기 | 끝점당 약 5µs, 16회 누산 곱셈, 초당 약 3,000,000회 곱셈 | | 클리핑 디바이더 | 끝점 2개당 약 10µs | | 아날로그 선 발생기 | 최단 3µs, 최장 36µs, 평균 약 10µs |표 출처: [6] (본문 기준으로 재구성)
이 표에서 눈여겨볼 것은 두 줄의 관계다. 요구 정확도는 약 1/10인치인데 광학계 왜곡만으로 최대 0.3인치의 오차가 생긴다. 즉 광학 왜곡 하나가 요구 정확도를 세 배 넘겨 위반한다. 정합 오차 예산이 처음부터 초과 상태였다는 뜻이다. 이 구조는 지금도 바뀌지 않았다. 증강현실 시스템의 품질 문제는 언제나 오차 예산의 배분 문제다. 표의 값은 이 조사에서 원문과 대조했다. 다만 대조 방법을 정확히 적어 둘 필요가 있다. 대조에 쓴 공개 PDF는 텍스트층이 없는 순수 이미지 스캔이어서 통상적인 전문 대조가 성립하지 않는다. 8쪽 전부를 광학 문자 인식으로 재추출해 확인했고, 위 18개 값은 전부 원문과 일치했다. 그러니 이 수치들의 근거는 전문 대조가 아니라 OCR 대조다. 이런 구분을 적어 두지 않으면 후속 인용이 검증 강도를 실제보다 높게 가정한다. [6] ### 1968년 장치가 못 한 것 한계를 함께 읽어야 이 논문의 위치가 정확해진다. 가장 큰 것은 은선 제거의 포기다. 서덜랜드는 가려진 선을 지우는 문제를 풀지 않았다. 그 결과 모든 물체가 투명한 선으로만 보인다. 불투명 물체 표시는 현재 능력 밖이라고 원문이 명시한다. 이 한계는 겉보기 문제가 아니다. 불투명이 없으면 앞뒤 관계가 보이지 않는다. 앞뒤 관계가 보이지 않으면 사용자는 가상물이 실물의 앞에 있는지 뒤에 있는지 판단할 수 없다. 오늘날 실물이 가상물을 가려야 하는 차폐 처리가 증강현실 품질의 핵심 항목인 이유가 1968년에 이미 드러나 있었다. 두 번째 한계는 구속이다. 머리 추적이 천장에 고정된 기계 팔 또는 초음파에 묶여 있다. 사용자는 방 밖으로 나갈 수 없다. 작업체적이 지름 약 1.8m에 높이 약 0.9m라는 표의 값이 그 구속의 크기다. 초음파 방식에는 별도 문제가 있다. 40kHz의 파장이 약 1/3인치이므로 같은 간격의 모호성이 생기고, 그래서 완전한 보고가 불가능하다고 원문이 적는다. 세 번째는 이름이다. 이 논문에도 '증강현실'이라는 용어는 등장하지 않는다. 장치는 있었고 이름은 없었다. [6] ### 이름이 붙은 해 이름은 항공기 조립 현장에서 나왔다. 보잉 컴퓨터 서비스의 연구·기술 부문에 있던 토머스 코델과 데이비드 미젤이 그 일을 했다. 문제는 대단히 구체적이었다. 항공기 배선 하네스를 조립할 때 실물 크기의 도면판과 템플릿을 항공기 형식마다 따로 만들어야 했다. 형식이 늘면 치구도 늘고, 치구가 늘면 제작·보관·갱신 비용이 모두 늘어난다. 두 사람의 제안은 이 물리적 치구를 투시형 헤드마운트 디스플레이로 대체하자는 것이었다. 논문은 그 장치를 HUDset이라 부른다. > The authors describe the design and prototyping steps they have taken toward the implementation of a heads-up, see-through, head-mounted display (HUDset). Combined with head position sensing and a real world registration system, this technology allows a computer-produced diagram to be superimposed and stabilized on a specific position on a real-world object. > 저자들은 헤드업 방식의 투시형 헤드마운트 디스플레이(HUDset) 구현을 향해 밟아 온 설계 및 시제작 단계를 기술한다. 머리 위치 감지와 실세계 정합 시스템이 결합되면, 이 기술은 컴퓨터가 생성한 도면을 실세계 물체의 특정 위치에 겹쳐서 안정적으로 고정시킬 수 있게 해 준다. 여기서 두 단어를 붙여 읽어야 한다. superimposed와 stabilized다. 겹치는 것만으로는 부족하고 안정적으로 유지되어야 한다. 겹침은 한 프레임의 성질이고 안정은 시간에 걸친 성질이다. 증강현실의 난이도가 후자에 있다는 사실이 이름과 함께 태어났다. 이 논문의 가치 논증 방식도 기록해 둘 만하다. 코델과 미젤은 새 볼거리를 더한다고 말하지 않았다. 무엇을 없앨 수 있는지로 말했다. 템플릿, 도면판, 마스킹 장치가 사라진다는 것이 제안의 근거다. 다시 말해 증강현실의 산업적 정의는 처음부터 정보를 띄우는 일이 아니라 물리적 치구를 정보로 대체하는 일이었다. 설계·기획 실무에서 증강현실의 사업 논리도 같은 형태를 취해야 한다. 현장에 반복 설치하던 기준점, 규준틀, 말뚝 같은 물리적 치구가 정보로 대체되는지를 따지는 것이 출발점이다. 대체되는 것이 없다면 비용 정당화가 어렵다. 치구를 정보로 대체한다는 논리에는 한 가지 전제가 숨어 있다. 대체되는 치구가 이미 존재하고, 그 비용이 장부에 잡혀 있어야 한다는 것이다. 보잉의 도면판은 그 조건을 만족했다. 형식마다 실물 크기로 만들어야 했고, 그 제작과 보관과 폐기가 모두 비용으로 계상되어 있었다. 그래서 제안이 견적 비교의 형태를 띨 수 있었다. 반대로 대체할 치구가 없는 업무에서는 같은 논리가 작동하지 않는다. 그런 업무에서는 증강현실이 비용 절감이 아니라 판단 품질의 문제로 정당화되어야 하고, 판단 품질은 절감액처럼 쉽게 숫자로 바뀌지 않는다. 사업 논거를 세울 때 자기 업무가 어느 쪽인지 먼저 구별하는 것이 정직하다. 연도 표기에는 주의가 필요하다. 흔히 이 논문의 출판 연도인 1992년을 용어의 탄생 연도로 적는데, 두 연도는 다르다. 용어 창안은 1990년 보잉 재직 중 토머스 코델에게 귀속되는 것으로 정리되어 있고, 최초의 학술 출판은 1992년 1월 7일 하와이 시스템과학 국제학술대회에서다. 창안 연도와 출판 연도를 붙여 적는 것이 정확하다. 이 항목에는 검증 한계가 크게 붙는다. 본문 전문을 확보하지 못해 초록만 원문과 대조했다. 그래서 본문 안에서 '증강현실'을 어떻게 정의했는지의 정확한 문장은 확인하지 못했다. 흔히 인용되는 '우리는 이 기술을 증강현실이라 부른다' 류의 문구도 확인되지 않았다. 더 조심할 점이 하나 더 있다. 이 논문에 정량 사양이 제시되지 않았다는 진술은 초록만 보고 본문 전체의 부재를 단정한 것이므로 성립하지 않는다. 올바른 표기는 본문 미확보로 확인 불가다. 서지 자체는 확인됐다. 학술대회 논문집 제2권 659-669쪽이고 인용은 1,463회다. 같은 1992년에 빼놓으면 안 될 사례가 하나 더 있다. 미 공군 암스트롱 연구소의 루이스 로젠버그가 만든 Virtual Fixtures다. 실제로 동작한 몰입형 증강현실 시스템의 초기 사례로 널리 인용된다. 이름이 붙은 해에 장치도 함께 진전하고 있었다는 뜻이다. 이 조사는 이 시스템의 원문을 다루지 않았으므로 여기서는 연표상의 존재만 기록한다. [7] ### 무엇을 그리지 않을지 아는 시스템 1993년 파이너와 매킨타이어, 젤리그만이 발표한 KARMA는 질문을 한 칸 올렸다. 그전까지 증강현실은 겹쳐 보여 주는 장치의 문제였다. 이 논문에서 증강현실은 무엇을 겹칠지 스스로 결정하는 시스템의 문제가 된다. 파이너와 매킨타이어는 컬럼비아대학, 젤리그만은 AT&T 벨 연구소 소속이었다. KARMA는 유지보수 지원을 위한 지식 기반 증강현실을 뜻한다. 시제품의 대상은 레이저 프린터 한 대의 간단한 유지보수였다. 프린터 주요 부품에 3차원 트래커를 붙여 위치와 자세를 감시한다. 여기까지는 장치다. 핵심은 그다음이다. IBIS라는 규칙 기반 도해 생성 시스템이 오버레이 그래픽을 실시간으로 자동 설계한다. 작동 방식을 예로 보면 이해가 빠르다. 사용자에게 어떤 물체의 위치를 보여 주라는 목표가 주어진다. 시스템은 그 물체가 다른 물체에 가려졌는지 판단한다. 가려졌으면 투시되게 그린다. 이미 실세계에서 그대로 보인다면 아예 그리지 않는다. 마지막 규칙이 이 논문의 기여다. 오버레이의 최적 형태가 적게 그리기일 수 있다는 것을 규칙으로 명시했다. 증강현실의 품질을 정보량으로 평가하는 습관이 여기서 부정된다. 잘 만든 오버레이는 많이 그리는 오버레이가 아니라 필요한 것만 그리는 오버레이다. 원리적 전환은 연역이다. 이전까지 증강현실의 콘텐츠는 사람이 미리 만들어 둔 것이었다. KARMA는 세계 모델에서 표시 내용을 끌어냈다. 무엇이 어디에 있고 무엇에 가려져 있는가가 입력이고, 무엇을 어떻게 그릴지가 출력이다. 설계 검토 도구를 만들 때 곧바로 부딪히는 문제, 곧 도면 전체를 띄울 것인가 지금 필요한 한 요소만 띄울 것인가라는 문제의 최초 형식화가 이것이다. 인용문은 다음과 같다. > We believe that one of the most powerful uses of virtual worlds will not be to replace the real world, but rather to augment the user's view of the real world with additional information. This idea, introduced by Ivan Sutherland's pioneering work on head-mounted displays, is often referred to as augmented reality. > 우리는 가상세계의 가장 강력한 쓰임새 가운데 하나가 실세계를 대체하는 것이 아니라, 사용자의 실세계에 대한 시야를 추가 정보로 증강하는 데 있다고 믿는다. 아이번 서덜랜드의 선구적인 헤드마운트 디스플레이 연구에서 도입된 이 발상은 흔히 증강현실이라 불린다. 이 인용에는 출처 조건이 꼬리처럼 붙는다. 저널 본문이 유료여서 인용문은 저자 연구실의 KARMA 프로젝트 공식 설명 페이지에서 가져왔다. 그리고 그 페이지는 1993년 7월 시점의 문서가 아니다. 페이지의 감사문에 1994년 이후의 연구 계약 번호가 기재되어 있고, 정식 서지도 저자 3인의 1993년 논문을 외부에서 인용하는 형태로만 표기되어 있으며, 증강현실의 정식 정의문도 없다. 게다가 이 페이지는 증강현실이라는 발상을 코델이 아니라 서덜랜드에게 귀속시킨다. 따라서 위 문장을 1993년 논문의 정의로 인용하면 안 된다. 저자들의 연구실이 밝힌 문제의식으로만 읽어야 한다. 적용 범위의 한계도 분명하다. 대상은 레이저 프린터 한 대 규모의 실내 환경이다. 트래커를 부품마다 물리적으로 부착해야 했다. 야외의 대규모 지형에는 그대로 옮겨지지 않는다. 그러니 KARMA에서 가져올 것은 시스템 구성이 아니라 규칙이다. 보이면 그리지 않는다는 규칙 하나가 30년 뒤에도 유효하다. 서지와 지표는 다음과 같다. 학술지 제36권 7호 53-62쪽이고, 이 조사가 수집한 2026년 9월 스냅숏 기준 인용은 약 969회다. [8] ### 장치가 아니라 좌표 1994년 폴 밀그램과 키시노 후미오는 증강현실과 가상현실을 대립항에서 끌어내렸다. 두 기술을 하나의 축 위의 서로 다른 위치로 다시 놓은 것이다. 밀그램은 토론토대학 산업공학과 소속으로 1993년부터 1994년까지 교토의 ATR에 초빙 연구 중이었고, 키시노는 그 ATR 통신시스템연구소 소속이었다. 축의 왼쪽 끝은 실물만으로 이루어진 환경이다. 오른쪽 끝은 가상물만으로 이루어진 환경이다. 그 사이 전부가 혼합현실이다. 이 축이 가상성 연속체다. 증강현실은 축의 왼쪽 절반을 가리키고, 증강가상은 오른쪽 절반을 가리킨다. 이 도식 하나로 증강현실과 가상현실과 텔레프레즌스가 같은 좌표계에 올라갔다. 이후 30년간 거의 모든 관련 논문의 첫 그림이 이 그림이 되었다. 그런데 밀그램의 진짜 기여는 연속체가 아니다. 그는 이 1차원 축이 불충분하다고 스스로 선언하고 세 개의 축을 세운다. 세 질문으로 옮기면 다음과 같다. | 축 | 질문 | 실무에서 뜻하는 것 | |---|---|---| | 세계 지식의 정도(EWK) | 표시되는 세계를 우리가 얼마나 알고 있는가 | 대상지에 대한 모델이 얼마나 갖춰졌는가 | | 재현 충실도(RF) | 얼마나 사실적으로 표시할 수 있는가 | 화질과 렌더링의 품질 | | 현존 은유의 정도(EPM) | 관찰자가 그 세계 안에 있다는 착각은 어느 정도인가 | 바깥에서 보는가 안에 들어가 있는가 | 원문 선언은 다음과 같다. > This paper focuses on Mixed Reality (MR) visual displays, a particular subset of Virtual Reality (VR) related technologies that involve the merging of real and virtual worlds somewhere along the "virtuality continuum" which connects completely real environments to completely virtual ones. […] An (approximately) three dimensional taxonomy is proposed, comprising the following dimensions: Extent of World Knowledge ("how much do we know about the world being displayed?"), Reproduction Fidelity ("how 'realistically' are we able to display it?"), and Extent of Presence Metaphor ("what is the extent of the illusion that the observer is present within that world?"). > 이 논문은 혼합현실(MR) 시각 디스플레이에 초점을 맞춘다. 이는 완전히 실제인 환경과 완전히 가상인 환경을 잇는 '가상성 연속체' 위 어딘가에서 실세계와 가상세계의 융합을 수반하는, 가상현실(VR) 관련 기술들의 한 특정 부분집합이다. […] (근사적으로) 3차원인 분류체계를 제안하며, 그 차원은 다음과 같다. 세계 지식의 정도('표시되는 세계에 대해 우리는 얼마나 알고 있는가?'), 재현 충실도('우리는 그것을 얼마나 사실적으로 표시할 수 있는가?'), 현존 은유의 정도('관찰자가 그 세계 안에 현존한다는 착각은 어느 정도인가?'). 괄호 속 '근사적으로'를 놓치면 안 된다. 저자 스스로 이 분류가 엄밀한 3차원이 아님을 인정한 표현이다. 논문은 또 하나의 구분을 남긴다. 실물과 가상물, 직접 관찰과 재합성 관찰, 그리고 광학적 의미의 실상과 허상을 각각 구별한 것이다. 이 구분이 중요한 이유는 하나다. 실물의 영상과 자기 손의 실재성은 같은 '실재'가 아니다. 카메라로 찍어 화면에 띄운 실물은 이미 한 번 합성을 거쳤다. 이 차이가 뒤의 재현 충실도 논의로 이어진다. 이 구분은 장비 방식 선택에 바로 걸린다. 사용자가 실세계를 눈으로 직접 보는 방식과, 카메라로 찍은 실세계 영상을 화면으로 보는 방식은 같은 실재를 다루지 않는다. 후자에서 실세계는 이미 렌더링된 대상이다. 밝기와 색, 해상도, 시간 지연이 모두 장비의 함수가 된다. 그러니 두 방식의 비교는 화면 크기나 무게의 비교가 아니라, 실세계를 어디까지 장비에 맡기느냐의 비교다. 밀그램은 이 선택을 취향의 문제에서 좌표의 문제로 옮겨 놓았다. 서지와 지표를 정리하면 다음과 같다. 1994년 7월 8일 투고, 8월 25일 개정, 12월 게재이고, 학술지 권호는 E77-D 제12호이며 시작 페이지는 1321이다. 혼합현실 하이브리드 디스플레이는 6개 부류로 제시된다. 검토한 선행 분류체계는 셰리든 1992, 젤처 1992, 나이마크 1991, 로비넷 1992의 4건이다. 나이마크는 원문에서 같은 해 두 건으로 인용된다. 한계는 원문이 스스로 밝힌다. 이 분류는 시각 디스플레이에만 한정된다. 청각과 촉각, 전정감각의 증강현실은 언급만 하고 다루지 않는다. 또 현존 은유 축이 재현 충실도 축과 완전히 직교하지는 않는다고 논문이 인정한다. 이 비직교성이 27년 뒤 재검토의 근거가 된다. 서지에 남은 불확정도 적어 둔다. 끝 페이지는 통상 1329로 인용되지만 이 조사에서 원문으로 확인하지 못했다. 인용 횟수는 약 4,635회로 알려져 있으나 이 논문에는 문헌 식별자가 없어 확인하지 못했다. 다만 같은 조사에서 식별자로 조회에 성공한 다른 세 건의 인용수가 보고값과 정확히 일치했으므로 같은 시점의 값일 개연성은 높다. 저널명 표기도 두 가지가 돌아다닌다. 저자 공개 전문의 머리말과 공식 명칭이 조금 다르며 둘은 같은 저널이다. 그리고 저자 공개 전문의 원 주소는 현재 응답하지 않는다. 재현 가능한 인용을 위해서는 웹 아카이브 보존본 주소를 출처로 적어야 한다. [1][9] ### 세계 지식이 표시 가능한 것의 상한을 정한다 밀그램이 다케무라 하루오, 우쓰미 아키라, 키시노 후미오와 함께 쓴 자매 논문은 세 축을 가장 상세히 서술한 판본이다. 앞의 학술지 논문에도 세 축의 절과 그림이 이미 모두 들어 있다는 점은 분명히 해 둘 필요가 있다. 약어 세 개도 거기서 이미 쓰인다. 자매 논문은 새 축을 만든 것이 아니라 같은 축을 더 길게 쓴 것이다. 여기서 혼합현실의 표준 정의가 나온다. > Within this framework it is straightforward to define a generic Mixed Reality (MR) environment as one in which real world and virtual world objects are presented together within a single display, that is, anywhere between the extrema of the RV continuum. […] In simple terms, EWK defines how much we actually know about objects and the world in which they are displayed. […] The term "Reproduction Fidelity" refers to the relative quality with which the synthesising display is able to reproduce the actual or intended images of the objects being displayed. […] the Extent of Presence Metaphor (EPM) axis, that is, the extent to which the observer is intended to feel "present" within the displayed scene. > 이 틀 안에서는 일반적인 혼합현실(MR) 환경을, 실세계 물체와 가상세계 물체가 하나의 디스플레이 안에 함께 제시되는 환경, 즉 실재-가상 연속체의 양 극단 사이 어디엔가 놓인 환경으로 정의하는 것이 간명하다. […] 간단히 말해 EWK는 우리가 물체들과 그것들이 표시되는 세계에 대해 실제로 얼마나 알고 있는지를 규정한다. […] '재현 충실도'라는 용어는, 합성하는 디스플레이가 표시 대상 물체의 실제 영상 또는 의도된 영상을 재현해 낼 수 있는 상대적 품질을 가리킨다. […] 현존 은유의 정도(EPM) 축은, 관찰자가 표시된 장면 안에 '현존한다'고 느끼도록 의도된 정도를 말한다. 이 논문은 당시의 논쟁에 답을 낸다. 증강현실을 투시형 머리 착용 디스플레이에만 한정할 것인가라는 물음에 아니라고 답한다. 증강현실을 장치가 아니라 연속체 위의 좌표로 정의한 결과다. 그 덕에 모니터 기반 오버레이와 비디오 시스루, 태블릿 기반 표시가 모두 같은 이론 틀에 들어간다. 세계 지식 축의 서술이 실무에 가장 직접적이다. 이 축은 두 종류의 지식으로 쪼개진다. 어디에 있는가에 관한 지식과 무엇인가에 관한 지식이다. 위치는 알지만 정체는 모르는 구간, 또는 그 반대의 구간이 존재하고, 실제 증강현실 시스템이 놓이는 자리가 바로 그 중간이라고 논문은 밝힌다. 이 지적을 실무 언어로 옮기면 이렇다. 컴퓨터가 그 장소에 대해 무엇을 아는지가 표시 가능한 것의 상한을 정한다. 지형 모델이 없고 시설물 위치가 없고 경계 정보가 없으면, 아무리 좋은 장비를 써도 오버레이는 그저 떠 있는 그림에 머문다. 장비 예산을 늘리기 전에 모델 예산을 늘려야 하는 이유가 이 축에 들어 있다. 재현 충실도 축의 서술에도 날카로운 지적이 있다. 이 축은 실물의 재현과 가상물의 렌더링을 같은 축 위에 놓는다. 그러면 광학 시스루가 축의 오른쪽 끝에 놓인다. 직접 관찰된 현실이 곧 궁극의 충실도이기 때문이다. 이 관점에서 보면 화질 경쟁의 목표는 현실을 이기는 것이 아니라 현실과 구별되지 않는 것이다. 현존 은유 축은 바깥에서 들여다보기부터 그 안에 있기까지의 범위다. 같은 모델을 책상 위 축소 모형처럼 보는 것과 실제 크기로 그 안에 서서 보는 것이 이 축의 양끝이다. 두 방식은 판단할 수 있는 사항이 서로 다르다. 이 논문이 남긴 역발상도 기록해 둘 만하다. 세계 지식의 부족이 증강현실의 한계가 아니라 강점일 수 있다는 것이다. 사람이 가상 포인터로 실측하면서 세계 모델을 점진적으로 쌓아 간다는 발상이다. 측량이 완결되기 전에 시작해서, 관측할수록 모델이 채워지는 작업 흐름의 이론적 근거가 여기 있다. 서지에는 주의가 크게 붙는다. 이 논문의 연도는 1994년이다. 전자판 등록일이 1995년으로 색인되어 문헌마다 표기가 엇갈리므로, 인용할 때는 1994년으로 적고 색인상 1995년임을 병기하는 편이 안전하다. 근거는 네 가지다. 논문 자신의 첫 참고문헌이 수록 권을 1994년으로 명기한다. 같은 논문의 두 번째 참고문헌이 자매 논문을 1994년 12월로 인용한다. 저자 공개 원고 표지에 1994년 저작권 표시가 있다. 후속 재검토 논문도 1994년으로 인용한다. 자매 논문이 6개 부류를, 이 논문이 7개 부류를 제시하지만 두 논문은 같은 해의 자매편이므로 확장의 선후 서사를 만들어서는 안 된다. 한계도 원문이 자인한다. 서술은 시각 디스플레이에 엄격히 한정된다. 재현 충실도 축은 복잡한 주제의 심한 단순화이며 디스플레이 하드웨어와 신호처리, 렌더링 기법을 한데 뭉뚱그린 것이라고 논문이 스스로 적는다. 페이지 범위 282-292는 통상 인용값이며 원문 대조로 확인하지 못했다. 인용은 약 2,367회다. 다케무라의 현재 소속은 오사카대학이다. 1990년대 후반부터 2001년까지의 소속과 혼동하지 않아야 하며, 이 논문 집필 당시 소속은 ATR이다. [1] ### 세 조건 오늘날 교과서에 실린 표준 정의는 1997년 로널드 아주마의 서베이에서 나왔다. 아주마는 당시 휴스 연구소 소속이었다. 그는 증강현실을 머리 착용 디스플레이를 쓰는 시스템으로 한정하던 관행을 명시적으로 거부하고, 장치가 아니라 성질로 정의했다. > Some researchers define AR in a way that requires the use of Head-Mounted Displays (HMDs). To avoid limiting AR to specific technologies, this survey defines AR as systems that have the following three characteristics: 1) Combines real and virtual 2) Interactive in real time 3) Registered in 3-D > 일부 연구자들은 헤드마운트 디스플레이(HMD)의 사용을 요구하는 방식으로 AR을 정의한다. AR을 특정 기술에 한정하는 것을 피하기 위해, 이 서베이는 AR을 다음 세 가지 특성을 갖는 시스템으로 정의한다. 1) 실재와 가상을 결합한다 2) 실시간으로 상호작용한다 3) 3차원으로 정합된다 세 문장은 짧다. 짧은 것이 이 정의의 힘이다. 세 조건이 모두 필요조건이므로, 하나라도 없으면 증강현실이 아니다. 정의는 이때 비로소 판정 도구가 된다. [2] ### 아주마 정의가 배제하는 것 정의의 실용성은 포함 목록이 아니라 배제 목록에서 나온다. 아주마의 세 조건은 배제가 대단히 깨끗하다. 첫 번째 배제는 상호작용이 없는 완벽한 합성이다. 실사 영상과 가상 생물을 3차원으로 완벽히 섞은 영화는 첫 번째 조건과 세 번째 조건을 만족한다. 그러나 상호작용이 없다. 그러므로 증강현실이 아니다. 아주마 자신이 든 예가 「Jurassic Park」이다. 두 번째 배제는 3차원 정합이 없는 실시간 오버레이다. 생중계 화면 위에 얹히는 2차원 자막은 실시간이고 실재와 가상의 결합이기도 하다. 그러나 3차원으로 정합되어 있지 않다. 그러므로 증강현실이 아니다. 무엇이 남는지도 분명하다. 모니터 기반 인터페이스, 단안 시스템, 투시형 머리 착용 디스플레이가 모두 포함된다. 표로 정리하면 다음과 같다. | 대상 | 실재·가상 결합 | 실시간 상호작용 | 3차원 정합 | 판정 | |---|---|---|---|---| | 실사와 가상을 합성한 영화 | 있음 | 없음 | 있음 | 아님 | | 생중계 화면의 2차원 자막 | 있음 | 있음 | 없음 | 아님 | | 모니터 기반 오버레이 인터페이스 | 있음 | 있음 | 있음 | 해당 | | 단안 표시 시스템 | 있음 | 있음 | 있음 | 해당 | | 투시형 머리 착용 디스플레이 | 있음 | 있음 | 있음 | 해당 |표 출처: [2] (본문 기준으로 재구성)
두 번째 조건이 비용에 미치는 영향도 짚어 둘 필요가 있다. 실시간 상호작용은 표현의 문제가 아니라 계산 구조의 문제다. 미리 만들어 둔 영상은 아무리 정교해도 사용자의 위치와 시선에 반응하지 못한다. 반응하게 만들려면 장면을 그때그때 계산해야 하고, 그 순간 품질의 상한이 장비 성능에 묶인다. 사전 제작 영상과 실시간 생성 영상 사이의 품질 격차는 이 구조에서 나온다. 발주 문서가 영화 같은 화질과 실시간 상호작용을 동시에 요구하면, 두 요구가 서로 예산을 잡아먹는다는 사실을 양쪽이 먼저 합의해야 한다. 이 표가 왜 중요한지는 검수 상황을 떠올리면 분명해진다. 납품된 결과물이 화면 위에 아무리 정교한 영상을 띄우더라도, 시점이 바뀔 때 가상물이 실세계의 같은 자리에 머물지 않으면 세 번째 조건이 깨진다. 보기에 좋은 것과 정의를 만족하는 것은 다른 문제다. 정의의 수명이 이 배제 방식에서 나온다. 조건 명제는 장치 목록과 달리 미래의 장치를 미리 포섭한다. 1997년에는 존재하지도 않던 휴대기기 기반 증강현실과 투사 방식의 매핑이 이 정의에 그대로 들어온다. 30년을 버틴 정의다. [2] ### 정합은 왜 그토록 어려운가 아주마의 서베이는 정의 이후 절반을 세 번째 조건에 쓴다. 정합이 왜 어려운지를 정량적으로 해부한 것이다. 결론은 하나로 모인다. 시스템 지연이 정합 오차의 단일 최대 원인이며, 다른 모든 원인을 합친 것보다 크다. 원리는 간단하다. 머리가 움직이는 동안 화면은 과거의 머리 위치로 그려진 그림을 보여 준다. 지연 시간과 회전 속도의 곱이 각도 오차가 된다. 각도 오차에 대상까지의 거리를 곱하면 길이 오차가 된다. 그래서 지연은 밀리초의 문제가 아니라 밀리미터의 문제다. 주요 수치는 다음과 같다. 단위와 조건을 함께 읽어야 한다. | 항목 | 값과 조건 | |---|---| | 전형적 종단간 지연 | 100ms | | 큰 지연 | 느리거나, 부하가 크거나, 네트워크 기반인 시스템에서 250ms 이상 | | 지연이 만드는 오차 | 지연 100ms에 머리 회전 50°/s면 각도 오차 5° | | 길이로 환산한 오차 | 팔 길이 68cm에서 약 60mm | | 요구 조건 | 각도 오차 0.5° 이하를 지키려면 회전 50°/s에서 지연 10ms 이하 | | 프레임버퍼만의 소모 | 60Hz 스캔아웃 단독으로 16.67ms | | 예측의 효과 | 지연 약 80ms 이하에서 동적 오차를 최대 한 자릿수 감소 | | 관성센서의 효과 | 예측 정확도 2~3배 향상 | | 광학 시스루의 실세계 광 지연 | 수 나노초 | | 비디오 시스루의 지연 | 수십 밀리초에 디지타이징 최소 1프레임 추가, 60Hz에서 16.67ms | 이 표에서 가장 잔인한 줄은 요구 조건과 프레임버퍼 소모의 대비다. 각도 오차 0.5° 이하를 지키려면 지연이 10ms 이하여야 하는데, 60Hz 프레임버퍼를 한 번 훑어 내보내는 것만으로 16.67ms가 쓰인다. 다른 처리를 전부 0으로 놓아도 요구를 만족할 수 없다. 1997년의 진단은 지연 예산이 구조적으로 초과 상태라는 것이었다. 0.5°라는 기준이 어디서 나왔는지도 함께 보아야 한다. 사람 눈의 중심와 원추세포 밀도는 약 120개/도이고, 이는 약 0.5분각 간격에 해당한다. 사람은 그만큼 미세한 어긋남을 분해할 수 있다. 감각을 돕는 비교값도 논문이 든다. 보름달의 시직경이 약 0.5°이고, 팔 길이에 든 10센트 동전이 1.2~2.0°다. 다시 말해 정합 오차 5°는 보름달 열 개를 늘어놓은 크기의 어긋남이다. 모르고 지나갈 수 있는 크기가 아니다. 지연과 오차 외에 광학 시스루와 비디오 시스루의 근본 차이도 이 표에 들어 있다. 광학 방식에서 실세계의 빛은 수 나노초에 눈에 닿는다. 사실상 지연이 없다. 그러니 가상물만 늦는다. 비디오 방식에서는 실세계 영상도 디지타이징을 거치므로 함께 늦는다. 둘이 같이 늦는 것과 한쪽만 늦는 것은 사용자에게 다르게 보인다. 방식 선택이 미관 문제가 아니라 오차 구조의 선택이라는 뜻이다. 예측에 관한 수치도 함께 읽어야 한다. 지연이 약 80ms 이하인 구간에서 예측은 동적 오차를 최대 한 자릿수까지 줄인다. 관성센서를 쓰면 예측 정확도가 2~3배 향상된다. 여기서 조건이 중요하다. 효과는 지연이 이미 작을 때 커진다. 지연이 큰 시스템에 예측을 얹어 해결하려는 시도는 순서가 뒤집힌 것이다. 먼저 지연을 줄이고, 남은 몫을 예측으로 메우는 것이 이 수치가 말하는 순서다. 한계도 분명히 적어야 한다. 이 서베이는 시각을 전제로 서술한다. 청각과 촉각의 증강현실은 1997년판 정의에서 명시적으로 다루지 않는다. 인용된 성능 수치는 1990년대 중반 하드웨어 기준이므로 오늘날 기기에 그대로 적용해서는 안 된다. 다만 요구 조건 쪽은 성질이 다르다. 각도 오차를 0.5° 이하로 유지해야 한다는 조건은 장비가 아니라 인간 시각계의 성질에서 나온 것이므로 지금도 유효하다. 하드웨어 수치는 낡고 인간 수치는 낡지 않는다. 서지는 다음과 같다. 학술지 제6권 4호 355-385쪽, 1997년 8월 게재다. [2][10] ### 빼기도 증강이다 2001년 아주마는 바이오, 베링거, 파이너, 줄리어, 매킨타이어와 함께 후속 논문을 냈다. 이 논문의 성격을 정확히 규정하는 것이 중요하다. 흔히 1997년 정의의 갱신판으로 소개되지만 그것은 틀렸다. 저자들의 목표는 원래 서베이를 대체하는 것이 아니라 보완하는 것이라고 원문이 명시한다. 새 진전의 대표 사례를 제시하는 것이 이 논문의 일이다. 세 조건의 표현은 다음과 같이 바뀐다. 실재 환경 안에서 실물과 가상물을 결합한다. 상호작용적으로, 그리고 실시간으로 동작한다. 실물과 가상물을 서로 정합시킨다. 표현은 길어졌으나 내용은 1997년과 실질적으로 같다. 특정 디스플레이 기술에 한정하지 않는다는 단서조차 1997년 본문에 이미 있었다. 그러니 두 정의 사이에 교체나 수정의 서사를 만들면 사실과 어긋난다. 그렇다면 2001년이 실제로 더한 것은 무엇인가. 두 가지다. 첫째는 감각의 확장이다. 증강현실은 시각이라는 감각에 한정되지 않으며 청각과 촉각, 후각을 포함해 모든 감각에 잠재적으로 적용될 수 있다고 못 박는다. 1997년판이 시각을 전제로 썼던 부분이 여기서 보완된다. 둘째는 빼기의 편입이다. > we define an AR system to have the following properties: ■ combines real and virtual objects in a real environment; ■ runs interactively, and in real time; and ■ registers (aligns) real and virtual objects with each other. Note that we don't restrict this definition of AR to particular display technologies, such as a head-mounted display (HMD). Nor do we limit it to our sense of sight. AR can potentially apply to all senses, including hearing, touch, and smell. Certain AR applications also require removing real objects from the perceived environment, in addition to adding virtual objects. For example, an AR visualization of a building that stood at a certain location might remove the building that exists there today. Some researchers call the task of removing real objects mediated or diminished reality, but we consider it a subset of AR. > 우리는 AR 시스템을 다음의 성질을 갖는 것으로 정의한다. ■ 실재 환경 안에서 실물과 가상물을 결합한다 ■ 상호작용적으로, 그리고 실시간으로 동작한다 ■ 실물과 가상물을 서로 정합(정렬)시킨다. 우리는 이 AR의 정의를 헤드마운트 디스플레이(HMD)와 같은 특정 디스플레이 기술로 한정하지 않는다는 점에 유의하라. 또한 시각이라는 감각에 한정하지도 않는다. AR은 청각, 촉각, 후각을 포함해 모든 감각에 잠재적으로 적용될 수 있다. 어떤 AR 응용은 가상물을 더하는 것에 더해, 지각되는 환경에서 실물을 제거하는 일도 요구한다. 예를 들어 어떤 장소에 서 있었던 건물의 AR 시각화는 오늘 그 자리에 존재하는 건물을 제거해야 할 수 있다. 일부 연구자는 실물을 제거하는 이 작업을 매개된 현실(mediated reality) 또는 감소된 현실(diminished reality)이라 부르지만, 우리는 그것을 AR의 부분집합으로 본다. 인용문 뒷부분이 실무에 결정적이다. 저자들이 든 예시가 바로 어떤 장소에 서 있던 건물을 지우고 그 자리를 다르게 보여 주는 시각화다. 설계 검토에서 가장 자주 필요한 조작이 이것이다. 기존 구조물을 지우고, 옹벽을 지우고, 그 자리에 대안을 세워 비교하는 일이다. 더하기만 다루는 정의 아래에서는 이 작업이 증강현실 밖에 있었다. 2001년의 이 문단으로 비로소 정의 안으로 들어온다. 이 확장에는 두 겹의 유보가 붙는다. 모든 감각에 적용될 수 있다는 것은 원문 표현대로 잠재적 가능성이다. 2001년 시점에 시각 외 감각의 실증 사례는 사실상 없었다. 또 감소된 현실을 증강현실의 부분집합으로 규정한 것은 이 저자들의 입장이다. 이를 별개 범주로 두는 문헌도 있다. 매개된 현실 계열의 논의가 그렇다. 이 조사는 그 계열의 원문을 확보하지 못했다. 가상으로 실물을 지우는 작업을 설계 검토의 주된 수단으로 쓸 계획이라면 별도 조사가 필요하다. 서지와 부수 사실은 다음과 같다. 학술지 제21권 6호 34-47쪽, 2001년 11월과 12월 합본호다. 1997년 서베이 이후 약 4년간의 진전을 정리했고, 대표 사례로 증강현실 응용을 빠르게 만드는 소프트웨어 도구가 무료로 공개된 일을 든다. 본문 표기와 프로젝트 공식 명칭의 대소문자가 다르므로 인용 시 확인이 필요하다. [2] ### 연속체는 사실 불연속이다 2021년 리처드 스카베즈와 미시 스미스, 메리 휘튼은 밀그램의 연속체를 정면으로 재검토했다. 스카베즈는 라트로브대학, 스미스는 독립 연구자, 휘튼은 노스캐롤라이나대학 채플힐 소속이다. 심사자로 마크 빌링허스트와 디터 슈말슈티크가 참여했다. 주장은 세 가지다. 첫째, 연속체는 사실 불연속이다. 축의 오른쪽 끝에 있는 완전한 가상현실은 도달 불가능하다. 이유는 감각의 종류에 있다. 기존 기기는 시각과 청각, 촉각 같은 외수용감각만 자극한다. 고유수용감각과 내장감각 같은 내수용감각은 건드리지 못한다. 아무리 정교한 식사 장면을 보여 줘도 사용자는 여전히 배가 고프다. 이 감각 충돌 때문에 외부형 가상환경과 직접 뇌 자극 방식의 가상현실 사이에는 건널 수 없는 틈이 생긴다. 둘째, 그렇다면 현재의 가상현실도 전부 혼합현실이다. 머리에 쓴 헤드셋 자체가 실세계에 놓인 실물이기 때문이다. 여기서 정의의 한 단어를 바꾸자는 제안이 나온다. > First, we argue that the RV continuum is, in fact, discontinuous: that the "virtual reality" endpoint is unreachable, and any form of technology-mediated reality is, in fact, mixed reality. Second, we consider the term "mixed reality," and argue for the continuing utility of Milgram and Kishino's definition, with one small but significant change: Instead of requiring that real and virtual objects be combined within a single display, we propose that real and virtual objects and stimuli could be combined within a single percept. > 첫째, 우리는 실재-가상 연속체가 사실은 불연속이라고 주장한다. 즉 '가상현실'이라는 종점은 도달 불가능하며, 기술로 매개된 현실은 어떤 형태든 사실상 혼합현실이다. 둘째, 우리는 '혼합현실'이라는 용어를 검토하여, 밀그램과 키시노의 정의가 여전히 유용함을 주장하되 작지만 중요한 변경을 하나 가한다. 실물과 가상물이 하나의 디스플레이 안에서 결합될 것을 요구하는 대신, 실물과 가상물 및 자극이 하나의 지각(percept) 안에서 결합될 수 있다고 제안한다. 디스플레이에서 지각으로의 이 한 단어 교체가 기준점을 옮긴다. 결합이 일어나는 장소가 장치가 아니라 사람의 지각이 된다. 그러면 표시 성능이 아니라 지각 결과가 평가 대상이 된다. 셋째, 세 축을 재편한다. 재현 충실도와 현존 은유는 밀그램 자신이 비직교라고 인정했으므로 하나로 합친다. 합친 자리에 몰입을 놓는데, 시스템이 지원하는 유효 행위의 집합으로 몰입을 정의한다. 그리고 사용자 경험의 일관성을 재는 정합성 축을 새로 세운다. | 1994년 축 | 2021년 축 | 옮겨진 관점 | |---|---|---| | 세계 지식의 정도 | 세계 지식의 정도 | 유지 | | 재현 충실도 | 몰입 | 화질에서 시스템이 지원하는 유효 행위로 | | 현존 은유의 정도 | 몰입에 통합 | 비직교성 해소 | | 없음 | 정합성 | 경험의 일관성이라는 새 척도 |표 출처: [11] (본문 기준으로 재구성)
실무에 직접 쓰이는 개념은 정합성의 내부와 외부 구분이다. 가상현실에서는 가상물끼리의 내적 정합성이 문제다. 증강현실에서 정합성은 주로 외적이다. 가상물이 실제 지면 위에 앉아 있는지, 허공에 떠 있는지가 곧 품질이 된다. 30년 전에 정합이라 부르던 공학 문제가 여기서 외적 정합성이라는 경험 품질 지표로 번역된다. 지표가 경험 쪽으로 옮겨지면 검수 방법도 바뀐다. 오차를 밀리미터로 재는 것에 더해, 사용자가 어긋남을 알아채는지를 재야 한다. 첫째 주장이 실무에 주는 교훈은 기대 관리다. 완전한 몰입은 장비의 성능으로 도달할 목표가 아니라 원리적으로 닫힌 지점이다. 그렇다면 목표를 다시 써야 한다. 현실과 구별되지 않는 경험이 아니라, 판단하려는 항목에 대해 올바른 판단을 내리게 하는 경험이 목표가 된다. 앉은 자리에서 배고픔이 사라지지 않는다는 사실은 기술의 결함이 아니라 조건이다. 조건을 결함으로 취급하면 예산이 끝없이 들어간다. 이 논문이 남긴 비용 기록도 한 줄 옮겨 둘 만하다. 1990년대 중반 연구실 표준 구성은 머리 착용 디스플레이와 고성능 워크스테이션, 추적 장치였다. 총 시스템 비용이 100,000 USD를 쉽게 넘었다고 원문이 적는다. 통화 단위는 원문에 명시되어 있다. 한계는 논문 형식에서 온다. 이 글은 관점 논문이며 실증 연구가 아니다. 저자들 스스로 자신들의 혼합현실 정의가 지나치게 포괄적이어서 혼란을 준다는 비판이 가능함을 인정하고 반박을 제시한다. 그리고 세계 지식 축에 대해서는 밀그램 이후 후속 연구가 거의 없다고 지적하며 그 부분을 미개척지로 남겨 둔다. 실무자에게 이 지적이 뜻하는 바는 냉정하다. 대상지에 대한 지식의 양을 어떻게 재고 어떻게 늘릴지에 관한 이론은 아직 비어 있다. 서지는 다음과 같다. 2020년 12월 30일 투고, 2021년 3월 5일 채택, 3월 24일 게재이고, 학술지 제2권 논문번호 647997이며 분량은 8쪽이다. 통상 인용되는 15쪽은 다른 논문의 쪽수와 혼동된 값이다. 논문은 지난 25년을 검토 기간으로 표현하지만, 1994년부터 2021년까지의 실제 경과는 27년이다. [11] ### 이름이 다시 흔들릴 때 정의의 역사는 1997년에 끝나지 않았다. 2010년대 후반에 다시 흔들린다. 흔들림의 원인이 앞 시기와 다르다는 점이 중요하다. 2019년 막시밀리안 슈파이허와 브라이언 홀, 미하엘 네벨링은 혼합현실이라는 말이 실제로 어떻게 쓰이는지를 문헌 검토와 전문가 인터뷰로 조사했다. 결과는 통일된 정의가 없다는 것이었다. 후속 재검토 논문이 이 조사를 인용해 요약한 바에 따르면, 혼합현실은 서로 충돌하는 네 방식으로 정의되어 왔다. 증강현실과 가상현실의 합, 증강현실의 동의어, 증강현실의 더 강한 판본, 그리고 밀그램과 키시노가 정의한 그대로다. 이 조사가 남긴 가장 유명한 문장은 인터뷰 대상자의 항변이다. > if [a console video game] is MR, then everything is > 만약 [콘솔 비디오게임]이 MR이라면, 그럼 전부 다 MR이다 한 문장에 딜레마가 압축되어 있다. 정의를 넓히면 변별력을 잃고, 좁히면 실제로 존재하는 시스템을 담지 못한다. 방법론의 전환도 여기서 일어난다. 밀그램과 아주마는 정의를 규범적으로 선언했다. 이 조사는 정의를 경험적으로 조사했다. 정의는 논문이 정하는 것이 아니라 공동체가 쓰는 것이라는 관점이다. 이 항목은 이 조사에서 가장 취약한 항목이다. 원 논문 전문을 확보하지 못했다. 위 인용문과 네 가지 상충 정의의 요약은 모두 2021년 재검토 논문의 본문을 통해 대조한 2차 인용이다. 그래서 검토한 논문 편수와 인터뷰한 전문가 수는 여기에 적지 않았다. 기억에 의존한 숫자를 적으면 책이 틀린다. 서지 정량값만 확인됐다. 2019년 학술대회 논문집 1-15쪽으로 15쪽 분량이고 인용은 691회다. 저자 소속은 확정하지 못했다. 2022년 필립 라우슈나벨과 공저자들은 용어 혼란 자체를 정리하려 했다. 진단은 간명하다. 네 용어가 현실을 어떻게 생성하거나 변형하는가를 가리키는 데 쓰이지만 그 사용이 일관되지 않아 개념적 경계가 불분명해졌다는 것이다. > Augmented Reality (AR), Virtual Reality (VR), Mixed Reality, and Extended Reality (often – misleadingly – abbreviated as XR) are commonly used terms to describe how technologies generate or modify reality. However, academics and professionals have been inconsistent in their use of these terms. This has led to conceptual confusion and unclear demarcations. […] we conclude that (1) XR should not be used to connote extended reality, but as a more open approach where the X implies the unknown variable: xReality > 증강현실(AR), 가상현실(VR), 혼합현실, 그리고 확장현실(흔히 — 오해를 부르는 방식으로 — XR로 줄여 쓰는)은 기술이 현실을 생성하거나 변형하는 방식을 기술하는 데 흔히 쓰이는 용어들이다. 그러나 학자들과 실무자들은 이 용어들을 일관되지 않게 사용해 왔다. 이는 개념적 혼란과 불분명한 경계 획정으로 이어졌다. […] 우리는 다음과 같이 결론짓는다. (1) XR은 확장현실(extended reality)을 뜻하는 말로 쓰여서는 안 되며, X가 미지수를 함의하는 더 열린 접근, 곧 xReality로 쓰여야 한다 저자들의 제안은 X를 미지수로 읽는 것이다. 특정 기술 묶음을 가리키는 고정 명칭이 아니라 아직 정해지지 않은 변수를 담는 틀로 쓰자는 것이다. 이 논문의 위치가 중요한 이유는 혼란의 출처에 있다. 1994년과 1997년의 정의는 연구 공동체 안에서 만들어졌다. 2020년대의 혼란은 다르다. 제조사들이 마케팅 목적으로 서로 다른 정의를 유포하면서 생긴 혼란이다. 그래서 실무자는 제품 홍보 문구의 혼합현실과 논문의 혼합현실을 같은 것으로 읽어서는 안 된다. 발주 문서에 용어를 쓸 때는 어느 정의를 따르는지 문서 안에 적어 두어야 한다. 이 항목도 초록만 원문과 대조했다. 공저자 전체 명단과 권호, 페이지, 소속을 확인하지 못했다. 제안된 틀의 구체적 축 구성도 초록만으로는 알 수 없다. 인용은 약 917회다. [3][4] ### 정의를 실무 문장으로 바꾸기 지금까지의 계보를 실무 문서에 쓸 수 있는 형태로 압축해 둔다. 새로 만드는 기준이 아니다. 앞의 정의들에서 그대로 끌어낸 것이다. 첫째 문장은 아주마의 세 조건에서 온다. 표시물이 실세계와 결합되어야 하고, 사용자의 조작에 실시간으로 반응해야 하고, 3차원으로 정합되어야 한다. 이 세 가지를 모두 요구하지 않는 문서는 증강현실이 아닌 결과물을 받아도 거절할 근거가 없다. 특히 세 번째를 빠뜨리는 경우가 많다. 세 번째가 비용의 대부분을 만든다. 둘째 문장은 코델과 미젤에서 온다. 무엇이 사라지는지를 적어야 한다. 현장에 반복 설치하던 기준점과 규준틀 같은 물리적 치구가 몇 개 줄어드는지, 그 제작과 보관과 갱신에 들던 비용이 얼마인지가 사업 논거다. 볼거리가 늘어난다는 서술만으로는 예산 심사를 통과하기 어렵다. 셋째 문장은 밀그램의 세계 지식 축에서 온다. 대상지에 대해 무엇을 알고 있는지를 목록으로 적어야 한다. 지형 모델의 해상도, 시설물 위치의 좌표 정확도, 경계 정보의 출처가 그 목록이다. 이 목록이 빈약하면 어떤 장비를 써도 표시 품질의 상한이 낮다. 장비 사양서를 쓰기 전에 이 목록을 쓰는 것이 순서다. 넷째 문장은 KARMA에서 온다. 무엇을 그리지 않을지를 적어야 한다. 실세계에서 이미 보이는 것은 그리지 않는다는 규칙, 가려진 것만 투시해 보여 준다는 규칙이 그 예다. 표시 항목의 수를 성능 지표로 삼으면 결과물이 반드시 산만해진다. 다섯째 문장은 아주마와 공저자들의 2001년 논문에서 온다. 빼기를 요구 사항에 포함할지를 정해야 한다. 기존 구조물을 지운 상태를 보여 주는 기능은 더하기와 난이도가 다르다. 필요하면 별도 항목으로 적고, 필요 없으면 명시적으로 제외한다. 여섯째 문장은 스카베즈와 공저자들에게서 온다. 품질을 지각으로 재야 한다. 밀리미터 단위의 오차 측정에 더해, 사용자가 어긋남을 알아채는지를 확인하는 절차가 필요하다. 가상물이 실제 지면에 앉아 보이는지가 외적 정합성이고, 그것이 곧 사용자가 체감하는 품질이다. 일곱째 문장은 라우슈나벨과 공저자들에게서 온다. 어느 정의를 따르는지 문서 안에 적어야 한다. 제조사 홍보 문구의 용어와 학술 문헌의 용어는 같은 글자를 쓰면서 다른 것을 가리킨다. 출처를 밝힌 정의 한 줄이 나중의 해석 다툼을 없앤다. 일곱 문장을 모두 갖춘 요구서는 길지 않다. 한 쪽으로 충분하다. 그 한 쪽이 없으면 수십 쪽의 사양서가 판정 불가능해진다. [2][11][3][4] ### 이 장이 확정하지 못한 것 정의를 다루는 장이 스스로의 불확실성을 숨기면 정의를 논할 자격이 없다. 이 장의 근거 조사에서 확정하지 못한 항목을 모아 둔다. 전문을 확보하지 못해 초록 또는 2차 출처에만 의존한 항목이 넷이다. 코델과 미젤의 1992년 논문, 슈파이허 외의 2019년 논문, KARMA의 1993년 학술지 본문, 라우슈나벨 외의 2022년 논문이다. 앞의 절들에서 각각 어떤 문장이 어디서 왔는지 적어 두었다. 원문 확보 후 재확인이 필요하다. 서지 세부가 미확정인 것이 둘이다. 밀그램과 키시노의 1994년 논문 끝 페이지, 그리고 밀그램 외 자매 논문의 페이지 범위다. 자매 논문의 연도는 1994년으로 확정했으나 색인이 1995년으로 되어 있어 병기가 필요하다. 1965년 문서의 학술대회 개최 장소와 일자도 대조에 쓴 자료에서는 확인되지 않는다. 수치 관련으로는 밀그램과 키시노 1994년 논문의 인용 횟수를 확인하지 못했다. 각 논문의 인용 횟수는 모두 이 조사가 2026년 9월에 수집한 스냅숏 기준이며 조회 시점에 따라 달라진다. 인용할 때는 기준 시점을 반드시 함께 적어야 한다. 확인된 값을 정리하면 다음과 같다. | 문헌 | 인용 횟수 | 상태 | |---|---|---| | 밀그램·키시노 1994 (학술지) | 약 4,635회 | 미확인 | | 밀그램 외 1994 (학술대회) | 약 2,367회 | 확인 | | 코델·미젤 1992 | 1,463회 | 확인 | | KARMA 1993 | 약 969회 | 확인 | | 라우슈나벨 외 2022 | 약 917회 | 확인 | | 슈파이허 외 2019 | 691회 | 확인 |표 출처: [7][1][2][3][4] (본문 기준으로 재구성)
이 장에서 아예 다루지 못한 것도 둘이다. 매개된 현실 계열의 원문을 확보하지 못했다. 가상으로 실물을 지우는 작업을 설계 검토의 주된 수단으로 삼으려면 별도 조사가 필요하다. 그리고 국제·국가 표준화 기구의 공식 정의는 이 조사에서 다루지 않았다. 공공 발주 문서에 쓸 정의가 필요하다면 별도로 확인해야 한다. 마지막으로 조사 조건 자체를 적어 둔다. 이 조사는 웹 검색 예산과 문헌 데이터베이스 일일 예산이 모두 소진된 상태에서, 키워드 검색 없이 이미 알고 있는 주소로 직접 내려받는 방식으로만 수행됐다. 따라서 위에 없는 중요한 정의 문헌이 누락됐을 가능성이 있다. 이 장의 계보는 완결된 목록이 아니라 확인된 목록이다. [7][1][2][3][4] ### 한 문장 증강현실은 장비의 이름이 아니라 세 가지 조건의 이름이며, 실재와 가상이 결합되고 실시간으로 상호작용하고 3차원으로 정합되어야 한다는 그 조건이 곧 검수 기준이므로, 정의를 느슨하게 쓰는 순간 검수도 느슨해진다. [2]본문의 번호를 누르면 출처로 이동합니다. 절 끝의 번호는 그 절의 사실 자료를, 표 아래의 번호는 표에 사용한 자료를 가리킵니다. 비교·계산·비유와 결론은 필자의 재구성입니다. 한 번호에 함께 사용한 문헌이 둘 이상이면 묶어서 적었습니다.
서지정보와 확인 메모는 옵시디언 조사 기록을 바탕으로 복원했습니다. 원 기록의 ‘전문 확인’·‘조회’ 표기는 당시 조사 상태이며 이번 웹판에서 모두 재검증했다는 뜻은 아닙니다. 불완전한 서지사항은 임의로 채우지 않았습니다.
원문이 스스로 밝히듯 **시각 디스플레이에만 한정**된다(청각·촉각·전정감각 AR은 언급만 하고 다루지 않음). 또 논문 스스로 EPM 축이 RF 축과 '완전히 직교하지는 않는다'고 인정한다 — 이 비직교성이 2021년 Skarbez의 재검토에서 두 축을 하나로 합치는 근거가 된다. 끝 페이지 번호(통상 1321-1329로 인용됨)는 이 조사에서 원문으로 확인하지 못했다.
논문 스스로 '시각'을 전제로 서술한다 — 청각·촉각 AR은 1997년판 정의에서 명시적으로 다루지 않는다(2001년판에서 보완). 인용되는 성능 수치는 1990년대 중반 하드웨어 기준이므로 오늘날 기기에 그대로 적용하면 안 된다. 다만 '각도 오차를 0.5° 이하로'라는 **요구 조건** 쪽은 인간 시각계의 성질에서 나온 것이라 지금도 유효하다.
본문 전문을 확보하지 못해 초록만 원문 대조했다. 저자 전체 명단·정확한 권/호/페이지·저자 소속을 이 조사에서 확인하지 못했다. 제안된 'xReality' 프레임의 구체적 축 구성도 초록만으로는 알 수 없다.
**2차 출처에 의존한 항목이다.** 원 논문 전문을 읽지 못했으므로, 검토한 논문 편수·인터뷰한 전문가 수·제안한 프레임워크의 구체적 구성은 이 조사에서 확인하지 못했다. 책에 쓸 때는 반드시 ACM DL 원문을 확보해 재확인해야 한다. 저자 소속도 확정하지 못했다.
'증강현실'이라는 용어도, 실세계와 가상물의 정합(registration) 개념도 이 논문에는 없다. 실제 구현·측정치도 없는 개념 에세이다. 흔히 인용되는 '궁극의 디스플레이' 문장을 VR의 정의처럼 쓰는 것은 과잉 인용이며, 원문에서는 마지막 한 문단의 비유다.
은선 제거(hidden line problem)를 포기해 모든 물체가 투명 와이어프레임이다. '불투명 물체 표시는 현재 능력 밖'이라고 원문이 명시한다. 머리 추적은 천장에 고정된 기계팔 또는 초음파에 묶여 있어 방 밖으로 나갈 수 없고, 초음파 방식은 파장 모호성 때문에 완전 보고가 불가능하다고 적었다. '증강현실'이라는 용어는 등장하지 않는다.
전문(full text)을 확보하지 못해 초록만 원문 대조했다. 본문 안에서 'augmented reality'를 어떻게 정의했는지의 정확한 문장은 이 조사에서 확인하지 못했다. 또한 실제 현장 배치 성과·정합 오차 수치는 이 논문 단계에서 보고되지 않았다.
인용문은 논문 본문이 아니라 저자 연구실의 KARMA 프로젝트 공식 설명 페이지에서 가져온 것이다(CACM 본문은 유료). 대상은 레이저 프린터 한 대 규모의 실내 환경이며, 트래커를 부품마다 물리적으로 부착해야 했다 — 야외·대규모 지형에는 그대로 적용되지 않는다.
연도 표기가 문헌마다 엇갈린다(저자 원고 1994, SPIE 색인 1995). 인용 시 반드시 둘을 병기해야 한다. 논문 스스로 '시각 디스플레이에 엄격히 한정'한다고 밝히며, RF 축은 '복잡한 주제의 심한 단순화이며 디스플레이 하드웨어·신호처리·렌더링 기법을 한데 뭉뚱그린 것'이라고 원문이 자인한다. 페이지 범위(282-292)는 통상 인용값이며 원문 대조로 확인하지 못했다.
'모든 감각에 적용될 수 있다'는 것은 원문 표현대로 **잠재적(potentially)** 가능성이며, 2001년 시점에 시각 외 감각의 실증 사례는 사실상 없었다. 또 diminished reality를 AR 부분집합으로 규정한 것은 저자들의 입장이며, 이를 별개 범주로 두는 문헌도 있다(Mann의 mediated reality 계열).
논문 형식이 'Perspective'(관점 논문)이며 실증 연구가 아니다. 저자들 스스로 '우리의 MR 정의가 지나치게 포괄적이어서 혼란을 준다'는 비판이 가능함을 인정하고 반박을 제시한다. 또 EWK 축에 대해서는 밀그램 이후 후속 연구가 거의 없다고 지적하며, 이 부분은 여전히 미개척지로 남겨 둔다.
표 출처: [1] (본문 기준으로 재구성)
개인 간 범위가 눈에 띈다. 중심와 피크 밀도는 사람에 따라 세 배 이상 벌어진다. 시신경 축삭 수도 평균값 구간만 보면 좁아 보이지만, 실제 계수 연구는 56만에서 114만까지 보고하며 더 넓은 범위를 제시한 연구도 있다. 눈의 사양은 하나의 숫자가 아니라 분포다. 흔한 오해를 하나 정리해 둔다. 원뿔세포가 중심에 몰려 있다는 말은 밀도에 관한 진술이며 개수에 관한 진술이 아니다. 직경 1.5밀리미터의 중심와 안에 있는 원뿔은 460만 개 중 5퍼센트에도 미치지 못한다. 원뿔 밀도는 중심에서 1밀리미터만 벗어나도 한 자릿수가 떨어진다. 나머지 원뿔 대다수는 넓은 주변 망막에 희박하게 흩어져 있다. 간상세포의 피크 위치는 조금 더 조심해야 한다. Curcio와 동료들은 간상 밀도의 최고점을 원형이 아니라 타원형 고리로 기술했고, 그 고리의 이심률이 시신경유두와 대체로 같다고 보고했다. 시신경유두의 이심률은 약 15~16도다. 피크 밀도를 15만~16만 개/mm²로 적은 값은 1차 논문이 아니라 Kolb의 웹비전 요약에서 온 수치다. 두 출처를 섞으면 위치와 밀도가 서로 맞지 않는 짝이 만들어지므로 분리해 두는 편이 안전하다. 맹점도 좌표계를 뒤집기 쉬운 항목이다. 시신경유두는 망막에서 코 쪽에 있다. 그런데 그것이 만드는 시야의 구멍은 귀 쪽에 나타난다. 상이 좌우로 뒤집혀 맺히기 때문이다. 시야 기준으로 맹점은 고정점에서 귀 쪽 12~15도, 수평 경선보다 약 1.5도 아래에 있고, 크기는 높이 약 7.5도에 폭 약 5.5도다. 렌더링을 논할 때 쓰는 좌표는 망막이 아니라 시야다. 또 하나 자주 지워지는 사실은 망막이 방사 대칭이 아니라는 점이다. Curcio와 동료들은 같은 이심률에서 코 쪽 망막의 원뿔 밀도가 귀 쪽보다 40~45퍼센트 높다고 보고했다. 수평 경선을 따라 고밀도 띠가 지나가고, 중주변부는 아래쪽이 위쪽보다 약간 높다. 간상 고리는 수평 경선을 지날 때 밀도가 15~25퍼센트 떨어진다. 시선 위치를 중심으로 동심원을 그려 품질 예산을 배분하는 설계는 이 구조를 반영하지 못한다. 1억 화소 센서를 달았는데 뒷단 케이블이 100만 가닥뿐인 카메라를 생각하면 된다. 다만 설계자는 케이블을 고르게 나누지 않았다. 한가운데 손톱만 한 영역에는 화소 하나에 케이블 두 가닥을 배정하고, 나머지 영역은 수백 화소를 한 가닥에 묶어버렸다. 이 사실의 공학적 함의는 양방향이다. 시야 전체를 균일한 고해상도로 채우는 것은 관측자 입장에서 낭비다. 사람 눈 자체가 그런 신호를 받을 수 없게 배선돼 있다. 동시에 중심 1도는 절대 타협할 수 없다. 그 영역에서는 눈이 화소 하나에 신경 두 가닥을 쓰고 있다. [1] ### 선명한 세계라는 착각 가장 해상도가 높은 영역은 생각보다 훨씬 작다. 중심오목은 망막에서 직경 0.350밀리미터이고, 시야각으로는 약 1.25도다. 팔을 뻗었을 때 엄지손톱이 가리는 각도가 1.5도 남짓이니, 진짜로 선명한 영역은 팔 끝 엄지손톱보다도 작다. | 구역 | 망막 직경 | 시야각 | |---|---|---| | 중심오목 | 0.350mm | 약 1.25도 | | 중심와 | 1.5mm | 약 5도 | | 방중심와 외경 | 2.5mm | 약 8도 |표 출처: [4] (본문 기준으로 재구성)
환산은 Drasdo와 Fowler가 1974년에 제시한 모형안 기준을 쓴다. 시야 1도가 망막 약 288~291마이크로미터에 해당한다. 이 값은 상수가 아니라 이심률에 따라 변하는 함수이므로, 주변부까지 단일 상수로 밀면 오차가 쌓인다. 그런데 주관적으로는 시야 전체가 선명하다. 이것은 착각이다. 뇌가 시선을 초당 두세 번 옮겨 필요한 곳마다 중심오목을 갖다 대고, 그 결과를 하나의 안정된 장면으로 합성하기 때문에 생기는 인상이다. 우리가 보는 선명한 세계는 한 번에 찍힌 사진이 아니라 시간에 걸친 표본들의 재구성이다. 고정 지속 시간은 과제에 따라 다르다. 장면을 자유롭게 둘러볼 때 시선 이동은 초당 2~3회이므로, 한 곳에 머무는 시간은 333~500밀리초다. 글을 읽을 때는 고정이 200~250밀리초로 짧아지고 빈도는 초당 3~5회로 올라간다. 두 조건의 값을 섞어 쓰면 역수가 맞지 않으니 과제를 명시해야 한다. 면적으로 따지면 비중은 더 극적이다. 양안 시야를 200도에 135도로 잡고 입체각으로 계산하면, 중심 5도 원이 차지하는 비중은 0.093퍼센트다. 천분의 일 수준이다. 손전등 하나로 깜깜한 방을 둘러본 뒤 방 전체를 봤다고 말하는 것과 같다. 실제로 밝았던 것은 언제나 손전등이 비춘 작은 원뿐이었지만, 기억 속의 방은 전체가 밝다. 이 숫자에서 시선 추적 기반 포비티드 렌더링의 절약 폭이 나온다. 그리고 같은 숫자에서 반대 방향의 요구도 나온다. 시선이 향한 그 1도가 조금이라도 흐리거나 늦으면 사용자는 즉시 알아챈다. 중심은 절대 품질, 주변은 협상 가능이라는 비대칭 예산이 정당화되는 지점이다. [4] ### 시력이 무너지는 속도 시력은 중심에서 벗어날수록 떨어진다. 떨어지는 방식에는 단순한 규칙이 있다. 분해할 수 있는 최소 각도는 이심률에 대해 거의 직선으로 커진다. 식으로 쓰면 최소분해각은 중심 값에 (1 + E/E2)를 곱한 형태다. 여기서 E는 중심에서 떨어진 각도이고, E2는 중심 값이 두 배가 되는 이심률이다. 왜 직선인가. 망막의 광수용체 간격과 신경절세포 간격이 이심률에 대해 대략 선형으로 벌어지기 때문이다. 더 근본적으로는 대뇌 일차시각영역에서 시야 1도에 배정되는 피질 면적이 이심률에 반비례해 줄기 때문이다. 다시 말해 주변시의 시력 저하는 눈의 광학 흐림이 아니다. 표본 간격과 뇌 자원 배분의 문제다. 널리 인용되는 이심률별 시력 비율은 다음과 같다. | 이심률 | 중심 대비 시력 | |---|---| | 2도 | 약 1/2 | | 4도 | 약 1/3 | | 6도 | 약 1/4 | | 30도 | 약 1/16 |표 출처: [5] (본문 기준으로 재구성)
이 네 점은 서로 잘 맞물린다. 위 식에 대입하면 네 값 모두 E2를 정확히 2.0도로 지목한다. 문헌에서 시표 시력의 E2를 2.5도로 적는 경우가 많지만, 2.5도를 쓰면 6도에서 1/3.4, 30도에서 1/13이 되어 위 표와 어긋난다. 표와 식을 함께 쓸 때는 E2를 2.0도로 맞추는 것이 일관된다. 덧붙여 E2 모델을 버니어 시력 연구에서 끌어오면 값이 크게 달라진다. Levi와 Klein, Aitsebaomo가 1985년에 측정한 버니어 시력의 E2는 1도 미만이다. 과제별 E2 표는 Strasburger와 Rentschler, Jüttner가 2011년에 정리한 종합 리뷰가 담당한다. 30도를 넘으면 하락이 가팔라진다는 서술도 자주 보이지만, 위 데이터 안에는 그 근거가 없다. 30도의 1/16은 선형 법칙 위에 정확히 놓인 점이다. 가속 하락을 주장하려면 별도의 측정이 필요하다. 피질 쪽 숫자도 확인해 둘 가치가 있다. Horton과 Hoyt가 1991년에 제시한 확대율 함수는 이심률에 0.75도를 더한 값으로 17.3밀리미터를 나눈 형태다. 이 식을 그대로 쓰면 중심에서 도당 약 23밀리미터, 1도에서 도당 약 9.9밀리미터가 나온다. 면적으로 적분하면 중심 1도가 일차시각영역 표면의 약 8~9퍼센트, 중심 2도가 약 15퍼센트, 중심 10도가 약 45~50퍼센트를 차지한다. 마지막 값은 같은 저자들이 서술한 '중심 10도가 절반 이상'이라는 진술과 맞아떨어진다. 중심 2도를 8퍼센트로 적은 인용이 돌아다니지만, 그것은 중심 1도의 값이다. 지도의 축척이 중심에서 멀어질수록 거칠어지는 것과 같다. 도심은 건물 하나하나가 그려져 있지만 외곽으로 나가면 같은 지면적이 점 하나로 압축된다. 외곽이 흐리게 그려진 것이 아니라 적게 그려진 것이다. 포비티드 렌더링의 품질 하강 곡선을 이 식 그대로 설계하면 사용자가 눈치채지 못하는 최대 절약점을 찾을 수 있다. 해상도를 이심률에 반비례시키는 관행의 근거가 여기다. 이 곡선보다 급하게 떨어뜨리면 주변이 뭉개진다는 불평이 즉시 나온다. [5] ### 주변은 흐린 것이 아니라 뒤섞인 것 주변시의 한계를 해상도로만 설명하면 절반을 놓친다. 주변에 글자 하나만 놓으면 놀랄 만큼 잘 읽힌다. 그런데 그 글자 좌우에 다른 글자를 붙이는 순간 가운데 글자를 알아볼 수 없게 된다. 시력이 떨어져서가 아니다. 대상 자체는 여전히 분해되는데, 주변 요소들의 특징이 뒤섞여 하나의 텍스처로 뭉개진다. 이 현상을 군집화라 한다. 방해가 시작되는 임계 간격에는 규칙이 있다. Bouma가 1970년에 제시한 법칙에 따르면 임계 간격은 대략 이심률의 절반이다. 계수는 과제에 따라 0.3에서 0.5 사이로 보고된다. 중심에서 10도 떨어진 위치라면 좌우 5도 안에 다른 요소가 없어야 한다는 뜻이다. 중요한 것은 이 값이 커지는 속도다. 군집화의 E2는 0.5~1도로, 시력의 E2보다 훨씬 작다. 같은 이심률에서 군집화가 시력보다 몇 배 빠르게 악화된다. 따라서 주변시의 실질적 한계는 해상도가 아니라 간격이 정한다. Whitney와 Levi가 2011년에 정리했듯, 군집화는 의식적 지각과 물체 인식 자체의 근본 한계로 다루어진다. 여기에 인지 부하가 겹치면 실제로 처리되는 범위가 더 줄어든다. 중심 과제가 어려울수록 주변에서 알아차리는 양이 줄고, 눈에 똑똑히 들어온 것도 놓치는 무주의 맹시가 나타난다. Simons와 Chabris가 1999년에 보고한 고전 실험에서 예상 밖 자극의 미검출률은 조건에 따라 46~50퍼센트 수준이었다. 조건마다 값이 다르므로 단일 숫자로 인용하면 오도된다. 유용시야 연구의 방향도 정확히 짚어 둘 필요가 있다. Ball과 동료들이 1988년에 보고한 것은 연습에 따른 유용시야의 확대와 연령 효과이며, 부하에 따른 축소를 그 논문에 귀속하는 인용은 취지가 맞지 않는다. 시끄러운 카페에서 옆 테이블의 한 사람이 말할 때는 알아들을 수 있다. 세 사람이 동시에 말하면 목소리 크기는 그대로인데 내용이 죽처럼 섞여 아무것도 못 알아듣는다. 소리가 작아진 것이 아니라 섞인 것이다. 설계 규칙은 직접적이다. 주변시에 텍스트나 조밀한 아이콘 배열을 놓으면 글자 크기를 아무리 키워도 읽히지 않는다. 간격을 이심률의 절반 이상으로 벌리거나 아예 중심으로 불러와야 한다. 더 무거운 논점은 안전이다. 표시가 사용자의 인지 자원을 잡아먹으면 실제 환경의 위험 요소 검출이 실패한다. 정보를 더 보여주는 것이 언제나 이득은 아니다. [6] ### 눈이 보는 범위 사람의 시야는 좌우 비대칭이다. 코가 가로막기 때문에 한쪽 눈은 코 쪽으로 60도 정도만 보고, 귀 쪽으로는 100도가 넘게 본다. 위쪽은 눈썹과 눈두덩이 가려 좁고, 아래쪽은 뺨 각도 덕에 더 넓다. | 방향 | 단안 시야 | |---|---| | 코 쪽 | 약 60도 | | 귀 쪽 | 약 100~110도 | | 위 | 약 60~70도 | | 아래 | 약 70~80도 |표 출처: [2] (본문 기준으로 재구성)
수직 값의 폭이 넓은 것은 측정 기준 차이 때문이다. 눈썹과 뺨의 차폐를 포함하느냐에 따라 임상 기준이 갈리며, 위 70도와 아래 80도를 쓰는 표준도 흔하다. 단일 숫자로 제시하지 말고 기준을 함께 적는 편이 정확하다. 두 눈을 합치면 수평 200~220도, 수직 130~135도가 된다. 이 중 가운데 114~120도만 두 눈이 겹쳐 입체시가 가능하고, 양 끝 각 40도 남짓은 한쪽 눈만 보는 단안 영역이다. 단안 값들과 이 합산 값은 산술적으로 서로 맞는다. 바깥 영역은 해상도가 거의 없다시피 하지만 쓸모없지 않다. 주변시는 움직임 검출, 자세 균형, 공간에 대한 거기 있음의 감각을 담당한다. 시야가 좁아지면 시력이 멀쩡해도 균형이 흔들리고 공간이 작게 느껴진다. 현행 기기는 자연 시야의 절반가량을 덮는다. Meta Quest 3의 수평 시야는 약 110도로 알려져 있고, Varjo XR-4는 수평 120도에 수직 105도를 공표한다. Apple Vision Pro의 경우 제조사가 시야각을 공표하지 않으므로 100~110도라는 값은 제3자 측정이나 추정이다. Apple이 공표하는 항목은 양안 합계 약 2,300만 화소, 화소 피치 7.5마이크로미터, DCI-P3 색역 92퍼센트, 지원 새로고침 90·96·100·120헤르츠다. 기기 사양을 인용할 때는 측정 주체와 방법을 함께 적어야 한다. 중심값인지 평균값인지, 대각인지 수평인지가 표준화되어 있지 않다. 사람 시야가 극장 스크린이라면 현행 헤드셋은 그 한가운데 잘라 붙인 태블릿 화면이다. 화질은 괜찮지만 가장자리에서 세계가 끊긴다. 시야각 부족은 해상도 부족과 종류가 다른 손실이다. 해상도는 덜 선명함이고 시야는 존재하지 않음이다. 좁은 시야는 몰입감뿐 아니라 균형감과 위험 인지에도 영향을 준다. 그리고 광학 설계에서는 시야와 해상도와 부피 가운데 둘만 고를 수 있는 근본 트레이드오프를 만든다. [2] ### 도당 60화소는 어디서 온 숫자인가 시력 1.0이라는 임상 기준은 1분각 떨어진 두 점을 구분한다는 뜻이다. 격자무늬로 바꾸면 도당 30주기를 분해한다는 말이고, 표본화 정리에 따라 이를 표시하려면 한 주기에 최소 두 화소가 필요하다. 그래서 도당 60화소가 나온다. 이 값이 눈의 여러 물리 한계와 절묘하게 일치한다는 서술이 널리 퍼져 있다. 그러나 같은 단위로 환산해 보면 일치라고 부르기 어렵다. | 한계 | 값 | 도당 주기 환산 | |---|---|---| | 임상 시력 1.0 | 최소분해각 1분각 | 30주기/도 | | 회절 레일리 한계(550nm, 동공 3mm) | 0.77분각 | 약 39주기/도 | | 비간섭 광학 차단(D/λ) | 3mm ÷ 550nm | 약 95주기/도 | | 중심와 원뿔 나이퀴스트(간격 2.4µm) | — | 약 69주기/도 | | 행동 측정 대비 차단 | — | 30~60주기/도 |표 출처: [3] (본문 기준으로 재구성)
값들이 두 배 이상 흩어져 있다. 정확한 표현은 일치가 아니라 같은 자릿수다. 더 결정적인 단서는 Williams가 1985년에 보고한 앨리어싱 실험이다. 중심시에서 도당 60~70주기를 넘으면 앨리어싱이 지각된다. 이는 원뿔 모자이크가 받아들일 수 있는 한계가 도당 60주기보다 높다는 뜻이고, 모자이크를 그대로 표시하려면 도당 120~140화소가 필요하다는 뜻이다. 정리하면 도당 60화소는 세 한계의 수렴점이 아니다. 임상 시력 관례 단독으로 정해진 값이며, 광학 한계와 광수용체 한계 양쪽보다 낮다. 그래도 실무 목표로서는 타당하다. 시력 2.0에 해당하는 도당 120화소를 요구하면 예산이 네 배로 뛴다. 목표치를 화소 수로 환산하면 규모가 드러난다. 여기서 흔한 계산 실수를 피해야 한다. 시야는 구면이므로 평면 격자를 그대로 곱하면 입체각의 코사인 항이 빠져 값이 부풀려진다. 도당 60화소는 스테라디안당 1.18×10⁷ 화소에 해당하므로, 입체각으로 계산하는 것이 옳다. | 계산 방식 | 시야 | 화소 수 | |---|---|---| | 평면 격자 200도×135도 | 양안 | 12,000×8,100 ≈ 9,720만 | | 입체각 6.450 sr | 양안 | 약 7,620만 | | 입체각 5.116 sr | 단안(수평 160도, 위 60도·아래 75도) | 약 6,050만 |표 출처: [3] (본문 기준으로 재구성)
평면 격자 계산은 약 28퍼센트 과대하다. 게다가 200도는 양안 합산 수평 시야이므로 한쪽 눈에 붙일 수 없는 숫자다. 단안 수평은 코 쪽 60도와 귀 쪽 100도를 더한 160도 남짓이다. 눈은 렌즈 성능과 센서 간격을 비슷한 자릿수로 맞춰 만든 카메라다. 다만 임상 시력이라는 잣대는 그 둘보다 한 단계 아래에 그어져 있다. 어느 계산을 쓰더라도 결론은 같다. 한쪽 눈에 6천만 화소급을 직접 구동하는 것은 현재 기술로 불가능하다. 시선 추적과 포비티드 렌더링은 선택이 아니라 필수 경로다. [3] ### 밝기와 대비 눈은 모든 크기의 무늬에 똑같이 민감하지 않다. 아주 굵은 줄무늬도, 아주 가는 줄무늬도 잘 못 보고 중간 굵기에서 가장 민감하다. 이를 공간주파수 축으로 그린 것이 대비 민감도 함수이고, 모양은 가운데가 솟은 산 형태다. 밴드패스 필터다. 고주파 쪽이 떨어지는 이유는 눈의 광학 흐림과 원뿔세포 간격이다. 저주파 쪽이 떨어지는 이유는 망막 신경 회로의 측면 억제다. Kuffler가 1953년에 밝힌 수용장 구조가 그 기반이다. 측면 억제는 주변보다 밝은지 어두운지의 차이만 전달하도록 신호를 가공하므로, 넓고 완만한 밝기 변화는 애초에 뽑아내지 않는다. Campbell과 Robson이 1968년에 격자 자극으로 이 함수의 형태를 확립했다. | 항목 | 값 | |---|---| | 피크 공간주파수 | 2~5주기/도 | | 피크 감도 | 100~500(역치 대비 0.2~1%) | | 고주파 차단 | 약 50~60주기/도(고휘도·고대비) | | 저주파 감도 저하 | 0.5주기/도 이하 |표 출처: [7] (본문 기준으로 재구성)
시간 변조가 끼면 모양이 바뀐다. 초당 8회쯤 깜박이는 자극에서는 저주파 감도가 올라가 밴드패스가 로우패스로 변형된다. 주변시에서는 차단 주파수가 이심률에 대략 반비례해 낮아진다. 이 함수가 증강현실에서 결정적인 이유는 광학 시스루의 합성 방식에 있다. 광학 시스루는 실제 세계 빛 위에 가상 빛을 더하기만 할 수 있다. 빼기가 불가능하다. 배경 휘도가 L이고 디스플레이가 얹는 휘도가 ΔL일 때 가상 물체의 대비는 ΔL을 ΔL과 L의 합으로 나눈 값이다. 배경이 밝을수록 같은 대비를 내는 데 필요한 디스플레이 휘도가 폭증하고, 원리적으로 검은색은 만들 수 없다. | 환경 | 배경 휘도 | |---|---| | 별빛 밤 | 약 10⁻³ cd/m² | | 실내 조명 | 10~100 cd/m² | | 실내 사무실 표면 | 100~300 cd/m² | | 흐린 날 야외 | 약 1,000 cd/m² | | 맑은 하늘 | 약 8,000 cd/m² | | 직사광 노면 | 3,000~10,000 cd/m² |표 출처: [7] (본문 기준으로 재구성)
야외의 난이도가 여기서 나온다. 배경 8,000 cd/m² 위에서 50퍼센트 대비를 내려면 가상 영상이 수천 cd/m²를 망막에 얹어야 한다. 도파관의 광효율이 1퍼센트 미만인 현실을 대입하면 광원 휘도는 10만에서 100만 니트급이 되어야 한다. 차광막이 액세서리가 아니라 구조적 해법인 이유다. 뺄 수 없다면 배경을 줄이는 것이 유일한 다른 손잡이다. 귀가 20헤르츠에서 20킬로헤르츠 사이의 소리만 듣고 그 안에서도 3킬로헤르츠 부근에 가장 예민한 것처럼, 눈도 적당한 굵기의 무늬에 가장 예민하다. 너무 굵은 줄무늬는 배경 밝기로, 너무 가는 줄무늬는 그냥 회색으로 보인다. [7] ### 14 로그 단위를 3 로그 창으로 훑는다 사람은 별빛 아래부터 설원까지 밝기 차이가 100조 배에 달하는 환경을 모두 본다. 그러나 이 범위를 한꺼번에 보는 것이 아니다. 어느 한 순간에 구분할 수 있는 밝기 범위는 1,000배 정도에 불과하며, 이 좁은 창을 현재 환경 밝기에 맞춰 옮기는 것이 적응이다. | 항목 | 값 | |---|---| | 지각 가능 휘도 범위 | 약 10⁻⁶~10⁸ cd/m²(약 14 로그 단위) | | 한 순간의 동시 대비 범위 | 약 3 로그 단위(1,000대 1) | | 동공 직경 변화 | 2~8mm | | 동공의 기여 | 면적비 16배(약 1.2 로그) | | 광화학·신경 이득의 기여 | 약 12~13 로그 |표 출처: [8] (본문 기준으로 재구성)
적응을 담당하는 기구는 세 층이다. 첫째는 동공이다. 둘째는 광수용체 안의 색소 농도와 세포 내 이득이다. 셋째는 망막 신경 회로의 게인 재조정이다. 위 표가 보여주는 것은 통념의 반대다. 동공은 전체 범위의 10퍼센트도 감당하지 못한다. 적응의 주역이 아니다. Watson과 Yellott이 2012년에 제시한 통합 동공 크기 공식도 동공을 여러 요인의 함수로 다루며, 그 조절 폭 자체가 좁다는 사실은 바뀌지 않는다. Hood와 Finkelstein이 1986년에 정리한 감도 자료가 이 층 구조의 표준 참조다. 창문이 하나뿐인 방에서 바깥을 보는 것과 같다. 창의 크기는 고정돼 있고, 벽을 따라 창을 위아래로 옮겨 밤 풍경이든 낮 풍경이든 맞춰 본다. 창을 옮기는 데 시간이 걸리는 것이 순응이다. 설계 함의가 둘이다. 하나는 자동 밝기 조절의 입력이다. 주변 조도만 재서는 부족하고 사용자의 순응 상태를 추정해야 옳다. 실내에서 막 나온 사용자와 10분간 야외에 있던 사용자는 같은 조도에서도 필요한 디스플레이 휘도가 다르다. 다른 하나는 상한이다. 한 순간에 표시 가능한 대비가 1,000대 1을 크게 넘을 필요가 없다. [8] ### 45분 대 5분 어두운 곳에 들어가면 시력이 서서히 돌아온다. 회복 곡선은 매끄러운 직선이 아니라 두 단계로 꺾인다. 먼저 원뿔세포가 회복하는 가지가 나타나고, 그 가지가 정체한 뒤 곡선이 한 번 꺾이며 간상세포가 주도권을 가져간다. 그 꺾임점을 원뿔-간상 분기점이라 한다. | 단계 | 시간 | |---|---| | 원뿔 가지 | 약 3~8분 | | 원뿔-간상 분기점 | 약 7~10분 | | 간상 순응 | 30~45분 | | 완전 순응 | 최대 약 2시간 | | 명순응 | 수십 초~5분 |표 출처: [9] (본문 기준으로 재구성)
정의상 분기점은 원뿔 가지가 끝나는 지점이므로 원뿔 완료보다 앞설 수 없다. 두 값을 뒤집어 인용한 자료가 적지 않으니 순서를 확인해야 한다. 감도 상승 폭은 조건에 강하게 의존한다. Hecht와 Haig, Chase가 1937년에 보고한 고전 실험의 핵심이 바로 그것이다. 전순응 강도를 달리하면 이후 암순응 곡선이 달라지고, 가장 밝은 전순응 조건에서 이어진 원뿔 암순응의 역치 범위는 3 로그 단위를 넘었다. 조건 없이 단일 범위를 적는 것은 이 논문의 취지에 어긋난다. 간상까지 포함한 최종 감도 상승은 1만에서 100만 배 수준이다. 느림의 원인은 화학이다. 밝은 빛에 표백된 시각 색소 로돕신을 다시 만들려면 비타민A 유도체가 색소상피를 오가는 순환이 필요하다. Lamb과 Pugh가 2004년에 정리한 레티노이드 회로 연구에서 그 재생 반감기는 약 5분으로 보고된다. 원뿔 색소는 훨씬 빠르며 90초에서 2분 수준이다. 반대로 밝은 곳으로 나오는 명순응은 색소를 분해하는 방향이라 수십 초에서 길어야 5분이면 끝난다. 감도의 파장 의존도 함께 바뀐다. 간상세포의 최대 감도는 약 507나노미터의 청록이고, 원뿔 기반 주간시의 최대 감도는 555나노미터다. 어두워지면 붉은색이 먼저 어두워 보이는 푸르키녜 이동이 여기서 나온다. 귀마개는 끼는 것이 빼는 것보다 빠르다. 눈은 그 반대다. 감도를 낮추는 것은 스위치를 내리듯 빠르지만, 감도를 높이는 것은 창고에서 재료를 꺼내 새로 조립하는 화학 공정이라 45분이 걸린다. 야간 사용의 제약이 이 비대칭에서 나온다. 밤에 밝은 표시를 보면 그 부분만 국소적으로 명순응이 일어나고, 표시를 끈 뒤에도 실제 환경을 볼 시력이 수 분간 저하된다. 운전이나 야간 작업용 표시에서 이는 안전 문제다. 설계 지침은 셋이다. 야간 모드의 절대 휘도 상한, 간상세포 표백을 줄이는 장파장 계열 사용, 밝기 변화 기울기의 제한. [9] ### 시간의 해상도 깜박이는 빛은 어느 주파수를 넘으면 연속된 빛으로 보인다. 그 경계가 임계융합주파수다. 사람 눈은 60헤르츠까지라는 말이 흔하지만, 이 값은 상수가 아니라 조건의 함수다. 첫째, 밝을수록 높아진다. Ferry가 1892년에, Porter가 1902년에 각각 보고한 관계에 따라 임계융합주파수는 휘도의 로그에 비례해 직선으로 올라간다. 밝은 원뿔 조건에서는 약 60헤르츠 근처에서 포화하고, 어두운 간상 조건에서는 약 15헤르츠에서 멈춘다. 둘째, 시야 주변일수록 높아진다. 주변 경로는 해상도를 포기하는 대신 시간 응답이 빠른 마그노 계열 세포로 구성돼 있기 때문이다. 이 대목은 출처를 정확히 짚어야 한다. Tyler가 1985년에 보고한 것은 중심와에서 45도까지 시간주파수 한계가 약 두 배 증가한다는 결과이며, 응답 시간상수가 70밀리초에서 35밀리초로 줄었다는 측정이다. 90헤르츠급의 주변 융합 주파수와 페리-포터 법칙의 검증은 Tyler와 Hamer가 1990년과 1993년에 발표한 후속 연구가 1차 출처다. 그리고 그 후속 연구의 핵심 결론은 기울기가 이심률과 함께 증가한다는 것이다. 중심와에서 10년당 약 12.5헤르츠, 주변부에서 약 19헤르츠로 보고된다. 기울기를 단일 값으로 적으면 중심와에만 해당하는 수치가 된다. 셋째, 안구가 움직이는 동안에는 빛의 시간 변조가 망막 위 공간 패턴으로 바뀌어 훨씬 높은 주파수까지 감지된다. 이 조건에서 심사를 거친 표준 결과는 500헤르츠다. Davis와 Hsieh, Lee가 2015년에 보고했다. 킬로헤르츠급 팬텀 어레이 관찰도 존재하지만 별도 문헌의 값이므로 함께 인용할 때 출처를 분리해야 한다. | 조건 | 임계융합주파수 | |---|---| | 간상 매개(저휘도) | 약 15헤르츠에서 포화 | | 원뿔 매개(고휘도) | 약 60헤르츠에서 포화 | | 주변시 대면적·고휘도 | 90헤르츠 이상 보고 | | 안구 운동 중 | 500헤르츠까지 아티팩트 지각 |표 출처: [10] (본문 기준으로 재구성)
참고로 현행 기기의 새로고침은 Quest 3가 90과 120헤르츠, Valve Index가 최대 144헤르츠, Vision Pro가 90·96·100·120헤르츠다. 선풍기 날개가 빨리 돌면 원판처럼 보이는 지점이 있다. 그 지점은 방이 밝을수록 더 빠른 회전에서 나타나고, 곁눈질로 볼 때가 정면으로 볼 때보다 늦게 나타난다. 함의는 세 갈래다. 넓은 시야 디스플레이일수록 깜박임이 주변시로 들어가므로 60헤르츠로는 부족하고 90헤르츠 이상이 사실상의 하한이다. 눈이 움직이는 동안 고주파 변조가 보인다는 사실은 펄스폭변조 구동의 주파수를 훨씬 높게 잡아야 하는 이유다. 그리고 같은 사실이 저지속성 구동에서 색분리 아티팩트가 나타나는 원인이기도 하다. [10] ### 지속성과 망막 번짐 사용자가 머리를 돌리면 시선은 세계의 한 점에 고정된다. 눈이 반대 방향으로 정확히 보상하기 때문이다. 이때 눈은 세계에 대해 정지해 있고 디스플레이 화면에 대해서는 움직인다. 화면이 한 프레임 내내 켜져 있으면, 그 프레임 시간 동안 화면의 한 점이 망막 위를 쭉 긁고 지나가며 선을 그린다. 기전을 정확히 해 둘 필요가 있다. 이 번짐은 계속 회전하는 안구 위에 상이 프레임 유지 시간만큼 고정되어 생기는 망막상 미끄러짐이다. 시각의 시간 합산을 다루는 블로흐 법칙은 역치에 관한 법칙이며 번짐의 폭을 결정하지 않는다. 블로흐 법칙이 말하는 임계 지속은 조건에 따라 20~100밀리초이고 저조도에서 더 길지만, 아래 계산의 어느 항에도 들어가지 않는다. 계산은 곱셈 한 줄이다. 90헤르츠에서 프레임은 11.1밀리초다. 머리 회전 속도가 초당 100도라면 번짐은 1.11도이고, 도당 60화소 기준으로 약 67화소 길이다. 해상도가 충분해도 움직이면 흐려지는 현상의 정확한 원인이다. 해결책은 화면을 프레임 대부분 동안 꺼두고 아주 짧게만 켜는 것이다. Abrash가 2013년에 정리한 저지속성 구동이 그것이다. | 점등 시간 | 듀티비 | 망막 번짐(초당 100도) | 60 PPD 환산 | 순간 휘도 요구 | |---|---|---|---|---| | 11.1ms(풀 지속성) | 100% | 1.11도 | 약 67화소 | 1배 | | 2ms | 18% | 0.20도 | 약 12화소 | 약 5.5배 |표 출처: [11] (본문 기준으로 재구성)
대가가 명확하다. 듀티비가 18퍼센트로 떨어지므로 같은 체감 밝기를 내려면 순간 휘도를 5.5배 올려야 한다. 업계 목표는 점등 2밀리초 이하이며, 일상 머리 회전은 초당 100~200도, 빠른 회전은 초당 500도까지 올라간다. 초당 200도에서 계산하면 번짐은 두 배가 된다. 긴 노출로 사진을 찍으며 카메라를 돌리면 불빛이 선으로 늘어진다. 화면을 계속 켜두는 것이 바로 그 긴 노출이다. 플래시처럼 짧게 터뜨리면 선이 점으로 돌아오지만, 그만큼 플래시를 강하게 터뜨려야 한다. 저지속성 구동은 이제 표준이다. 그러나 5배 이상의 순간 휘도 요구는 광학 시스루 장치에서 광원 설계를 극단으로 밀어붙이고 발열과 전력 예산을 지배한다. [11] ### 하루 20만 번의 순간이동 눈은 부드럽게 훑지 않는다. 한 곳에 수백 밀리초 머물렀다가 다음 곳으로 총알처럼 튀는 동작을 반복한다. 이를 단속운동이라 한다. 이 운동은 탄도적이다. 일단 발사되면 중간에 목표를 바꿀 수 없다. 왜 탄도적인가. 시각 피드백으로 궤적을 제어하려면 최소 60~100밀리초가 필요한데, 단속운동 자체가 그보다 짧게 끝난다. 뇌는 피드백 대신 미리 계산한 신호를 한 번에 쏜다. 그 대신 진폭과 속도, 지속시간 사이에 일정한 관계가 성립한다. Bahill과 Clark, Stark가 1975년에 주계열이라 이름 붙인 관계다. | 항목 | 값 | |---|---| | 빈도 | 초당 2~3회, 하루 약 15만~20만 회 | | 주요 진폭 | 대부분 15도 이하 | | 주계열 근사 | 지속시간 ≈ 2.2×진폭 + 21밀리초 | | 10도 단속운동 | 약 43밀리초, 최고 초당 300도 | | 30도 단속운동 | 약 65밀리초, 최고 초당 500도 | | 최대 각속도 | 약 초당 700도 | | 잠복기 | 약 200밀리초(급행 단속운동은 80~120밀리초) |표 출처: [12] (본문 기준으로 재구성)
시선을 고정하고 있을 때도 눈은 멈추지 않는다. 미세단속운동, 표류, 떨림이 계속되어 망막상은 끊임없이 흔들린다. 이 흔들림이 없으면 상은 몇 초 안에 사라진다. Martinez-Conde와 Macknik, Hubel이 2004년에 정리한 고정 미세운동 연구가 이 기능의 표준 참조다. 미세운동의 수치는 측정 조건에 따라 크게 달라지므로 조건 없이 인용하면 추적이 불가능해진다. 미세단속운동의 진폭은 2~120분각, 빈도는 초당 1~2회 수준이다. 표류는 머리를 고정한 고전 조건에서 진폭 1.5~4분각에 중위 속도 초당 4분각 정도로 보고되고, 자연 장면을 자유롭게 볼 때는 초당 50분각 수준으로 올라간다. 떨림의 표준 대역은 40~100헤르츠이며 건강한 성인의 최빈값은 약 90헤르츠다. 20~40헤르츠는 떨림이 아니라 표류의 대역이므로 하한을 20헤르츠로 적으면 두 운동의 구분이 흐려진다. 떨림의 진폭은 최신 리뷰에서 약 1분각으로 정리된다. 손전등으로 방을 훑는다고 했지만, 실제로는 한 곳에 잠깐 비추고 툭 꺼서 다른 곳으로 던지듯 옮긴 뒤 다시 켜는 식이다. 옮기는 동안에는 아무것도 보지 않는다. 포비티드 렌더링의 가장 큰 공학적 난제가 여기서 나온다. 눈은 초당 700도로 튈 수 있다. 시선 추적부터 렌더링과 표시까지 50밀리초가 걸린다면 고해상도 영역이 35도나 뒤처진다. 대응은 셋이다. 고해상도 창을 넉넉히 키우거나, 단속운동의 목표점을 예측하거나, 다음 절의 억제 창에 기대는 것이다. 시선 추적 시스템의 지연 사양과 표본화율은 이 숫자에서 역산된다. 표본화율 120~250헤르츠 이상이 요구되는 근거가 여기다. [12] ### 유일하게 부드러운 눈 움직이는 물체를 눈으로 따라갈 때만 눈은 진짜로 부드럽게 움직인다. 이 추적운동은 단속운동과 달리 시각 피드백 제어 루프로 동작한다. 목표의 망막상 속도 오차를 줄이는 방향으로 눈 속도를 조절하는 방식이다. Lisberger와 Morris, Tychsen이 1987년에 정리한 리뷰가 이 회로의 표준 서술이다. | 항목 | 값 | |---|---| | 잠복기 | 90~150밀리초 | | 자발적 단속운동 잠복기(비교) | 200~250밀리초 | | 개루프 구간 | 약 100밀리초 | | 이득(눈 속도 ÷ 목표 속도) | 약 0.9 |표 출처: [13] (본문 기준으로 재구성)
속도 상한은 자주 잘못 인용된다. Meyer와 Lasker, Robinson이 1985년에 발표한 논문의 제목 자체가 사람 추적운동 속도의 상한이며, 그 결과는 다섯 명 중 네 명에서 목표 속도 초당 100도까지 안구 속도가 목표의 약 90퍼센트를 유지했다는 것이다. 초당 100도는 훈련된 예외가 아니라 일반 피험자 다수의 통상 결과다. 실무에서 흔히 인용되는 초당 30도는 이 논문에 나오지 않는 값이므로, 인터페이스 설계 기준으로 쓸 때는 근거를 따로 밝혀야 한다. 추적 루프에는 다른 한계도 있다. 목표 속도가 루프가 유지할 수 있는 범위를 넘으면 따라잡기 단속운동이 끼어들고 시선은 부드러움을 잃는다. 수직 방향, 특히 위쪽 추적이 수평보다 불리하다. 그리고 추적운동은 대개 실제로 움직이는 시각 목표가 있어야 발동한다. 아무것도 없는 어둠 속에서 의지만으로 눈을 부드럽게 움직이기는 매우 어렵다. 증강현실에서 이 운동이 중요한 이유는 번짐이다. 사용자가 움직이는 가상 물체를 눈으로 따라가면 눈이 화면에 대해 미끄러진다. 머리를 돌릴 때와 똑같은 망막 번짐이 생긴다. | 조건 | 번짐 각도 | 60 PPD 환산 | |---|---|---| | 60헤르츠 풀 지속성, 추적 초당 30도 | 0.50도 | 약 30화소 | | 90헤르츠 풀 지속성, 추적 초당 30도 | 0.33도 | 약 20화소 | | 90헤르츠 풀 지속성, 추적 초당 100도 | 1.11도 | 약 67화소 |표 출처: [13] (본문 기준으로 재구성)
지나가는 자동차를 눈으로 따라가면 차창 안 사람 얼굴이 보인다. 그 차가 아주 빠르면 눈이 못 따라가 툭툭 끊기며 보게 된다. 그 끊김이 따라잡기 단속운동이다. 원인은 같아도 대책은 다르다. 머리 회전 번짐은 늦은 단계의 재투영으로 줄일 수 있다. 눈 추적 번짐은 재투영으로 줄지 않는다. 화면이 옳은 위치에 있어도 눈이 그 위를 미끄러지기 때문이다. 점등 시간을 줄이는 것 외에 방법이 없다. [13] ### 지연 예산의 진짜 출처 머리를 돌려도 세상이 흔들려 보이지 않는 것은 눈이 머리와 반대 방향으로 거의 정확히 같은 각도만큼 돌기 때문이다. 이 보상을 담당하는 것이 전정안구반사이며, 사람 몸에서 가장 빠른 반사 중 하나다. 빠른 이유는 회로가 짧기 때문이다. 속귀의 반고리관에서 전정핵을 거쳐 외안근 운동신경핵까지, 신경세포 셋만 건너면 끝난다. Leigh와 Zee가 정리한 안구운동 신경학의 표준 서술이 이 3-뉴런 호를 다룬다. 결정적으로 이 반사는 시각을 쓰지 않는다. 눈이 얼마나 어긋났는지 보고 고치는 피드백 방식이 아니다. 머리의 각속도를 관성 센서로 직접 재서 앞먹임으로 눈을 미는 개루프 방식이다. 그래서 시각 피드백에 의존하는 추적운동보다 열 배 이상 빠르다. | 항목 | 값 | |---|---| | 반사 지연 | 7~15밀리초 | | 이득 | 약 1.0(수평·수직) | | 유효 주파수 대역 | 약 0.5~15헤르츠(조건에 따라 20헤르츠 이상) | | 비틀림 성분 | 이득이 낮음 |표 출처: [14] (본문 기준으로 재구성)
바로 이 지점이 증강현실 지연 목표의 근원이다. 머리를 돌리면 사용자의 눈은 10밀리초 남짓에 세계의 한 점에 고정된다. 그런데 디스플레이가 50밀리초 뒤에 갱신되면, 눈이 이미 고정한 그 점에 가상 물체가 아직 도착하지 않은 상태가 된다. 가상 물체는 실제 세계 위에서 미끄러지는 것처럼 보인다. 오차는 지연과 각속도의 곱이다. | 지연 | 머리 각속도 | 각오차 | 팔 길이 60cm에서 위치 오차 | |---|---|---|---| | 20밀리초 | 초당 100도 | 2.0도 | 약 2.1cm | | 20밀리초 | 초당 200도 | 4.0도 | 약 4.2cm | | 50밀리초 | 초당 200도 | 10.0도 | 약 10.5cm |표 출처: [14] (본문 기준으로 재구성)
지연 지각 역치는 단일 숫자로 제시하기 어렵다. Ellis와 Mania, Adelstein, Hill이 2004년에, Adelstein과 Lee, Ellis가 2003년에 보고한 실험들은 과제와 머리 운동 조건에 따라 역치가 크게 달라진다는 것을 보여준다. 헤드마운트 조건에서 10~20밀리초 수준으로 보고된 사례가 있고, 최적 조건에서는 수 밀리초까지 내려간 사례도 있다. 인용할 때는 과제와 조건을 반드시 함께 적어야 한다. 카메라의 손떨림 보정과 같다. 다만 화면을 보고 흔들림을 고치는 소프트웨어 방식이 아니라, 자이로 센서가 흔들림을 직접 재서 렌즈를 미는 하드웨어 방식이다. 이 절은 이 장의 무게중심이다. 지연 20밀리초라는 목표는 업계 관행이 아니라 생리학적 상수에서 나온 값이다. 늦은 단계의 재투영, 예측 추적, 저지속성 구동은 모두 하나의 원인에 대한 서로 다른 대응이다. 특히 광학 시스루에서는 실제 세계가 지연 없이 보이므로 기준점이 눈앞에 있고, 오차가 그대로 드러난다. 비디오 시스루보다 광학 시스루의 지연 요구가 더 가혹한 이유다. [14] ### 공짜로 주어진 창 눈이 초당 700도로 튈 때 망막에는 엄청난 번짐이 지나가야 정상이다. 그런데 우리는 그 번짐을 보지 못한다. 뇌가 단속운동 전후로 시각 감도를 능동적으로 낮추기 때문이다. 기전은 두 가지가 함께 작용한다. 하나는 능동적 억제다. 운동 명령을 내리는 회로가 그 사본을 시각 경로에 보내 미리 감도를 떨어뜨린다. 그 증거가 시작 시점이다. 억제는 눈이 실제로 움직이기 전에 이미 시작된다. 망막에서 일어난 일의 결과가 아니라는 뜻이다. 다른 하나는 마스킹이다. 단속운동 직전과 직후의 선명한 상이 그 사이의 번짐을 앞뒤에서 덮어버린다. 가장 중요한 단서는 이 억제가 선택적이라는 점이다. Burr와 Morrone, Ross가 1994년에 보고한 대로 마그노 경로가 골라 억제된다. 굵은 무늬는 강하게 억제되지만 가는 무늬는 거의 억제되지 않는다. | 항목 | 값 | |---|---| | 대비 역치 상승 | 0.5~1 로그 단위(약 3~10배) | | 선택성 | 약 1주기/도 이하에 집중, 고공간주파수는 거의 영향 없음 | | 시작 시점 | 단속운동 개시 전(문헌에 따라 30~100밀리초) | | 종료 후 지속 | 약 50밀리초 | | 창 길이 | 약 100~200밀리초 |표 출처: [15] (본문 기준으로 재구성)
로그와 배수 환산은 자주 틀린다. 0.5 로그 단위는 약 3.2배이고, 2배는 0.3 로그 단위다. 시작 시점도 문헌 편차가 큰 항목이므로 단일 값으로 못 박기보다 범위로 쓰는 편이 정확하다. Ross와 Morrone, Goldberg, Burr가 2001년에 정리한 리뷰가 이 시점 문제를 다룬다. 예산을 계산해 보면 규모가 놀랍다. 깨어 있는 16시간은 57,600초다. | 가정 | 총 억제 시간 | 깨어 있는 시간 중 비중 | |---|---|---| | 15만 회 × 100밀리초 | 15,000초 | 26.0% | | 20만 회 × 100밀리초 | 20,000초 | 34.7% | | 15만 회 × 200밀리초 | 30,000초 | 52.1% | | 20만 회 × 200밀리초 | 40,000초 | 69.4% |표 출처: [15] (본문 기준으로 재구성)
하루 중 10퍼센트라는 요약이 돌아다니지만 자체 산수가 맞지 않는다. 보수적으로 잡아도 4분의 1이고, 창 길이를 상한으로 잡으면 절반을 넘는다. 영화 편집에서 컷을 카메라가 확 움직이는 순간에 붙이면 관객이 이음매를 못 알아챈다. 뇌는 시선을 옮기는 순간마다 스스로 그런 편집점을 만들어 준다. 이 창 안에서는 해상도 전환, 화면 재투영, 장면 전환, 공간 재정렬을 사용자 모르게 수행할 수 있다. 보행 경로를 몰래 휘게 만드는 재지향도 여기에 숨는다. 다만 숫자의 출처를 정확히 해야 한다. 시선 속도가 초당 180도를 넘을 때 초당 12.6도 미만의 회전을 적용하면 감지되지 않는다는 결과는 Sun과 동료들이 2018년에 보고한 단속운동 기반 재지향 연구의 값이다. 90프레임에서 프레임당 0.14도에 해당한다. Steinicke와 동료들이 2010년에 보고한 것은 통상 시야에서의 무차원 역치이며 단위가 다르다. 물리 회전이 지각된 회전보다 약 49퍼센트 크거나 20퍼센트 작아도 감지되지 않고, 거리는 14퍼센트 축소에서 26퍼센트 확대까지, 곡률은 반경 22미터 이상이면 알아채지 못한다. 무차원 이득을 초당 도수로 옮겨 쓰는 것은 차원 오류다. 한계도 분명하다. 고공간주파수는 억제되지 않는다. 창 안에서 선명한 가장자리를 가진 콘텐츠를 옮기면 들킬 수 있다. 숨길 수 있는 변화의 종류를 공간주파수 기준으로 판단해야 한다. [15] ### 두 눈의 모순 두 눈은 6센티미터 남짓 떨어져 있어 같은 물체를 조금 다른 각도에서 본다. 뇌는 이 차이를 거리로 환산하는데, 그 정밀도가 놀랍다. 최적 조건에서 2~6초각의 시차까지 구분한다. 1도의 1,000분의 1 수준이다. 임상 정상 범위는 20~40초각이다. 자연 시야에서는 두 개의 거리 신호가 항상 일치한다. 가까운 것을 볼 때 두 눈이 안으로 모이고, 동시에 수정체가 두꺼워져 초점을 당긴다. 이접과 조절은 신경학적으로 연결되어 자동으로 함께 움직인다. 그런데 대부분의 헤드마운트 디스플레이는 화면이 고정된 한 거리에 맺힌다. 초점은 항상 그 거리에 있는데 시차는 물체의 거리를 말한다. 두 신호가 어긋난다. 이를 이접-조절 충돌이라 한다. 눈의 초점 심도는 동공 3~4밀리미터에서 약 ±0.3디옵터에 불과해 이 어긋남을 흡수하지 못한다. Hoffman과 Girshick, Akeley, Banks가 2008년에 보인 대로 충돌은 시각 성능을 떨어뜨리고 피로를 유발한다. 편안한 범위를 하나의 대칭 상수로 적는 인용이 널리 퍼져 있지만, 1차 출처의 결론은 그렇지 않다. Shibata와 Kim, Hoffman, Banks가 2011년에 보고한 편안함의 영역은 대칭이 아니고 거리에 의존한다. 같은 디옵터 값의 충돌이 근거리보다 원거리에서 덜 편안하다. 그리고 부호에 따라 달라진다. 화면보다 뒤에 놓인 콘텐츠가 만드는 음의 충돌은 원거리에서 더 불편하고, 화면보다 앞에 놓인 양의 충돌은 근거리에서 더 불편하다. 따라서 편안한 영역을 ±0.4디옵터 같은 고정값으로 쓰고 그 값으로 배수를 계산하는 방식은 성립하지 않는다. 설계 판단은 거리 구간과 부호를 나눠서 해야 한다. | 항목 | 값 | |---|---| | 입체시력 역치 | 최적 조건 2~6초각, 임상 정상 20~40초각 | | 동공간거리 | 성인 평균 약 63mm, 범위 52~78mm | | 파눔 융합 영역(중심와) | 약 ±5~10분각 | | 파눔 융합 영역(이심률 10도) | ±30~40분각 | | 눈의 초점 심도 | 약 ±0.3디옵터 | | 다초점면 권장 면 간격 | 약 0.6~0.9디옵터 |표 출처: [16] (본문 기준으로 재구성)
문제가 가장 심한 구간은 역설적으로 가장 쓸모 있는 구간이다. 손이 닿는 거리다. 30센티미터는 3.33디옵터이고 2미터는 0.5디옵터다. 초점면이 2미터에 고정된 장치에서 30센티미터 위치에 물체를 시차로 배치하면 두 신호는 2.83디옵터 어긋난다. 이 값이 어느 정도의 불편인지는 거리와 부호를 함께 따져야 알 수 있지만, 초점 심도 ±0.3디옵터로는 근처에도 가지 못한다는 점은 분명하다. 귀로는 목소리가 바로 앞에서 들리는데 입 모양은 3미터 뒤 화면에서 움직이는 더빙 영화를 보는 것과 같다. 한두 장면은 참을 만하지만 두 시간을 보면 머리가 아프다. 이 하나의 제약이 네 갈래 연구 흐름을 낳았다. 초점면을 기계적으로 움직이는 가변초점, 여러 초점면을 동시에 띄우는 다초점면, 광선 자체를 재현하는 광계, 파면을 계산해 만드는 홀로그래픽이다. 가변초점의 응답 속도 요구를 논하려면 조절 자체의 동역학이 필요하다. 조절 반응의 잠복기는 300~400밀리초, 시상수는 300밀리초 수준으로 알려져 있다. 눈의 초점이 이 정도로 느리다는 사실은 기계식 해법에 숨 쉴 틈을 준다. 실무 지침도 하나 나온다. 동공간거리의 개인차를 맞추지 못하면 시차 자체가 틀어진다. 52밀리미터와 78밀리미터는 26밀리미터 차이이고, 이 차이는 거리 판단 오차와 추가 피로로 직결된다. [16] ### 같은 눈이 아니다 지금까지의 숫자는 대표값이다. 대표값으로 설계하면 절반의 사용자를 놓친다. 눈의 사양은 사람마다 다르고, 어떤 축에서는 그 차이가 기기 세대 간 차이보다 크다. | 축 | 개인차 | |---|---| | 중심와 피크 원뿔 밀도 | 100,000~324,000개/mm²(약 3배) | | 원뿔 총수 | 408만~529만 개 | | 동공간거리 | 52~78mm | | 입체시 | 성인의 약 3~5%가 약하거나 없음 | | 색각 이상 | 남성의 약 8% | | 조절력 | 연령과 함께 감소 | 입체시가 없는 사용자에게 시차로만 전달되는 깊이 정보는 전달되지 않는다. 색각 이상이 있는 사용자에게 색으로만 구분되는 표시는 구분되지 않는다. 조절력이 떨어진 사용자에게 고정 초점면의 거리는 다른 의미를 갖는다. 대표값 하나로 만든 인터페이스는 이 사용자들에게 작동하지 않는다. 이 목록은 완전하지 않다. 색 재현과 시스루 합성에서 결정적인 색각의 삼자극 구조와 대립 과정, 색 항상성은 별도의 논의를 요구한다. 시각과 전정 신호의 불일치가 만드는 멀미도 시각 축보다 전정과 자세 축에 속한다. 여기서는 접점만 표시해 둔다. [16][6] ### 사양표 다시 읽기 앞선 절들의 숫자를 한 표로 모으면, 현행 기기가 사람 눈의 어느 축에서 몇 배 모자라는지가 드러난다. | 축 | 사람 눈 | 현행 기기 대표값 | 격차 | |---|---|---|---| | 수평 시야(양안) | 200~220도 | 100~120도 | 약 2배 | | 각해상도(중심) | 60 PPD(시력 1.0), 원뿔 나이퀴스트 약 69주기/도 | 25~51 PPD | 약 1.2~2.4배 | | 전 시야 화소(양안, 60 PPD) | 약 7,620만 | 약 2,300만 | 약 3배 | | 시간 응답 | 원뿔 융합 약 60헤르츠, 주변 90헤르츠 이상, 운동 중 500헤르츠 | 90~144헤르츠 | 조건에 따라 미달 | | 점등 시간 | 번짐 12화소 이하를 위해 2밀리초 | 2밀리초 이하 | 달성 | | 동작-표시 지연 | 반사 보상 7~15밀리초 | 목표 20밀리초 | 근접 | | 표시 가능 대비 | 순간 약 1,000대 1 | 야외 배경 8,000 cd/m² 앞에서 달성 난망 | 미해결 | | 초점 | 이접과 연동, 심도 ±0.3디옵터 | 고정 초점면 1~2매 | 미해결 |표 출처: [1][2][3][10][14][16] (본문 기준으로 재구성)
이 표가 말하는 것은 격차의 크기만이 아니다. 격차의 종류가 다르다는 사실이다. 점등 시간은 이미 해결됐다. 지연은 목표에 근접했다. 시야와 화소 수는 양적 문제이며, 시선 추적과 포비티드 렌더링이라는 우회로가 이미 있다. 남은 두 줄은 성격이 다르다. 광학 시스루의 대비는 빼기가 불가능하다는 합성 방식에서 나오므로, 차광이라는 구조 변경 없이는 개선되지 않는다. 초점은 고정면 위에 시차만 얹는 구조 자체를 바꿔야 한다. 어느 격차가 물리 한계이고 어느 격차가 아직 공학 문제인지는 이 구분에서 시작된다. 눈은 시야 전체를 고르게 보지 못하고, 검정을 더할 수 없는 합성을 견디지 못하며, 밀리초 단위로 자기를 보상한다. 증강현실 기기의 사양표는 그 세 가지 사실을 받아쓴 문서다. [1][2][3][10][14][16]본문의 번호를 누르면 출처로 이동합니다. 절 끝의 번호는 그 절의 사실 자료를, 표 아래의 번호는 표에 사용한 자료를 가리킵니다. 비교·계산·비유와 결론은 필자의 재구성입니다. 한 번호에 함께 사용한 문헌이 둘 이상이면 묶어서 적었습니다.
서지정보와 확인 메모는 옵시디언 조사 기록을 바탕으로 복원했습니다. 원 기록의 ‘전문 확인’·‘조회’ 표기는 당시 조사 상태이며 이번 웹판에서 모두 재검증했다는 뜻은 아닙니다. 불완전한 서지사항은 임의로 채우지 않았습니다.
표 출처: [1] (본문 기준으로 재구성)
여기서 눈여겨볼 것은 마지막 줄이다. 두 선분이 한 직선 위에 놓였는지를 판정하는 과제에서 인간은 수용체 간격보다 미세한 차이를 잡아낸다. 최적 조건의 5초각을 기준으로 하면 원추 간격의 약 6분의 1, 시력 한계의 약 12분의 1이다. 개별 수용체가 표본화하지 못하는 정보를 여러 수용체의 응답 분포에서 복원한다는 뜻이다. 눈은 카메라보다 추론기에 가깝다. 그리고 여기에 증강현실이 성립하는 이유가 있다. 뇌가 추론으로 깊이를 만든다면, 추론의 입력을 위조하면 존재하지 않는 깊이를 만들어 넣을 수 있다. 정확한 표현은 "3차원 물체를 띄우는 기술"이 아니라 "깊이 추론의 입력을 위조하는 기술"이다. 그렇다면 위조해야 할 입력의 목록이 필요하다. 목록의 각 항목마다 얼마나 정확히 위조해야 하는지도 필요하다. 이 장의 나머지가 그 목록이다. [1] ### 가림, 가장 강하지만 가장 인색한 증인 한 물체의 윤곽이 다른 물체의 윤곽을 끊고 지나가면 끊은 쪽이 앞이다. 이 판정의 시각적 서명은 T자 접합이다. 두 윤곽이 T자 모양으로 만날 때 세로획을 가진 쪽, 즉 끊긴 쪽이 뒤에 있는 물체다. 나카야마와 시모조, 실버먼이 1989년에 보였듯 이 판정은 자동적이고 빠르다. 가림이 모든 거리대에서 최강 단서가 되는 이유는 세 가지다. 첫째, 물리적으로 위배되기 어렵다. 불투명한 물체는 예외 없이 뒤를 가린다. 반례는 거울과 유리, 그림자 정도이고 자연 장면에서 드물다. 둘째, 판정에 필요한 정밀도가 낮다. 두 윤곽이 만나서 하나가 끊기는지만 보면 된다. 미세한 양을 재는 과제가 아니다. 셋째, 성능이 거리에 거의 무관하다. 커팅과 비시턴이 1995년에 아홉 단서를 공통 척도로 비교했을 때, 가림은 가시 범위 전체에서 약 0.1퍼센트의 일정한 깊이 역치를 제공했다. 그들이 든 예시가 이 값의 뜻을 잘 보여준다. 1미터 거리에서는 종이 한 장 두께, 2킬로미터 거리에서는 건물 앞에 선 자동차의 폭이다. 다른 단서들은 거리 z 또는 z의 제곱에 비례해 무너지지만 가림은 그렇지 않다. 대가는 인색함이다. 가림은 순서만 알려준다. 거리 차이의 양은 한 톨도 알려주지 않는다. 손가락이 달을 가린다는 사실에서 손가락이 달보다 38만 킬로미터 가깝다는 정보는 나오지 않는다. 그저 손가락이 앞이라는 것만 나온다. 책상 위에 명함 두 장을 겹쳐 놓아 보면 알 수 있다. 어느 쪽이 위인지는 자를 대지 않고도 즉시 안다. 그러나 두 장의 간격이 0.1밀리미터인지 1밀리미터인지는 아무리 보아도 알 수 없다. 가림은 판사이지 측량사다 — 앞뒤를 선고하고 거리는 함구한다. 이 순서 전용이라는 성질 때문에 가림을 다른 단서와 같은 축에 놓는 일에는 주의가 필요하다. 깊이차 비율로 역치를 정의하는 방식은 원래 양을 주는 단서를 위한 것이다. 커팅과 비시턴의 도표에서도 가림은 값이 0인 선이 아니라 순서 판별의 최소값 위치에 전 거리대에 걸친 수평선으로 그려진다. 증강현실에서 가림은 단일 최대 난제다. 가상 물체를 실제 장면 위에 그리면 깊이 의도와 무관하게 무조건 앞에 보인다. 벽 뒤에 두려 한 안내판이 벽을 투시한 것처럼 보이는 현상이 이것이고, 흔히 투시 문제라고 부른다. 원인은 광학에 있다. 광학투과 방식은 실세계 빛에 가상 빛을 더하기만 한다. 더하기만 하는 장치는 검은 픽셀을 만들 수 없다. 검은 픽셀을 만들 수 없으면 실물을 가릴 수 없다. 비디오투과 방식은 실세계를 카메라로 받아 깊이맵과 함께 합성하므로 가림을 해결한다. 대가는 통과 영상의 지연과 화질, 시야다. 어떤 방식을 고를 것인가는 결국 가림을 포기할 것인가라는 질문으로 환원된다. [2] ### 두 눈이라는 측량기 두 눈이 좌우로 떨어져 있어 같은 장면을 조금 다른 각도에서 본다. 두 망막의 대응 지점에 맺히는 점들의 자취를 호롭터라 부른다. 이론적으로는 주시점과 두 눈의 절점을 지나는 원, 그리고 그에 수직인 선이다. 실제로 측정하면 근거리에서 이론보다 편평해지고, 편심 주시에서는 뒤틀린다. 주의할 점이 하나 있다. 호롭터는 주시점과 같은 깊이의 정면 평면이 아니다. 그 평면 위의 점들은 시차가 0이 아니다. 호롭터를 벗어난 점은 두 망막에서 어긋나게 맺힌다. 이 어긋남이 양안시차다. 소각 근사에서 깊이차가 만드는 시차각은 눈 사이 거리와 깊이차의 곱을 거리의 제곱으로 나눈 값이다. 분모의 제곱이 핵심이다. 거리가 두 배 멀어지면 같은 깊이차가 만드는 시차는 4분의 1로 줄어든다. 감도가 거리 제곱으로 무너진다는 뜻이다. 엄지를 세우고 한쪽 눈씩 번갈아 감으면 엄지가 좌우로 껑충 뛴다. 그 뛰는 폭이 곧 거리계다. 팔을 뻗을수록 폭이 급격히 줄고, 저 멀리 건물은 아예 뛰지 않는다. 숫자로 보면 이 붕괴가 얼마나 빠른지 분명해진다. 성인 평균 눈 사이 거리 63밀리미터를 기준으로, 판별 가능한 최소 깊이차를 세 가지 역치에 대해 계산했다. 5초각에서 10초각은 최적 실험실 조건의 값이고 20초각에서 40초각은 임상 정상 범위다. | 관찰 거리 | 역치 10초각(실험실 상한 성능) | 역치 20초각 | 역치 40초각 | |---|---|---|---| | 0.5m | 0.19mm | 0.39mm | 0.77mm | | 2m | 3.1mm | 6.2mm | 12mm | | 10m | 7.7cm | 15cm | 31cm | | 30m | 0.69m | 1.4m | 2.8m | | 100m | 7.7m | 15m | 31m |표 출처: [3] (본문 기준으로 재구성)
첫 열의 값을 일반적인 인간 성능으로 읽으면 안 된다. 그것은 상한이다. 임상 정상 범위를 넣으면 같은 식이 2배에서 4배 나쁜 값을 준다. 실사용 조건에서 10미터 앞 두 물체의 30센티미터 깊이차를 시차만으로 분간하기 어렵다는 뜻이다. 이 표의 함의는 커팅과 비시턴의 구역 구분과 직결된다. 그들은 양안시차와 운동 원근의 유용성이 10퍼센트 깊이 역치에 도달하는 지점을 약 30미터로 보고, 이 거리를 행동공간의 상한으로 삼았다. 30미터를 넘으면 두 눈을 쓰는 이득이 크게 감소한다. 양안시차가 수백 미터까지 느리게 감쇠한다는 서술은 이 기준과 맞지 않는다. 또 하나의 한계는 융합이다. 시차가 일정 범위를 넘으면 두 상이 하나로 합쳐지지 않고 이중상으로 갈라진다. 이 범위를 파눔 융합역이라 부르는데, 자극의 공간 주파수와 크기, 노출 시간, 편심도에 강하게 의존해 문헌값이 수 분각에서 수십 분각까지 흩어진다. 단일 상수로 쓸 수 없는 양이다. 그리고 융합역을 넘어도 깊이감이 사라지지는 않는다. 정성적 입체감은 수 도 단위의 시차까지 유지된다. 마지막으로 시차만으로는 절대 거리를 알 수 없다. 시차는 비율을 준다. 그 비율을 미터로 환산하려면 눈 사이 거리와 수렴 각도를 알아야 한다. 증강현실에서 양안시차는 재현하기 가장 쉬운 단서다. 좌우 눈에 다른 영상을 그리면 끝난다. 그래서 거의 모든 헤드셋이 이것부터 한다. 함정은 눈 사이 거리다. 성인 평균은 63밀리미터지만 범위는 대략 50밀리미터에서 75밀리미터에 걸친다. 렌더링에 가정한 값이 실제 사용자와 4밀리미터, 즉 6.3퍼센트 다르면 인지되는 거리 전체가 약 6퍼센트 체계적으로 편향된다. 개별 물체의 오차가 아니라 공간 전체의 배율 오차다. 헤드셋에 눈 사이 거리 조절 장치가 붙어 있는 이유이고, 자동 측정이 고급 기기의 기본 기능이 된 이유다. [3] ### 수렴, 절대 거리를 말하는 드문 증인 가까운 것을 볼 때 두 눈은 안쪽으로 모이고 먼 것을 볼 때 평행해진다. 이 모임 각도는 눈 사이 거리와 대상 거리로 결정된다. 중요한 점은 이 정보가 망막 이미지에서 나오지 않는다는 것이다. 안구 근육의 상태에서 나온다. 망막 바깥의 정보라는 뜻이다. 그래서 수렴은 드문 성질을 갖는다. 절대 거리를 준다. 장면 안에 비교 대상이 없어도, 아는 물체가 하나 없어도, 각도만으로 몇 미터인지 나온다. 대부분의 단서가 비교와 상대 관계에 의존하는 가운데 이것은 예외다. 문제는 감도다. 거리에 대한 각도 변화율이 거리의 제곱에 반비례한다. 다음 표가 그 결과다. 눈 사이 거리 63밀리미터를 가정했다. | 대상 거리 | 수렴각 | 두 배 멀어질 때의 각도 감소 | |---|---|---| | 0.25m | 14.4도 | | | 0.5m | 7.2도 | 0.25m에서 0.5m로: 7.2도 | | 1m | 3.6도 | 0.5m에서 1m로: 3.6도 | | 2m | 1.8도 | 1m에서 2m로: 1.8도 | | 6m | 0.60도 | | | 10m | 0.36도 | | | 20m | 0.18도 | 10m에서 20m로: 0.18도 | | 무한대 | 0도 | |표 출처: [4] (본문 기준으로 재구성)
1미터에서 2미터로 갈 때는 각도가 1.8도 줄어든다. 10미터에서 20미터로 갈 때는 0.18도 줄어든다. 같은 두 배 변화인데 신호의 크기가 열 배 다르다. 안구 위치 감각 자체의 잡음을 감안하면 실용 한계는 대략 2미터다. 트레실리언과 몬윌리엄스, 켈리가 1999년에 수렴 단서의 신뢰성을 높이는 조건을 검토한 연구에서도, 낙관적으로 보아 3미터에서 6미터 정도가 상한이다. 양팔로 물건을 안을 때 팔이 얼마나 벌어졌는지로 물건 크기를 짐작하는 일과 비슷하다. 눈은 두 눈이 모이는 각도로 거리를 짐작한다. 다만 물건이 멀어지면 팔이 거의 움직이지 않아 분간이 되지 않는다. 수렴은 혼자 움직이지 않는다. 수렴과 조절은 신경적으로 교차 연결되어 있다. 수렴이 일어나면 조절이 따라오고 조절이 일어나면 수렴이 따라온다. 임상에서는 이 연동 비율을 별도의 지표로 측정한다. 하워드와 로저스가 정리한 대로, 이 두 계통을 따로 떼어 생각하는 것은 실험실에서만 가능한 일이다. 증강현실에서 수렴은 공짜다. 양안 시차를 제대로 주면 눈이 알아서 모인다. 진짜 문제는 수렴이 정확히 작동한다는 바로 그 사실이다. 수렴은 가상 물체가 있다고 주장되는 거리를 충실히 가리킨다. 그런데 초점은 하드웨어가 정한 자리에 묶여 있다. 두 증인이 같은 물체에 대해 다른 거리를 증언한다. [4] ### 초점이라는 배신자 수정체의 굴절력을 바꿔 상을 망막에 맺는 작용이 조절이다. 그 강도는 디옵터로 잰다. 디옵터는 거리의 역수다. 1미터는 1디옵터, 2미터는 0.5디옵터, 무한대는 0디옵터다. 조절 상태도 수렴처럼 망막 바깥의 신호이므로 원리적으로는 절대 거리를 말할 수 있다. 그런데 두 가지가 발목을 잡는다. 첫째는 초점심도다. 인간 눈의 초점심도는 대략 플러스마이너스 0.2에서 0.3디옵터다. 동공 크기와 판정 기준에 따라 변한다. 이 범위 안의 거리 차이는 흐림으로 전혀 구분되지 않는다. 문제는 디옵터가 거리의 역수라는 점이다. 먼 거리일수록 같은 디옵터 폭에 해당하는 거리 범위가 폭발적으로 넓어진다. | 거리 | 디옵터 | 인접 구간과의 디옵터 차 | |---|---|---| | 0.3m | 3.33D | | | 0.5m | 2.00D | 0.3m에서 0.5m로: 1.33D | | 1m | 1.00D | 0.5m에서 1m로: 1.00D | | 2m | 0.50D | 1m에서 2m로: 0.50D | | 5m | 0.20D | 2m에서 5m로: 0.30D | | 무한대 | 0D | 2m에서 무한대로: 0.50D |표 출처: [5] (본문 기준으로 재구성)
표의 마지막 두 줄을 나란히 읽어 보면 사정이 드러난다. 1미터와 2미터의 차이가 0.5디옵터다. 2미터와 무한대의 차이도 0.5디옵터다. 조절이라는 증인에게 2미터 너머는 전부 같은 곳이다 — 10미터와 무한대를 구별할 방법이 없다. 카메라 초점링을 돌려 거리를 읽는 일과 같다. 30센티미터에서 1미터까지는 링이 큰 각도로 돌아간다. 5미터에서 무한대까지는 링 끝에서 겨우 몇 밀리미터 움직인다. 그 구간에서는 링의 눈금으로 거리를 읽을 수 없다. 둘째는 노화다. 조절 진폭은 나이가 들면서 거의 선형으로 붕괴한다. 듀언이 1912년에 전 연령대의 정상값을 정리한 고전 자료가 기준선으로 쓰인다. 널리 재현되는 평균 곡선은 10세에 약 14디옵터, 20세에 약 11디옵터, 30세에 약 9디옵터, 40세에 약 6디옵터, 50세에 약 2에서 2.5디옵터, 60세에 1디옵터 이하다. 임상에서 쓰는 평균 근사식 하나는 18.5에서 연령의 0.3배를 빼는 형태이고, 이 식으로는 20세에 12.5디옵터, 40세에 6.5디옵터가 나온다. 주의할 점이 둘 있다. 1912년 인구를 대상으로 한 자료라는 점, 그리고 측정 기준을 주관적 흐림으로 잡는지 객관적 굴절 변화로 잡는지에 따라 수 디옵터가 달라진다는 점이다. 그래도 방향은 확고하다. 50대에는 이 증인이 법정에 나오지 못한다. 흐림 자체에는 부호가 없다. 상이 흐리다는 사실은 초점이 앞으로 틀렸는지 뒤로 틀렸는지 알려주지 않는다. 눈의 색수차와 비대칭 수차가 이 부호를 부분적으로 복원해 준다. 파장에 따라 굴절률이 다르므로 흐림의 색 구성이 방향 정보를 담는다. 여기서 구분을 하나 해 두어야 한다. 조절이 2미터 부근에서 은퇴한다는 이야기는 조절 근육의 상태, 즉 망막 바깥 신호에 해당한다. 망막에 맺힌 흐림 패턴 자체는 별개의 단서이고, 유효 범위도 다르다. 헬드와 쿠퍼, 뱅크스가 2012년에 보인 결론이 이 구분을 뒷받침한다. 흐림과 양안시차는 상보적이며, 시차가 약해지는 원거리와 대규모 장면에서 흐림의 상대적 기여가 오히려 커진다. 조절 신호와 흐림 단서를 한 범주로 묶으면 두 가지 다른 것을 섞는 셈이 된다. 참고로 눈은 아무 자극이 없을 때 무한대에 초점을 맞추지 않는다. 라이보위츠와 오웬스가 1975년에 보인 대로, 어둠 속에서 조절은 약 1.5디옵터, 즉 67센티미터 부근의 휴식 상태로 돌아간다. 증강현실에서 조절은 재현이 가장 어려운 단서다. 통상의 헤드셋은 고정된 광학 상면 하나만 갖는다. 마이크로소프트의 혼합현실 설계 지침은 디스플레이의 초점거리를 약 2.0미터로 명시하고 콘텐츠의 최적 배치 범위를 1.25미터에서 5미터로 권고한다. 매직리프 원은 초점면을 두 장 두어 근거리와 중거리를 나눴다. 가변초점 광학, 다초점 디스플레이, 라이트필드, 홀로그래픽 디스플레이가 모두 이 한 단서를 되살리기 위한 시도다. [5] ### 수렴과 조절이 싸울 때 실세계에서는 수렴 거리와 조절 거리가 항상 같다. 손끝을 보면 눈은 손끝으로 모이고 초점도 손끝에 맞는다. 두 계통이 신경적으로 짝지어져 있으므로 한쪽만 움직이는 일이 거의 없다. 스테레오 디스플레이는 이 짝을 강제로 분리한다. 수렴은 양안 시차가 지시하는 가상 거리를 따라간다. 초점은 광학 상면에 묶인다. 두 회로가 서로 다른 값을 요구하며 싸우고, 그 대가가 눈 피로와 두통, 융합 지연, 깊이 판단의 왜곡이다. 호프먼과 거식, 애클리, 뱅크스가 2008년에 초점 단서를 올바르게 제시한 조건과 그렇지 않은 조건을 비교해 이 대가를 정량적으로 보였다. 초점을 맞춰 준 조건에서 스테레오 융합 시간이 짧아지고 피로 보고가 줄었다. 손가락은 코앞 30센티미터를 가리키는데 눈의 초점은 2미터 벽에 못 박혀 있는 상태를 생각하면 된다. 몸의 두 기관이 같은 물체에 대해 다른 거리를 증언하고, 뇌는 그 모순을 매 순간 중재하느라 지친다. 중요한 실무 규칙이 하나 있다. 이 충돌의 크기는 미터가 아니라 디옵터로 재야 한다. 상면 2미터, 즉 0.5디옵터를 기준으로 콘텐츠 거리별 충돌량을 계산하면 다음과 같다. | 콘텐츠 거리 | 디옵터 | 초점면 2m 기준 충돌량 | |---|---|---| | 0.3m | 3.33D | 2.83D | | 0.4m | 2.50D | 2.00D | | 0.5m | 2.00D | 1.50D | | 1m | 1.00D | 0.50D | | 1.25m | 0.80D | 0.30D | | 2m | 0.50D | 0D | | 5m | 0.20D | 0.30D | | 무한대 | 0D | 0.50D |표 출처: [6] (본문 기준으로 재구성)
미터로 보면 1.25미터와 5미터는 상면에서 각각 0.75미터, 3미터 떨어져 있어 전혀 대칭이 아니다. 디옵터로 보면 둘 다 0.3디옵터다. 이것이 디옵터로 재야 하는 이유다. 편안한 영역의 경계값에 대해서는 정확한 인용이 필요하다. 시바타와 김, 호프먼, 뱅크스가 2011년에 스테레오 디스플레이의 불편을 예측하는 편안 영역을 측정했는데, 업계에서 흔히 인용되는 "상면 기준 플러스마이너스 0.3디옵터"는 이 논문의 결과가 아니다. 논문이 제시한 것은 상수 창이 아니라 회귀선이고, 그 경계의 기울기는 1보다 크다. 부호별 편차는 최소 0.3디옵터에서 최대 0.8디옵터 사이에 놓인다. 최소값 0.3디옵터는 캠벨이 1957년에 보고한 초점심도에서 온 값이다. 거리 의존 방향도 통념과 반대다. 디옵터로 잰 편안 영역은 원거리에서 좁고 근거리에서 넓다. 같은 디옵터 크기의 충돌이라면 근거리보다 원거리에서 약간 더 불편하다. 비대칭은 부호에 따라 갈린다. 화면 뒤쪽으로 들어가는 충돌은 원거리 시청에서 더 불편하고, 화면 앞쪽으로 나오는 충돌은 근거리 시청에서 더 불편하다. 근거리 시청이 총 피로가 크다는 사실과 디옵터 창이 근거리에서 넓다는 사실은 양립한다. 창의 폭과 누적 피로는 다른 양이다. 하드웨어 권고치는 정확히 옮겨야 한다. 마이크로소프트의 혼합현실 편안성 문서는 홀로렌즈 1세대와 2세대에 공통으로 적용되는 지침으로 다음을 제시한다. 디스플레이 고정 초점거리 약 2.0미터, 최적 콘텐츠 배치 1.25미터에서 5미터, 40센티미터부터 콘텐츠를 서서히 사라지게 할 것, 렌더링 클리핑 평면은 30센티미터에 둘 것, 40센티미터보다 가까운 홀로그램은 제시하지 말 것이다. 1미터 이내의 콘텐츠도 근거리 직접 상호작용 용도로는 허용되며, 전체 사용 시간의 일부로 제한하는 깊이 예산 개념을 쓴다. 문서의 표현은 거리가 줄면 불편 가능성이 지수적으로 증가한다는 것이지 사용 불가가 아니다. 두 가지 흔한 오기를 짚어 둔다. 근접 클리핑 값으로 자주 인용되는 0.85미터는 이 편안성 지침의 값이 아니다. 구 윈도 홀로그래픽 응용 프로그래밍 인터페이스의 기본 근평면 값이다. 그리고 1.25미터에서 5미터라는 권장 범위가 플러스마이너스 0.3디옵터 계산과 정확히 일치한다는 설명은 사후 역산이다. 마이크로소프트가 그 범위를 경험적으로 제시한 것이지 디옵터 창에서 도출한 것이 아니다. 이 하나의 물리량에서 증강현실 기기의 콘텐츠 배치 규칙, 클리핑 거리, 광학 설계, 사용 시간 권고가 전부 나온다. 손 앞 작업 거리인 30센티미터에서 70센티미터를 지원하려는 모든 기기가 여기서 막힌다. 가변초점 광학이 다음 세대의 경쟁 지점이 된 이유가 이것이다. [6] ### 움직여야 보이는 깊이 관찰자가 옆으로 움직이면 가까운 물체는 빠르게, 먼 물체는 느리게 반대 방향으로 흐른다. 커팅과 비시턴은 이것을 운동 원근이라 불렀다. 흔히 운동시차라고도 한다. 기하학적으로 이것은 양안시차와 같은 삼각측량이다. 다른 점은 기선이다. 두 눈 사이 거리가 아니라 머리가 움직인 거리가 기선이 된다. 그래서 잠재력이 더 크다. 6.3센티미터만 움직이면 양안시차와 동등하고, 한 걸음 옆으로 가면 기선이 수십 센티미터가 된다. 달리는 기차 창밖을 보면 전봇대는 휙휙 지나가고 먼 산은 거의 따라온다. 그 속도 차이가 곧 거리표다. 수치를 볼 때 두 가지 각속도를 구분해야 한다. 하나는 절대 각속도다. 측방 이동 속도를 거리로 나눈 값이다. 다른 하나는 두 특징 사이의 차등 각속도이고, 이것이 깊이차를 실제로 부호화한다. 차등 각속도는 이동 속도와 깊이차의 곱을 거리의 제곱으로 나눈 값이다. 양안시차와 똑같은 거리 제곱 법칙이다. 단서의 유효 범위를 정하는 것은 이 차등 성분이다. | 거리 | 측방 속도 1m/s에서의 절대 각속도 | |---|---| | 1m | 57도/s | | 10m | 5.7도/s | | 100m | 0.57도/s |표 출처: [7] (본문 기준으로 재구성)
역치도 두 가지를 구분해야 한다. 참조물이 없는 절대 운동의 검출 역치는 대략 0.1에서 0.3도/s다. 그러나 정지한 참조물이 함께 보일 때의 상대 운동 역치는 훨씬 미세해 대략 1에서 2분각/s, 즉 0.02에서 0.03도/s 수준이다. 한 자릿수 차이다. 운동 원근의 판정은 후자에 해당한다. 절대 운동 역치를 이 단서의 한계 근거로 쓰면 앞의 표와 어긋나는 결론이 나온다. 조건이 하나 붙는다. 망막 위의 움직임만으로는 물체가 움직인 것인지 내가 움직인 것인지 알 수 없다. 자기 운동 정보가 결합되어야 부호와 절대 스케일이 확정된다. 안구 운동의 원심성 복사, 전정 신호, 목의 고유수용감각이 그 역할을 한다. 나브롯이 2003년에 안구 운동 신호가 이 역할을 한다는 것을 실험으로 보였다. 로저스와 그레이엄은 1979년에 시차 이외의 모든 단서를 제거한 자극에서도 사람이 양안시차에 필적하는 깊이를 본다는 것을 보였다. 운동 원근이 독립 단서라는 근거가 이 실험이다. 가만히 서 있을 때도 이 단서는 완전히 꺼지지 않는다. 정립 자세의 자연스러운 체간 동요로 머리가 미세하게 흔들린다. 통상 수 밀리미터 수준의 실효값이고 좌우 최대 진폭이 약 1센티미터에 이른다. 근거리에서는 이것만으로도 유의미한 시차가 발생한다. 증강현실에서 운동 원근은 6자유도 머리 추적이 정확하면 저절로 나온다. 부정확하면 즉시 무너진다. 지연이 오차로 번역되는 비율을 계산해 두면 예산을 잡을 수 있다. 머리 병진 속도 0.5미터/초에서 지연 20밀리초는 위치 오차 1센티미터를 만든다. 머리 회전 100도/초에서 지연 10밀리초는 각도 오차 1.0도를 만들고, 팔 길이 0.6미터 지점에서는 약 10.5밀리미터의 어긋남이 된다. 가상 물체가 머리 움직임에 맞춰 헤엄치듯 미끄러지는 현상이 이 단서의 오염이다. 아주마와 비숍이 1994년에 광학투과 헤드셋의 정적 정합과 동적 정합을 개선하는 문제를 정리했는데, 그 이후로도 지연은 사라지지 않았다. [7] ### 바닥이라는 기준면 지면에 놓인 물체는 멀수록 시야에서 높은 곳, 즉 지평선에 가까운 곳에 보인다. 눈높이와 거리로 시선의 하강각이 결정된다. 하강각은 눈높이를 거리로 나눈 값의 아크탄젠트다. 이 단서가 강력한 이유는 상수가 크기 때문이다. 서 있는 사람의 눈높이 1.6미터는 양안 기선 6.3센티미터의 약 25배다. 같은 거리 제곱 감도 저하를 겪어도 절대 성능이 훨씬 오래 유지된다. 그래서 커팅과 비시턴의 분석에서 행동공간과 조망공간 모두 가림 다음가는 자리를 차지한다. 게다가 이 단서는 절대 거리를 준다. 눈높이를 알면 하강각에서 바로 미터가 나온다. 눈높이 1.6미터를 기준으로 계산한 값이 다음과 같다. | 물체 거리 | 하강각 | |---|---| | 2m | 38.7도 | | 5m | 17.7도 | | 10m | 9.1도 | | 30m | 3.05도 | | 100m | 0.92도 |표 출처: [8] (본문 기준으로 재구성)
감도를 계산할 때 흔한 실수가 있다. 하강각의 미분을 눈높이를 거리의 제곱으로 나눈 값으로 적는 경우가 있는데, 그것은 거리가 눈높이보다 훨씬 클 때만 성립하는 근사다. 정확한 값은 눈높이를 거리의 제곱과 눈높이의 제곱의 합으로 나눈 값이다. 이 단서의 유효 하한으로 흔히 제시되는 2미터에서 두 값을 비교하면 차이가 크다. 정확값은 미터당 0.244라디안이고 근사값은 0.400라디안이다. 근사를 쓰면 감도를 64퍼센트 과대평가한다. 전제 조건이 둘 있다. 물체가 지면에 접촉해 있어야 한다. 접촉하지 않으면 이 단서의 정보량은 0이다. 그리고 관찰자가 자신의 눈높이와 시선 방향, 따라서 지각된 눈 수준을 알아야 한다. 우이와 우, 허가 2001년에 프리즘으로 지각된 눈 수준을 조작해 이 메커니즘을 직접 입증했다. 눈 수준을 옮기면 거리 판단이 예측한 방향으로 정확히 어긋났다. 세지윅이 1986년에 정리한 공간 지각 개관도 지평선을 기준면으로 삼는 이 구조를 중심에 놓는다. 사진 속 사람의 발이 화면 아래쪽에 있을수록 가까이 있다. 발끝의 높이가 그대로 거리 눈금이다. 증강현실에서 이 단서를 살리려면 실세계 지면 평면을 정확히 추정해야 한다. 평면 검출의 정확도가 곧 거리 정확도다. 추정한 바닥 높이가 어긋나면 거리 오차는 물체 거리에 비례해 커진다. 오차 비율은 바닥 높이 오차를 눈높이로 나눈 값이다. 눈높이 1.6미터에서 바닥을 2센티미터 잘못 잡으면 비율이 1.25퍼센트이고, 10미터 앞 물체에서 12.5센티미터의 거리 오차가 된다. 가상 가구가 미묘하게 바닥에서 떠 보이는 현상 대부분은 시차가 아니라 이 평면 추정 오차 탓이다. [8] ### 크기라는 세상 지식 물체의 시각은 실제 크기를 거리로 나눈 값에 비례해 줄어든다. 같은 크기임을 알 수 있는 물체가 둘 있으면 시각의 비가 거리 비의 역수가 된다. 어느 쪽이 얼마나 더 먼지가 나온다. 이것이 상대 크기다. 다만 상대적이어서 절대 거리는 나오지 않는다. 절대 거리를 얻으려면 물체의 실제 크기를 알아야 한다. 친숙한 크기라고 부르는 단서다. 실제 크기를 알면 시각으로 나누어 거리가 확정된다. 이텔슨이 1951년에 한 고전적 실험이 이 단서의 효력을 보였다. 같은 각크기로 보이도록 배치한 트럼프 카드의 실물 크기만 바꿔 제시하면 지각된 거리가 따라 바뀐다. 고겔이 1969년에 망막상 크기의 감지 문제를 다룬 연구도 같은 결합 구조를 다룬다. 이 단서의 장점은 거리 의존성이 완만하다는 것이다. 시각은 거리의 1승에 반비례해 줄어든다. 시차와 수렴의 거리 제곱 붕괴보다 훨씬 느리다. 키 1.7미터 사람의 시각을 계산하면 다음과 같다. | 거리 | 시각 | |---|---| | 10m | 9.7도 | | 100m | 0.97도 | | 1km | 0.097도, 약 5.8분각 |표 출처: [9] (본문 기준으로 재구성)
1킬로미터 앞의 사람도 시력 한계 1분각보다 여섯 배 가까이 크다. 크기 변별의 웨버 비가 2에서 3퍼센트이므로 거리 비도 그 정도 분해능으로 판별된다. 단점은 세상 지식에 의존한다는 점이다. 처음 보는 물체에는 무력하다. 크기 가정이 틀리면 거리 판단이 그대로 틀린다. 크기와 거리의 곱이 일정하게 유지된다는 불변 가설은 달 착시 같은 현상의 해석 틀이기도 하다. 사진에 찍힌 자동차가 손톱만 하면 골목이 깊고 화면을 꽉 채우면 코앞이다. 자동차의 실제 크기를 알기 때문에 가능한 계산이다. 증강현실에서 가상 모델의 스케일 오차는 곧 거리 오차로 번역된다. 가상 의자를 실제보다 10퍼센트 크게 만들면 뇌는 그것을 10퍼센트 가까이 있다고 읽는다. 렌더링 단위를 실측 미터에 정확히 맞추는 일이 미학이 아니라 지각 정확도의 문제인 이유다. [9] ### 결 기울기와 모여드는 직선 깁슨이 1950년에 지각 이론의 중심에 놓은 단서가 결 기울기다. 자갈밭이나 타일처럼 통계적으로 균질한 표면을 비스듬히 보면 표면 요소의 상이 거리에 따라 체계적으로 변한다. 변화는 세 성분으로 분해된다. 첫째는 크기 기울기다. 요소의 가로 시각이 거리에 반비례해 줄어든다. 둘째는 압축이다. 지면을 비스듬히 보므로 세로가 가로보다 더 줄어든다. 세로 시각은 거리의 제곱에 반비례하고, 따라서 요소의 종횡비가 거리에 반비례해 납작해진다. 셋째는 밀도 변화다. 밀도의 방향과 지수를 정확히 잡아야 한다. 가로가 거리의 1승, 세로가 2승에 반비례하므로 요소 하나의 상 면적은 거리의 세제곱에 반비례한다. 그러면 상에서 단위 면적당 요소 수는 거리의 세제곱에 비례한다. 즉 멀어질수록 증가한다. 지평선 쪽으로 갈수록 결이 촘촘하게 뭉쳐 보이는 현상이 바로 이것이다. 정면을 향한 평면이라면 지수가 2가 된다. 밀도가 거리 제곱에 반비례해 줄어든다고 적으면 부호와 지수가 모두 뒤집힌다. 자갈밭에 서서 발밑을 보면 자갈이 크고 성글다. 저 끝을 보면 잘고 빽빽하다. 자갈 크기가 어디서나 같다는 것을 알기 때문에 그 변화가 눈금이 된다. 세 성분은 원리상 독립이다. 커팅과 밀러드가 1984년에 이들을 분리해 제시하는 실험으로 사람이 평면 경사 판단에는 주로 압축을, 곡면 지각에는 크기 기울기를 쓴다는 것을 밝혔다. 다만 결 기울기의 정밀도는 낮다. 표면이 정말 균질하다는 가정에 의존하는데 현실의 표면은 대개 그렇지 않다. 경사각 판단 오차가 10도를 넘는 일이 흔하다. 여기서 목록 정리가 필요하다. 커팅과 비시턴이 1995년에 비교한 아홉 정보원에 결 기울기는 별 항목으로 들어가지 않는다. 크기 기울기는 상대 크기로, 밀도 기울기는 상대 밀도로 흡수된다. 압축 기울기는 심리적 효력이 미약하다는 이유로 목록에서 명시적으로 제외되었고, 그 근거로 든 것이 커팅과 밀러드의 1984년 연구다. 따라서 아홉 단서 순위 안에서 결 기울기의 등수를 말하는 것은 목록을 잘못 옮긴 것이다. 선 원근도 사정이 같다. 실제로 평행한 직선들이 상에서 한 소실점으로 수렴하는 현상이고, 알베르티가 1435년에 작도법으로 체계화한 이래 회화의 기본 문법이 되었다. 소실점의 상 좌표는 방향 벡터의 가로 성분과 세로 성분을 각각 깊이 성분으로 나눈 뒤 초점거리를 곱한 값이다. 깊이 성분이 0인 방향, 즉 상면에 평행한 방향에는 유한한 소실점이 존재하지 않는다. 방향 벡터에 초점거리를 곱한 3차원 벡터를 소실점이라고 적으면 차원이 맞지 않는다. 정보량은 크다. 소실점은 그 선들의 3차원 방향을 알려준다. 수평면의 소실선인 지평선은 관찰자의 눈높이를 알려준다. 지평선이 보이면 하강각 단서가 곧바로 작동한다. 대가는 가정 의존성이다. 이 선들이 실제로 평행하고 이 모서리가 직각이라는 강한 사전 가정을 넣어야 쓸 수 있다. 에임스 방은 바로 이 가정을 공격해 만든 착시다. 사다리꼴 방을 직육면체로 가정하는 순간 그 안의 사람 크기가 두 배로 달라 보인다. 사전 가정이 강한 단서는 맞을 때 강력하고 틀릴 때 크게 틀린다. 커팅과 비시턴이 선 원근을 아홉 정보원에 넣지 않은 이유도 여기에 있다. 그들은 선 원근을 결 기울기들과 가림의 조합으로 환원해 별도 논의를 생략했다. 증강현실에서 결 기울기는 사실상 공짜다. 텍스처를 입히고 원근 투영으로 렌더링하면 세 성분이 물리적으로 정확히 나온다. 주의할 점은 충돌이다. 가상으로 깔아 놓은 표면과 그 아래 비쳐 보이는 실제 표면이 서로 다른 경사를 주장하면 두 표면이 분리되어 보인다. 선 원근에서 주의할 점은 투영 행렬이다. 렌더 카메라의 시야각과 왜곡이 헤드셋 광학의 실제 값과 일치해야 한다. 어긋나면 개별 물체의 오차가 아니라 공간 전체의 왜곡이 생기고, 사용자는 원인을 짚어내지 못한다. 다만 왜곡의 방향을 단순하게 말할 수는 없다. 어느 시야각을 고정 기준으로 잡는지, 관찰자가 불일치를 부분적으로 보정하는지에 따라 부호가 갈린다. 실측 문헌은 기하 시야각이 디스플레이 시야각보다 큰 축소 조건에서 지각 거리가 늘어난다고 보고하는 쪽이다. 참고로 인간의 양안 수평 시야는 약 200도이고 고해상 중심시는 약 2도에 불과하다. 헤드셋의 좁은 시야가 무엇을 잘라내는지 가늠할 때 이 두 값을 나란히 놓으면 된다. [10][11] ### 공기가 쓰는 거리계 대기 중의 분자와 에어로졸이 빛을 산란시킨다. 멀리 있는 물체일수록 대비가 낮고 밝으며 푸르스름해진다. 코슈미더가 1924년에 수평 시정 이론을 세우며 정리한 법칙이 이 감쇠를 기술한다. 거리를 지난 물체의 대비는 초기 대비에 지수 감쇠 항을 곱한 값이 된다. 지수의 계수가 소광계수다. 여기서 반드시 구분해야 할 것이 시정의 정의다. 서로 다른 두 규약이 통용된다. 코슈미더의 시각 역치 규약은 대비가 인간의 역치인 2퍼센트까지 떨어지는 거리를 시정으로 삼고, 이 경우 시정은 자연로그 50, 즉 3.912를 소광계수로 나눈 값이다. 반면 기상 관측에서 쓰는 기상광학거리는 투과율 5퍼센트를 기준으로 하므로 자연로그 20, 즉 2.996을 쓴다. 기상청이 발표한 시정 수치에 3.912를 적용하면 소광계수를 약 30퍼센트 과대추정하고, 뒤따르는 대비 감쇠 값이 전부 과장된다. 기상 규약을 일관되게 적용해 계산한 값이 다음과 같다. 맑은 날 시정 20킬로미터는 소광계수 미터당 약 1.50에 10의 마이너스 4승을 곱한 값에 해당하고, 짙은 안개 시정 200미터는 미터당 약 1.50에 10의 마이너스 2승을 곱한 값에 해당한다. | 조건 | 물체 거리 | 대비 감소율 | |---|---|---| | 맑은 날, 시정 20km | 100m | 약 1.5% | | 맑은 날, 시정 20km | 1km | 약 13.9% | | 맑은 날, 시정 20km | 10km | 약 77.7% | | 짙은 안개, 시정 200m | 50m | 약 53% |표 출처: [12] (본문 기준으로 재구성)
이 지수 법칙의 함의가 중요하다. 맑은 날에는 소광계수가 너무 작아서 수십 미터 안에서는 감쇠가 측정 불가 수준이다. 대기 원근은 원리적으로 먼 거리 전용 단서다. 커팅과 비시턴의 분석에서 유일하게 멀어질수록 상대적 유용성이 올라가는 항목이 이것이다. 반대로 안개나 미세먼지가 짙으면 소광계수가 백 배 커져 근거리에서도 강하게 작동한다. 이때 거리 판단은 체계적으로 왜곡되어 실제보다 멀게 보인다. 프라이와 브리지먼, 엘러브록이 1949년에 대기 산란이 양안 깊이 지각에 미치는 영향을 측정한 연구가 이 왜곡을 다룬 이른 예다. 산이 겹겹이 선 수묵화에서 뒤로 갈수록 먹이 옅어진다. 화가는 공기가 하는 일을 흉내 낸 것이고, 우리 눈은 그 흉내를 진짜 거리로 읽는다. 증강현실에서 이 단서의 재현 가능성은 렌더링 방식에 따라 갈린다. 비디오투과 방식은 안개 효과를 그냥 그리면 된다. 광학투과 방식은 실세계 빛에 가상 빛을 더하기만 하는 가산 합성이므로 대비를 낮추는 조작을 물리적으로 수행할 수 없다. 멀리 있는 가상 물체를 흐릿하게 만들려면 빛을 빼야 하는데 그럴 수단이 없다. 가림 문제와 같은 뿌리에서 나오는 한계다. [12] ### 발밑의 그림자 물체가 지면에 드리우는 그림자는 접촉 여부를 알려준다. 접촉하지 않는다면 얼마나 떠 있는지도 알려준다. 커스틴과 마마시안, 닐이 1997년에 보고한 이른바 상자 속 공 실험이 이 단서의 힘을 극적으로 보여준다. 공의 상 자체는 전혀 건드리지 않고 그림자의 궤적만 대각선으로 바꾼다. 그러면 관찰자는 같은 영상에서 공이 수평으로 굴러가는 대신 위로 떠오르며 뒤로 물러나는 것을 본다. 그림자가 물체의 크기와 위치 단서를 이긴 것이다. 마마시안과 닐, 커스틴이 1998년에 정리한 개관이 이 결과의 이론적 함의를 다룬다. 음영은 별개의 정보다. 표면의 곡률과 볼록·오목을 알려주지만 조명 방향이 모호해 그 자체로는 양의적이다. 라마찬드란이 1988년에 보인 대로 뇌는 빛이 위에서 온다는 사전 가정으로 이 모호성을 해소한다. 같은 음영 패턴을 180도 돌리면 볼록이 오목으로 뒤집힌다. 그림자 가장자리의 번짐, 즉 반그림자에는 높이 정보가 들어 있다. 번짐 폭은 광원의 각크기와 광선 경로 길이의 곱으로 결정된다. 태양의 각지름은 평균 약 0.53도이고 근일점과 원일점 사이에서 0.524도에서 0.542도로 변한다. 기준 길이는 물체의 높이가 아니라 물체 가장자리에서 그림자까지의 광선 경로 길이라는 점에 주의해야 한다. 태양이 천정에 있을 때는 두 값이 같아지므로 지면에서 1미터 떠 있는 물체의 번짐 폭이 약 9.3밀리미터, 10센티미터 떠 있으면 약 0.9밀리미터가 된다. 태양 고도가 낮아지면 번짐이 지면에 비스듬히 투영되어 폭이 대략 고도의 사인값에 반비례해 늘어난다. 고도 40도에서 약 14밀리미터, 고도 20도에서 약 27밀리미터다. 무대 위 배우의 발밑을 보면 알 수 있다. 그림자가 발에 붙어 있으면 바닥을 딛고 선 것이고, 그림자가 발에서 떨어져 뒤에 있으면 공중에 떠 있는 것이다. 관객은 배우를 보지 않고 그림자를 보고 판단한다. 단서 강도로는 그림자가 약한 편이다. 그러나 공중에 뜬 물체처럼 지면 접촉 단서가 없는 경우에는 사실상 유일한 단서가 된다. 증강현실에서 접지 그림자 하나만 정확히 넣어도 떠 있는 느낌이 극적으로 줄어든다. 문제는 실세계 조명을 추정해야 한다는 점이다. 광원 방향과 색온도, 확산 정도를 모르면 그림자가 거짓말을 한다. 애플의 증강현실 프레임워크와 구글의 증강현실 프레임워크가 환경 조명을 구면조화 계수 형태로 추정해 제공하는 이유다. 실내 다중 광원 환경에서 이 추정이 실패하면 가상 물체가 즉시 이물감을 준다. [13] ### 세 개의 공간 커팅과 비시턴이 1995년에 한 기여는 새 단서를 발견한 것이 아니다. 아홉 정보원을 하나의 공통 척도로 비교 가능하게 만든 것이다. 그들은 각 단서에 대해 판별 가능한 최소 깊이 역치를 정의하고, 이를 관찰 거리에 대해 로그 대 로그 평면에 겹쳐 그렸다. 용어를 정확히 쓸 필요가 있다. 이들의 측도는 판별 가능한 최소 깊이 역치이고, 깊이 대비라는 말은 이들의 용어가 아니다. 그것은 별개의 입체시 유도 현상을 가리킨다. 원문의 핵심 도판은 두 장이고 구역별 단서 순위는 표로 제시된다. 아홉 정보원의 목록은 다음과 같다. 가림, 상대 크기, 상대 밀도, 시야 내 높이, 대기 원근, 운동 원근, 양안시차, 수렴, 조절이다. 수렴과 조절은 별개 항목이며, 결 기울기와 선 원근, 그림자는 목록에 들어가지 않는다. 로그 대 로그 평면에 그리면 단서마다 다른 기울기의 직선이 나온다. 가림은 거의 수평선이다. 거리와 무관하다는 뜻이다. 양안시차와 수렴, 운동 원근, 시야 내 높이는 거리 제곱 계열로 가파르게 악화한다. 상대 크기와 상대 밀도는 거리의 1승 계열로 완만하게 악화한다. 대기 원근만 홀로 오른쪽 아래로 향한다. 멀수록 좋아지는 유일한 단서다. 이 직선들이 교차하는 지점들이 공간을 세 구역으로 나눈다. 개인공간은 팔이 닿는 약 2미터까지다. 행동공간은 즉시 걸어가거나 물건을 던질 수 있는 약 30미터까지다. 30미터라는 경계는 임의로 정한 값이 아니다. 양안시차와 운동 원근의 유용성이 10퍼센트 깊이 역치에 도달하는 거리가 그쯤이다. 그 너머가 조망공간이다. 구역이 바뀌면 상위 단서의 순서가 바뀐다는 것이 결론이다. | 구역 | 범위 | 상위 단서 순서 | |---|---|---| | 개인공간 | 약 0~2m | 가림, 양안시차, 상대 크기, 수렴, 조절, 운동 원근 | | 행동공간 | 약 2~30m | 가림, 시야 내 높이, 양안시차, 운동 원근, 상대 크기 | | 조망공간 | 30m 이상 | 가림, 시야 내 높이, 상대 크기, 대기 원근 |표 출처: [14] (본문 기준으로 재구성)
이 표를 읽을 때 신뢰 수준을 구분해야 한다. 세 구역의 경계와 가림이 모든 구역에서 1위라는 사실, 조망공간에서 대기 원근이 부상한다는 사실은 확고하다. 그러나 각 구역 3위 이하의 정확한 배열은 로그 대 로그 그래프에서 읽어내는 값이라 해석의 여지가 있다. 특히 운동 원근과 상대 크기의 상대적 위치가 그렇다. 같은 지도라도 축척을 바꾸면 쓸모 있는 정보가 달라진다. 1대 500 도면에서는 문이 열리는 방향이 보이고 1대 5만 도면에서는 산맥이 보인다. 거리대가 바뀌면 뇌가 신뢰하는 단서도 그렇게 교체된다. 설계로 옮기면 함의가 분명하다. 커팅이 1997년에 실재와 가상 실재를 눈이 어떻게 재는지 비교한 후속 논의에서 짚은 대로, 목표 거리대가 무엇을 정확히 만들어야 하는지를 결정한다. 손 앞 작업 거리인 30센티미터에서 70센티미터는 조절과 수렴 문제가 지배하므로 가변초점 광학이 필수적이다. 실내 배치 거리인 2미터에서 10미터는 가림과 지면 평면, 양안시차 정합이 승부처다. 30미터 이상의 야외 안내는 가림과 크기, 고도 정합만 맞으면 되고 초점은 사실상 무관하다. 하나의 기기로 세 구역을 모두 잘하기는 원리적으로 어렵다. [14] ### 증인들이 서로 다른 말을 할 때 여러 단서가 각기 다른 깊이를 주장할 때 뇌는 두 가지 방식 중 하나를 쓴다. 불일치가 작으면 신뢰도 가중 평균을 취한다. 각 단서의 추정치에 그 분산의 역수를 가중치로 걸어 더하는 방식이다. 랜디와 맬로니, 존스턴, 영이 1995년에 약한 융합 모형으로 정식화한 구조이고, 통계학에서는 최대우도추정에 해당한다. 이 방식의 이점은 정밀도 향상이다. 통합 추정치의 분산의 역수는 개별 분산 역수의 합이 된다. 즉 단서가 늘면 정밀도가 오른다. 숫자를 정확히 써야 하는 지점이 여기다. 분산이 같은 두 단서를 결합하면 통합 분산은 절반이 된다. 정밀도를 분산의 역수로 정의하는 표준 용법에서는 정밀도가 정확히 두 배, 즉 100퍼센트 향상이다. 표준편차는 1을 2의 제곱근으로 나눈 값, 약 0.71배가 되므로 29퍼센트 감소다. 정밀도가 41퍼센트 향상된다는 표현은 표준편차의 역수를 정밀도라 부른 결과이고 지표를 섞어 쓴 것이다. 결정적으로 가중치는 고정되어 있지 않다. 상황에 따라 재계산된다. 거리가 멀어지면 시차의 분산이 커지므로 그 가중치가 자동으로 떨어진다. 에른스트와 뱅크스가 2002년에 시각과 촉각의 크기 판단에서 실측 통합 분산이 이 예측과 일치함을 보였다. 통합의 방식에도 조건이 있다. 힐리스와 에른스트, 뱅크스, 랜디가 2002년에 보인 대로 같은 감각 양상 안의 단서들은 강제로 융합되어 개별 단서에 대한 접근 자체가 사라지고, 감각 양상이 다르면 개별 접근이 남는다. 불일치가 크면 평균이 깨지고 거부가 일어난다. 한 단서가 다른 단서를 완전히 기각하는 것이다. 가림이 전형적인 거부 단서다. 시차가 가상 물체를 뒤에 놓으라고 말해도 가림이 앞이라고 말하면 대개 가림이 이긴다. 때로는 두 해석이 모두 무너져 물체가 종잇장처럼 납작해 보이기도 한다. 여기서 흔한 혼동을 정리해 둔다. 평균과 거부를 가르는 기준을 파눔 융합역으로 잡는 설명이 있는데 그것은 두 원리를 섞은 것이다. 파눔 융합역은 양안 단일시의 한계, 즉 이중상이 시작되는 경계다. 단서 간 가중 평균과 거부를 가르는 기준이 아니다. 융합역을 넘어도 시차는 정성적 깊이를 계속 제공하고, 약한 융합 모형의 거부 항도 융합역으로 매개되지 않는다. 여러 증인의 진술을 신빙성에 따라 가중 평균하는 재판정을 떠올리면 된다. 대개는 평균으로 사실을 재구성한다. 그러나 결정적 물증이 나오면 어긋나는 증언은 평균에 섞이지 않고 그냥 기각된다. 증강현실은 필연적으로 단서를 충돌시킨다. 조절은 화면을 가리키고 수렴은 가상 거리를 가리킨다. 가림은 무조건 앞을 주장한다. 그래서 설계 전략이 두 갈래로 갈린다. 하나는 충돌하는 단서의 신뢰도를 의도적으로 낮추는 길이다. 초점 흐림을 렌더링으로 흉내 내 조절 단서의 분산을 키우고, 콘텐츠를 초점면 근처에 두어 충돌 자체를 줄인다. 다른 하나는 가장 강한 단서를 정확히 맞춰 나머지를 끌고 가는 길이다. 가림과 접지 그림자, 지면 정합에 우선 투자한다. 모든 단서를 다 맞추려는 시도보다 이 우선순위 판단이 실제 품질을 가른다. [15] ### 무엇을 속일 수 있고 무엇을 못 속이는가 이론이 예측하는 왜곡은 실측으로 확인된다. 다만 인용을 정확히 해야 한다. 레너와 벨리치코프스키, 헬머트가 2013년에 가상환경의 자기중심 거리 지각에 관한 문헌을 개관했다. 이들이 제시한 수치는 지각된 거리가 모델 거리의 평균 약 74퍼센트라는 것이다. 이 값은 헤드셋 가상현실에 한정된 값이 아니라 가상환경 전반의 평균이다. 그리고 이 논문은 메타분석이 아니라 서술형 문헌 개관이다. 연구 간 분포를 60에서 90퍼센트로 제시하는 인용을 종종 보게 되는데, 그 범위는 원문에 없다. 광학투과 증강현실은 사정이 다르다. 실세계가 그대로 보이므로 압축이 덜하지만, 패턴이 단조롭지 않다. 스완과 존스, 콜스태드, 리빙스턴, 스몰먼이 2007년에 광학투과 방식의 자기중심 깊이 판단을 측정한 결과가 두 갈래로 나온다. 3미터에서 7미터 구간의 블라인드 워킹 과제에서는 과소추정이 가상현실보다 작았다. 5미터에서 45미터 구간의 지각적 매칭 과제에서는 약 23미터를 경계로 편향의 방향이 과소추정에서 과대추정으로 전환되었다. 따라서 증강현실에서도 거리가 압축된다고 단정할 수 없다. 조건을 명시하지 않은 압축 진술은 근거가 없다. 엘리스와 멩게스가 1998년에 근거리 가상 물체의 정위를 측정한 연구도 근거리에서는 별도의 편향 구조가 있음을 보인다. 원인은 하나가 아니다. 좁은 시야각으로 주변 시야의 광류와 지면 단서가 잘려 나간다. 초점면이 고정되어 있다. 눈 사이 거리 설정이 부정확하다. 렌더 시야각과 광학 시야각이 어긋난다. 기기의 무게와 관성이 자세와 머리 움직임을 바꾼다. 이 모두가 기여한다. 단서별 재현 난이도로 정리하면 세 등급이 나온다. | 등급 | 단서 | 조건 | |---|---|---| | 쉬움 | 선 원근, 상대 크기, 상대 밀도, 결 기울기, 양안시차, 수렴 | 올바른 투영 행렬과 정확한 모델 스케일만 있으면 물리적으로 정확히 나온다 | | 중간 | 운동 원근, 그림자, 시야 내 높이 | 각각 추적 정확도와 지연, 실세계 조명 추정, 지면 평면 추정에 종속된다 | | 어려움 | 가림, 조절, 대기 원근의 대비 저하 | 광학투과에서는 앞뒤 둘이 원리적으로 불가에 가깝고, 대비 저하는 가산 합성에서 불가능하다 |표 출처: [16] (본문 기준으로 재구성)
지연 예산도 함께 두어야 한다. 움직임에서 발광까지의 총 지연은 통상 20밀리초 이하를 권장치로 쓴다. 사람이 지연을 검출하는 역치는 연구에 따라 약 3밀리초에서 17밀리초까지 보고되는데, 실험 과제와 자극, 측정법이 크게 달라 단일 수치로 제시할 수 없다. 어떤 과제에서 측정한 값인지를 함께 밝혀야 의미가 있다. 정합 오차로 환산하면 감각이 잡힌다. 머리 회전 100도/초에서 지연 10밀리초는 각도 오차 1.0도이고, 팔 길이 0.6미터 지점에서 약 10.5밀리미터의 어긋남이다. 잘 지은 무대 세트도 관객이 자리에서 한 걸음만 옆으로 나오면 들통난다. 증강현실의 깊이는 그 세트이고, 사용자의 머리는 잠시도 가만있지 않는 관객이다. 실용적 결론은 투자 배분이다. 쉬움 등급 단서를 개선하는 일은 이미 포화 상태다. 렌더링 품질을 더 올려도 깊이 정확도는 거의 개선되지 않는다. 실제 병목은 어려움 등급의 세 항목과 중간 등급의 추적 지연이다. 기술 로드맵을 읽을 때 물어야 할 질문은 하나로 압축된다. 이 신기술이 어느 단서를 되살리는가. 그 답이 나오면 가치 평가는 즉시 끝난다. 깊이는 눈에 들어오지 않는다. 망막에서 사라진 거리를 뇌가 열 개 남짓한 불완전한 증인의 진술로 다시 세우고, 증강현실은 그 증인석에 위조된 진술을 끼워 넣는다. 그러므로 이 기술의 한계는 화면의 해상도나 모델의 정교함에 있지 않고 증인 명부에 적혀 있다 — 어떤 증인은 소프트웨어로 매수되고, 어떤 증인은 광학을 다시 설계하지 않는 한 결코 매수되지 않는다. [16]본문의 번호를 누르면 출처로 이동합니다. 절 끝의 번호는 그 절의 사실 자료를, 표 아래의 번호는 표에 사용한 자료를 가리킵니다. 비교·계산·비유와 결론은 필자의 재구성입니다. 한 번호에 함께 사용한 문헌이 둘 이상이면 묶어서 적었습니다.
서지정보와 확인 메모는 옵시디언 조사 기록을 바탕으로 복원했습니다. 원 기록의 ‘전문 확인’·‘조회’ 표기는 당시 조사 상태이며 이번 웹판에서 모두 재검증했다는 뜻은 아닙니다. 불완전한 서지사항은 임의로 채우지 않았습니다.
표 출처: [2] (본문 기준으로 재구성)
이 표에서 읽어야 할 것은 순위가 아니라 자릿수다. 자유공간 결합기와 회절 도파관 사이에 다섯 배 이상의 차이가 있다. 도파관은 두께를 얻는 대가로 빛을 버린다. 그리고 안경형 기기에서 버린 빛은 곧 배터리다. 같은 밝기를 내려면 광엔진을 더 세게 돌려야 하고, 그만큼 전력과 발열이 늘어난다. 이 표는 자주 잘못 인용된다. 반사형 결합기의 50% 미만이라는 수치를 루머스 방식에 붙이는 오류가 흔하다. 50% 미만은 자유형 거울과 자유형 프리즘, 즉 자유공간 결합기의 값이다. 루머스가 쓰는 계단식 거울 도파관은 20% 미만이다. 반사형이 회절형보다 효율이 높다는 결론 자체는 유지되지만, 배수는 다섯 배 안쪽이다. 다음은 nit/lm이다. 시옹 외 4인이 2021년 『Light: Science & Applications』 10권 216번 논문에서 계산한 값들, 그리고 실제 측정값을 함께 놓으면 이렇다. | 조건 | 결합기 효율 | 성격 | |---|---|---| | 하프미러 투과율 50% + 나머지 광학계 효율 50% | 약 4,200 nit/lm | 기하광학 설계 추정 | | 대각 60도 + 10mm 정사각 출사동 | 약 17,000 nit/lm | 이론적 최댓값 | | 동공 추적형, 80도×80도 + 4mm 동공 | 최대 47,000 nit/lm | 이론적 최댓값 | | 단층 풀컬러 SiC 회절 도파관 | 175.45 nit/lm | 실측값 |표 출처: [2] (본문 기준으로 재구성)
> AR displays based on traditional geometric optics have a relatively simple design with a decent FoV (~60°) and eyebox (8 mm) … we assume 50% of half-mirror transmittance and the efficiency of other optics to be 50% … the final combiner efficiency is about 4200 nit/lm. > > 전통적 기하광학에 기반한 AR 디스플레이는 설계가 비교적 단순하면서도 쓸 만한 시야각(약 60도)과 아이박스(8mm)를 갖는다. … 하프미러 투과율을 50%, 나머지 광학계의 효율을 50%로 가정하면 … 최종 결합기 효율은 약 4,200 nit/lm이다. (Xiong 외, 2021) 여기서 조건을 섞지 않도록 주의해야 한다. 위 인용문의 8mm는 기하광학 설계가 통상 확보하는 아이박스를 서술한 값이다. 반면 17,000 nit/lm이라는 이론적 최댓값은 같은 논문이 10mm 정사각 출사동을 가정해 계산한 별개의 숫자다. 두 조건을 한 문장에 섞어 "60도 대각과 8mm 아이박스에서 17,000 nit/lm"이라고 적으면 틀린다. 조건이 달라지면 이 지표는 의미를 잃는다. 마지막 줄의 175.45 nit/lm도 성격이 다르다. 앞의 세 줄은 이상적인 가정 아래의 상한이고, 이것은 실제로 만들어 재본 값이다. 상한과 실측을 같은 열에 놓고 우열을 매기면 안 된다. 다만 자릿수의 격차는 그대로 읽을 가치가 있다. 실물은 이론적 상한의 100분의 1 근처에 있다. [2] ### 부피를 눈앞에서 옆으로 옮기다 2015년 1월에 발표되고 2016년 3월 30일에 개발자판이 출하된 마이크로소프트 홀로렌즈는 결합기를 눈앞에서 옆으로 치웠다. LCoS 마이크로 디스플레이가 만든 상을 회절 격자로 얇은 유리판 안에 꺾어 넣는다. 유리 안에 들어간 빛은 전반사로 판 내부를 옆으로 이동한다. 눈앞에 도달하면 출력 격자를 만나 다시 꺾여 밖으로 나온다. 사용자 눈앞에 남는 것은 유리판 한 장의 두께뿐이다. 전반사가 이 구조의 심장이다. 밀한 매질에서 소한 매질로 빛이 나갈 때, 입사각이 어떤 값보다 크면 빛은 밖으로 나가지 못하고 100% 되돌아온다. 그 값을 임계각이라 하고, 굴절률 n인 유리와 공기 사이에서는 arcsin(1/n)이다. 유리판 안에서 임계각보다 큰 각도로 벽에 부딪히는 빛만 갇혀 이동한다. 이 조건이 뒤에서 시야각의 상한을 정한다. 도파관의 두 번째 장치는 출사동 확장이다. 격자는 빛을 한 번만 꺾어 내보내지 않는다. 지나가는 빛의 일부만 꺾고 나머지는 계속 보내며, 이 과정을 반복해 빛을 여러 갈래로 복제한다. 그 결과 출력 격자의 넓은 면적에서 같은 상이 동시에 나온다. 작은 광엔진으로도 눈이 조금 움직여도 상이 사라지지 않는 영역, 즉 아이박스를 만들 수 있다. 대가도 있다. 회절각은 파장에 따라 다르다. 같은 격자에 빨강과 파랑을 넣으면 다른 각도로 꺾인다. 그래서 초기 회절 도파관은 색마다 판을 따로 두어야 했고, 판이 늘면 두께와 무게와 투과율이 함께 나빠진다. 홀로렌즈 1의 사양은 다음과 같다. | 항목 | 값 | |---|---| | 시야각 | 수평 30도 × 수직 17.5도, 대각 약 34도 | | 각해상도 | 약 41 PPD | | 무게 | 579g | | 가격 | 3,000달러 (개발자판) |표 출처: [3] (본문 기준으로 재구성)
화소 수를 적지 않은 이유가 있다. 마이크로소프트의 공식 표현은 화소가 아니라 총 광점 230만 개였다. 한쪽 눈 1268×720이라는 값이 널리 인용되지만, 이것을 양안 합계 230만 화소와 나란히 적으면 산수가 맞지 않는다. 1268×720×2는 약 183만이다. 두 숫자는 같은 것을 재지 않으므로 병기하면 안 된다. 각해상도 수치도 출처마다 갈린다. 카를 구태그는 2016년 글에서 화소당 약 1.41 각분이라 적었고, 2018년 글에서는 같은 기기를 약 1.78 각분으로 적었다. 수직 기준으로 환산하면 1.46 각분이 나온다. 이 가운데 반복 확인되는 값은 2020년 글의 약 41 PPD다. 한 사람의 측정치가 기사마다 갈린다는 사실 자체가 이 분야 수치를 다룰 때의 기본 태도를 정해준다. > Microsoft HoloLens: 1268×720 pixels per eye with 30×17.5° FOV = about 1.41 arc-minutes per pixel. > > 마이크로소프트 홀로렌즈: 한쪽 눈당 1268×720 화소에 30도×17.5도 시야각으로, 화소당 약 1.41 각분이다. (Guttag, 2016) 홀로렌즈 1을 회절 도파관의 첫 상용화라고 부르는 것은 과장이다. 소니 스마트아이글래스 개발자판은 홀로그래픽 도파관을 쓰고 2015년 3월에 판매를 시작했다. BAE 시스템스의 큐사이트는 홀로그래픽 도파관 헬멧 디스플레이로 2000년대 후반에 군용 실전 배치를 마쳤다. 홀로렌즈 1은 첫 제품이 아니라 이 방식을 대중이 처음 인지한 제품이다. 사용 경험의 한계는 시야각이었다. 수평 30도와 수직 17.5도는 엽서 한 장을 팔 길이만큼 떨어뜨려 든 정도다. 가상 물체가 조금만 커지면 화면 경계에서 싹둑 잘린다. 세상을 덮는다는 표현과 실제 체험 사이의 거리가 여기서 벌어졌다. [3] ### 화소가 없는 화면 2019년 2월 MWC에서 발표되고 같은 해 11월 7일에 출시된 홀로렌즈 2는 광엔진 방식 자체를 바꾼 유일한 상용 사례다. 패널을 쓰지 않는다. 레이저 두 줄기와 흔들리는 미세 거울로 상을 그린다. 빠른 축 거울이 초당 5만 4천 번 좌우로 흔들리며 한 줄씩 훑고, 느린 축 거울이 위아래로 움직여 화면을 채운다. 화소는 물리적으로 존재하지 않는다. 레이저 밝기를 시간축으로 변조해 만들어낸다. 이 방식은 장점이 뚜렷하다. 레이저는 파장이 좁아 회절 도파관의 색분산 문제에 유리하다. 광엔진이 극히 작다. 광효율은 40 lm/W로 모든 광엔진 방식 가운데 가장 높다. 마이크로소프트는 이 방식으로 시야각을 대각 34도에서 52도로 넓혔다. 시야각 발표 방식에 함정이 있었다. 마이크로소프트는 홀로렌즈 1의 두 배라고 발표했는데, 이는 면적 기준이다. 선형 배율을 제곱한 값이다. 선형으로는 약 1.5배다. 대각 52도를 화면비로 분해하는 대목에서도 혼선이 있었다. 널리 인용되는 수평 41.6도 × 수직 31.2도는 4:3 화면비를 가정해 유도한 값이고 이후 정정되었다. 마이크로소프트 공식 사양은 2k 3:2 광엔진이므로 3:2 기준으로 52도 대각을 분해하면 약 43.3도 × 28.9도, 통상 보고되는 43도 × 29도가 된다. 정작 문제는 해상도였다. 스캐닝은 시야각을 넓히면 같은 스캔 횟수를 더 넓은 각도에 펴는 것이다. 화소밀도가 그대로 희석된다. 60Hz에서 프레임당 900사이클 가운데 실제 표시에 쓰이는 것은 약 720사이클이고, 화면 중앙 실측 주사선은 854줄, 유효 해상도는 600줄 수준으로 보고되었다. 마이크로소프트 측은 47 PPD를 주장했으나 독립 측정은 20 PPD에 미치지 못했다. 화소당 약 3 각분이다. > Alex Kipman claimed HoloLens 2 had 47 pixels per degree, but independent testing revealed it actually delivered less than 20 pixels per degree … Hololens 2 uses Laser Beam Scanning (LBS), which resulted in a horrible image. > > 알렉스 킵맨은 홀로렌즈 2가 도당 47화소라고 주장했으나, 독립적인 측정 결과 실제로는 도당 20화소에도 미치지 못했다. … 홀로렌즈 2는 레이저 빔 스캐닝을 사용했고, 그 결과는 형편없는 이미지였다. (Guttag, 2019) 주의할 점이 있다. 위의 주사선 854줄, 유효 600줄, 47 PPD 대 20 PPD 미만이라는 대조는 구태그의 2019년 2월과 2020년 7월 글에서 나온 것으로 인용되지만, 이번 확인 작업에서 해당 두 글의 본문에 직접 접근하지 못했다. 같은 블로그의 다른 글들은 정상 확인되었으므로 글이 없다는 뜻은 아니다. 다만 1차 확인이 끝나지 않은 수치로 취급해야 한다. 홀로렌즈 2가 남긴 진짜 교훈은 논쟁이 아니다. 마이크로소프트 공식 자료가 화소 수를 직접 밝히지 않고 2k 3:2 광엔진, 2.5k 라디안트 초과라는 표현만 쓴 것이 논쟁의 근원이었다. 레이저 스캐닝에는 물리적 화소가 없으므로 화소 수라는 개념 자체가 모호하다. 그러나 사용자가 체감하는 것은 선명함이고, 그것은 각해상도로 재야 한다. 물리적 화소가 없다는 사실은 화소밀도를 밝히지 않을 이유가 되지 못한다. 기기의 나머지 사양은 무게 566g, 스냅드래곤 850, 가격 3,500달러다. 단종되었고 소프트웨어 지원은 2027년 12월 31일까지다. 단종 연도는 확인되지 않았다. [4] ### 깊이를 광학으로 만들려 한 시도 눈은 두 가지 일을 동시에 한다. 두 눈이 한 점으로 모이는 수렴, 그리고 수정체가 두께를 바꿔 초점을 맞추는 조절이다. 실세계에서 이 둘은 항상 같은 거리를 가리킨다. 초점면이 하나뿐인 디스플레이는 이 짝을 깨뜨린다. 가상 물체가 50cm 앞에 있다고 두 눈은 모이는데, 초점은 광학계가 정해둔 거리에 고정된다. 이 불일치가 피로와 어지러움의 원인이다. 홀로렌즈 1의 초점이 약 2m에 고정되었다는 서술이 널리 퍼져 있는데, 이 수치는 인용되는 출처에서 확인되지 않는다. 2017년 12월에 공개되고 2018년 8월에 출시된 매직리프 원은 이 문제를 광학으로 풀려 한 유일한 상용 시도다. 도파관 판을 여섯 장 쌓았다. RGB 세 색에 초점면 두 개를 곱한 수다. 같은 색을 서로 다른 초점거리로 내보내는 도파관 쌍을 만들어, 가까운 물체는 가까운 초점면에 그리고 먼 물체는 먼 초점면에 그린다. 눈이 실제로 초점을 바꿔야 선명해지므로 수렴과 조절이 어느 정도 다시 맞는다. 입력 격자도 여섯 개, LED도 여섯 개였다. | 항목 | 값 | 확인 상태 | |---|---|---| | LCoS 패널 | 1280×960 (4:3) | 티어다운 확인 | | 초점면 | 2개 | 티어다운 확인 | | LED · 입력 격자 | 각 6개 | 티어다운 확인 | | 도파관 층수 | 6층 | iFixit 근거, 2차 | | 시야각 (실측) | 대각 약 45도, 수평 약 40도 | 구태그 실측 | | 시야각 (제조사) | 약 50도 | 마케팅 값 | | 밝기 | 약 220 nit | 구태그 2018년 10월 측정 |표 출처: [5] (본문 기준으로 재구성)
> Two Focus Planes For VAC … only 2 planes of depth … The resolution is 1280×960. > > 수렴-조절 불일치를 위한 두 개의 초점면 … 깊이 평면은 단 2개뿐 … 해상도는 1280×960이다. (Guttag, 2018) 이 표에서 시야각 두 줄을 나란히 둔 이유가 있다. 널리 인용되는 약 50도는 제조사 마케팅 값이고, 실측은 대각 약 45도와 수평 약 40도다. 같은 측정에서 홀로렌즈 1은 대각 35도와 수평 30도, 루머스 개발킷은 약 35도로 나왔다. 제품 사양표의 시야각과 실제로 보이는 시야각은 같은 숫자가 아니다. 밝기 약 220 nit는 실내에서도 어두운 수준이다. 이 수치의 출처도 정확히 짚어둘 필요가 있다. 흔히 2018년 8월의 티어다운 기사로 인용되지만 그 글에는 밝기 측정값이 없다. 220 nit는 2018년 10월 22일의 해상도 비교 글에서 나온다. 결과는 절반의 성공이었다. 초점면 두 개는 연속적인 깊이가 아니다. 사실상 가까움과 멂 두 단계다. 필드 시퀀셜 방식이라 머리나 눈을 움직이면 흰색이 적·녹·청으로 갈라지는 색분리가 보였다. 무엇보다 판이 여섯 장이면 두께, 무게, 투과율, 단가가 모두 무너진다. 매직리프 2에서 이 구조는 폐기됐다. [5] ### 굴절률이라는 지렛대 도파관의 시야각 상한은 전반사 조건에서 나온다. 굴절률 n인 유리 안에서 임계각은 arcsin(1/n)이다. 굴절률이 높으면 임계각이 작아지고, 갇힐 수 있는 입사각의 범위가 넓어진다. 그 각도 범위가 곧 눈으로 내보낼 수 있는 각도 범위, 즉 시야각의 상한이다. 시야각을 넓히는 유일한 재료적 수단이 굴절률이다. 여기서 정직하게 밝혀야 할 공백이 있다. 굴절률 n을 넣으면 최대 시야각이 나오는 닫힌 형태의 공식을, 이번 조사에서 1차 문헌으로 확인하지 못했다. 임계각이 arcsin(1/n)이라는 사실과 굴절률이 높을수록 시야각이 넓어진다는 정성적 관계는 확실하다. 제품별 실측 대응도 확보되어 있다. 그러나 n=1.5이면 최대 몇 도라는 계산식은 확인되지 않았다. 그래서 여기서는 공식 대신 대응표로 서술한다. | 재료 · 제품 | 굴절률 | 달성 시야각 | |---|---|---| | 표준 도파관 유리 | n_d = 1.50 ± 0.03 | — | | 고굴절 유리 | n_d = 1.7 ~ 1.8 | 50도 전후 | | 최근 상용 고굴절 유리 | n_d ≥ 1.9 | — | | 매직리프 2 (고굴절 유리) | n = 2.0 | 약 70도 | | 메타 오리온 (탄화규소) | n ≈ 2.6 | 70도 | 2021년 10월에 예고되고 2022년 9월에 출시된 매직리프 2는 이 지렛대를 상용 제품으로 증명했다. 초점면을 하나로 줄이는 대신 굴절률 2.0의 유리를 써서 시야각을 약 70도까지 밀어 올렸다. 도파관은 RGB 각 한 장씩 3층으로 줄었다. 한쪽 눈 활성 표시 영역은 1440×1760이고 그 가운데 96×96은 눈 정렬용이다. 최대 밝기는 2,000 nit다. 같은 제품이 청구서도 함께 보여줬다. 실세계 투과율이 최선의 조건에서 22%다. 실세계 빛의 78%를 차단한다. 기기가 사실상 짙은 선글라스가 된다. 실외에서 실물을 정확히 봐야 하는 작업에는 이 숫자 하나로 실격이다. > very high index 2.0 glass … 2,000 nits peak brightness … a significant accomplishment with a 70° FOV … 22% transmission [meaning it] blocks 78% of the real world's light. > > 굴절률 2.0의 초고굴절 유리 … 최대 밝기 2,000 nit … 70도 시야각에서 이는 상당한 성취다 … 투과율 22%, 즉 실세계 빛의 78%를 차단한다. (Guttag, 2022) 매직리프 2는 가림 문제에도 부분적인 답을 시도했다. 구역별 차광이다. 액정 셀로 실세계 빛을 구역 단위로 어둡게 만들어, 가상 물체가 놓인 자리만 실세계를 가린다. 아즈마가 1997년에 광학 시스루로는 불가능하다고 적은 문제에 대한 첫 상용 대응이다. 다만 경계가 부드럽게 번지는 방식이라 가상 물체의 윤곽이 또렷하게 떨어지지 않는다. 화소밀도는 매직리프 1과 거의 같다. 시야각 면적과 화소 수가 함께 두 배가 되었기 때문이다. 수평과 수직 시야각의 정확한 분해값, 무게, 가격은 공식 자료에서 확인되지 않았다. 2024년 9월 25일 메타 커넥트에서 공개된 메타 오리온은 같은 지렛대를 재료로 한 단계 더 밀었다. 도파관 재료를 유리에서 탄화규소로 바꿨다. 탄화규소의 가시광 굴절률은 약 2.6이다. 단일 판 양면에 회절 격자를 교차 배치해 새겨 70도 시야각을 얻었다. 광원은 마이크로LED 프로젝터다. 부수적 이득도 있다. 탄화규소의 열전도율은 유리의 200~400배로 구리에 근접해, 마이크로LED의 발열을 빼내는 데 유리하다. 청구서는 더 노골적이었다. 화소밀도가 13 PPD로 주저앉았다. 사람 눈의 목표인 60 PPD의 4분의 1에도 못 미친다. 텍스트를 읽기 어려워 메타는 전용 서체의 곡선을 줄이고 획을 굵게 고쳐야 했다. 색균일도가 나빠 인터페이스를 의도적으로 보석 같은 색 그라디언트로 디자인해 결함을 감췄다. > only 13 pixels per degree (PPD) spread over a 70-degree FOV … SiC has an index of refraction of about 2.6 … Typical waveguide glass has an index of refraction of 1.7 to 2.0. > > 70도 시야각에 펼쳐진 도당 13화소에 불과하다 … 탄화규소의 굴절률은 약 2.6이다 … 일반적인 도파관 유리의 굴절률은 1.7에서 2.0이다. (Guttag, 2024) 오리온의 수치를 인용할 때 두 가지를 조심해야 한다. 첫째, 마이크로LED 패널 해상도는 640×480으로 확정되었다. 초기에 돌던 720×540은 13 PPD에서 역산한 추정치이며, 유효 해상도가 패널 해상도보다 클 수 없으므로 폐기해야 한다. 둘째, 640×480의 대각 화소 수 800개를 70도 대각에 대입하면 약 11.4 PPD가 나오고, 널리 인용되는 13 PPD와 어긋난다. 두 값을 나란히 쓰면 안 된다. 제조 경제성도 문제다. 탄화규소 웨이퍼 한 장에서 도파관 네 개가 나온다. 크고 훨씬 저렴한 유리 웨이퍼에서는 열두 개 이상이 나온다. 이 수치가 인용되는 출처는 웨이퍼 크기를 인치로 밝히지 않는다. 오리온은 판매 제품이 아니라 시제품이며, 밝기와 실세계 투과율은 공개되지 않았다. [6][7] ### 짧은 격자 주기가 무지개를 없앤다 굴절률의 이득은 시야각 하나가 아니다. 첸 보추 외 6인이 2024년 9월 22일 arXiv에 투고하고 2025년 『eLight』 5권 21번으로 게재한 논문이 두 번째 이득을 정량적으로 입증했다. 핵심은 격자 주기다. 굴절률이 높으면 같은 시야각을 더 짧은 주기의 격자로 구현할 수 있다. 주기가 짧으면 주변광이 그 격자에 회절되는 각도가 커진다. 각도가 충분히 커지면 회절된 주변광이 아이박스를 아예 비껴가고, 눈에 들어오지 않는다. 안경형 기기의 고질적 결함인 무지개 아티팩트가 광학적으로 사라진다. 무지개 아티팩트는 주변광이 격자에 회절되어 시야에 색번짐으로 나타나는 현상이다. > For a clearer comparison, consider a waveguide with a refractive index of n=1.9. To achieve a single-pane full-color display with a 30° FOV, the grating period is calculated as P=370 nm. Under the same Eye-box conditions, some blue and green components of ambient light diffracted by this grating enter the eye's reception area, indicating a potential for rainbow artifacts. > > 보다 명확한 비교를 위해 굴절률 n=1.9인 도파관을 생각해 보자. 30도 시야각의 단일 판 풀컬러 디스플레이를 구현하려면 격자 주기는 P=370nm로 계산된다. 동일한 아이박스 조건에서, 이 격자에 의해 회절된 주변광의 일부 청색·녹색 성분이 눈의 수광 영역으로 들어오며, 이는 무지개 아티팩트가 관찰될 가능성을 뜻한다. (Chen 외, 2025) 굴절률 1.9 유리로 30도 시야각의 단층 풀컬러를 만들려면 주기가 370nm여야 한다. 이 주기에서는 회절된 청색과 녹색 성분이 아이박스로 들어와 무지개가 보인다. 탄화규소로는 같은 조건을 262nm 주기로 구현할 수 있고, 무지개가 사라진다. 고굴절률의 두 번째 이득이 여기서 나온다. 무지개가 없으면 RGB를 한 장에 담을 수 있고, 판이 세 장에서 한 장으로 줄면 두께와 무게와 투과율과 단가가 동시에 개선된다. | 항목 | 값 | |---|---| | 도파관 두께 | 0.55mm | | 무게 | 2.6856g (패키징·레이저 컷 후) | | 격자 주기 | 262nm (바이너리) | | 입력부 격자 | 듀티비 58%, 높이 169nm | | 확장부 격자 | 듀티비 50.5%, 높이 167nm | | 출력부 격자 | 듀티비 42.1%, 높이 27nm | | 웨이퍼 | 4인치 4H-SiC | | RGB 혼합광 밝기 균일도 | 3.18% | | 광효율 | 175.45 nit/lm | | MTF @ 22 PPD | 0.2669 (수평), 0.3055 (수직) | | 왜곡 | 1.48% | | 봉지층 | 편면 30μm |표 출처: [8] (본문 기준으로 재구성)
설계 시야각은 30도이고 실측은 45.7도다. 이 차이는 성능 향상이 아니다. 프로젝터의 시야각이 50도여서 끌려 올라간 값이다. 인용할 때 설계값과 실측값을 구분해야 한다. 30도든 45.7도든 메타 오리온의 70도와는 격차가 크다. MTF는 대비 재현 능력을 보는 지표다. 22 PPD에서 0.27~0.31이라는 값은 그 미세함에서 검은 획과 흰 배경의 구분이 희미해진다는 뜻이다. 텍스트 가독성이 충분하지 않다. 후속 연구는 개선을 보고했다. 리 외 연구진은 2026년 arXiv 2609.07648에서 두께 0.35mm, 무게 1.98g, 시야각 30도, 투과율 92%를 달성했다. 남은 장벽은 광학이 아니라 재료다. 탄화규소 웨이퍼 단가가 높고, 깨질 때 날카로운 파편이 생기는 취성이 착용 기기에서 실질적인 문제다. 서지 정보 하나를 정정해둔다. arXiv 투고본 제목과 게재본 제목이 다르다. 게재본 정식 제목은 "SiC diffractive waveguides for augmented reality: single-layer, full-color, rainbow-artifact-free display with vision correction"이고 DOI는 10.1186/s43593-025-00100-1, 게재일은 2025년 8월 21일이다. [8] ### 회절을 버린 도파관 회절 도파관이 업계 주류가 된 뒤에도 다른 길이 남아 있었다. 이스라엘의 루머스는 유리 안에 격자를 새기지 않는다. 대신 부분반사 거울을 여러 장 비스듬히 심어 놓는다. 빛이 전반사로 이동하다가 이 거울들을 차례로 만나면 일부씩 밖으로 새어 나오고, 그 결과 출사동이 확장된다. 회절 대신 반사로 같은 일을 한다. 원리가 다르면 문제도 다르다. 반사에는 파장 의존성이 없다. 빨강과 파랑이 같은 각도로 반사된다. 그래서 RGB를 판 한 장에 다 담을 수 있다. 주변광이 격자에 회절되어 생기는 무지개 아티팩트가 원리적으로 발생하지 않는다. 무엇보다 광효율이 회절 방식보다 높다. 앞의 표에서 계단식 거울 도파관은 20% 미만, 회절 격자는 10% 미만이었다. | 항목 | Maximus | Z-Lens | |---|---|---| | 대각 시야각 | 50도 | 50도 | | 해상도 | 1440×1440 | 1024×1024 | | 밝기 | LED 와트당 3,000 nit 초과 | LED 와트당 1,400 nit 초과 | | 아이박스 | 12×12mm | 11×11mm | | 도파관 두께 | 1.7mm | 1.3mm | | 실세계 투과율 | 80% 초과 | 80% 초과 | > Z-Lens: 50° FOV, 1024 x 1024, >1,400 nits/WLED, 11 x 11 mm eyebox, 1.3 mm thickness. Maximus: 50° FOV, 1440 x 1440, >3,000 nits/WLED, 12 x 12 mm eyebox, 1.7 mm thickness. > > Z-렌즈: 시야각 50도, 1024×1024, LED 와트당 1,400 nit 이상, 아이박스 11×11mm, 두께 1.3mm. 맥시무스: 시야각 50도, 1440×1440, LED 와트당 3,000 nit 이상, 아이박스 12×12mm, 두께 1.7mm. (Lumus) 이 표에서 눈여겨볼 줄은 실세계 투과율이다. 80% 초과다. 매직리프 2의 22%와 비교하면 성격이 완전히 다른 기기다. 실세계를 어둡게 만들지 않는다. 밝기 단위도 다르다. nit가 아니라 LED 와트당 nit다. 같은 전력으로 얼마나 밝게 만드는지를 재는 지표이며, 배터리로 하루를 버텨야 하는 기기에서 결국 이 지표가 이긴다. 대가는 제조에 있다. 거울 배열을 유리 안에 미크론 정밀도로 심고 코팅해야 한다. 난이도와 단가가 높다. 시야각도 50도에서 멈춰 있다. 굴절률로 시야각을 밀어붙이는 회절 계열의 70도에 미치지 못한다. 맥시무스와 Z-렌즈의 발표 연도는 공식 페이지에 표기가 없어 확인되지 않았다. 사양 수치는 공식 페이지와 완전히 일치한다. [9][10] ### 에텐듀 보존과 시야각의 상한 지금까지 본 제품들은 서로 다른 선택을 했다. 그러나 결과는 하나의 패턴을 그린다. 시야각을 넓힌 제품은 화소밀도를 잃었다. 투과율을 지킨 제품은 시야각을 포기했다. 초점면을 늘린 제품은 두께와 밝기를 잃었다. 우연이 아니다. 이 패턴은 두 개의 물리 법칙과 하나의 산수에서 나온다. 시야각이 넓어지지 않는 이유는 공학적 미숙이 아니다. 첫째는 에텐듀 보존이다. 에텐듀는 광학계를 통과하는 빛의 면적과 입체각의 곱이다. 이상적인 광학계에서 이 곱은 보존된다. 렌즈를 어떻게 배치해도 줄지 않고, 손실이 있으면 늘어날 뿐 줄어들지는 않는다. 머리에 쓰는 디스플레이에서 면적은 아이박스이고 입체각은 시야각이다. 곱이 정해져 있으면 둘은 맞바꾸는 관계다. 시야각을 넓히면 아이박스가 좁아진다. 아이박스를 넓히면 시야각이 좁아진다. 아이박스는 타협할 수 없는 값이다. 눈은 사람마다 간격이 다르고, 기기는 착용 중에 조금씩 미끄러진다. 아이박스가 좁으면 상이 사라지거나 한쪽 모서리가 잘린다. 그래서 설계자는 시야각과 아이박스를 둘 다 키우고 싶어 한다. 에텐듀를 키우면 가능하다. 그러나 에텐듀를 키우는 방법은 광학계를 크게 만드는 것뿐이고, 광학계가 커지면 안경 형태가 무너진다. 이것이 이 분야의 중심 모순이다. > the conflict between FoV and eyebox … results from the conservation of etendue (or optical invariant). To increase the system etendue requires a larger optics, which in turn compromises the form factor. > > 시야각과 아이박스 사이의 충돌은 … 에텐듀 보존(광학 불변량)에서 비롯된다. 시스템의 에텐듀를 키우려면 더 큰 광학계가 필요하고, 이는 다시 기기 형태를 망가뜨린다. (Xiong 외, 2021) 에텐듀는 밝기로도 되돌아온다. 결합기 효율의 이론적 최댓값이 조건에 따라 달라지는 이유가 여기 있다. 대각 60도 시야각과 10mm 정사각 출사동에서 최댓값은 약 17,000 nit/lm이다. 같은 광량을 더 좁은 입체각과 더 작은 면적에 모으면 숫자가 올라간다. 동공 추적형 설계는 눈의 위치를 따라가며 필요한 곳에만 빛을 보내므로, 80도×80도 시야각과 4mm 동공 조건에서 47,000 nit/lm까지 가능하다. 아이박스를 넓게 만드는 대신 좁은 출사동을 눈에 맞춰 옮기는 발상이다. 에텐듀를 이기는 것이 아니라, 같은 에텐듀를 더 알뜰하게 쓰는 것이다. 둘째는 전반사 임계각이다. 도파관은 굴절률 n인 유리 안에서 임계각 arcsin(1/n)보다 큰 각도로 벽에 부딪히는 빛만 가둘 수 있다. 가둘 수 있는 각도 범위가 시야각의 상한이고, 그 범위는 오직 굴절률로만 넓어진다. 앞서 본 대응표가 이 법칙의 실측 기록이다. 굴절률 1.7~1.8에서 50도 전후, 2.0에서 약 70도, 2.6에서 70도다. 셋째는 산수다. 화소 수가 정해진 광엔진의 상을 더 넓은 각도에 펴면, 도당 화소 수는 반비례로 떨어진다. 사람 눈의 기준값이 이 산수에 잔인하다. > A human visual acuity of 20/20 amounts to 1 arcmin angular resolution, or 60 pixels per degree (PPD), which is considered as a common goal for AR and VR displays. > > 20/20 시력에 해당하는 사람의 시각 예민도는 1 각분의 각해상도, 즉 도당 60화소(PPD)이며, 이는 AR·VR 디스플레이의 공통 목표로 여겨진다. (Xiong 외, 2021) 60 PPD를 70도 대각에 채우려면 대각 화소가 4,200개 필요하다. 오리온의 마이크로LED 패널은 640×480, 대각 800화소다. 다섯 배 이상 부족하다. 이것이 13 PPD라는 숫자의 정체다. 이 세 제약을 알면 지난 10년의 제품 계보가 한 방정식의 다른 해로 읽힌다. | 제품 | 시야각 | 지불한 대가 | |---|---|---| | 홀로렌즈 1 | 대각 약 34도 | 시야가 잘림, 약 41 PPD | | 홀로렌즈 2 | 대각 52도 | 화소밀도 후퇴, 20 PPD 미만 | | 매직리프 2 | 약 70도 | 실세계 투과율 22% | | 루머스 Z-Lens | 50도 | 시야각 정체, 제조 단가 | | 메타 오리온 | 70도 | 13 PPD, 웨이퍼당 4개 | | 메타 레이밴 디스플레이 | 대각 20도 | 단안, 3차원 정합 없음 |표 출처: [11] (본문 기준으로 재구성)
어느 줄도 기술이 미숙해서 생긴 결과가 아니다. 전부 같은 예산을 다르게 쓴 결과다. 설계 문서를 읽을 때 물어야 할 질문도 여기서 정해진다. 이 기기는 무엇을 얻었는가가 아니라, 그것을 얻기 위해 무엇을 내놓았는가다. 어떤 사양표도 시야각과 화소밀도와 투과율과 두께를 동시에 자랑할 수 없다. 그렇게 적힌 사양표가 있다면 조건이 빠져 있다. [11] ### 실외라는 벽 밝기는 시야각과 별개의 문제로 보이지만 같은 예산에 묶여 있다. 그리고 실외에서 이 예산은 순식간에 바닥난다. 광학 시스루 기기에서 가상 물체의 선명함은 절대 밝기가 아니라 주변광과의 대비로 결정된다. 이 값을 주변광 명암비라고 한다. 기준은 대략 세 단계다. 3:1이면 무언가 있다는 것을 인지할 수 있다. 5:1이면 읽을 만하다. 10:1이면 편안하다. | 환경 | 주변 휘도 | 10:1을 위한 디스플레이 밝기 | |---|---|---| | 맑은 날 실외 | 약 3,000 nit | 최소 30,000 nit | | 흐린 날 실외 | 약 300 nit | 최소 3,000 nit |표 출처: [1][6][11] (본문 기준으로 재구성)
> to achieve ACR = 10:1 in a sunny day (~3000 nits), the display needs to deliver a brightness of at least 30,000 nits. > > 맑은 날(약 3,000 nit) 명암비 10:1을 달성하려면 디스플레이는 최소 30,000 nit의 밝기를 내야 한다. (Xiong 외, 2021) 이 숫자를 앞서 본 제품들과 맞춰보면 상황이 분명해진다. 매직리프 2의 최대 밝기는 2,000 nit다. 매직리프 원은 약 220 nit였다. 맑은 날 실외에서 요구되는 30,000 nit는 한 자릿수 이상 먼 값이다. 물론 매직리프 2는 구역별 차광으로 주변광 자체를 22%까지 깎아 대비를 만든다. 즉 밝기를 올리지 못하면 주변을 어둡게 하는 쪽으로 방정식을 푼 셈이다. 실세계가 어두워지는 것이 그 대가다. 밝기는 광엔진의 효율에서 출발한다. 같은 전력으로 더 많은 빛을 만드는 방식이 유리하다. | 광엔진 방식 | 광효율 (lm/W) | |---|---| | MEMS 레이저 빔 스캐닝 | 40 | | DMD (레이저 광원) | 32 | | LCoS (레이저 광원) | 32 | | DMD (LED 광원) | 15 | | LCoS (LED 광원) | 약 10 | | 마이크로LED (QD 방식) | 10 | | 마이크로LED (RGB 방식) | 5 | | 마이크로 OLED | 4 ~ 8 |표 출처: [1][6][11] (본문 기준으로 재구성)
이 표를 앞의 결합기 광효율 표와 곱해야 실제 밝기가 나온다. 마이크로 OLED 광엔진에 회절 도파관을 붙이면 4~8 lm/W에 10% 미만을 곱하게 된다. 마이크로소프트가 홀로렌즈 2에서 레이저 스캐닝을 택한 이유가 이 표의 첫 줄이다. 효율이 가장 높은 방식을 골랐다. 그리고 그 대가로 화소밀도를 내놓았다. [1][6][11] ### 화소로 되돌아간 길 2023년 6월 5일에 발표되고 2024년 2월 2일에 출시된 애플 비전 프로는 광학 시스루를 버렸다. 외부 카메라가 찍은 실세계를 가상 콘텐츠와 합성해 눈앞의 마이크로 OLED에 띄운다. 아즈마가 1997년에 정리한 두 갈래 가운데 비디오 시스루로 되돌아간 고성능 사례다. 되돌아간 이유는 가림이다. 실세계가 화소이므로 가상 물체가 실물을 완전히 덮을 수 있다. 광학 시스루가 30년간 풀지 못한 문제가 이 방식에서는 원리적으로 존재하지 않는다. 결합기의 광효율 문제도 사라진다. 실세계 투과율이라는 개념 자체가 없어진다. 되돌아가려면 1997년에 지적된 두 약점을 먼저 처리해야 했다. 실세계 해상도 저하와 시간 불일치다. 첫 번째는 패널로 풀었다. 마이크로 OLED는 실리콘 웨이퍼 위에 OLED를 직접 증착해 화소 피치를 7.5μm까지 줄인 패널이다. 양안 합계 2,300만 화소다. 두 번째는 전용 칩으로 풀었다. R1 칩이 광자에서 광자까지의 지연을 12ms로 낮췄다. 60Hz 한 프레임 16.67ms보다 짧다. 작은 패널을 눈앞에서 크게 보이게 하려면 강한 배율이 필요하다. 비전 프로는 팬케이크 광학으로 이를 해결했다. 편광과 반사를 이용해 짧은 거리 안에서 광로를 세 번 접는 렌즈다. 두께는 극적으로 줄어든다. 그러나 편광 반사를 반복하므로 광효율이 수 퍼센트 수준으로 매우 낮다. 패널이 극도로 밝아야 하고, 그것이 발열과 배터리 소모의 직접적 원인이다. 에텐듀 보존과 별개로, 광로를 접는 대가는 언제나 빛이다. 세대를 섞지 않는 것이 중요하다. 비전 프로는 두 세대가 있고, 널리 인용되는 사양 가운데 일부는 나중 세대의 것이다. | 항목 | M2 모델 (2024-02-02 출시) | M5 모델 (2025-10-22 출시) | |---|---|---| | 무게 | 600 ~ 650g (배터리 353g 별도) | 750 ~ 800g | | 최대 재생률 | 100Hz (90/96/100Hz) | 120Hz (90/96/100/120Hz) |표 출처: [12] (본문 기준으로 재구성)
애플 공식 사양에서 확인되는 값은 마이크로 OLED, 총 2,300만 화소, 화소 피치 7.5μm, DCI-P3 92%, R1 칩 광자-대-광자 12ms, 가격 3,499달러다. 가격은 2026년 6월 25일에 3,699달러로 인상되었다. 애플은 nit 단위 밝기, 한쪽 눈 화소 수, 시야각을 공식 사양에 공개하지 않는다. 널리 인용되는 한쪽 눈 약 3660×3200, 패널 대각 1.41인치, 수평 약 100도와 수직 약 73도는 모두 2차 출처다. 실측값은 다른 그림을 보여준다. > The AVP's peak center resolution is about 44.4 pixels per degree (PPD), below 80 PPD [Apple's own 'retinal resolution' target]. > > 비전 프로의 중심부 최고 해상도는 도당 약 44.4화소로, [애플 자신이 내건 '망막 해상도' 목표인] 80 PPD에 미치지 못한다. (Guttag, 2024) 중심 화소밀도 44.4 PPD는 2,300만 화소라는 숫자가 주는 인상보다 낮다. 화소를 넓은 시야각에 펴면 도당 밀도는 떨어진다는 산수가 여기서도 그대로 작동한다. 더 중요한 것은 균일하지 않다는 점이다. 선명하게 보이는 영역은 45~50도에 불과하고, 주변부는 중심의 약 3분의 1 수준이다. 이 수치들은 1차 출처로 확인되지 않았으므로 실측 보고로만 취급해야 한다. 실외에서 비디오 시스루가 겪는 문제는 광학 시스루와 다르다. 결합기가 빛을 버리는 것이 아니라, 카메라가 세상을 다 담지 못한다. 카메라 센서의 동적 범위는 눈보다 좁다. 밝은 하늘과 그늘이 한 화면에 있으면 한쪽이 날아가거나 뭉개진다. 눈으로 직접 보면 보이던 것이 화면에서는 보이지 않는다. 무게도 문제다. 600g대든 750g대든 머리에 얹기에 가볍지 않다. [12] ### 교환관계를 거꾸로 타다 2025년 9월에 발표되고 출시된 메타 레이밴 디스플레이는 앞의 모든 기기와 반대 방향으로 움직였다. 메타와 에실로룩소티카가 함께 만들었고, 도파관은 루머스, LCoS 패널은 옴니비전 OPO3010, 프로젝션 엔진은 고어텍이다. 넓은 시야각을 포기했다. 한쪽 눈에 대각 20도짜리 작은 창만 띄운다. 포기한 대가로 받은 것이 분명하다. 시야각을 줄이면 같은 화소가 좁은 각도에 몰려 화소밀도가 올라간다. 같은 광량이 좁은 입체각에 모여 밝기가 올라간다. 에텐듀 방정식을 반대 방향으로 푼 것이다. | 항목 | 값 | |---|---| | 시야각 | 대각 20도 (정사각 화면비) | | 패널 해상도 | 600×600 | | 유효 해상도 | 약 400×400 | | 화소밀도 | 40 PPD | | 눈에 도달하는 밝기 | 약 5,000 nit | | 프로젝터 광출력 | 최대 약 1 lumen | | 소비전력 | 약 0.38W (LED·디스플레이·오디오 포함) | | 시스템 명암비 | 실측 600:1 | | 재생률 | 90fps, 필드 시퀀셜 컬러 270Hz | | 눈부심 누출 | 밝기의 1.5% |표 출처: [3][4][5][6][9][10][12][7][8] (본문 기준으로 재구성)
> about 5,000 nits (cd/m2) [to the eye] … 40 pixels per degree … 20 degrees (diagonal with square aspect ratio) … approximately 0.38W for the glasses (including the LED and display) with the display and audio running. > > 눈에 도달하는 밝기 약 5,000 nit(cd/m²) … 도당 40화소 … 대각 20도(정사각 화면비) … 디스플레이와 오디오를 켠 상태에서 안경 전체(LED와 디스플레이 포함) 소비전력은 약 0.38W다. (Guttag, 2025) 이 표에서 가장 중요한 줄은 마지막에서 넷째 줄이다. 0.38W다. 매직리프 2와 홀로렌즈 2가 각각 566g과 그 이상의 무게로 몇 시간을 버티는 기기였던 반면, 이 제품은 안경 형태와 하루치 배터리를 처음으로 동시에 만족했다. 밝기 5,000 nit는 흐린 날 실외에서 10:1 대비를 여유 있게 넘긴다. 맑은 날 30,000 nit에는 여전히 멀지만, 읽을 만한 수준의 3:1이나 5:1은 확보된다. 화소밀도 40 PPD는 60 PPD 목표에 근접한 값이다. 40 PPD에서 텍스트는 읽힌다. 오리온의 13 PPD에서 서체를 고쳐야 했던 문제가 여기서는 생기지 않는다. 다만 이 40 PPD는 구태그의 실측값이고, 메타 공식 발표치는 42 PPD로 알려져 있다. 두 값의 대조는 확인되지 않았다. 이 제품의 정체를 정확히 규정해야 한다. 단안이다. 한쪽 눈에만 상을 띄운다. 그리고 3차원 정합을 하지 않는다. 가상 물체를 실세계의 특정 위치에 붙여두는 기능이 없다. 아즈마가 정리한 AR의 세 조건 가운데 3차원 정합을 충족하지 않으므로, 엄밀히는 AR이 아니라 머리에 얹은 정보 표시 장치다. 무게와 공식 소매가는 확인되지 않았다. 기사 이미지 설명에 800달러라는 표현만 있다. 그래도 이 제품이 계보에서 차지하는 자리는 뚜렷하다. 기술적 도약이 아니라 설계 철학의 전환이다. 세상을 덮는 홀로그램 대신 읽을 수 있는 작은 글자를 택했다. 그리고 그 선택 덕분에 처음으로 하루 종일 쓸 수 있는 형태가 나왔다. 현장에서 이름표와 수량을 확인하는 용도라면 대각 20도가 대각 70도보다 실용적일 수 있다. 무엇을 띄울 것인지 정하기 전에 시야각을 고르면 순서가 거꾸로다. [3][4][5][6][9][10][12][7][8] ### 확인하지 못한 것 이 장의 수치 가운데 1차 출처로 확인되지 않은 것들을 모아둔다. 인용할 때 단서가 필요한 항목이다. | 항목 | 상태 | |---|---| | 굴절률 n과 최대 시야각의 닫힌 공식 | 1차 문헌 미확인, 대응표로 대체 | | 비전 프로 공식 밝기·한쪽 눈 화소 수·시야각 | 애플 미공개, 2차 출처만 존재 | | 홀로렌즈 2 한쪽 눈 실제 화소 수 | 공식 미공개, 레이저 스캐닝에는 물리적 화소 없음 | | 홀로렌즈 2 주사선 854줄·유효 600줄·47 대 20 PPD | 인용 글 본문 1차 확인 실패 | | 홀로렌즈 1 상용판 5,000달러·초점 2m 고정 | 인용 출처에 근거 없음 | | 매직리프 2 수평·수직 시야각 분해값, 무게, 가격 | 공식 페이지 접근 불가 | | 메타 오리온 밝기와 실세계 투과율 | 메타 미공개 | | 메타 레이밴 디스플레이 무게와 공식 소매가 | 미확인 | | 루머스 맥시무스·Z-렌즈 발표 연도 | 공식 페이지에 표기 없음 | | 서덜랜드 1968년 HMD의 광학 사양 | 원문 접근 실패, 수치 인용 보류 | 출처 표기에서 반복되던 오류 하나도 바로잡아 둔다. 결합기 광효율 표의 출처로 흔히 인용되는 논문은 『iScience』 22권이 아니라 23권 8호 101397번이다. 22권은 2019년 발행분이므로 22권과 2020년이라는 조합 자체가 성립하지 않는다. 저자도 시옹 외 2021년 리뷰와 다르다. 잔 타오, 인 카이, 시옹 장하오, 허 즈첸, 우 신선의 별개 논문이며 제목은 "Augmented Reality and Virtual Reality Displays: Perspectives and Challenges"다. 표 내용은 원문과 일치한다. 이 목록이 길다는 사실이 이 분야를 읽는 방식을 알려준다. 제조사는 유리한 숫자만 공개한다. 애플은 nit와 시야각을 밝히지 않고, 마이크로소프트는 화소 수 대신 광점과 라디안트라는 표현을 썼으며, 메타는 시제품의 밝기와 투과율을 공개하지 않았다. 독립 측정은 존재하지만 측정자 한 사람의 수치도 기사마다 갈린다. 조건이 빠진 숫자는 숫자가 아니다. [4][5][7] ### 이 장의 결론 머리에 쓰는 디스플레이의 사양은 자랑거리의 목록이 아니라 지불 내역서다. 시야각과 아이박스는 에텐듀 보존으로 묶여 있고, 시야각의 상한은 전반사 임계각을 통해 굴절률에 묶여 있으며, 화소밀도는 시야각에 반비례로 묶여 있다. 밝기는 광엔진 효율과 결합기 효율의 곱 이상이 될 수 없고, 실세계 투과율은 그 곱을 키우려는 모든 시도의 첫 희생물이다. 그러므로 어떤 기기를 고를지 묻기 전에 무엇을 띄울지 정해야 한다. 읽을 글자 몇 줄이 목적이라면 좁은 시야각이 정답이고, 실물을 정확히 덮어야 한다면 광학 시스루는 아직 답이 아니며, 실세계를 눈으로 직접 보아야 한다면 투과율 22%짜리 기기는 어떤 시야각을 주더라도 실격이다. [1][11]본문의 번호를 누르면 출처로 이동합니다. 절 끝의 번호는 그 절의 사실 자료를, 표 아래의 번호는 표에 사용한 자료를 가리킵니다. 비교·계산·비유와 결론은 필자의 재구성입니다. 한 번호에 함께 사용한 문헌이 둘 이상이면 묶어서 적었습니다.
서지정보와 확인 메모는 옵시디언 조사 기록을 바탕으로 복원했습니다. 원 기록의 ‘전문 확인’·‘조회’ 표기는 당시 조사 상태이며 이번 웹판에서 모두 재검증했다는 뜻은 아닙니다. 불완전한 서지사항은 임의로 채우지 않았습니다.
1997년 시점이라 도파관(waveguide) 결합기는 논의에 없다. 당시의 결합기는 하프미러(반투명 거울) 계열뿐이다. 또한 Azuma 본인이 '가림 문제를 해결한 광학 시스루 HMD는 존재하지 않는다'고 적었는데, 2026년 현재도 매직리프 2의 세그먼트 디밍이 부분적 해결에 그친다.
두께를 줄일 수 없다. 눈과 결합기 사이에 오목거울 초점거리만큼의 공간이 필요해 '고글'을 벗어나지 못한다. 또한 버드배스는 실세계 투과율이 보통 25~50%로 낮아 실외에서는 선글라스처럼 어둡다.
시야각 30×17.5도는 엽서를 팔 길이에 든 정도다. 시야가 잘려 가상 물체가 화면 경계에서 싹둑 잘린다. 초점이 2m에 고정돼 수렴-조절 불일치(VAC)가 생긴다.
마이크로소프트는 시야각을 '면적 기준'으로 비교해 '홀로렌즈 1의 두 배'라 발표했는데, 이는 선형 배율을 제곱한 수치다. 선형으로는 약 1.5배다. 또한 레이저 스페클과 인터레이스 주사로 텍스트 가독성이 나빴다. 마이크로소프트 공식 자료는 화소 수를 직접 밝히지 않는다('2k 3:2 광엔진'이라는 모호한 표현) — 이 점이 위 논쟁의 근원이다.
초점면 2개는 사실상 '가까움/멂' 두 단계일 뿐이다. 필드 시퀀셜 방식이라 머리나 눈을 움직이면 흰색이 적·녹·청으로 갈라지는 색분리 아티팩트가 보였다. 실측 210 nit는 실내에서도 어두운 수준이다.
13 PPD는 사람 눈 기준(60 PPD)의 4분의 1도 안 된다. 텍스트를 읽기 어려워 메타는 서체(Optimistic)를 곡선을 줄이고 획을 굵게 고쳐야 했다. 색균일도가 나빠 UI를 일부러 '보석 같은 색 그라디언트'로 디자인해 결함을 감췄다. 웨이퍼당 4개 생산은 단가를 감당하기 어렵다. 판매 제품이 아니라 시제품이며, 밝기(nit) 수치는 공개되지 않았다.
실측 시야각 45.7도는 프로젝터 시야각(50도)에 끌려 올라간 값이고 설계값은 30도다. 메타 오리온의 70도와는 격차가 크다. MTF@22PPD 0.27~0.31은 텍스트 가독성이 충분하지 않다는 뜻이다. SiC 웨이퍼 단가와 취성(깨지면 날카로운 파편)이 상용화의 실질적 장벽이다.
거울 배열을 유리 안에 미크론 정밀도로 심고 코팅해야 해서 제조 난이도와 단가가 높다. 시야각은 50도에서 멈춰 있다 — 굴절률로 시야각을 밀어붙이는 회절/SiC 계열의 70도에 미치지 못한다.
단안(한쪽 눈)이며 3차원 정합이 아니다. 즉 Azuma의 세 조건 중 '3차원 정합'을 충족하지 않으므로 엄밀히는 AR이 아니라 헤드업 정보 표시에 가깝다. 정확한 무게와 소매가격은 확인하지 못했다(기사 내 이미지 캡션에 '800달러 AR 안경'이라는 표현만 있다).
이 리뷰는 굴절률 n과 최대 시야각을 잇는 **닫힌 형태의 공식을 명시하지 않는다.** 임계각이 arcsin(1/n)이라는 사실과 '굴절률이 높을수록 시야각이 넓어진다'는 정성적 관계, 그리고 제품별 실측값(n=2.0 → 70도, n=2.6 → 70도, n=1.7~1.8 → 50도 전후)은 확인했으나, 'n=1.5이면 최대 몇 도'라는 식의 계산식은 이번 조사에서 1차 출처로 확인하지 못했다.
애플은 nit 단위 밝기, 한쪽 눈 화소 수, 시야각을 공식 사양에 공개하지 않는다. 위의 3660×3200과 100도는 2차 출처다. 팬케이크 광학은 편광 반사를 반복하므로 광효율이 매우 낮아(수 % 수준) 패널이 극도로 밝아야 하고, 이것이 발열과 배터리의 원인이다. 750~800g은 머리에 얹기에 무겁다. 야외 조경 현장에서 카메라가 포착한 실세계는 여전히 실제 눈보다 어둡고 동적 범위가 좁다.
표 출처: [1] (본문 기준으로 재구성)
주의할 점이 하나 있다. 이미지좌표계와 눈좌표계는 한 사슬에 연달아 오는 두 고리가 아니다. 서로 배타적인 종단이다. 카메라 영상 위에 그림을 그리는 비디오 시스루는 카메라를 거쳐 이미지에서 끝난다. 반투명 유리 너머로 세상을 직접 보는 광학 시스루는 기기에서 디스플레이와 눈으로 끝난다. 어느 방식인가에 따라 마지막 고리의 정체가 달라지고, 그 고리를 측정할 수 있는지 여부도 완전히 달라진다. 갱신 속도의 층위도 분리해서 봐야 한다. 흔한 오해가 자세를 카메라 프레임률로 갱신한다는 것이다. 실제 파이프라인은 그렇게 돌지 않는다. | 층 | 갱신률 | |---|---| | 카메라 시각 갱신 | 30~60 Hz | | 관성센서 전파에 의한 자세 출력 | 수백 Hz ~ 약 1 kHz | | 표시 및 후단 재투영 | 90~120 Hz |표 출처: [1] (본문 기준으로 재구성)
현행 기기의 표시·질의율은 홀로렌즈 2가 120 Hz, 퀘스트 3가 90/120 Hz, 비전 프로가 90~100 Hz 수준이다. 마이크로소프트 문서 기준으로 홀로렌즈 1세대의 디스플레이는 초당 240회 갱신되며 새로 렌더된 영상마다 네 개의 색장을 차례로 보여준다. 자세 갱신률이 렌더 프레임률보다 훨씬 높다는 이 사실이 뒤에서 다룰 지연 보상 기법들의 전제다. 자세가 정말 30~60 Hz에 묶여 있다면 그 기법들은 원리적으로 성립하지 않는다. 통역을 네 번 거쳐 전달되는 말과 같다. 통역자마다 뉘앙스를 조금씩만 바꿔도 마지막 문장은 처음과 딴판이 되고, 오역은 뒤로 갈수록 크게 벌어진다. [1] ### 3. 동차좌표 — 나눗셈을 맨 끝으로 미루는 기술 유클리드 좌표에서 회전은 행렬 곱이다. 평행이동은 덧셈이다. 성질이 다른 두 연산이 섞이면 변환을 여러 번 합성할 때 식이 지저분해진다. 한 덩어리로 다룰 수도 없다. 해법은 의외로 단순하다. 좌표 (X, Y, Z)에 1을 덧붙여 (X, Y, Z, 1)로 만든다. 그러면 회전과 이동을 4×4 행렬 하나로 묶을 수 있고, 변환의 합성은 그냥 행렬 곱 한 번이 된다. 차원을 하나 늘려서 두 연산을 같은 종류로 만든 것이다. 더 결정적인 이유는 원근에 있다. 카메라가 만드는 영상은 x/Z, y/Z처럼 깊이로 나누는 연산이다. 그런데 나눗셈은 선형 연산이 아니다. 선형대수의 도구가 통하지 않는다. 동차좌표는 이 문제를 미루기로 해결한다. 3×4 행렬을 곱해 (u′, v′, w′)를 얻고, 맨 마지막에 딱 한 번 w′로 나눈다. 비선형인 나눗셈을 계산의 끝으로 밀어내, 중간 과정 전부를 선형대수로 만든다. 멀수록 작게 보이는 현상이 이 마지막 나눗셈 하나에서 나온다. 부수 효과도 크다. 마지막 성분이 0인 좌표 (X, Y, Z, 0)은 무한히 먼 점을 뜻한다. 방향만 있고 위치는 없는 대상이다. 철길이 지평선에서 만나는 소실점 같은 것을 무한대 기호 없이 유한한 숫자로 다룰 수 있다. 또 (X, Y, Z, W)와 그것을 λ배한 좌표는 같은 점이다. 전체 축척이 의미를 갖지 않는다는 뜻이다. 이 축척 불변성 때문에 자유도를 셀 때 항상 1을 빼야 한다. | 대상 | 성분 수 | 실제 자유도 | 이유 | |---|---|---|---| | 강체 변환 (4×4) | 16 | 6 | 회전 3 + 이동 3 | | 카메라 사영행렬 P (3×4) | 12 | 11 | 축척 불변이므로 1을 뺌 |표 출처: [3] (본문 기준으로 재구성)
자유도 11은 곧바로 실용적인 수로 이어진다. 한 점의 대응이 방정식 두 개를 주므로, P를 선형으로 풀려면 최소 6점이 필요하다. 11 ≤ 12이기 때문이다. 이런 식으로 자유도를 세는 습관이 뒤의 모든 절에서 필요한 값을 미리 알려준다. 그림자놀이를 할 때 손을 움직일 때마다 벽까지의 거리를 계산해 나누지는 않는다. 손은 자유롭게 움직이고, 나눗셈은 그림자가 벽에 닿는 마지막 순간에 한 번 일어난다. [3] ### 4. 강체 변환 SE(3) — 자세를 담는 그릇 회전하되 늘리거나 찌그러뜨리지 않는 변환이 있다. 거기에 평행이동을 더한 것이 강체 변환이고, 이들의 모임을 SE(3)라 부른다. 자유도는 정확히 6이다. 어느 쪽을 보는가에 3, 어디에 있는가에 3. 이것이 군을 이룬다는 말은 세 가지를 뜻한다. 두 변환을 이어 붙이면 여전히 강체 변환이다. 아무것도 하지 않는 항등변환이 있다. 모든 변환에 역이 존재한다. 역변환의 공식은 간단해서 R의 전치와 −Rᵀt로 바로 얻는다. 합성은 교환법칙이 성립하지 않는다. 앞으로 1 m 간 뒤 90° 돌기와 90° 돈 뒤 앞으로 1 m 가기는 다른 곳에 도착한다. 자세 계산에서 곱하는 순서를 틀리면 결과가 조용히 망가지는 이유가 여기 있다. 오류 메시지는 나오지 않는다. 숫자만 틀린다. 회전 부분만 따로 떼면 SO(3)다. 여기서 자유도를 세는 방식에 흔한 혼동이 있다. 3×3 행렬의 성분은 아홉 개다. 여기서 독립 제약 여섯 개를 빼면 3이 남는다. 그 여섯 개는 전부 RᵀR = I에서 나온다. 열 세 개가 각각 단위길이라는 조건에서 3개, 서로 직교한다는 조건에서 3개다. 행렬식이 +1이라는 조건은 이 여섯 개에 포함되지 않는다. 직교성만으로 이미 행렬식은 ±1로 정해지고, +1을 고르는 일은 두 개의 연결성분 중 하나를 선택하는 이산적 조건이다. 차원을 줄이지 않는다. | 대상 | 성분 수 | 독립 제약 | 자유도 | |---|---|---|---| | SO(3) 회전행렬 | 9 | 6 (RᵀR = I) | 3 | | SE(3) 강체 변환 | 12 (R과 t) | 6 | 6 | | se(3) 접공간 벡터 | 6 | 0 | 6 |표 출처: [4] (본문 기준으로 재구성)
한편 SE(3)는 평평한 벡터공간이 아니다. 굽은 다양체다. 그래서 두 자세를 더하거나 평균 내는 일이 그냥은 성립하지 않는다. 최적화할 때는 현재 자세 주변의 평평한 접평면에서 여섯 개 숫자만 흔든 뒤, 지수사상으로 다시 다양체 위로 되돌리는 방식을 쓴다. 이 접공간에 대응하는 대수적 대상이 se(3)이고, 그 원소를 트위스트라 부른다. 축과 각으로 회전을 행렬로 바꾸는 로드리게스 공식 R = I + sinθ[k]× + (1−cosθ)[k]ײ 가 이 왕복의 실제 계산식이다. 솔라·데레이·아추탄(2018)과 머레이·리·사스트리(1994)가 이 구조를 추정 문제에 쓰기 좋은 형태로 정리해 두었다. 지구 표면 위를 걷는 것과 같다. 발밑 1 m 범위는 평평하니 평면 좌표로 계산해도 되지만, 서울에서 뉴욕까지를 평면으로 다루면 틀린다. [4] ### 5. 오일러각과 짐벌락 — 세 개의 숫자로는 안 되는 이유 회전을 세 축 주위의 각도 세 개로 적는 방식이 오일러각이다. 요·피치·롤처럼 사람이 직관적으로 읽을 수 있고 저장도 가볍다. 그런데 치명적인 결함이 있다. 특정 자세에서 첫 번째 축과 세 번째 축이 물리적으로 같은 방향으로 겹친다. 그 순간 서로 다른 두 각도가 같은 효과를 낸다. 자유도 하나를 잃는다. 이것이 짐벌락이다. 흔한 오해가 이것을 기계 장치의 결함으로 보는 것이다. 사실은 순수한 수학적 필연이다. 스투엘프나겔(1964)이 보인 대로, 3차원 회전군은 세 개의 실수로 전역적으로, 특이점 없이, 매끄럽게 덮을 수 없다. 어떤 3-파라미터 표현을 고안하더라도 반드시 어딘가에 특이점이 생긴다. 특이점의 위치를 두고도 오해가 널리 퍼져 있다. 가운데 각도가 ±90°일 때라고 단정하는 설명이 많은데, 이는 절반에만 맞다. 축 선택 순서의 조합은 모두 열두 가지이고, 두 부류로 나뉜다. | 부류 | 관례 수 | 예 | 짐벌락이 생기는 가운데 각도 | |---|---|---|---| | 타이트-브라이언 (비대칭) | 6 | z-y-x, x-y-z | ±90° | | 고유 오일러각 (대칭) | 6 | z-x-z, z-y-z, x-y-x | 0° 또는 180° |표 출처: [5] (본문 기준으로 재구성)
고유 오일러각에서는 ±90°가 완전히 정상적인 자세다. 대신 가운데 각도가 0이 되면 첫 축과 셋째 축이 겹친다. 디벨(2006)은 (3,1,3) 순서에서 가운데 각이 0일 때 첫 각의 변화와 셋째 각의 변화가 같은 효과를 낸다고 명시한다. 관례를 열두 가지로 세어 놓고 특이점을 한 값으로 단정하면, 절반에 대해 틀린 말이 된다. 실무에서 무서운 것은 각도가 갑자기 튀는 현상 자체가 아니다. 특이점 근처에서 각속도를 오일러각 변화율로 바꾸는 변환행렬의 조건수가 발산한다는 점이다. 야코비안이 무한대로 커지면 칼만 필터나 최적화가 조용히 발산한다. 경보도 없이 결과만 망가진다. 아폴로 유도장치의 관성플랫폼은 3짐벌 구조여서 실제로 락 영역이 존재했다. 네 번째 짐벌을 추가하자는 제안은 무게와 비용 때문에 기각되었고, 우주비행사들은 회피 기동으로 대처했다. 북극에 서 있으면 동쪽으로 가라는 말이 의미를 잃는다. 경도선이 한 점으로 모여버렸기 때문이다. 지구가 고장 난 것이 아니라, 구면을 두 각도로 덮으려는 시도 자체에 그런 지점이 생길 수밖에 없다. [5] ### 6. 회전행렬과 쿼터니언 — 무거운 표현과 가벼운 표현 오일러각을 내부 계산에 쓸 수 없다면 대안은 두 가지다. 둘 다 자유도 3을 더 많은 숫자로 표현해서 특이점을 없앤다. 회전행렬은 3×3 행렬로 적는 방식이다. 조건은 열들이 서로 직교하는 단위벡터일 것, 그리고 행렬식이 +1일 것이다. 행렬식이 −1이면 회전이 아니라 거울상 뒤집기가 되어 오른손이 왼손으로 변한다. 장점은 명확하다. 점을 회전시키는 일이 행렬 곱 한 번이다. 회전을 이어 붙이는 것도 곱이다. 역회전은 전치라서 공짜다. 특이점도 없다. 단점은 두 가지다. 첫째, 자유도 3을 표현하는 데 숫자 아홉 개를 쓴다. 둘째, 부동소수점 곱을 반복하면 반올림 오차가 쌓여 열들이 서서히 직교성을 잃는다. 그대로 두면 회전이 미세하게 물체를 늘리거나 찌그러뜨리기 시작한다. 그래서 주기적으로 그람-슈미트나 특이값분해 기반 극분해로 가장 가까운 정규직교행렬로 되돌려야 한다. 되돌리는 주기는 요구 정밀도와 응용에 따라 크게 달라지므로 규범적인 값이 없다. 덜 알려진 약점은 보간이다. 두 회전행렬을 성분끼리 평균 내면 결과는 회전행렬이 아니다. 두 자세 사이를 부드럽게 잇는 작업에 적합하지 않다. 쿼터니언은 네 개의 숫자 (w, x, y, z)로 적되 제곱합이 1이 되도록 묶은 것이다. 회전축 단위벡터 k와 회전각 θ에 대해 w = cos(θ/2), (x, y, z) = k·sin(θ/2)이다. 왜 하필 절반 각인가. 쿼터니언으로 벡터를 회전시키는 연산은 q를 앞뒤로 두 번 곱하는 형태 q v q* 라서 각도가 두 배로 적용된다. 그래서 애초에 절반만 담아둔다. 이 구조에서 중요한 귀결이 나온다. q와 −q는 정확히 같은 회전을 나타낸다. 성분 네 개에 단위 노름 제약 하나를 걸면 3차원 대상이 남고, 그것이 R⁴ 안의 단위 3-구 S³다. 지수 3이 곧 다양체의 차원이다. 이 S³가 SO(3)를 2대 1로 덮는다. SO(3)의 자유도가 3이므로 덮는 쪽도 3차원이어야 하고, 4 − 1 = 3이라는 회계가 정확히 맞아떨어진다. 이중 피복에는 실용적 대가가 따른다. 두 자세 사이를 보간하거나 여러 자세를 평균 낼 때 부호를 먼저 맞추지 않으면, 짧게 돌 수 있는 길을 두고 반대쪽으로 크게 도는 결과가 나온다. 슈메이크(1985)가 정의한 구면선형보간은 이 부호 정리를 전제로 두 회전 사이를 일정한 각속도로 잇는다. | 표현 | 성분 | 제약 | 자유도 | 특이점 | 합성 비용 | |---|---|---|---|---|---| | 오일러각 | 3 | 0 | 3 | 있음 (관례별로 위치 다름) | 해당 없음 | | 회전행렬 | 9 | 6 | 3 | 없음 | 곱셈 27 + 덧셈 18 | | 단위 쿼터니언 | 4 | 1 | 3 | 없음 | 곱셈 16 + 덧셈 12 | 비용에는 한 가지 반전이 있다. 회전의 합성은 쿼터니언이 싸지만, 벡터 하나를 회전시키는 일은 행렬이 싸다. 행렬로는 곱셈 9회와 덧셈 6회로 끝난다. 정규화 비용도 크게 다르다. 쿼터니언은 제곱근 한 번과 나눗셈 네 번이면 되는데, 행렬의 재직교화는 그보다 훨씬 비싸다. 그래서 실무의 분업이 정해진다. 관성센서가 초당 수백 번 내보내는 자세 갱신과 예측·보간·필터링은 쿼터니언에서 돌아간다. 그래픽 파이프라인과 셰이더는 결국 행렬을 받는다. 사람에게 숫자를 보여줄 때만 오일러각으로 바꾼다. 디벨(2006)은 이 세 표현의 변환 공식과 특이점을 한자리에 모아 정리했다. 회전행렬은 그 문서의 2절, 오일러각은 5절, 쿼터니언은 6절에서 다룬다. 시계 문자판에서 11시 55분 방향에서 12시 5분 방향으로 가는 길은 두 개다. 시계 방향으로 10분어치, 아니면 반대로 50분어치. 쿼터니언의 부호를 맞춘다는 것은 짧은 쪽으로 가라고 정해주는 일이다. [6][7] ### 7. 카메라를 숫자로 적기 — 핀홀 모델과 내부 파라미터 카메라가 하는 일을 가장 단순하게 적으면 이렇다. 공간의 점을 렌즈 중심과 잇는 직선을 긋고, 그 직선이 센서 평면과 만나는 자리를 찾는다. 수식으로는 u = fx·X/Z + cx 꼴이 된다. 여기서 Z로 나누는 것이 바로 원근이다. 멀수록 작게 보이는 현상 전체가 이 나눗셈 하나에서 나온다. 이 관계를 담은 3×3 행렬 K를 내부 파라미터라 부른다. 안에는 네다섯 개의 숫자가 들어간다. fx와 fy는 초점거리를 픽셀 단위로 환산한 값이다. cx와 cy는 주점, 곧 광축이 센서를 뚫는 자리다. s는 픽셀이 직각이 아닐 때의 기울기이며 현대 센서에서는 거의 0이다. 주의할 점이 있다. fx는 밀리미터가 아니라 픽셀이다. 같은 렌즈라도 센서 픽셀이 작으면 fx 값은 커진다. 그리고 주점은 영상 정중앙이 대략 맞지만 정확히는 아니다. 조립 공차 때문에 보통 중심에서 수 픽셀에서 수십 픽셀 벗어나 있고, 증강현실에서는 그 몇 픽셀이 곧 몇 밀리미터의 어긋남으로 보인다. 화소 종횡비를 뜻하는 fx와 fy의 비는 대개 1.000±0.005 범위에 든다. 이 모델에는 원리적 한계도 하나 있다. 초점거리와 물체까지의 거리가 곱으로만 나타난다. 그래서 한 장의 사진만으로는 작은 물체가 가까이 있는 경우와 큰 물체가 멀리 있는 경우를 구별할 수 없다. 숫자를 하나 넣어 보자. 가로 1920 px 영상에 수평화각이 68°라면 fx = 960 / tan(34°) ≈ 1423 px이다. 이 값에서 곧바로 중요한 양이 나온다. 픽셀 하나가 차지하는 각크기다. 여기서 아주 흔한 오류를 짚어야 한다. 화각을 가로 해상도로 나누어 68°/1920 ≈ 2.1 arcmin을 픽셀 각크기로 쓰는 계산이다. 이 나눗셈은 항등식이 아니다. 폭 전체의 평균에 불과하다. 원근 사영에서 픽셀의 각크기는 균일하지 않고, 주점에서 가장 크고 주변으로 갈수록 작아진다. 정확한 관계는 dθ/du = f / (f² + (u − cx)²)다. 원근의 비선형성을 설명하는 자리에서 정작 선형 나눗셈을 쓰는 것은 자기모순이다. | 위치 | 계산 | 픽셀 각크기 | |---|---|---| | 광축 (주점) | 1 / 1423 rad | 2.42 arcmin | | 가장자리 (u − cx = 960) | 1423 / (1423² + 960²) rad | 1.66 arcmin |표 출처: [8] (본문 기준으로 재구성)
한 화면 안에서 편차가 45%에 달한다. 그리고 앞 절의 표에 나온 목표선 1 arcmin과 비교하면 사정이 분명해진다. 픽셀 한 칸이 이미 사람 눈의 분간 한계보다 두 배 이상 굵다. 화면 중심의 오차 1픽셀은 감춰지지 않는다. 픽셀 단위 초점거리를 물리 초점거리로 환산할 때도 함정이 있다. 1423 px에 픽셀 피치 1.0 µm를 곱하면 1.42 mm가 나오는데, 이 계산은 센서 폭이 1920 × 1.0 µm = 1.92 mm임을 전제한다. 실제 스마트폰 메인 센서는 가로가 4000 px을 넘고 폭이 5~9 mm대이며, 물리 초점거리는 4~7 mm 범위다. 1080p 출력은 그 센서에서 다운스케일이나 비닝을 거쳐 나오므로, 유효 샘플링 피치가 물리 픽셀 피치의 두 배에서 네 배가 된다. fx는 출력 영상의 픽셀 수가 아니라 실제 샘플링 피치에 묶인 양이다. 출력 해상도를 센서 화소수로 혼동하면 단위 사슬이 끊어진다. 바늘구멍 사진기를 떠올리면 된다. 상자 한쪽에 구멍을 뚫고 반대쪽에 종이를 대면 거꾸로 된 상이 맺힌다. 구멍과 종이 사이의 거리가 초점거리이고, 구멍 정면에 오는 종이 위의 점이 주점이다. [8] ### 8. 렌즈 왜곡 — 직선이 직선으로 보이지 않는다 핀홀 모델은 거짓말을 조금 한다. 실제 렌즈를 통과한 빛은 정확히 직선 경로를 따르지 않는다. 그래서 세상의 곧은 직선이 영상에서 휘어 보인다. 주된 성분은 두 가지다. 하나는 반경 방향 왜곡이다. 영상 중심에서 멀어질수록 점이 안쪽으로 당겨지거나 바깥으로 밀려난다. 전자를 배럴, 후자를 핀쿠션이라 부른다. 렌즈가 회전대칭이기 때문에 이 성분은 중심으로부터의 거리 r의 짝수 거듭제곱 급수 k1·r² + k2·r⁴ + k3·r⁶로 근사한다. 다른 하나는 접선 방향 왜곡이다. 렌즈와 센서가 완벽히 평행하게 조립되지 않았을 때 생기며 p1, p2 두 계수로 표현한다. 출처 관계를 정확히 해 둘 필요가 있다. 접선 왜곡의 정본은 브라운(1966)의 렌즈 탈중심 왜곡 논문이고, 제목 그대로 그 논문은 p1과 p2만 다룬다. 반경 방향 다항식 k1, k2, k3의 계보는 콘래디(1919)와 브라운(1971)의 근거리 카메라 보정 논문 쪽이다. 다섯 계수를 (k1, k2, p1, p2, k3)라는 하나의 벡터로 묶는 관례는 오픈시브이의 파라미터화에서 왔다. 브라운-콘래디 모델이라는 이름은 이 두 계보를 합쳐 부르는 말이다. 적용 순서가 중요하다. 왜곡은 정규화된 좌표에서 먼저 적용되고, 그다음 K를 곱해 픽셀로 간다. 순서를 바꾸면 결과가 틀린다. 실무에서 성가신 것은 역변환이다. 왜곡된 픽셀에서 원래 방향을 되돌리는 닫힌 형태의 공식이 없다. 반복 계산을 하거나 미리 만든 룩업테이블을 쓴다. 왜곡의 크기를 감으로 잡으려면 계수와 픽셀 변위의 관계를 봐야 한다. 오픈시브이 규약에서 정규화 좌표는 x = (u − cx)/fx이므로, 앞 절의 fx ≈ 1423 px와 1920×1080 해상도에서 모서리의 정규화 반경은 r = 0.774다. 세제곱하면 0.464다. 1차 반경왜곡의 픽셀 변위는 |k1|·r³·fx가 된다. | k1 | 모서리 변위 | |---|---| | −0.015 ~ −0.045 | 10 ~ 30 px | | −0.1 | 약 66 px | | −0.2 | 약 132 px | | −0.3 | 약 198 px |표 출처: [9] (본문 기준으로 재구성)
이 표는 널리 인용되는 수치 하나를 무너뜨린다. 스마트폰 광각의 k1이 −0.1에서 −0.3 수준이고 1080p 모서리 변위가 10~30 px이라는 서술은 자릿수가 맞지 않는다. 그 정도 계수라면 변위는 66 px에서 198 px이다. 10~30 px이 나오려면 k1이 −0.015에서 −0.045 사이여야 한다. 그리고 화각 120° 이상에서야 변위가 100 px을 넘는다는 서술도 성립하지 않는다. 화각 68°에 k1 = −0.2만으로 이미 132 px이다. 화각이 아주 넓은 어안 렌즈에서는 이 다항식 모델 자체가 발산한다. 그래서 r = f·θ 같은 등거리 모델이나 등입체각 모델로 갈아타야 한다. 보정하지 않으면 증상이 특징적으로 나타난다. 화면 가운데의 가상 물체는 잘 붙어 있는데 가장자리로 갈수록 눈에 띄게 떨어진다. 사용자가 고개를 돌려 대상을 화면 구석으로 보낼 때마다 정합이 깨지는 것처럼 느껴진다. 볼록한 숟가락 뒷면에 비친 얼굴이다. 코는 제자리인데 귀와 턱은 바깥으로 밀려 부풀어 보인다. [9] ### 9. 보정 — 체커보드 한 장이 하는 일 보정은 K와 왜곡 계수를 실제로 재는 작업이다. 원리는 간단하다. 3차원 위치를 정확히 아는 점들과 그 점들이 영상에 찍힌 위치를 짝지어 놓고, 그 짝들을 가장 잘 설명하는 파라미터를 찾는다. 평면 체커보드가 표준이 된 이유는 두 가지다. 평면이라 정확하게 만들기 쉽다. 그리고 코너 위치를 서브픽셀 정밀도로 검출할 수 있다. 장정유(2000)가 제안한 방법의 핵심은 이렇다. 평면 위의 점들과 영상 점들 사이에는 호모그래피 H가 성립하고, 이 H는 K와 회전의 두 열과 이동으로 분해된다. 회전행렬의 두 열이 서로 직교하고 길이가 같다는 조건이 자세마다 K에 두 개씩 제약을 준다. 그러므로 자세를 세 번 이상 바꿔 찍으면 K의 다섯 파라미터를 결정할 수 있다. 스큐를 0으로 가정하면 두 번으로 줄어든다. 절차는 두 단계다. 먼저 닫힌 형태로 초기해를 구하고, 그다음 모든 코너의 재투영 오차 제곱합을 최소화하는 비선형 최적화로 다듬는다. 사람들이 가장 많이 실패하는 곳은 수식이 아니라 데이터 다양성이다. 체커보드를 정면으로만, 화면 가운데에만 놓고 찍으면 초점거리와 물체 거리가 서로 구별되지 않는다. 해가 미끄러진다. 판을 크게 기울이고, 화면 구석까지 채우고, 거리를 바꿔가며 찍어야 조건수가 좋아진다. | 항목 | 값 | 근거의 성격 | |---|---|---| | 최소 자세 수 | 3회 (스큐 0 가정 시 2회) | 장정유(2000)의 원리 | | 원논문 실험 장수 | 모델 평면 5장 | 장정유(2000)의 실험 | | 실무 권장 장수 | 15 ~ 30장 | 구현 도구의 관행 | | 양호한 보정의 RMS 재투영 오차 | 0.1 ~ 0.5 px | 구현 도구의 관행 | | 실촬영 코너 검출 정밀도 | 0.05 ~ 0.1 px | 구현 도구의 관행 | | 체커보드가 차지하는 영상 면적 | 30% 이상 | 구현 도구의 관행 | | 권장 기울기 범위 | 20 ~ 45° | 구현 도구의 관행 |표 출처: [10] (본문 기준으로 재구성)
표의 오른쪽 열을 따로 둔 이유가 있다. 최소 자세 수만이 원논문에서 유도되는 값이고, 나머지는 널리 쓰이는 보정 도구들이 경험으로 쌓은 권고다. 문헌에 귀속하면 틀린 인용이 된다. 두 값을 나란히 놓으면 생각할 거리가 하나 생긴다. 코너 검출 정밀도가 0.05~0.1 px인데 양호한 보정의 RMS 재투영 오차는 0.1~0.5 px이다. 차이만큼은 검출 잡음이 아니라 모델 오차다. 다항식 왜곡 모델이 실제 렌즈를 완전히 설명하지 못한다는 뜻이다. 보정 오차가 뒤에 어떻게 실려 가는지도 감으로 잡아 둘 만하다. 보정이 0.5 px 어긋나면 2 m 거리의 가상 물체가 약 1 mm 틀어진다. 이 오차는 이후 모든 단계에 그대로 전달되며, 아무리 좋은 추적 알고리즘도 이것을 되돌릴 수 없다. 자를 만들 때 길이를 이미 아는 막대 여러 개를 대보며 눈금을 새기는 일과 같다. 막대를 항상 같은 각도로만 대면 눈금의 일부는 영원히 정해지지 않는다. [10] ### 10. 역문제 PnP — 세 점이 만드는 네 개의 답 증강현실이 매 프레임 푸는 핵심 방정식이 이것이다. 공간에서 위치를 아는 점 n개가 영상의 어디에 찍혔는지 알 때, 카메라가 어디에서 어느 방향으로 보고 있었는지를 역산한다. 미지수는 여섯 개다. 회전 3, 이동 3. 점 하나가 방정식 두 개를 주므로 이론상 3점이면 충분하다. 그런데 3점만으로는 답이 하나로 정해지지 않는다. 식이 4차 다항식이 되어 최대 네 개의 실수 해가 나온다. 가오·허우·탕·청(2003)이 이 해의 개수를 완전히 분류했다. 기하학적으로 보면 납득이 된다. 삼각형 하나만 보고는 그것이 앞으로 기울었는지 뒤로 기울었는지 구별되지 않는 배치가 존재한다. 그래서 실무에서는 네 번째 점을 하나 더 쓴다. 후보 넷을 각각 재투영해 보고 그 점에 가장 잘 맞는 것을 고른다. 점이 많을 때는 다른 전략을 쓴다. 르프티·모레노노게르·푸아(2009)의 EPnP는 모든 3차원 점을 네 개의 가상 제어점의 가중합으로 다시 적는다. 그러면 미지수가 제어점 네 개의 카메라 좌표, 곧 열두 개로 줄고 점 개수에 선형인 시간으로 풀린다. | 방법 | 최소 점 수 | 해의 개수 | 계산 성격 | |---|---|---|---| | P3P | 3 | 최대 4 | 닫힌 형태 | | P3P + 판별점 | 4 | 1 | 후보 재투영으로 선별 | | DLT (3×4 사영행렬) | 6 | 1 | 선형 | | EPnP | 4 이상 | 1 | O(n). n = 1000에서 수 ms |표 출처: [11] (본문 기준으로 재구성)
어느 방법을 쓰든 마지막에는 항상 비선형 정제를 붙인다. 초기해를 출발점으로 삼아 재투영 오차를 가우스-뉴턴이나 레벤버그-마쿼트로 줄이는 단계다. 실무의 수렴 판정은 평균 재투영 오차 1 px 이하를 쓴다. 순서를 뒤집으면 실패한다. 초기해 없이 비선형 최적화만 돌리면 엉뚱한 국소최소로 빠진다. 닫힌 형태 해법이 여전히 필요한 이유가 정확도가 아니라 출발점 제공에 있다. 마커 기반 방식은 마커 네 귀퉁이로 이 문제를 푸는 것이 사실상 전부다. 마커 없는 방식도 지도에 저장된 3차원 특징점과 현재 영상의 대응으로 같은 문제를 매 프레임 푼다. 밤하늘에서 별 세 개의 실제 위치를 알면 내가 지구 어디에 서 있는지 대략 알 수 있다. 하지만 세 개만으로는 헷갈리는 후보 지점이 남고, 네 번째 별을 확인해야 하나로 좁혀진다. [11] ### 11. RANSAC — 평균 대신 합의 최소제곱법은 모든 데이터가 조금씩만 틀렸다고 가정한다. 그 가정이 깨지면 무너진다. 아주 멀리 떨어진 이상치가 단 하나만 섞여도 최소제곱해는 그쪽으로 끌려간다. 통계 용어로 붕괴점이 0이다. 그런데 영상 특징점 매칭은 본질적으로 이상치 투성이다. 비슷하게 생긴 벽돌, 창틀, 반복 무늬는 엉뚱한 곳끼리 짝지어진다. 실제 현장에서 오대응 비율이 20~70%인 것은 전혀 이상한 일이 아니다. 피슐러와 볼스(1981)의 발상은 데이터를 평균 내지 않고 투표하게 만드는 것이다. 절차는 네 단계다. 모델을 정하는 데 필요한 최소 개수만 무작위로 뽑는다. 그 표본으로 모델 하나를 만든다. 나머지 전체 데이터 중 그 모델에 일정 오차 안으로 들어오는 것을 센다. 이것을 여러 번 반복해 지지자가 가장 많은 모델을 채택하고, 마지막에 그 지지자들만으로 다시 정밀하게 푼다. 핵심 통찰은 필요한 반복 횟수의 공식에 있다. N = log(1 − p) / log(1 − (1 − ε)^s)다. p는 목표 성공확률, ε은 이상치 비율, s는 최소 표본 크기다. | 조건 | 필요 반복 횟수 | |---|---| | p = 0.99, ε = 0.5, s = 4 | 72회 | | p = 0.99, ε = 0.5, s = 8 | 1177회 |표 출처: [12] (본문 기준으로 재구성)
같은 이상치 비율에서 표본 크기만 두 배로 늘었는데 반복 횟수는 16배가 되었다. 이 공식은 이상치 비율에 대해서는 완만하지만 최소 표본 크기에 대해서는 지수적으로 커진다. 그래서 최소 몇 점으로 풀 수 있는가를 줄이는 연구가 그토록 중요하다. 앞 절의 P3P 같은 최소 해법이 존재하는 실질적 이유가 여기 있다. 내부점 판정 임계값에도 자주 틀리는 지점이 있다. 측정 잡음 표준편차의 약 두 배를 쓰라는 처방이 흔한데, 자유도가 맞지 않는다. 재투영 오차는 점과 점 사이의 거리이므로 자유도가 2다. 하틀리와 지서만(2004)의 표준 처방은 카이제곱 95% 분위를 써서 t² = 5.99σ², 곧 t ≈ 2.45σ다. 1.96σ는 t² = 3.84σ²에 해당하며 자유도 1인 점과 직선 사이의 거리에 적용된다. 2σ를 쓰면 임계값이 약 20% 낮아져 참 내부점을 체계적으로 버린다. 기본 얼개는 단순하지만 변형이 많다. MSAC은 내부점을 세는 대신 잔차의 크기를 반영한다. PROSAC은 좋은 대응을 먼저 뽑는다. LO-RANSAC과 GC-RANSAC은 채택된 모델 주변에서 국소 최적화를 덧붙인다. 설문 응답의 절반이 장난이라도, 무작위로 네 명씩 뽑아 이 네 명이 같은 이야기를 하는가를 수십 번 확인하면 진짜 다수 의견을 찾아낼 수 있다. 평균을 내면 장난 응답이 결과를 망치지만, 합의를 세면 망치지 못한다. [12] ### 12. 번들 조정 — 전체를 한꺼번에 미세조정하기 프레임마다 따로 자세를 풀면 오차가 쌓여 지도가 휘어진다. 번들 조정은 모든 카메라 자세와 모든 3차원 점을 동시에 미지수로 놓고, 관측된 모든 영상점과 재투영된 점 사이의 거리 제곱합을 한꺼번에 최소화한다. 이름의 번들은 각 3차원 점에서 여러 카메라로 뻗어 나가는 광선 다발을 뜻한다. 트리그스·맥로클런·하틀리·피츠기번(2000)이 이 문제의 표준적 정리를 제공했다. 문제는 크기다. 카메라 100대와 점 5만 개면 미지수가 15만 개를 넘는다. 통째로 푸는 것은 불가능해 보이지만, 구조에 결정적인 성질이 있다. 어떤 3차원 점은 그것이 실제로 보인 몇 대의 카메라하고만 연결되고 나머지와는 무관하다. 그래서 야코비안과 정규방정식 행렬이 극도로 희소한 블록 구조를 갖는다. 여기에 슈어 보수를 적용해 점 블록을 먼저 소거하면, 카메라 자세만 남은 훨씬 작은 연립방정식으로 줄어든다. 밀집으로 풀면 무엇이 막히는지를 정확히 아는 것이 중요하다. | 항목 | 값 | |---|---| | 미지수 개수 | 6m + 3n (카메라 m대, 점 n개) | | m = 100, n = 50,000 | N = 150,600 | | 밀집 촐레스키 분해 연산량 | 약 N³/3 ≈ 1.14×10¹⁵ flop | | 밀집 정규방정식 저장량 | N² × 8 B ≈ 181 GB | | 슈어 보수 후 축소 시스템 | 600 × 600 | | 게이지 자유도 | 7 (회전 3 + 이동 3 + 축척 1) |표 출처: [13] (본문 기준으로 재구성)
연산량 쪽은 흔히 과장된다. 대칭 행렬의 촐레스키 분해는 N³가 아니라 약 N³/3이다. 그리고 초당 10¹¹에서 10¹² 연산을 하는 기계라면 수 시간 규모로 느리기는 해도 불가능은 아니다. 진짜 장벽은 아래 줄이다. 배정도 실수로 181 GB인 행렬은 애초에 메모리에 올라가지 않는다. 희소성과 슈어 보수를 쓰는 첫째 동기는 연산 절감이 아니라 밀집 저장 회피다. 이 문제에는 또 하나 특이한 성질이 있다. 게이지 자유도다. 재구성 전체를 통째로 회전시키거나 옮기거나 확대해도 재투영 오차는 변하지 않는다. 일곱 개의 자유도를 따로 고정하지 않으면 해가 유일하지 않다. 그리고 RANSAC이 놓친 잔여 이상치를 위해 후버나 코시 같은 로버스트 손실함수를 씌우는 것이 표준이다. 세레스 솔버, g2o, GTSAM 같은 구현들이 이 조각들을 모아 제공한다. 아가르왈 외(2011)는 이 기법으로 도시 규모 재구성을 하루 안에 수행한 사례를 보고했다. 여러 사람이 찍은 사진을 벽에 핀으로 붙여 하나의 지도를 만든다고 하자. 한 장씩 차례로 붙이면 마지막에 크게 어긋난다. 전부 헐겁게 붙여 놓고 모든 사진이 동시에 가장 덜 어긋나도록 핀을 함께 밀어 넣는 것이 번들 조정이다. [13] ### 13. 다양체 위의 최적화 — 회전은 더할 수 없다 앞의 최적화들이 은근슬쩍 넘어간 문제가 있다. 최적화 알고리즘은 현재 값에 작은 변화량을 더하는 일을 반복한다. 그런데 회전은 더할 수 있는 대상이 아니다. 두 회전행렬을 성분끼리 더하면 회전행렬이 아니고, 두 오일러각을 평균 내면 엉뚱한 자세가 나온다. 해법은 리트랙션이다. 현재 추정된 회전 R 주변의 접평면에서 3차원 벡터 δ만큼 움직이고, 그 δ를 지수사상으로 회전으로 바꿔 R에 곱한다. 식으로는 R ← R·exp([δ]×)다. 곱한 결과는 항상 정확한 회전이다. 이동은 원래 벡터공간이니 그냥 더한다. 결과적으로 자세 하나당 정확히 여섯 개의 숫자만 흔들게 되고, 자유도가 남거나 모자라지 않는다. 불확실성도 같은 논리를 따른다. 자세의 공분산은 접평면에서 정의된 6×6 행렬이다. 자세를 12개 숫자로 자유롭게 흔들면 회전이 아닌 것이 튀어나오지만, 접평면에서 6개만 흔들면 그런 일이 생기지 않는다. 여기서 널리 퍼진 오해를 바로잡아야 한다. 반복마다 회전 갱신량을 1° 이하로 유지해야 한다는 규칙은 존재하지 않는다. 리트랙션은 δ의 크기와 무관하게 정확하기 때문이다. 번들 조정의 스텝 크기를 제한하는 것은 레벤버그-마쿼트의 감쇠나 신뢰영역이지 회전 증분의 상한이 아니다. 소각 근사가 들어가는 자리는 다르다. 야코비안을 유도할 때다. 관측 함수를 δ에 대해 1차로 선형화하는 그 계산에만 들어간다. 리트랙션 자체에는 들어가지 않는다. 온-매니폴드 기법은 소각 근사를 필요하게 만드는 장치가 아니라 오히려 불필요하게 만드는 장치다. 그래도 근사 오차의 크기를 알아 두는 편이 낫다. | 회전각 θ | sinθ ≈ θ의 상대오차 | |---|---| | 5° | 0.127% | | 30° | 4.72% |표 출처: [14] (본문 기준으로 재구성)
30°에서의 값은 기준을 고정해서 읽어야 한다. 참값 sinθ를 분모로 삼으면 4.72%이고, θ를 분모로 삼으면 4.51%다. 한 문서 안에서 분모 기준이 바뀌면 같은 계산이 다른 값으로 보인다. 포르스터·칼로네·델라어트·스카라무자(2017)는 관성 측정의 사전적분을 이 다양체 구조 위에서 정식화해, 시각-관성 추정을 실시간으로 풀 수 있게 만들었다. 솔라 외(2018)의 정리와 함께 이 계열이 현행 추적 시스템의 수학적 기반이다. 규칙을 지키지 않으면 증상이 늦게 나타난다. 최적화가 미세하게 회전이 아닌 행렬을 만들어내고, 그 오염이 누적되어 며칠 뒤에나 드러나는 드리프트가 된다. 추적 코드의 조용한 버그가 대개 여기에서 나온다. 지구본 위에서 한 걸음 옮기는 방법은 두 가지다. 공중으로 직진해 지구를 뚫고 나가거나, 발밑의 땅을 따라 표면 위를 걷거나. 두 번째가 지수사상이 하는 일이다. [14] ### 14. 센서와 센서 사이 — 공간, 그리고 시간 기기 한 대 안에는 카메라와 관성센서와 디스플레이가 각각 다른 위치에 서로 다른 방향으로 붙어 있다. 이들 사이의 고정된 상대 자세를 모르면, 기기가 회전할 때마다 지렛대 효과로 위치 오차가 생긴다. 여기서 정식화를 정확히 해야 한다. 두 센서가 같은 움직임을 각자의 좌표계에서 관측했을 때 성립하는 AX = XB 형태의 방정식이 있다. 차이와 렌츠(1989)의 손-눈 보정이다. 그런데 이 정식화는 두 장치가 모두 완전한 6자유도 자세를 준다는 전제 위에 있다. 관성센서는 자세를 주지 않는다. 각속도와 비력을 준다. 그래서 카메라와 관성센서 사이에는 이 방정식을 그대로 쓸 수 없다. 실제로 쓰이는 방법은 둘이다. 미르자에이와 로우멜리오티스(2008)는 관측성 분석을 동반한 확장 칼만 필터로 푼다. 퍼갤·레더·지그바르트(2013)는 외부 자세와 시간 오프셋을 함께 추정하는 연속시간 배치 추정으로 푼다. 회전 성분은 두 센서의 각속도를 정렬하는 것만으로 부분적으로 얻을 수 있다. 병진 성분은 그렇지 않다. 충분한 운동 여기와 중력 관측이 있어야 관측 가능해진다. 증강현실에서는 미지수가 하나 더 붙는다. 시간이다. 카메라와 관성센서는 서로 다른 클럭과 서로 다른 지연을 갖기 때문에, 같은 순간을 서로 다른 타임스탬프로 기록한다. 이 시간 오프셋을 공간 외부 파라미터와 함께 미지수로 넣어 한꺼번에 푸는 것이 현재의 표준이다. 시간 오프셋이 특히 무서운 이유는 회전이 빠를수록 오차가 선형으로 커지기 때문이다. 느리게 움직일 때는 아무 문제가 없다. 사용자가 고개를 홱 돌리는 순간에만 가상 물체가 튄다. | 항목 | 값 | |---|---| | 카메라-관성센서 거리 (레버암) | 통상 2 ~ 10 cm | | 각속도 200°/s | 3.49 rad/s | | 레버암 5 cm에서의 접선속도 | 0.175 m/s | | 시간 오프셋 5 ms의 병진 오차 | 약 0.87 mm | | 시간 오프셋 5 ms의 회전 정렬 오차 | 1° | | 미지수 | 외부 자세 6 + 시간 오프셋 1 |표 출처: [15] (본문 기준으로 재구성)
표의 두 오차는 원인이 다르므로 한 묶음으로 비교하면 안 된다. 0.87 mm는 레버암과 시간 오프셋이 곱해진 결과다. 레버암이 0이면 사라진다. 1°는 200°/s에 5 ms를 곱한 순수한 시간 정렬 오차다. 레버암이 0이어도 그대로 발생한다. 하나는 배치 문제이고 다른 하나는 동기화 문제다. 대책도 각각 다르다. 크기의 감만 말하면 회전 성분이 지배적이다. 1°의 각도 오차는 1 m 거리에서 약 17.5 mm의 어긋남이 된다. 같은 상황의 병진 오차 0.87 mm와는 성질이 다른 양이지만, 사용자가 보게 되는 어긋남의 주범이 어느 쪽인지는 분명하다. 버스 앞쪽에 앉은 사람과 뒤쪽에 앉은 사람은 같은 회전을 겪지만 이동 거리가 다르다. 두 사람의 좌석 간격을 모르면 뒷사람의 기록으로 앞사람의 위치를 계산할 수 없고, 두 사람의 시계가 5 ms 어긋나 있으면 급커브에서만 어긋남이 드러난다. [15] ### 15. 측정할 수 없는 눈 — 광학 시스루의 보정 지금까지의 사슬은 모두 측정 가능한 고리로 이어져 있었다. 마지막 고리는 그렇지 않다. 카메라 영상 위에 그림을 그리는 비디오 시스루에서는 마지막 고리가 이미지좌표계다. 여기서 흔한 오해가 하나 있다. 카메라의 투영 중심이 곧 사용자의 눈이라는 설명이다. 그렇지 않다. 패스스루 기기의 카메라는 눈보다 수 센티미터 앞이나 바깥에 놓인다. 그래서 촬영 영상을 눈 시점으로 다시 투영해야 하고, 고전적인 정시성 설계가 거울 폴딩으로 카메라를 광학적으로 눈 위치까지 옮겼던 이유도 이것이다. 비디오 시스루가 없애주는 것은 눈 위치를 모른다는 문제이지, 시점 오프셋 문제 자체가 아니다. 광학 시스루는 더 근본적으로 다르다. 사용자는 반투명 유리 너머로 실제 세계를 직접 보고, 그 위에 빛이 겹쳐진다. 그러므로 진짜 투영 중심은 사용자의 눈동자인데, 기기는 자기 사용자의 눈을 볼 수 없다. 측정할 수 없는 대상을 추정해야 한다. 투제리안과 나바브(2000)가 제안한 SPAAM의 발상은 사용자를 측정 장비로 쓰는 것이다. 디스플레이에 십자 표식을 띄우고, 사용자가 머리를 움직여 그 표식을 추적 중인 실제 세계의 한 점과 겹쳐 보이게 만든다. 겹친 순간 버튼을 누르면 이 3차원 세계점이 이 2차원 디스플레이 좌표에 대응한다는 한 쌍이 기록된다. 이런 쌍을 충분히 모으면 눈과 디스플레이 사이의 3×4 투영행렬을 직접선형변환으로 풀 수 있다. | 항목 | 값 | |---|---| | 눈-디스플레이 투영행렬 자유도 | 11 | | 정렬 1회가 주는 방정식 | 2 | | 이론상 최소 정렬 횟수 | 6 | | 실무 권장 정렬 횟수 | 20회 이상 | | 성인 동공간거리 평균 / 표준편차 | 약 63.4 mm / 약 3.8 mm | | 입사동과 눈 회전중심의 거리 | 약 11 mm |표 출처: [16] (본문 기준으로 재구성)
어려움은 여러 겹이다. 첫째, 측정 장비가 사람이다. 머리 떨림과 조준 편향과 피로가 그대로 잡음이 된다. 둘째, 기기가 코 위에서 조금만 미끄러져도 애써 구한 보정이 무효가 된다. 셋째, 사람마다 동공간거리가 다르다. 도지슨(2004)의 값으로 표준편차 3.8 mm는 평균의 6%에 해당한다. 넷째, 시차의 기하학 때문에 시점의 작은 이동이 곧 정합 오차로 증폭된다. 가상 상이 맺히는 거리 D와 실제 물체 거리 d가 다르면, 시점이 δ만큼 움직일 때 어긋남은 δ(1 − d/D)가 된다. 가상 상면 2 m, 실물 0.5 m, 시점 이동 5 mm라면 어긋남은 3.75 mm다. 0.5 m 거리에서 각도로 환산하면 약 0.43°이고, 1절의 표에서 본 목표선 1 arcmin의 스물다섯 배가 넘는다. 안구 회전을 어떻게 볼지는 견해가 갈린다. 시선을 돌리면 안구가 회전하고, 입사동이 눈 회전중심 앞 약 11 mm에 있으므로 실효 시점이 밀리미터 단위로 움직인다. 이것을 치명적 문제로 보는 관점이 있다. 반면 아주마(1997)는 홀러웨이의 분석을 근거로 반대 결론을 명시한다. 사용자의 눈이 기기에 대해 회전할 수는 있으나 그로 인한 오차는 매우 작고, 눈의 회전중심을 그래픽 모델의 시점으로 쓰면 광학 시스루 기기에서 눈추적이 필요 없어진다는 것이다. 어느 쪽이 맞는지는 상 거리와 물체 거리의 조합에 달려 있으므로, 위의 시차 공식에 실제 조건을 넣어 판단하는 것이 옳다. 그루버트·이토·모저·스완(2018)은 이 계열의 보정 방법들을 조사해 정리했다. 현재의 중심 과제는 자동 눈추적으로 사용자 정렬 절차를 아예 없애는 쪽이다. 남이 쓴 안경을 대신 맞춰주는 일과 같다. 그 사람의 시야 안에서 무엇이 어떻게 겹쳐 보이는지는 오직 그 사람만 알고, 우리는 지금 겹쳤는지 묻는 것 외에 확인할 방법이 없다. [16] ### 16. 일곱 번째 좌표 — 지연, 예측, 잔여 오차 앞의 모든 수학이 완벽해도 어긋날 수 있다. 계산에 쓰인 자세는 과거의 값이고, 그 결과로 그려진 그림은 미래에 눈에 도달하기 때문이다. 센서가 자세를 읽는 순간부터 그 결과가 빛이 되어 눈에 닿기까지의 시간을 모션-투-포톤 지연이라 부른다. 그 사이에 머리가 움직였다면 어긋남의 크기는 정확히 각속도 곱하기 지연 시간이다. 이 곱이 문제의 전부라는 사실이 중요하다. 지연을 절반으로 줄이면 오차도 절반이 된다. 그러므로 숫자를 정확히 알아야 한다. 머리 회전 속도에 대해서는 과장된 값들이 널리 돌아다닌다. 홀러웨이(1997)의 계측은 세 세션에서 약 1만 개의 표본을 얻었고, 평균 선속도 164 mm/s와 평균 각속도 20°/s를 보고했다. 50°/s는 평균이 아니다. 같은 문서가 보수적 상한으로 쓴 값이다. 아주마의 1995년 자료에서 순간 첨두가 120°/s까지 올라간 사례가 있다고 인용되며, 아주마(1997)는 50°/s를 중등도 회전율이라 부른다. | 항목 | 값 | |---|---| | 평균 각속도 / 평균 선속도 | 20°/s / 164 mm/s | | 보수적 상한 | 50°/s / 500 mm/s | | 보고된 순간 첨두 | 120°/s | | 지연 100 ms × 20°/s | 2°. 1 m에서 약 35 mm | | 최악의 경우 오차율 (대상 0.5 m) | 약 1 mm/ms | | 평균 속도 기준 오차율 (대상 0.5 m) | 약 0.33 mm/ms | | 1 arcmin의 1 m 환산 | 약 0.29 mm | | 60 Hz 프레임버퍼 주사 시간 | 16.67 ms |표 출처: [2] (본문 기준으로 재구성)
널리 인용되는 홀러웨이의 경험칙도 조건을 붙여 읽어야 한다. 지연 1 ms당 약 1 mm라는 값은 대상 거리 500 mm에서 나온 것이다. 그리고 회전 성분 0.44 mm/ms와 병진 성분 0.5 mm/ms를 합산한 최악의 경우다. 절반이 병진 기여다. 같은 문서의 평균 속도를 넣으면 약 0.33 mm/ms로 3분의 1이 된다. 거리와 조건과 성분 구성을 빼고 1 mm/ms만 인용하면 세 배 과대 추정이 된다. 지연 요구가 얼마나 가혹한지는 아주마(1997)의 계산이 잘 보여준다. 50°/s의 중등도 회전에서 각도 오차를 0.5° 이하로 유지하려면 시스템 지연이 10 ms 이하여야 한다. 그런데 60 Hz 디스플레이에 프레임버퍼를 주사하는 일만으로 16.67 ms가 소모된다. 같은 문서의 다른 예시에서는 지연 100 ms와 회전 50°/s, 팔 길이 68 cm 조건에서 정합 오차가 거의 60 mm에 이른다. 대책은 세 갈래다. 첫째, 예측이다. 등속이나 등가속 모델, 또는 고속 관성 적분으로 표시될 시각의 자세를 미리 계산한다. 아주마와 비숍(1994)이 이 방향의 초기 성과를 보였다. 다만 예측은 잡음도 함께 증폭한다. 지연을 줄이면 화면이 떨리고 떨림을 줄이면 지연이 남는 맞바꿈이 생긴다. 둘째, 늦게 읽기다. 렌더링 직전까지 자세 확정을 미룬다. 셋째, 후단 재투영 또는 타임워프다. 이미 그린 화면을 주사 직전에 확정한 최신 자세에 맞춰 2차원적으로 다시 표본화한다. 여기서 방향을 뒤집어 말하는 설명이 흔하다. 타임워프가 실효 지연을 한 프레임 수준까지 낮춘다는 서술인데, 한 프레임은 이 기법이 도달하는 값이 아니라 제거하는 단위다. 잔여 회전 지연은 통상 한 자릿수 밀리초로 내려간다. 마이크로소프트 문서는 홀로렌즈에 예측된 머리 위치와 실제 머리 위치의 차이를 보정하는 하드웨어가 있다고 적고, 동시에 프레임률이 30 FPS로 떨어지면 33.3 ms의 지연이 추가된다고 적는다. 타임워프의 한계도 정확히 알아야 한다. 이 기법이 보정하는 것은 방향이다. 깊이를 함께 쓰더라도 병진 성분은 근사에 그치고, 가려졌던 영역이 드러나는 문제가 남는다. 근거리 정합에서 결정적인 성분이 바로 그 남는 쪽이다. 결국 시간은 좌표계 하나를 더 추가하는 셈이다. 이 축을 무시한 기하학은 정지 상태에서만 맞는다. 움직이는 기차 창밖으로 공을 던져 표적을 맞히는 일과 같다. 던지는 순간의 표적 위치를 겨누면 반드시 빗나가고, 공이 도착할 시각의 위치를 겨눠야 한다. 그런데 바람이 불면 예측이 흔들려, 더 멀리 내다볼수록 더 크게 틀릴 수 있다. 맞춘다는 것은 하나의 계산이 아니라 다섯 개의 좌표계와 네 개의 고리, 그리고 시간이라는 한 축으로 이루어진 사슬 전체를 동시에 맞추는 일이다. 사슬의 오차는 더해지지 않고 곱해지며, 목표선인 1 arcmin은 어느 한 고리만 잘 맞춰서는 결코 지킬 수 없다. [2]본문의 번호를 누르면 출처로 이동합니다. 절 끝의 번호는 그 절의 사실 자료를, 표 아래의 번호는 표에 사용한 자료를 가리킵니다. 비교·계산·비유와 결론은 필자의 재구성입니다. 한 번호에 함께 사용한 문헌이 둘 이상이면 묶어서 적었습니다.
서지정보와 확인 메모는 옵시디언 조사 기록을 바탕으로 복원했습니다. 원 기록의 ‘전문 확인’·‘조회’ 표기는 당시 조사 상태이며 이번 웹판에서 모두 재검증했다는 뜻은 아닙니다. 불완전한 서지사항은 임의로 채우지 않았습니다.
표 출처: [2] (본문 기준으로 재구성)
조건을 붙여 읽어야 하는 숫자가 둘이다. 노이즈 밀도 0.16 mg/√Hz는 측정 범위를 ±8 g로 놓은 노멀 모드 조건값이다. 제로-g 오프셋 ±20 mg는 초기 전형값이 아니라 기판에 납땜한 뒤 수명 전체에 걸쳐 누적될 수 있는 한계 규격이다. 20 mg는 0.196 m/s²에 해당한다. 사양표의 숫자는 조건을 떼어내면 의미가 달라진다. [2] ### 11.3 흔들리는 구조물이 회전을 느끼는 법 MEMS 자이로에는 회전하는 팽이가 없다. 대신 증명질량을 한 방향으로 끊임없이 진동시켜 둔다. 이것을 구동 모드라 한다. 상용 소자의 구동 진동 주파수는 통상 10~30 kHz 대역이다. 이 상태에서 칩 전체가 회전하면 진동하는 질량에 코리올리 힘이 작용한다. 크기는 F = -2m(ω × v)로 주어지고, 방향은 진동 방향과 회전축 모두에 수직이다. 이 힘이 질량을 옆으로 아주 조금 흔든다. 이것이 감지 모드다. 감지 변위는 피코미터에서 나노미터 사이이고, 그 크기가 회전 각속도에 비례한다. 회전목마 위에서 중심을 향해 걸어가면 몸이 옆으로 밀린다. 밀리는 느낌의 세기가 회전목마의 회전 속도를 알려준다. MEMS 자이로는 그 걸어가는 사람을 초당 수만 번 앞뒤로 흔들리는 미세 구조물로 대체한 장치다. 핵심은 이 센서가 각도를 주지 않는다는 점이다. 각속도를 준다. 각도를 얻으려면 시간에 대해 적분해야 하고, 적분은 오차를 지운 적이 없다. 오차를 쌓는다. 오차의 물리적 원인도 구조에서 나온다. 구동 진동과 감지 진동이 완벽히 직교하지 않으면, 회전이 없어도 구동 신호의 일부가 감지 모드로 새어 들어온다. 이것을 구적 오차라 한다. 구적 오차는 온도에 따라 변하고, 그 변화가 바이어스 드리프트의 주된 발생원이다. 그래서 자이로 사양표에서 가장 중요한 숫자는 측정 범위가 아니다. 제로-레이트 오프셋과 그 온도 계수다. BMI270의 제로-레이트 오프셋은 ±0.5 dps로 규정되어 있다. 시간당으로 환산하면 1,800°/hr이다. 아무 보정 없이 쓰면 회전하지 않는 기기가 한 시간에 다섯 바퀴를 돈 것으로 계산된다는 뜻이다. | 항목 | 값 | |---|---| | 측정 범위 | ±125 dps(262.1 LSB/dps) ~ ±2,000 dps(16.4 LSB/dps) | | 노이즈 밀도 | 0.007 dps/√Hz (퍼포먼스 모드) / 0.010 dps/√Hz (노멀 모드) | | 제로-레이트 오프셋 | ±0.5 dps | | 출력 데이터율 | 25 Hz ~ 6.4 kHz | | 소비 전류 (가속도계+자이로) | 685 µA (노멀 모드, VDD 1.8 V, 최대 ODR) / 970 µA (퍼포먼스 모드) |표 출처: [3] (본문 기준으로 재구성)
노이즈 밀도와 소비 전류는 같은 동작점에서 읽어야 한다. 0.007 dps/√Hz는 퍼포먼스 모드 조건값이고, 그 모드의 소비 전류는 970 µA다. 685 µA는 노멀 모드 값이며 그때 노이즈 밀도는 0.010 dps/√Hz로 올라간다. 전력으로 옮기면 데이터시트 조건인 1.8 V 기준으로 각각 약 1.23 mW와 1.75 mW다. 전력 예산을 짤 때 이 두 밀리와트의 차이가 하루 사용 시간을 가른다. 자세 오차가 왜 치명적인지도 숫자로 잡을 수 있다. 머리 방향이 1도 틀어지면 3 m 앞에 놓인 가상 물체는 약 5 cm 어긋난다. 자이로는 증강현실에서 가장 빠른 자세 정보원이다. 동시에 가장 위험한 오차원이다. [3] ### 11.4 시간이 적이 되는 순간 관성 센서만으로 위치를 추정하는 방식을 관성항법이라 한다. 여기서 오차가 자라는 방식에는 뚜렷한 위계가 있다. 이 위계를 이해하면 증강현실이 무너지는 거의 모든 상황이 한 줄로 설명된다. 첫 번째 층은 자세다. 자이로에 상수 바이어스 b_g가 있으면, 각속도를 한 번 적분해 얻는 자세 오차는 b_g 곱하기 t로 자란다. 시간에 정비례한다. 두 번째 층은 위치다. 가속도계 바이어스 b_a는 두 번 적분되어 위치 오차 ½·b_a·t²를 만든다. 시간의 제곱이다. 세 번째 층이 진짜 문제다. 자세가 b_g·t만큼 틀어지면 기기는 중력 벡터가 어느 쪽인지 잘못 안다. 그러면 지구 중력 g의 일부가 수평 방향 가속으로 오해된다. 그 크기는 대략 g·b_g·t다. 이 가짜 가속을 두 번 적분하면 위치 오차는 (1/6)·g·b_g·t³이 된다. 시간의 세제곱이다. 중력이 오차 증폭기 노릇을 하는 셈이다. 눈을 감고 걷는 사람을 떠올리면 된다. 방향 감각이 1초에 0.5도씩 틀어진다면 처음 몇 걸음은 괜찮다. 그런데 몸이 살짝 기울어진 채로 걷기 시작하면 기울어진 만큼 중력이 옆으로 밀어내고, 그 밀림이 다시 쌓인다. 10초면 복도 반대편 벽이다. BMI270의 보정 전 규격값을 그대로 넣으면 다음과 같다. 가속도계 바이어스는 20 mg, 즉 0.196 m/s², 자이로 바이어스는 0.5 dps, 즉 8.73×10⁻³ rad/s로 둔다. | 경과 시간 | 자세 오차 | 위치 오차: t² 항 | 위치 오차: t³ 항 | |---|---|---|---| | 1초 | 0.5° | 9.8 cm | 1.4 cm | | 10초 | 5.0° | 9.8 m | 14.3 m |표 출처: [4] (본문 기준으로 재구성)
10초를 넘기면 t³ 항이 t² 항을 추월한다. 같은 식으로 60초를 넣으면 t³ 항만으로 3.1 km가 나온다. 방 안에 서 있는 기기가 1분 뒤에는 옆 동네에 있다고 주장하는 것이다. 이것이 관성 센서 단독 추정이 수 초 이상 버틸 수 없는 근본 이유다. 보정이 개입하면 그림이 달라진다. 자이로 바이어스를 실시간으로 추정해 잔여값을 0.01 dps, 즉 약 36°/hr까지 낮추면, 10초 뒤 t³ 항은 14.3 m에서 28 cm로 줄어든다. 오차가 50배 작아진 것이 아니라 50배의 세제곱만큼 작아진 바이어스가 그대로 반영된 결과다. 센서 등급이 얼마나 결정적인지도 이 계산이 보여준다. 100 mg급 저가 가속도계는 약 10초 만에 50 m 수준의 정확도를 잃는다. 10 µg급 최고급 관성 장치는 같은 정확도를 약 17분 유지한다. 부품값이 네 자릿수 차이 나는 이유가 여기 있다. 위계 자체는 티터튼과 웨스턴의 『Strapdown Inertial Navigation Technology』, 그리고 그로브스의 『Principles of GNSS, Inertial and Multisensor Integrated Navigation Systems』가 정리한 고전적 오차 전파 관계다. 각속도의 상수 오차가 속도에서 2차, 위치에서 3차 오차 증가를 낳는다는 진술로 요약된다. [4] ### 11.5 앨런 편차, 센서 등급을 읽는 언어 사양표에는 노이즈 밀도와 바이어스 안정도가 따로 적혀 있다. 이 둘을 같은 잡음의 두 얼굴로 오해하기 쉽다. 사실은 서로 다른 잡음 과정이다. 노이즈 밀도는 각속도에 실린 백색잡음에서 나오고, 바이어스 안정도는 플리커 잡음, 즉 1/f 잡음에서 나온다. 두 잡음을 한 그림에 놓고 보는 표준 도구가 앨런 분석이다. 정지한 센서를 몇 시간 켜놓고 출력을 기록한다. 그다음 평균을 내는 구간 길이 τ를 바꿔가며 통계량을 계산해 로그-로그 그래프로 그린다. 관행은 앨런 분산의 제곱근인 앨런 편차 σ(τ)를 세로축에 놓는 것이다. 그래프는 세 구간으로 읽는다. | 구간 | 지배 잡음 | 앨런 편차 기울기 | |---|---|---| | 짧은 τ | 백색잡음(각도 랜덤워크) | -1/2 | | 최저점 | 플리커(1/f) 잡음 | 0 | | 긴 τ | 느린 온도 변화, 레이트 램프 | +1/2 |표 출처: [5] (본문 기준으로 재구성)
기울기를 말할 때는 대상을 반드시 짝지어야 한다. 백색잡음 구간에서 앨런 편차의 기울기는 -1/2이지만, 제곱하지 않은 앨런 분산 σ²(τ)를 그리면 같은 구간의 기울기는 -1이다. 편차와 분산을 섞어 말하면 기울기 숫자가 절반으로 틀린다. 짧은 τ 구간이 내려간다는 것은 오래 평균낼수록 좋아진다는 뜻이다. 그런데 어느 지점에서 내려가기를 멈춘다. 그 최저점이 바이어스 안정도이며, 아무리 오래 평균내도 이보다 잘할 수 없는 한계다. 그 뒤로는 그래프가 다시 올라간다. 느린 온도 변화가 평균값 자체를 끌고 다니기 때문이다. 체중계에 열 번 올라가 평균을 내면 수치가 안정된다. 그런데 백 번, 천 번 올라가도 더 이상 정확해지지 않는 지점이 온다. 체중계 자체가 아침저녁으로 조금씩 달라지기 때문이다. 앨런 편차 그래프의 최저점이 바로 그 지점이다. 단위 변환에는 관행이 있다. 노이즈 밀도를 °/s/√Hz로 읽고 60을 곱하면 각도 랜덤워크가 °/√hr로 나온다. BMI270의 0.007 dps/√Hz는 약 0.42°/√hr이다. 가속도계 쪽에서는 노이즈 밀도 0.16 mg/√Hz, 즉 160 µg/√Hz가 약 0.094 (m/s)/√hr의 속도 랜덤워크에 대응한다. 주의할 점이 있다. 각도 랜덤워크 0.42°/√hr와 바이어스 안정도 °/hr는 차원이 다르다. 전자는 시간의 제곱근으로 자라는 확산 계수이고, 후자는 평균값이 떠다니는 폭이다. 두 숫자를 나란히 놓고 크기를 비교하는 것은 성립하지 않는다. 등급 구분은 산업 관행으로만 존재한다. IEEE 647과 IEEE 952는 앨런 분석의 용어와 시험 절차를 규정하지만 등급 경계를 정하지 않는다. 문헌마다 경계가 다르므로 아래 표는 대략의 감각으로만 받아들여야 한다. | 등급 | 바이어스 안정도 대략 | |---|---| | 소비자급 MEMS | 수십 ~ 수백 °/hr | | 전술급 MEMS | 약 1 ~ 10 °/hr | | 항법급 광섬유·링레이저 | 0.001 ~ 0.01 °/hr |표 출처: [5] (본문 기준으로 재구성)
이 표를 BMI270의 제로-레이트 오프셋 ±0.5 dps, 즉 1,800°/hr와 혼동해서는 안 된다. 그 숫자는 보정하지 않은 공장 오프셋 규격이고, 바이어스 안정도는 보정 이후 남는 표류 폭이다. 엘셰이미와 허우, 니우가 2008년에 정리한 앨런 분산 기반 관성 센서 모델링이 이 구분의 표준 참조점이다. 설계 관점에서 앨런 편차 그래프가 답하는 질문은 하나다. 이 부품으로 카메라 없이 몇 밀리초를 버틸 수 있는가. 최저점이 τ 100초에 있다면, 그보다 짧은 시간 척도에서는 다른 센서가 계속 바이어스를 다시 추정해줘야 한다는 뜻이다. [5] ### 11.6 두 눈으로 거리를 재면 먼 곳이 뭉개진다 카메라 두 대를 나란히 놓고 같은 장면을 찍으면, 가까운 물체일수록 두 영상에서 위치 차이가 크게 난다. 이 차이를 시차라 한다. 관계식은 깔끔하다. Z = f·B/d로, Z는 거리, f는 픽셀 단위 초점거리, B는 두 카메라 간격인 베이스라인, d는 시차의 픽셀값이다. 손가락을 코앞에 세우고 한쪽 눈씩 번갈아 감으면 손가락이 크게 점프한다. 팔을 쭉 뻗으면 조금만 움직인다. 창밖 산은 거의 움직이지 않는다. 그 점프 폭이 곧 거리 정보다. 식에서 Z와 d가 반비례한다는 사실이 모든 것을 결정한다. 양변을 미분하면 깊이 오차는 ΔZ = (Z²/(f·B))·Δd가 된다. 거리의 제곱에 비례해 오차가 커진다. 시차를 재는 정밀도 Δd를 아무리 개선해도 이 제곱 항은 남는다. 초점거리 800 픽셀, 베이스라인 6 cm, 시차 매칭 정밀도 0.2 픽셀을 가정한 예시 계산은 다음과 같다. 세 값 모두 특정 제품 사양이 아니라 감각을 잡기 위한 가정값이다. | 거리 Z | 깊이 오차 ΔZ | |---|---| | 1 m | 4.2 mm | | 3 m | 3.8 cm | | 5 m | 10.4 cm | | 10 m | 42 cm |표 출처: [6] (본문 기준으로 재구성)
1 m에서 4 mm였던 오차가 10 m에서 42 cm가 된다. 백 배다. 가상 물체를 실제 책상 위에 올려놓으려면 책상 높이를 센티미터 단위로 알아야 한다. 스테레오는 2~3 m 이내에서 이 요구를 충분히 만족한다. 방 전체를 재구성하려 하면 먼 쪽부터 뭉개진다. 해결책은 베이스라인을 늘리는 것이다. B가 커지면 오차가 그에 반비례해 줄어든다. 그런데 대가가 있다. 두 카메라의 공통 시야가 좁아지고 기기가 커진다. 얼굴에 쓰는 기기에서 B는 사람 눈 간격인 6~7 cm를 넘기 어렵다. 이 물리적 제약이 스테레오만으로 실내 전체를 재구성하는 길을 막는다. 두 번째 한계는 더 근본적이다. 시차를 재려면 좌우 영상에서 같은 점을 찾아야 한다. 흰 벽, 단색 커튼, 잔잔한 수면처럼 무늬가 없는 표면에서는 대응점을 특정할 수 없다. 이 경우 깊이가 부정확하게 나오는 것이 아니라 아예 나오지 않는다. 대응점 탐색의 이 실패 모드는 하틀리와 지서만의 『Multiple View Geometry』, 그리고 셀리스키의 『Computer Vision』이 스테레오 정합 문제의 기본 난점으로 다루는 내용이다. 삼각측량 자체의 정식화와 추정 오차 분포는 하틀리와 지서만이 구조 계산을 다루는 장에서 정리했다. 상용 부품의 감각도 참고할 만하다. 인텔 리얼센스 D435 계열은 베이스라인 50 mm, 2 m 지점에서 깊이 오차 2% 이내, 실내 유효 범위 0.3~3 m로 흔히 인용된다. 다만 이 수치들은 2차 자료에서 통용되는 값이며 1차 사양서로 대조하지 못했다. [6] ### 11.7 없으면 만들어 던진다 무늬 없는 표면에서 대응점을 찾지 못하는 문제를 구조광은 무식하고 확실하게 해결한다. 무늬가 없으면 만들어서 던진다. 적외선 프로젝터가 알려진 패턴을 장면에 투사한다. 점을 뿌리거나, 줄무늬를 걸거나, 그레이 코드를 순차로 쏜다. 옆에 놓인 적외선 카메라가 그 패턴이 물체 표면에서 얼마나 휘고 밀렸는지 본다. 프로젝터와 카메라의 상대 기하는 공장에서 이미 알아냈다. 그래서 패턴 한 조각이 영상에서 어디로 이동했는지만 알면 삼각측량으로 그 지점의 거리가 나온다. 구조광은 결국 프로젝터를 두 번째 카메라로 쓰는 스테레오다. 다른 점은 대응점을 찾는 것이 아니라 심어 놓는다는 것이다. 어두운 방에서 흰 벽에 손전등을 비춰도 벽의 굴곡은 잘 보이지 않는다. 그런데 블라인드 그림자처럼 줄무늬를 드리우면 벽이 튀어나온 곳에서 줄이 휘는 것이 한눈에 보인다. 구조광은 그 줄무늬를 적외선으로 뿌려 사람 눈에 보이지 않게 한 것이다. 정밀도를 끌어올리는 표준 기법은 위상 이동이다. 줄무늬를 조금씩 밀어가며 여러 장 찍으면 줄 간격의 1/10 수준까지 표면 디테일을 분해할 수 있다. 보간을 더하면 높이 방향 분해능이 화소의 1/50까지 내려간다. 살비 등이 2010년에 정리한 구조광 패턴 조사가 이 계열 기법을 체계적으로 비교했다. 실측 사례로는 1세대 키넥트가 남아 있다. 코셸함과 엘버링크가 2012년에 수행한 평가에 따르면, 사양상 동작 범위는 0.5 m에서 5.0 m이고, 무작위 오차는 거리의 제곱으로 증가해 0.5 m에서 수 밀리미터, 최대 거리 5 m에서 약 4 cm에 이른다. 실사용 권장 범위는 이보다 좁게 통용된다. 위키백과가 정리한 값은 1.2~3.5 m이고 확장 범위가 0.7~6 m, 시야각은 57°×43°다. 공칭 동작 범위와 실사용 권장 범위는 정의가 다른 숫자이므로 섞어 읽으면 모순이 생긴다. 한계는 분명하다. 첫째, 강한 햇빛이 투사 패턴을 씻어버린다. 태양광의 적외선 성분이 프로젝터 출력을 압도하기 때문이다. 직사광 아래에서 대부분의 적외선 구조광은 사실상 동작하지 않는다. 둘째, 유리와 금속 같은 반사면은 빛을 카메라 밖으로 튕기거나 반대로 과포화시킨다. 셋째, 같은 공간에 여러 대가 있으면 패턴끼리 간섭한다. 얼굴 인식이나 손 추적처럼 가까운 거리에서 밀리미터 정밀도가 필요한 기능은 이 방식에 기대고 있다. 동시에 증강현실 기기가 실외로 나가면 깊이 감지가 나빠지는 이유도 여기에 있다. 널리 인용되는 도트 개수와 파장 수치가 있지만, 1세대 키넥트의 적외선 도트 약 3만 개, 830~850 nm 대역, 애플 트루뎁스의 약 3만 점과 25~50 cm 유효 거리는 모두 공식 사양서로 확인되지 않은 2차 자료 기반 수치다. 서술에 쓸 때는 이 유보를 함께 붙여야 한다. [7] ### 11.8 위상으로 재면 거리가 접힌다 빛의 왕복 시간을 직접 재는 것은 어렵다. 간접 비행시간 방식은 우회로를 택한다. 적외선 광원의 밝기를 수십 메가헤르츠로 계속 흔들어 장면에 뿌리고, 돌아온 빛이 원래 파형에 비해 얼마나 위상이 밀렸는지를 잰다. 위상 지연 φ는 왕복 거리에 비례한다. 그래서 거리는 d = (c/4πf_mod)·φ로 나온다. 실제 소자는 픽셀마다 0°, 90°, 180°, 270° 네 시점에 전하를 나눠 받는 구조를 둔다. 네 값 q1부터 q4까지를 모아 arctan((q3-q4)/(q1-q2))를 계산하면 위상이 나온다. 네 번의 샘플로 한 번의 거리를 얻는 구조다. 원리에 내장된 함정이 있다. 위상은 360°를 지나면 다시 0°가 된다. 따라서 측정 거리는 일정 간격마다 접힌다. 이 간격을 모호 거리라 하고, 값은 c/(2·f_mod)다. | 변조 주파수 | 모호 거리 | |---|---| | 20 MHz | 7.5 m | | 50 MHz | 3.0 m | | 100 MHz | 1.5 m |표 출처: [8] (본문 기준으로 재구성)
20 MHz로 변조하면 7.5 m 밖에 있는 물체가 0 m처럼 보인다. 변조를 빠르게 해서 위상 분해능을 높이면 모호 거리가 짧아지고, 느리게 해서 범위를 넓히면 정밀도가 떨어진다. 실무는 서로 다른 두세 개의 변조 주파수를 섞어 이 접힘을 풀어낸다. 이 과정을 위상 풀기라 부른다. 파도 위에 부표를 띄우고, 파도가 부표에 닿아 되돌아오는 시점이 원래 파도와 얼마나 어긋났는지로 거리를 재는 것과 같다. 문제는 파도가 반복된다는 것이다. 한 주기만큼 멀리 있는 부표는 바로 앞 부표와 구별되지 않는다. 두 번째 함정은 멀티패스다. 간접 비행시간 방식은 장면 전체를 한꺼번에 비춘다. 그러면 벽과 바닥에 두 번 튕겨 들어온 빛이 직접 들어온 빛과 같은 픽셀에 섞인다. 섞인 신호의 위상은 두 경로의 평균 쪽으로 끌려간다. 방 구석이 실제보다 둥글고 멀게 측정되는 전형적 오류가 여기서 나온다. 정확도는 통상 측정 거리의 약 1% 수준으로 알려져 있다. 프레임률은 최대 160 fps까지 보고된다. 최대 범위는 제품 계열에 따라 크게 갈린다. 널리 인용되는 60 m는 PMD 계열 제품에 한정된 값이고, 같은 문헌이 스위스레인저 계열은 5~10 m로 적는다. 60 m를 간접 비행시간 방식 일반의 한계로 옮기면 과대 일반화다. 2세대 키넥트가 이 방식의 대표 사례다. 깊이 출력 512×424를 30 Hz로 내보내고, 유효 범위는 0.5~4.5 m, 시야각은 70°×60°다. 사르볼란디 등이 2015년에 구조광 키넥트와 비행시간 키넥트를 같은 조건에서 비교한 연구가 두 방식의 차이를 실측으로 보여준다. 전력은 조명부가 지배한다. 조명 유닛 단독 출력이 약 1 W 수준이라는 서술이 널리 인용되는데, 이 값을 모듈 전체나 기기 전체로 옮기면 자릿수가 틀린다. 2세대 키넥트는 12 V에 2.67 A, 즉 약 32 W 정격의 전용 어댑터를 요구하는 거치형 기기이고 실측 소비는 10 W대 중반으로 보고된다. 얼굴에 올리는 기기의 전력 예산과는 다른 세계의 숫자다. [8] ### 11.9 광자 한 알의 도착 시각을 센다 직접 비행시간 방식은 정공법이다. 아주 짧은 레이저 펄스를 쏘고, 반사된 빛이 언제 돌아왔는지 그 시각 자체를 잰다. 위상 접힘이 없고 원리가 단순하다. 문제는 척도다. | 왕복 거리 | 소요 시간 | |---|---| | 1 cm | 66.7 ps | | 1 m | 6.67 ns | | 100 m | 667 ns |표 출처: [9] (본문 기준으로 재구성)
1 cm 분해능을 원하면 66.7 피코초를 구별해야 한다. 거꾸로 타이밍 분해능 100 피코초는 거리 1.5 cm에 대응한다. 이런 시간 척도는 보통 포토다이오드로 접근할 수 없다. 그래서 단일광자 애벌랜치 다이오드, 줄여서 SPAD가 등장한다. SPAD는 항복전압보다 더 높은 역전압을 걸어놓은 다이오드다. 이 상태를 가이거 모드라 한다. 여기에 광자 하나가 들어와 전자 하나를 만들면, 3×10⁵ V/cm를 넘는 강한 전기장이 그 전자를 가속해 충돌 이온화를 일으킨다. 새로 생긴 전자들이 다시 이온화를 일으키고, 눈사태처럼 번져 측정 가능한 전류 펄스가 된다. 광자 하나가 수십억 개의 전하로 증폭되는 것이다. 이 사태는 스스로 멈추지 않는다. 그래서 소광 회로가 전압을 항복전압 아래로 끌어내려 꺼야 한다. 꺼져 있는 동안 새 광자를 받을 수 없고, 이 구간을 사시간이라 부른다. 코바 등이 1996년에 정리한 소광 회로 설계가 이 계열의 고전적 참조다. 수치는 소자 종류를 구분해 읽어야 한다. 최신 개별 소자는 사시간 1~2 나노초, 암계수율 10 Hz 이하, 지터 50 피코초 수준까지 보고된다. 반면 직접 비행시간 촬상에 쓰이는 CMOS SPAD 어레이는 화소를 빽빽이 채워야 하므로 사정이 다르다. 어레이에서는 사시간이 수 나노초에서 수십 나노초, 암계수율은 화소당 수십에서 수천 cps 범위로 넓어진다. 개별 소자 수치를 어레이에 그대로 옮기면 성능을 크게 낙관하게 된다. 여기에 두 번째 아이디어가 붙는다. 단일 펄스의 반사광은 햇빛 잡음에 묻힌다. 그래서 같은 방향으로 수천에서 수만 번 쏘고, 광자 도착 시각을 히스토그램으로 쌓는다. 잡음 광자는 시간축에 고르게 퍼지지만 진짜 신호는 매번 같은 시간 칸에 떨어진다. 충분히 쌓으면 히스토그램에 봉우리가 솟고, 그 봉우리의 위치가 곧 거리다. 깜깜한 협곡에서 손뼉을 치고 메아리가 돌아오는 시각으로 벽까지의 거리를 재는 일과 같다. 다만 빛은 너무 빨라 한 번의 메아리로는 안 된다. 수천 번 손뼉을 쳐서 도수분포표를 그린다. 바람 소리는 아무 때나 들리지만 메아리는 늘 같은 시각에 오므로 표에서 봉우리로 튀어나온다. 이 통계적 누적이 직접 비행시간 방식이 밝은 야외에서도 동작하는 비결이다. 모호 거리도 위상이 아니라 펄스 반복 주기로 결정되므로 훨씬 멀다. 100 m 급 측정이 이 방식으로 이루어진다. [9] ### 11.10 손 안의 라이다가 실제로 하는 일 애플이 2020년 아이패드 프로와 아이폰 12 프로부터 넣은 라이다 스캐너는 자동차용 회전식 라이다와 전혀 다르다. 움직이는 부품이 없는 고정형 플래시 방식의 직접 비행시간 센서다. 구조는 두 부분이다. VCSEL 어레이가 적외선 펄스를 쏘고, 회절광학소자가 그 빛을 격자 형태의 점 패턴으로 쪼개 장면에 던진다. 반사광은 SPAD 어레이가 받아 점마다 광자 도착 시각 히스토그램을 쌓는다. 구조광처럼 점을 뿌리되, 거리는 삼각측량이 아니라 시간으로 푼다. 점의 개수는 1차 문헌으로 확인된다. 루첸부르크와 크룬, 비외르크가 2021년에 발표한 평가 논문은 VCSEL이 8×8 점 배열을 내보내고 이것이 3×3 격자로 회절되어 총 576점이 된다고 기술한다. 흔히 인용되는 24×24 배열이라는 설명은 총점 수만 맞고 구조는 틀렸다. 940 nm 대역이라는 파장 정보는 분해 리포트에 근거한 것이며 애플 공식 발표는 아니다. 애플 문서에 근거한 수치는 유효 작동 거리 약 5 m 이내뿐이다. 출력의 성격을 이해하는 것이 중요하다. 라이다가 내놓는 것은 조밀한 깊이 영상이 아니다. 수백 개 수준의 희소한 거리 점이다. ARKit의 깊이 API가 내보내는 256×192 깊이 맵을 60 Hz로 받을 수 있지만, 그 해상도는 라이다 원시 분해능이 아니라 카메라 영상과 추정 결과를 함께 섞어 채워 올린 결과다. 컴컴한 방에 형광 콩알 수백 개를 한꺼번에 뿌리고, 각 콩알이 바닥에 닿는 소리가 언제 들리는지로 방의 지형을 그리는 것과 같다. 콩알이 수백 개뿐이라 지형은 성글게 나오고, 그 사이는 사진을 보고 메꾼다. 정확도 수치는 조건을 정확히 옮겨야 한다. 앞의 2021년 평가 논문이 보고한 값은 두 가지다. 한 변 10 cm 이상인 소형 물체의 모델에서 절대 정확도 ±1 cm, 정밀도 오차 1 cm, 검출 한계 약 5 cm. 그리고 130 m × 15 m × 10 m 규모의 해안 절벽 모델 전체에서 절대 정확도 ±10 cm. 두 숫자는 대상 규모가 다른 값이고, 측정 거리별 오차 곡선이 아니다. 논문은 대형 모델의 정합 잔차를 라이다의 거리 측정 오류가 아니라 기기 관성 센서의 부정확성 탓으로 귀속한다. 덧붙이면 이 연구는 12월 덴마크 해안의 야외에서 수행되었다. 이 구조를 이해하면 체감 성능이 설명된다. 라이다는 평면의 위치와 실제 크기를 순간적으로 확정해준다. 그것만으로도 평면 인식이 느리고 크기가 틀리던 시대가 끝났다. 그러나 물체의 미세한 형태를 되살리는 일은 여전히 카메라 기반 추정의 몫이다. 라이다가 달렸다는 사실만으로 3차원 스캔이 정확해지지는 않는다. [10] ### 11.11 프레임을 버린 눈 일반 카메라는 초당 30번, 모든 픽셀을 한꺼번에 읽는다. 문제는 대부분의 픽셀이 이전 프레임과 거의 같다는 것이다. 대역폭과 전력의 대부분이 변하지 않았다는 정보를 전송하는 데 쓰인다. 이벤트 카메라는 이 전제를 뒤집는다. 각 픽셀이 독립적으로, 서로 다른 시각에 동작한다. 픽셀은 자기가 마지막으로 보고한 밝기를 기준값으로 저장해두고 현재 밝기와 계속 비교한다. 차이가 임계값을 넘는 순간에만 기준값을 갱신하고 이벤트를 하나 내보낸다. 이벤트의 내용은 네 값이 전부다. x 좌표, y 좌표, 시각, 그리고 밝아졌는지 어두워졌는지. 보안요원이 화면 전체를 1초에 30번 훑어보는 대신, 화면 각 구역에 앉은 수십만 명의 감시원이 자기 구역에서 뭔가 달라졌을 때만 외치는 방식이다. 아무 일 없으면 아무도 말하지 않는다. 결정적인 설계는 비교를 밝기의 로그값으로 한다는 점이다. 로그 차이는 곧 상대적 대비다. 몇 퍼센트 변했는가를 보는 것이므로, 어두운 골목이든 눈부신 창가든 같은 임계값이 통한다. 통상 임계값은 10~25% 범위로 설정한다. 이것이 비상식적으로 넓은 다이내믹 레인지의 원천이다. 그 레인지를 숫자로 말할 때는 규약을 밝혀야 한다. 리히트슈타이너와 포시, 델브뤼크가 2008년 원조 논문에서 보고한 120 dB는 진폭 규약, 즉 20·log₁₀ 기준으로 계산한 값이고 조도비 10⁶대 1, 약 20스톱에 해당한다. 고급 DSLR과 비교하려면 같은 규약으로 환산해야 한다. 니콘 D850의 측정 다이내믹 레인지 약 14.8 EV를 20·log₁₀ 규약으로 옮기면 약 89 dB이다. 전력 규약인 10·log₁₀으로 환산한 44.6 dB를 그대로 들고 와 비교하면, 최고급 DSLR이 일반 CMOS보다 레인지가 좁다는 물리적으로 불가능한 서열이 만들어진다. 프레임 노출 시간이라는 개념 자체가 없으므로 모션 블러가 원리적으로 존재하지 않는다. 타임스탬프 분해능은 마이크로초 단위다. 다만 실제 지연시간은 신호 대비와 조도, 소자 설계에 따라 수십 마이크로초에서 수 밀리초까지 달라진다. 해상도는 빠르게 올라왔다. 2008년 원조 소자가 128×128, 2014년 DAVIS240이 240×180, 2019년에 640×480이 나왔고, 현재 상용 소자는 1280×720 급에 이르렀다. 이 연표에는 널리 퍼진 오류가 하나 있다. 2014년을 128×128의 연도로 적은 자료가 많은데, 128×128은 2008년 원조 논문의 사양이다. 대가도 있다. 텍스처가 있고 움직여야만 데이터가 나온다. 정지한 장면 앞에서는 아무것도 보이지 않는다. 출력이 비동기 이벤트 스트림이라 기존 컴퓨터 비전 알고리즘을 그대로 쓸 수 없다. 갈레고 등이 2022년에 정리한 서베이가 이 분야의 표준 정리이며, 전용 알고리즘 계열이 따로 자라난 사정을 보여준다. 증강현실 관점에서 이 센서의 매력은 분명하다. 빠른 머리 회전에서 일반 카메라는 모션 블러로 특징점을 놓치고 추적이 무너진다. 이벤트 카메라는 바로 그 순간에 데이터가 많아진다. 저지연·저전력 추적의 유력 후보로 연구되고 있으나, 아직 상용 기기의 주류는 아니다. 소비 전력은 이벤트 발생량에 비례해 변동하며 정적 장면에서 수 밀리와트 수준까지 내려간다는 서술이 통용되는데, 이는 2008년 128×128 소자 기준의 추정이고 현재 1 MP급 소자의 실제 값은 별도 확인이 필요하다. [11] ### 11.12 나침반이 실내에서 미치는 이유 자력계의 역할은 다른 센서가 절대로 알 수 없는 것 하나를 메우는 데 있다. 중력은 아래가 어느 쪽인지 알려주지만 북쪽은 알려주지 못한다. 요, 즉 수평면 안에서의 방위에 대한 절대 기준은 지자기밖에 없다. 소자 방식은 두 계열이다. 이방성 자기저항 소자는 퍼멀로이, 즉 니켈-철 합금 박막의 전기저항이 자화 방향과 전류 방향 사이 각도에 따라 변하는 성질을 쓴다. 응답이 1 마이크로초 이하로 빠르고 반도체 공정으로 대량생산된다. 홀 효과 소자는 원래 자기장이 비교적 클 때 쓰는 방식이다. 지구 자기장은 중위도 지표에서 25~65 µT, 전 지구적으로 20~80 µT 범위이고 이는 홀 소자 단독 감도 범위 밖이다. 그래서 홀 기반 스마트폰 자력계는 자속집중기를 반드시 함께 쓴다. 두 방식을 대등한 대안처럼 나열하면 감도 척도가 빠진 서술이 된다. 문제는 지자기가 약하고 쉽게 오염된다는 점이다. 왜곡은 두 종류로 나뉜다. 하드아이언 왜곡은 기기에 붙은 영구자석이 만드는 고정 오프셋이다. 스피커, 진동모터, 자석식 케이스가 원인이다. 이 왜곡은 측정값이 그리는 구의 중심을 원점에서 밀어낸다. 소프트아이언 왜곡은 주변 강자성체가 지자기 자체를 굴절시켜 그 구를 타원체로 일그러뜨린다. 보정 방법은 이 기하에서 곧바로 나온다. 기기를 8자로 흔들어 여러 방향의 측정점을 모으고, 그 점군에 타원체를 맞춘다. 타원체의 중심이 하드아이언 오프셋이고, 축비가 소프트아이언 변형이다. 르노댕과 아프잘, 라샤펠이 2010년에 제시한 자기 영역 3축 보정 모델이 이 절차의 표준 정식화다. 그러나 보정으로 제거되지 않는 왜곡이 남는다. 건물 철골, 엘리베이터, 배선을 흐르는 전류가 만드는 왜곡은 위치에 따라 달라진다. 기기 자체에 고정된 오차가 아니므로 어떤 기기 보정으로도 근본적으로 제거할 수 없다. 나침반을 들고 철제 책장 사이를 걸어가면 바늘이 책장을 따라 돌아간다. 건물 안은 온통 그런 책장이다. 기둥의 철근, 벽 속 배선, 주머니 속 이어폰. 나침반은 북쪽이 아니라 가장 가까운 쇳덩이를 가리키고 있다. 실측 결과는 가혹하다. 리와 갤러거, 뎀스터, 리조스가 2012년에 보고한 실내 자기장 조사에 따르면 철골 건물 안의 국소 왜곡은 수십 µT에 달한다. 지구 자기장 자체와 같은 크기다. 그 결과 헤딩 오차가 수십 도까지 발생하고, 같은 층에서 몇 미터 이동하는 것만으로 방위가 20~30° 흔들리는 사례가 흔하다. 노트북이나 무선충전기 근처에서는 100 µT를 넘는 오염도 생긴다. 스마트폰 자력계의 대표 사양은 분해능 0.1~0.6 µT, 측정 범위 ±1,000~±4,900 µT, 출력률 10~100 Hz, 소비 전류 수백 µA 수준으로 통용된다. 측정 범위가 지구 자기장의 수십 배로 넓은 이유는 자석이 근접했을 때 포화를 피하기 위한 것이다. 다만 이 수치들은 제조사별 편차가 크므로 대표값으로만 받아들여야 한다. 설계 결론은 단호하다. 증강현실에서 자력계는 초기 방위를 한 번 잡아주는 용도 이상으로 쓰기 어렵다. 실내에서 처음 켤 때 방향이 엉뚱하게 잡히거나 시간이 지나며 장면이 서서히 회전하는 현상의 배경에 이 왜곡이 있다. 그래서 정밀한 시스템은 실내에서 자력계 가중치를 크게 낮추거나 아예 끈다. [12] ### 11.13 야외 절대 위치의 미터 벽 위성 항법 수신기는 각 위성이 보낸 신호가 도착하기까지 걸린 시간에 빛의 속도를 곱해 거리를 구한다. 위성 네 개 이상이 보이면 3차원 위치와 수신기 시계 오차를 동시에 풀 수 있다. 네 번째 위성이 필요한 이유는 수신기 시계가 위성의 원자시계와 동기되어 있지 않기 때문이다. 정확도는 두 요소의 곱으로 결정된다. 하나는 거리 측정 오차다. 여기에는 이온층 지연, 대류권 지연, 위성 시계와 궤도 오차, 수신기 잡음, 멀티패스가 모두 들어간다. 다른 하나는 기하학적 희석이다. 위성들이 하늘에 고르게 퍼져 있으면 이 값이 작고, 한쪽에 몰려 있으면 커진다. 여러 등대에서 오는 뱃고동을 듣고 내 배의 위치를 찾는 일과 같다. 소리가 안개를 지나며 조금 늦어지고, 절벽에 부딪혀 돌아온 메아리가 진짜 고동과 섞이기도 한다. 등대들이 사방에 흩어져 있으면 위치가 잘 잡히지만, 전부 한쪽에만 있으면 앞뒤는 알아도 좌우가 흐릿해진다. 도심에서 정확도가 급격히 나빠지는 이유가 이 구조로 설명된다. 건물이 하늘을 가려 기하가 나빠지고, 동시에 신호가 벽에 반사되어 실제보다 긴 경로로 들어온다. 멀티패스는 기준국 보정으로도 제거되지 않는 국소 오차라 특히 고약하다. 고전적 오차 예산을 항목별로 보면 어디에 여지가 있는지 드러난다. 다만 각 항목의 크기는 문헌과 수신기, 시점에 따라 편차가 크다. | 오차원 | 대략적 크기 (1σ) | |---|---| | 이온층 지연 (천정 방향) | 야간 1~3 m, 주간·태양 극대기 10~20 m | | 이온층 지연 (저고도각 사선 경로) | 수십 m | | 대류권 지연 | 약 0.5 m | | 위성 궤도력 | 약 2.5 m | | 위성 시계 | 약 2 m | | 수신기 잡음 | 0.3~1 m | | 도심 멀티패스 | 수 m ~ 수십 m |표 출처: [13] (본문 기준으로 재구성)
이온층이 최대 5 m라는 서술이 널리 퍼져 있지만 정확하지 않다. 5 m급은 단일 주파수 모델 보정을 거친 뒤 남는 잔차 수준에 가깝다. 보정 전 실제 지연은 태양 활동과 위도, 고도각에 따라 그보다 훨씬 커진다. 위성 궤도력과 시계 오차는 위 표의 두 항을 제곱합으로 합치면 약 3.2 m가 되며, 현대 방송 궤도력은 이보다 낫다. 어느 쪽 기준인지 밝히지 않으면 합산 오차가 크게 과소 추정된다. 결과적으로 단일 주파수 L1 C/A 수신기의 개활지 수평 정확도는 약 3~5 m, 신뢰수준 95% 기준이다. 도심 협곡에서는 10~50 m로 악화한다. 미국 국방부의 위성 항법 표준 서비스 성능 표준과 캐플런·헤거티의 『Understanding GPS/GNSS』가 이 계열 수치의 표준 참조다. 개선의 길이 열렸다. 스마트폰이 L1과 L5 두 주파수를 함께 받게 되면서 이온층 지연을 직접 소거할 수 있게 되었다. L5의 넓은 대역폭은 멀티패스 억제에도 유리하다. 조건이 좋으면 1~2 m까지 내려간다. 반 디헬런이 2021년 인사이드 GNSS에 실은 도심 위성 항법 논의는 3차원 건물 모델을 써서 반사 신호를 걸러내는 접근을 소개한다. 그래도 벽이 남는다. 도로 한 차선의 폭이 약 3.5 m다. 3~5 m 오차로는 어느 차선에 있는지조차 확정할 수 없다. 갱신률도 문제다. 위성 항법의 위치 갱신은 통상 1~10 Hz로 알려져 있는데, 이는 관성 센서의 200~1000 Hz와 두 자릿수 차이다. 야외 대규모 증강현실이 결국 카메라 기반 시각 측위에 의존하게 되는 이유가 여기 있다. L1 반송파 주파수는 1575.42 MHz이고 파장은 19.03 cm다. 이 파장이 다음 절의 출발점이 된다. [13] ### 11.14 파장의 개수를 맞히면 센티미터가 열린다 일반 위성 항법은 신호에 실린 코드의 도착 시각을 잰다. C/A 코드 한 칩의 길이는 약 293 m다. 코드 상관 추적은 통상 칩 길이의 0.5~1%까지 분해하므로 1.5~3 m 수준의 관측이 가능하다. 미터급 한계는 칩 길이 자체가 만드는 경성 하한이 아니다. 칩 길이와 추적 정밀도의 곱, 그리고 멀티패스가 함께 만드는 결과다. 실시간 이동측위, 즉 RTK는 다른 눈금을 쓴다. 코드가 아니라 반송파 자체의 위상을 잰다. L1 반송파의 파장은 19.03 cm이고 위상은 파장의 1/100까지 읽을 수 있다. 원리적으로 밀리미터급 관측이 가능하다는 뜻이다. 대가가 있다. 치명적인 미지수 하나가 따라온다. 위성과 수신기 사이에 반송파가 정확히 몇 파장 들어있는지를 모른다. 위상은 한 파장 안의 소수 부분만 알려준다. 이 정수를 정수 모호정수라 부른다. 정수를 하나 틀리면 위치 오차가 곧바로 19 cm 뛴다. 줄자로 거리를 재는데 눈금이 19 cm 간격밖에 없다고 하자. 눈금 사이의 위치는 아주 정밀하게 읽을 수 있지만 그 눈금이 몇 번째인지는 모른다. 여러 방향에서 동시에 재고 서로 비교해 몇 번째 눈금인지를 논리적으로 확정하는 작업이 RTK다. 한 번 확정되면 그 뒤로는 계속 밀리미터로 읽힌다. RTK의 두 기둥은 다음과 같다. 첫째, 위치를 정확히 아는 기준국의 관측값을 이동국에 실시간으로 보내 차분을 취한다. 그러면 두 수신기가 공유하는 오차가 거의 상쇄된다. 이온층과 대류권 지연, 위성 시계와 궤도 오차가 여기에 해당한다. 둘째, 남은 정수 모호정수는 여러 위성과 여러 시각의 관측을 모아 통계적으로 탐색해 확정한다. 퇴니선이 1995년에 제시한 LAMBDA 알고리즘이 이 탐색의 표준이다. 성능 규격은 두 항의 합으로 쓰인다. | 항목 | 값 | |---|---| | 수평 정확도 | 8 mm + 1 ppm | | 수직 정확도 | 15 mm + 1 ppm | | 유효 기선 거리 | 약 20 km 이내 | | 기준국 거리 50 km 초과 시 | 가상기준점 방식 사용 | | 모호정수 확정 수렴 시간 | 수 초 ~ 수십 초 |표 출처: [14] (본문 기준으로 재구성)
1 ppm이라는 항이 핵심이다. 기선 10 km당 1 cm를 뜻한다. 기준국과 멀어지면 대기 오차가 더 이상 공통이 아니게 되므로 차분으로 지워지지 않는다. 정확도가 거리에 비례해 나빠지는 것이 이 항의 물리적 내용이다. 신호가 끊기면 확정된 정수도 잃는다. 다시 수렴할 때까지 수 초에서 수십 초가 걸린다. 나무 그늘과 고가도로가 반복되는 경로에서 RTK를 쓰기 어려운 이유다. 측량과 건설, 드론에서는 이미 표준이다. 소비자용 증강현실 기기에는 아직 들어오지 않았다. 안테나 품질과 기준국 인프라가 필요하기 때문이다. 다만 야외 대규모 증강현실의 미래 선택지로서, 그리고 왜 일반 위성 항법이 센티미터에 이르지 못하는지를 보여주는 대조군으로서 반드시 짚어둘 기술이다. 호프만-벨렌호프와 리히텐에거, 바슬레의 『GNSS』가 이론 전반을 정리했다. [14] ### 11.15 합쳐야 보인다 지금까지 본 센서는 하나도 예외 없이 어딘가에서 무너진다. 그런데 여럿을 합치면 쓸 만해진다. 왜 그런가. 답은 각 센서의 오차가 서로 다른 시간 척도에 살고 있기 때문이다. 관성 센서는 200~1000 Hz로 동작한다. 짧은 시간의 움직임을 훌륭히 잡아낸다. 그러나 오차가 시간의 세제곱으로 자라 긴 시간에서는 쓸모가 없다. 고주파에서 강하고 저주파에서 약하다. 카메라는 30~60 Hz로 느리다. 모션 블러에 취약하고 무늬 없는 벽 앞에서 눈이 먼다. 그러나 같은 특징점을 다시 보면 누적 오차가 그 자리에서 리셋된다. 저주파에서 강하고 고주파에서 약하다. | 센서 | 전형적 갱신률 | |---|---| | 관성 센서 | 200 ~ 1,000 Hz | | 카메라 | 30 ~ 60 Hz | | 자력계 | 10 ~ 100 Hz | | 위성 항법 | 1 ~ 10 Hz |표 출처: [1] (본문 기준으로 재구성)
두 오차 곡선이 교차하는 지점에서 융합이 이득을 낸다. 카메라가 30 Hz로 동작하면 프레임 간격은 33.3 밀리초다. 그 구간을 관성 센서가 메우고, 카메라는 주기적으로 관성 센서의 바이어스를 다시 추정해 붙잡아 준다. 33 밀리초 동안 실제로 무엇이 오차를 지배하는지는 따져볼 만하다. 흔히 시간의 세제곱 항이 아직 작기 때문이라고 설명하는데, 그 설명은 틀렸다. | 오차원 | 33.3 ms 누적 위치 오차 | |---|---| | 가속도계 바이어스 t² 항 (미보정 20 mg) | 0.109 mm | | 가속도계 바이어스 t² 항 (잔여 1 mg) | 5.4 µm | | 속도 랜덤워크 (160 µg/√Hz) | 약 5.5 µm | | 자이로 바이어스 t³ 항 (잔여 0.01 dps) | 0.011 µm |표 출처: [1] (본문 기준으로 재구성)
세제곱 항은 11 나노미터 수준이다. 가속도계 바이어스의 제곱 항과 속도 랜덤워크보다 세 자리에서 네 자리 작다. 짧은 구간에서 세제곱 항이 무해한 이유는 그 항이 작아서가 아니다. 제곱 항과 시간의 제곱근으로 자라는 항이 지배하기 때문이다. 프레임 간극을 세제곱 항의 크기로 정당화하는 논증은 성립하지 않는다. 여기에 결정적인 보너스가 하나 붙는다. 카메라 한 대만으로는 장면의 절대 크기를 알 수 없다. 작은 방을 가까이서 본 것인지 큰 방을 멀리서 본 것인지 구별할 방법이 없다. 이것을 스케일 모호성이라 한다. 그런데 가속도계는 m/s²라는 물리 단위로 측정한다. 기기가 적절히 움직이면 그 물리 단위가 영상의 픽셀 척도에 앵커를 박는다. 스케일이 관측 가능해진다. 시각-관성 주행계가 단안 카메라만으로 미터 단위 지도를 만들 수 있는 이유이고, 증강현실 앱이 처음 켤 때 기기를 좌우로 조금 움직여 달라고 안내하는 이유다. 관측 가능성에는 퇴화 조건이 있다. 널리 오해되는 지점이 여기다. 켈리와 수카트메가 2011년에 정리한 관측 가능성 해석에 따르면, 스케일이 미관측이 되는 조건은 등가속 운동이다. 가속도가 0인 등속 직선운동은 그 특수한 경우일 뿐이다. 다시 말해 일정한 가속으로 계속 움직이더라도 스케일은 풀리지 않는다. 기기를 제자리에서 회전만 시키는 경우에는 병진과 스케일이 함께 미관측 상태가 된다. 눈을 감고 걸으면 방향 감각만으로 열 걸음까지는 그럭저럭 간다. 그 이상은 엉망이다. 대신 몇 걸음마다 눈을 잠깐 떠서 문고리를 확인하면 누적된 틀어짐이 그 자리에서 리셋된다. 눈은 느리고 깜빡임 사이는 비어 있지만, 그 빈 구간은 방향 감각이 충분히 메운다. 둘 다 불완전한데 합치면 걸을 수 있다. 이동 거리 대비 누적 드리프트는 통상 0.1~1% 수준으로 보고된다. 다만 이 수치는 시스템과 환경에 따라 한 자릿수 이상 차이 나므로 표준 벤치마크의 구체적 수치로 대체해 읽는 편이 안전하다. 모우리키스와 루멜리오티스가 2007년에 제시한 다중상태 제약 칼만 필터와 황의 2019년 정리 논문이 이 분야의 기본 문헌이다. 추적이 무너지는 모든 상황이 이 상보 구조의 한쪽이 끊긴 경우로 설명된다. 흰 벽만 보이는 복도, 깜깜한 방, 급격한 회전, 기기를 가만히 든 채 회전만 하는 동작. 예외가 없다. [1] ### 11.16 믿음의 저울 센서를 합친다는 말은 구체적으로 무엇을 한다는 뜻인가. 그 답을 담당하는 장치가 칼만 필터다. 칼만이 1960년에 발표한 선형 여과·예측 문제의 새로운 접근이 원전이다. 필터는 두 단계를 반복한다. 예측 단계에서는 물리 모델로 다음 시각의 상태를 추정한다. 관성 센서의 적분이 그 물리 모델이다. 동시에 그 추정이 얼마나 못 미더운지를 공분산 행렬 P로 함께 키운다. 시간이 갈수록 P가 커지는 것이 관성 센서의 드리프트에 대응한다. 갱신 단계에서는 실제 관측이 들어온다. 카메라가 본 특징점 같은 것이다. 예측값과 관측값의 차이를 계산하고, 이것을 혁신이라 부른다. 핵심 질문은 하나다. 이 차이만큼 상태를 얼마나 수정할 것인가. 가중치를 정하는 것이 칼만 이득이다. K = P·Hᵀ·S⁻¹로 쓰고, 여기서 S = H·P·Hᵀ + R이며 R은 관측 잡음 공분산이다. 식이 말하는 바는 간단하다. 예측의 불확실성 P가 크면 관측을 많이 믿는다. 관측의 불확실성이 커서 S가 크면 예측을 유지한다. 두 정보원의 신뢰도에 반비례해 자동으로 저울질하는 것이며, 선형과 가우시안 가정 아래서 이 배분이 최적임을 증명할 수 있다. 두 사람이 같은 산의 높이를 말한다. 한 명은 오래된 지도를 보고 말하고, 한 명은 방금 고도계로 쟀다. 둘의 답이 다를 때 누구 말을 더 믿을까. 칼만 필터의 답은 각자가 스스로 밝힌 오차 범위에 반비례해서다. 지도가 ±50 m라 하고 고도계가 ±5 m라 하면 고도계 쪽으로 크게 기운다. 그리고 두 의견을 합친 결과의 오차 범위는 둘 중 어느 쪽보다도 작다. 이것이 융합이 이득인 이유다. 그런데 자세 추정은 본질적으로 비선형이다. 회전은 벡터 공간이 아니라 군 SO(3)에 살고, 이를 표현하는 쿼터니언은 크기가 1이어야 한다는 제약을 가진다. 선형 필터를 그대로 적용하면 제약이 깨진다. 실무의 해법은 오차상태 칼만 필터다. 큰 상태, 즉 현재의 자세와 위치는 비선형 방정식으로 직접 적분한다. 필터는 참값과 추정값의 작은 차이만 다룬다. 이 차이는 항상 작으므로 소각 근사가 성립하고, 선형 필터의 최적성을 거의 그대로 누릴 수 있다. 솔라가 2017년에 정리한 오차상태 칼만 필터용 쿼터니언 운동학이 사실상 표준 참고문헌이다. 상태 벡터의 구성이 이 절의 결론을 담고 있다. | 상태 성분 | 차원 | |---|---| | 자세 | 3 | | 위치 | 3 | | 속도 | 3 | | 자이로 바이어스 | 3 | | 가속도계 바이어스 | 3 |표 출처: [15] (본문 기준으로 재구성)
기본형이 15차원이다. 다중상태 제약 방식은 과거 카메라 자세들을 슬라이딩 윈도우로 함께 유지하므로 수십에서 수백 차원까지 커진다. 필터는 관성 센서 속도로 예측하고 카메라 속도로 갱신한다. 주목할 것은 마지막 두 줄이다. 자이로와 가속도계의 바이어스가 상태 벡터에 포함되어 있다. 필터가 위치와 자세를 추정하는 동시에, 그 추정을 망치는 바이어스 자체를 실시간으로 추정해 빼낸다는 뜻이다. 세제곱으로 폭발하던 오차를 실용 수준으로 억누르는 메커니즘의 정체가 이것이다. 그로브스가 정리한 다중센서 통합 항법 교재가 응용 측면을 다룬다. [15] ### 11.17 보이지 않는 마지막 오차 여러 센서를 융합하려면 각 측정이 언제 일어났는지를 공통 시계로 알아야 한다. 이것이 생각보다 어렵다. 카메라의 타임스탬프부터 애매하다. 노출 시작 시각인가, 끝인가, 중앙인가. 센서 칩이 찍은 시각인가, 운영체제가 받은 시각인가. 그 사이에 얼마나 지연됐는가. 부품 데이터시트가 이 질문에 답하지 않는 경우가 많다. 두 사람이 각자 시계를 보며 사진과 소리를 기록한 뒤 나중에 맞춰 붙인다고 하자. 한 사람의 시계가 1000분의 1초 빠르다면 평소엔 티가 나지 않는다. 그런데 총성과 스타트 장면을 맞출 때는 그 1000분의 1초가 승부를 가른다. 1 밀리초의 어긋남이 만드는 결과를 계산해보면 감각이 잡힌다. 머리를 1 rad/s, 즉 초당 약 57°로 돌리는 중이라면 1 밀리초는 0.057°의 자세 오차다. 3 m 앞 가상 물체는 3.0 mm 흔들린다. 스포츠 동작처럼 5 rad/s로 돌리면 15 mm다. 가만히 있을 때는 완벽히 붙어 있던 물체가 고개를 돌릴 때만 미세하게 헤엄치는 현상의 상당수가 여기서 온다. 그래서 진지한 하드웨어는 두 갈래로 대응한다. 관성 센서와 카메라를 같은 클록으로 하드웨어 트리거하거나, 시간 오프셋 자체를 필터의 상태 변수에 넣어 온라인으로 추정한다. 리와 모우리키스가 2014년에 제시한 카메라-관성 시간 보정 이론이 후자의 표준이다. 두 번째 문제는 롤링 셔터다. 대부분의 CMOS 센서는 한 프레임을 위에서 아래로 줄 단위로 순차 읽는다. 그러면 한 장의 사진 안에서 맨 윗줄과 맨 아랫줄의 촬영 시각이 다르다. 스마트폰급 센서의 판독 시간은 통상 10~30 밀리초로 알려져 있다. 글로벌 셔터 센서는 이 값이 0이다. 눈에 보이는 증상은 젤리 현상이다. 빠르게 움직이면 직선이 기울어지고 화면이 출렁인다. 융합 관점에서 더 나쁜 것은 다른 데 있다. 한 프레임의 특징점들이 서로 다른 자세에서 관측됐는데 같은 시각으로 처리된다. 그래서 정밀한 시각-관성 주행계는 각 특징점의 관측 시각을 줄 번호로부터 개별 보정한다. 궈 등이 2014년에 부정확한 타임스탬프를 가진 롤링 셔터 카메라용 항법을 제시한 연구가 이 문제를 정면으로 다룬다. 추적용 카메라가 글로벌 셔터를 채택하는 이유도 명확해진다. 허용 오차 예산은 어떻게 잡는가. 사람이 인지하는 정합 한계는 움직임부터 화면 갱신까지 전체 지연으로 20 밀리초 이하를 목표로 삼는 것이 산업 관행이다. 문헌에 따라 15~20 밀리초로 다양하고 단일 권위 출처는 없다. 엘리스 등이 1997년에 수행한 실험은 수 밀리초 수준의 지연도 정합 오차로 검출된다는 것을 보였다. 이 예산 안에서 센서 동기화 오차는 1 밀리초 이하로 관리되어야 한다. 마지막으로 모든 센서 선택을 최종적으로 구속하는 제약이 있다. 전력이다. 얼굴 위에 올려놓을 수 있는 전력에는 한계가 있고, 소비된 전력은 전부 열이 되어 피부에 닿는다. | 부품 | 전력 | |---|---| | 6축 관성 센서 (노멀 모드, 1.8 V, 최대 ODR) | 약 1.2 mW | | 6축 관성 센서 (퍼포먼스 모드) | 약 1.75 mW | | 자력계 (연속 동작) | 수백 µA | | 위성 항법 수신기 단독 | 20~50 mW (대표값, 1차 출처 미확인) | | 간접 비행시간 조명 유닛 | 약 1 W | | 거치형 비행시간 센서 전체 | 12 V 2.67 A 어댑터, 실측 10 W대 중반 |표 출처: [16] (본문 기준으로 재구성)
표의 위쪽과 아래쪽 사이에 세 자릿수의 간격이 있다. 관성 센서는 상시 켜둘 수 있다. 자력계도 부담이 없다. 깊이 센서는 그렇지 않다. 조명을 쏘는 센서는 본질적으로 빛을 만들어 내보내는 장치이고, 그 빛의 대부분은 돌아오지 않는다. 그래서 실제 기기에서 깊이 센서는 상시 동작하지 않는다. 필요한 순간에만 켜고, 그 사이는 카메라와 관성 센서가 추정을 이어간다. 센서 목록에서 무엇을 빼야 하는지를 결정하는 것은 정확도 표가 아니라 열 예산이다. 증강현실 기기의 위치와 자세는 어떤 센서도 직접 알려주지 않는 값이며, 짧은 시간에 강한 관성 센서와 긴 시간에 강한 카메라를 불확실성의 크기로 저울질해 겹쳐 놓았을 때에만, 그것도 공통의 시계와 감당 가능한 열 예산 안에서만 추정된다. [16]본문의 번호를 누르면 출처로 이동합니다. 절 끝의 번호는 그 절의 사실 자료를, 표 아래의 번호는 표에 사용한 자료를 가리킵니다. 비교·계산·비유와 결론은 필자의 재구성입니다. 한 번호에 함께 사용한 문헌이 둘 이상이면 묶어서 적었습니다.
서지정보와 확인 메모는 옵시디언 조사 기록을 바탕으로 복원했습니다. 원 기록의 ‘전문 확인’·‘조회’ 표기는 당시 조사 상태이며 이번 웹판에서 모두 재검증했다는 뜻은 아닙니다. 불완전한 서지사항은 임의로 채우지 않았습니다.
표 출처: [1] (본문 기준으로 재구성)
여기에 지연을 대입하면 숫자가 몸으로 옮겨온다. 1990년대 시스템의 종단간 지연은 대략 100밀리초였다. 느린 시스템은 250밀리초를 넘겼다. 머리 회전 속도를 완만한 초당 50도로 잡으면, 지연 100밀리초 동안 머리는 5도를 돌아간다. 화면에는 5도 전의 장면이 떠 있다. 팔 길이 68센티미터 지점에서 이 5도는 약 60밀리미터의 어긋남으로 나타난다. > With a typical end-to-end lag of 100 ms and a moderate head rotation rate of 50 degrees per second, the angular dynamic error is 5 degrees. At a 68 cm arm length, this results in registration errors of almost 60 mm. System delay is the largest single source of registration error in existing AR systems, outweighing all others combined. > > 종단간 지연이 통상적인 100밀리초이고 머리 회전 속도가 완만한 초당 50도일 때, 각도상의 동적 오차는 5도가 된다. 팔 길이 68센티미터 지점에서 이는 거의 60밀리미터의 정합 오차로 나타난다. 시스템 지연은 현존 증강현실 시스템에서 정합 오차의 가장 큰 단일 원인이며, 나머지 모든 원인을 합친 것보다 크다. > > ― Azuma (1997) 이 계산이 결정적인 이유는 세 가지 단위를 하나로 묶었기 때문이다. 밀리초로 재는 지연, 도로 재는 각오차, 밀리미터로 재는 위치 오차가 하나의 식 안에서 연결된다. 그래서 "지연 1밀리초가 몇 밀리미터인가"를 물을 수 있게 됐다. 그 전까지 "가상 물체가 실제와 어긋난다"는 말은 현상 서술이었다. 이후로는 예산 배분의 문제가 됐다. 거꾸로 풀면 목표치가 나온다. 각오차를 0.5도 이하로 억제하려면 지연이 10밀리초 이하여야 한다. 문제는 이 예산이 시작부터 초과된다는 점이다. 60헤르츠 프레임버퍼를 한 번 훑어 내보내는 데만 16.67밀리초가 든다. 계산도 센서 읽기도 하지 않은 상태에서 이미 예산을 넘긴다. 아주마가 서베이 5.2절에서 적은 트래커 요구 정확도는 약 1밀리미터와 1도의 작은 분수다. 1997년 기준으로 이는 희망 사항이었다. 그는 대응책도 네 갈래로 정리했다. 첫째, 지연 자체를 줄인다. 둘째, 겉보기 지연을 줄인다. 이미지 편향과 워핑이 여기 들어간다. 셋째, 실제 영상과 가상 영상의 시간축을 맞춘다. 이것은 비디오 합성 방식에서만 가능하다. 광학 시스루에서는 현실이 지연 없이 눈에 들어오므로 맞출 방법이 없다. 넷째, 미래 위치를 예측한다. 이 네 갈래가 이후 30년의 지도다. 아래의 모든 절은 이 중 하나를 골라 파고든 결과로 읽으면 된다. 한 가지 단서가 서베이 4.5절에 붙어 있다. 아주마 자신이 정합 문제는 해결과 거리가 멀다고 적었다. 당시의 성공 사례는 시점이 고정되어 있거나, 물체가 고정되어 있거나, 이동 범위가 방 하나로 제한되거나, 기준마커가 붙은 단 하나의 물체에만 작동했다. 야외, 대규모, 자연물에 대한 정합은 논의 대상조차 되지 못했다. [1] ### 시간을 앞질러 계산한다 지연을 없앨 수 없다면 미래를 맞추면 된다. 이것이 로널드 아주마와 게리 비숍이 1994년 SIGGRAPH에서 발표한 접근이다. 두 사람 모두 노스캐롤라이나대학 채플힐 컴퓨터과학과 소속이었다. 원리는 한 문장으로 끝난다. 트래커가 시각 t에 머리 위치를 측정하면, 그림이 실제로 화면에 뜨는 시각 t2에는 머리가 이미 움직여 있다. 그러므로 t의 위치가 아니라 t2의 예상 위치로 그린다. 예측의 품질은 무엇을 아는지에 달렸다. 위치만 알면 외삽의 근거가 빈약하다. 각속도와 각가속도를 직접 알면 외삽이 훨씬 단단해진다. 그리고 자이로와 가속도계는 바로 그 두 값을 직접 내놓는다. 광학 트래커에 관성 센서를 붙이는 하이브리드 구조가 여기서 나온다. 아주마의 실험 장비는 천장에 발광다이오드를 격자로 깔고 헬멧의 광전 센서가 그것을 보는 방식이었다. | 항목 | 값 | |---|---| | 개방루프 시스템의 정합 오차(팔 길이 거리, 여러 시점) | 통상 ±5밀리미터 이내 | | 예측이 동적 오차를 줄이는 정도(지연 약 80밀리초 이하) | 최대 한 자릿수, 약 10배 | | 관성 센서 사용 시 예측 정확도 향상 | 2~3배 | | 폐쇄루프 시스템(영상 피드백)의 정합 오차 | 1픽셀 이내 |표 출처: [2] (본문 기준으로 재구성)
> For short system delays (under ~80 ms), prediction has been shown to reduce dynamic errors by up to an order of magnitude. Accurate predictions require a system built for real-time measurements and computation. Using inertial sensors makes predictions more accurate by a factor of 2-3. > > 짧은 시스템 지연(약 80밀리초 이하)에서 예측은 동적 오차를 최대 한 자릿수까지 줄이는 것으로 확인되었다. 정확한 예측을 위해서는 실시간 측정과 계산을 전제로 설계된 시스템이 필요하다. 관성 센서를 사용하면 예측 정확도가 2~3배 높아진다. > > ― Azuma (1997), Azuma & Bishop (1994)를 인용하며 표의 수치에는 조건이 두 개 붙는다. 하나는 출처다. 본 조사에서 1994년 원논문 PDF에는 접근하지 못했고, 위 값은 모두 아주마가 1997년 서베이 4.3절과 4.5절에서 자신의 1994년 논문을 인용하며 명시한 값이다. 즉 2차 인용이다. 다른 하나는 위치다. ±5밀리미터와 1픽셀은 4.5절의 현황 정리에 나오고, 1밀리미터와 1도의 작은 분수라는 요구치는 5.2절에 나온다. 서로 다른 절의 숫자이므로 같은 실험의 결과로 읽으면 안 된다. 이 절의 진짜 의미는 경쟁의 축을 옮긴 데 있다. 그 전까지 정합 개선은 하드웨어 문제였다. 더 정확한 트래커를 만들면 오차가 줄었다. 예측은 같은 센서로 시간을 앞질러 계산하는 알고리즘 문제를 만들었다. 오늘날 헤드셋의 타임워프, 차량용 헤드업 디스플레이의 예측 렌더링이 모두 이 발상의 자손이다. 남긴 한계도 분명하다. 예측은 지연이 짧을 때만 통한다. 지연이 80밀리초를 넘으면 예측 자체가 새로운 오차원이 되어, 가상 물체가 머리보다 앞질러 튀는 현상을 만든다. 천장 발광다이오드 격자에 묶여 작업 범위도 방 하나였다. 야외로 나갈 길은 없었다. 한 가지 선후를 바로잡아 둔다. 시각과 관성을 융합하는 발상 자체는 이 논문의 발명이 아니다. 아주마는 1997년 서베이에서 관성과 광학을 결합한 하이브리드 트래커를 미래의 해법으로 지목하며 1993년부터 1996년 사이의 선행 연구 네 건을 인용한다. 관성 센서로 예측 정확도가 2~3배 올라간다는 수치 자체가 그 기간의 실적이다. [2] ### 종이에 인쇄한 좌표계 전용 트래커는 비싸고 설치가 필요했다. 카토 히로카즈와 마크 빌링허스트가 1999년 10월 IWAR'99에서 발표한 시스템은 그 요구를 웹캠 한 대와 인쇄물 한 장으로 바꿨다. 카토는 히로시마시립대학 정보과학부, 빌링허스트는 워싱턴대학 HIT Lab 소속이었다. 방법은 검은 정사각형 테두리 안에 패턴을 넣은 기준마커를 현실에 붙이는 것이다. 카메라는 그 마커만 보면 자신의 6자유도 자세를 계산할 수 있다. 처리 순서가 단순해서 빨랐다. 먼저 입력 영상을 임계값으로 이진화한다. 연결요소를 뽑는다. 외곽 윤곽선이 네 개의 선분으로 맞춰지는 영역만 남긴다. 남은 영역의 내부 패턴을 템플릿 매칭으로 식별한다. 마지막으로 네 모서리의 화면좌표와 이미 알고 있는 마커의 실제 크기로부터 변환행렬을 계산한다. 마지막 단계에 이 계보의 핵심이 숨어 있다. 마커의 실제 한 변 길이를 알고 있으므로, 카메라 한 대만으로 절대 스케일이 나온다. 결과가 미터 단위로 나온다는 뜻이다. 뒤에 나오는 마커 없는 방식들이 이 능력을 잃고 다시 찾아 헤매게 된다. > After thresholding of the input image, regions whose outline contour can be fitted by four line segments are extracted. […] This result shows that accuracy decreases the further the cards are from the camera. > > 입력 영상을 임계값 처리한 뒤, 외곽 윤곽선이 네 개의 선분으로 맞춰지는 영역들을 추출한다. […] 이 결과는 카드가 카메라에서 멀어질수록 정확도가 떨어짐을 보여준다. > > ― Kato & Billinghurst (1999) 논문 자체의 주제는 마커가 아니었다. 원격 협업 회의 시스템과 광학 시스루 헤드셋의 보정법이 본론이었다. 세계 표준이 된 것은 그 부산물인 마커 추적 코드다. 실험 사양은 자주 잘못 인용되므로 정리해 둔다. 널리 인용되는 263×234 픽셀은 카메라 해상도가 아니다. 논문 원문은 이 값을 Virtual i-O i-glasses 헤드셋의 디스플레이 해상도로 명시한다. 헤드마운트 카메라의 화소수는 논문에 나오지 않는다. | 항목 | 값 | |---|---| | 연산기 | SGI O2, R5000SC 180메가헤르츠 | | 처리 속도(전체 기능) | 초당 7~10프레임 | | 처리 속도(공유 화이트보드 제외) | 초당 10~15프레임 | | 헤드셋 디스플레이 해상도 | 263×234 픽셀 | | 정확도 평가용 마커 크기 | 한 변 80밀리미터 | | 정확도 평가 측정 거리 범위 | 0~700밀리미터 | | 헤드셋 보정 평가의 눈–마커 거리 조건 | 300 / 400 / 800밀리미터 |표 출처: [3] (본문 기준으로 재구성)
표의 마지막 두 행은 서로 다른 실험이다. 0~700밀리미터는 6.1절의 마커 검출 정확도 실험 조건이다. 300, 400, 800밀리미터는 6.2절의 헤드셋 보정 평가에서 사용자 네 명에게 세 가지 과제를 시킬 때의 조건이다. 두 실험을 섞어 "마커 검출 정확도를 800밀리미터까지 측정했다"고 읽으면 틀린다. 배포 연표도 자주 뭉개진다. 라이브러리는 1999년부터 존재했다. 2001년은 ARToolWorks 설립과 함께 HIT Lab을 통해 오픈소스판 1.0이 공개된 해다. 2015년 5월 13일에는 DAQRI 인수를 거쳐 5.2판이 오픈소스로 재공개됐다. 논문의 서지는 IWAR'99 85~94쪽이다. 저자 소속에는 2차 출처와의 충돌이 있다. 논문 원문은 카토의 소속을 히로시마시립대학 정보과학부로 적는다. 영문 위키백과는 같은 연구를 나라선단과학기술대학원대학 소속으로 기술한다. 원문이 정본이며, 이 충돌을 알고 있어야 2차 자료를 볼 때 혼란이 없다. 선후 관계 하나를 바로잡아야 한다. 이 논문을 마커 기반 정합의 출발점으로 두면 3~4년을 지운다. 아주마의 1997년 서베이 4.5절은 영상 피드백을 쓰는 폐쇄루프 시스템이 1픽셀 이내의 거의 완벽한 정합을 이미 달성했다고 적으며 1995년과 1996년의 연구 다섯 건을 인용한다. 카토와 빌링허스트의 기여는 정합 정확도의 발명이 아니다. 누구나 내려받아 쓸 수 있는 표준 도구로 만든 것이다. 그 결과 2000년대 증강현실 논문 대부분이 이 라이브러리 위에서 쓰였다. 남긴 한계는 세 가지이며, 세 번째가 가장 무겁다. 마커가 카메라 시야에서 벗어나거나 일부만 가려도 추적은 즉시 실패한다. 거리가 멀어지면 정확도가 급격히 떨어진다. 그리고 마커를 물리적으로 설치해야 한다. 붙일 데가 없는 야외 대규모 지형에는 적용할 방법이 없다. 이 마지막 한계가 마커 없는 계보 전체를 불러냈다. [3] ### 마커를 떼다 앤드루 데이비슨과 공저자들이 2003년 ICCV에서 발표하고 2007년 6월 『IEEE TPAMI』 29권 6호에 확장판을 실은 MonoSLAM은 그 첫 번째 답이다. 로봇공학에서 레이저 스캐너로 하던 동시적 위치추정 및 지도작성을 카메라 한 대로 실시간 수행한 최초의 성공 사례다. 방법은 확장칼만필터다. 화면 안의 눈에 띄는 점들을 자연 특징점으로 골라 그 3차원 위치를 추정하고, 동시에 카메라 자신의 위치를 추정한다. 카메라 상태는 13개 변수로 표현한다. 3차원 위치, 방향 쿼터니언, 속도, 각속도다. 이 13개 변수와 모든 특징점의 좌표를 하나의 거대한 상태벡터에 넣고, 그들 사이의 상관관계를 꽉 찬 공분산 행렬로 전부 유지한 채 매 프레임 갱신한다. 상관관계를 전부 유지하는 것이 이 설계의 미덕이다. 예전에 본 자리로 되돌아오면 누적된 드리프트가 저절로 보정된다. 새로 본 점과 옛날에 본 점이 공분산으로 연결되어 있기 때문이다. 미덕의 대가가 복잡도다. 특징점 수를 N이라 하면 계산 복잡도와 지도 표현 크기가 모두 N의 제곱에 비례한다. > The total size of the map representation is order O(N²), where N is the number of features and the complete SLAM algorithm we use has O(N²) complexity. This means that the number of features which can be maintained with real-time processing is bounded—in our system to around 100 in current 30 Hz implementation. > > 지도 표현의 전체 크기는 O(N²) 규모이며(N은 특징점 수), 우리가 사용하는 완전한 SLAM 알고리즘 역시 O(N²) 복잡도를 갖는다. 이는 실시간 처리를 유지하며 관리할 수 있는 특징점 수에 상한이 있음을 뜻하며, 현재의 30Hz 구현에서는 약 100개다. > > ― Davison, Reid, Molton & Stasse (2007) 일반 PC와 일반 카메라에서 30헤르츠로 돌았다. 카메라는 시야각 약 100도의 광각을 썼다. 작동 범위는 방 한 칸 규모였다. 이 성과의 자리를 정확히 잡아 두자. 마커를 없앴다. 사전 지도도 없앴다. 카메라를 켜고 걸어 들어가면 그 자리에서 지도가 생긴다는 오늘날의 기본 전제가 여기서 처음 실증됐다. 그 전의 구조추정 기법은 영상 전체를 모아 놓고 사후에 계산하는 오프라인 방식이었다. MonoSLAM은 같은 문제를 온라인, 실시간, 재방문 시 보정되는 방식으로 뒤집었다. 논문은 손에 든 카메라 영상에 가상 가구를 얹는 증강현실 데모를 직접 보였다. 저자 소속은 흔히 두 영국 대학으로만 적히지만 절반만 맞다. TPAMI 원문 각주 기준으로 데이비슨은 임페리얼칼리지런던 전산학과, 리드는 옥스퍼드대학 로보틱스 연구그룹, 몰튼은 길퍼드의 Imagineer Systems, 스타스는 일본 쓰쿠바의 프랑스·일본 공동 로보틱스 연구소 소속이다. 남긴 한계는 복잡도가 그대로 옮겨진 것이다. 특징점 100개로 담을 수 있는 공간은 방 한 칸이다. 야외 규모는 알고리즘 원리상 불가능했다. 급격하거나 거친 카메라 움직임에는 추적이 끊겼고, 끊기면 복구할 수단이 없었다. [4] ### 두 스레드로 쪼개다 게오르크 클라인과 데이비드 머리가 2007년 11월 일본 나라에서 열린 ISMAR에서 발표한 PTAM은 앞 절의 벽을 구조적으로 부순다. 두 사람은 옥스퍼드대학 액티브비전연구소 소속이었다. 발상은 추적과 지도작성을 서로 다른 스레드로 분리하는 것이다. 추적 스레드는 매 프레임 카메라 자세만 빠르게 구한다. 30헤르츠를 지켜야 하는 쪽은 이 스레드뿐이다. 지도작성 스레드는 실시간 제약 없이 느긋하게 돌면서 지금까지 모은 키프레임 전체를 한꺼번에 최적화한다. 이것이 번들 조정이다. > We propose to split tracking and mapping into two separate tasks, processed in parallel threads on a dual-core computer: one thread deals with the task of robustly tracking erratic hand-held motion, while the other produces a 3D map of point features from previously observed video frames. > > 우리는 추적과 지도작성을 두 개의 분리된 작업으로 쪼개어 듀얼코어 컴퓨터의 병렬 스레드에서 처리할 것을 제안한다. 한 스레드는 손에 든 카메라의 불규칙한 움직임을 견고하게 추적하는 일을 맡고, 다른 스레드는 이전에 관측한 영상 프레임들로부터 점 특징의 3차원 지도를 만든다. > > ― Klein & Murray (2007) 두 번째 설계 결정은 모든 프레임을 쓰지 않는 것이다. 장면이 충분히 달라졌을 때만 키프레임으로 채택한다. 부작용이 아름답다. 사용자가 한 자리에 가만히 서 있으면 새 키프레임이 생기지 않으므로, 지도작성 스레드는 놀지 않고 기존 지도의 정밀도를 계속 올린다. 가만히 있을수록 지도가 좋아진다. | 항목 | 값 | |---|---| | 지도 규모 | 점 2,000~6,000개, 키프레임 40~120개 | | 하드웨어 | Intel Core 2 Duo 2.66기가헤르츠 | | 카메라 | 640×480 YUV411, 30헤르츠, 2.1밀리미터 광각 렌즈 | | 한 프레임 추적 총 소요(지도 4,000점 기준) | 19.2밀리초 | | 내역 | 키프레임 준비 2.2 + 특징점 투영 3.5 + 패치 탐색 9.8 + 자세 반복갱신 3.7밀리초 | | 지역 번들 조정 소요(키프레임 2~49개) | 170밀리초 | | 같은 항목(50~99개 / 100~149개) | 270 / 440밀리초 | | 논문 표지 장면 | 약 3,000점 지도에서 1,000점 탐색 시도, 660점 관측, 추적 18밀리초 |표 출처: [5] (본문 기준으로 재구성)
앞 절과 나란히 놓으면 도약의 크기가 보인다. 특징점 약 100개에서 수천 개로, 두 자릿수가 늘었다. 그리고 증강현실 트래킹의 중심축이 필터에서 최적화로 옮겨갔다. 이후 등장하는 대규모 SLAM, 스마트폰 SDK, 헤드셋의 인사이드아웃 추적이 사실상 전부 이 구조를 물려받는다. 두 스레드, 키프레임, 번들 조정이다. 논문 제목에 한계가 적혀 있다. 작은 증강현실 작업공간이다. 키프레임이 150개를 넘으면 전역 번들 조정이 수렴하는 데 수십 초가 걸려, 사용자가 돌아다니는 동안에는 사실상 포기된다. 큰 루프를 닫는 기능이 없으므로 넓은 공간을 한 바퀴 돌면 드리프트가 그대로 누적된다. 빠른 카메라 움직임이 만드는 모션블러는 코너 특징을 지워 추적을 끊는다. 그리고 전제가 하나 붙는다. 장면이 충분히 질감이 있고, 비교적 정적이며, 자기가림이 심하지 않을 것. 바람에 흔들리는 식생은 이 전제를 정면으로 위반한다. 이 문장은 이후 모든 특징점 기반 방식에 상속된다. [5] ### 카메라가 못 보는 순간을 메우다 연표를 먼저 바로잡는다. 아나스타시오스 모우리키스와 스테르기오스 로우멜리오티스의 MSCKF는 2007년 4월 이탈리아 로마에서 열린 ICRA에서 발표됐다. 앞 절의 PTAM은 같은 해 11월이다. 즉 MSCKF가 약 7개월 앞선다. 둘 다 2007년이라 연도만 적으면 순서가 드러나지 않고, 흔히 PTAM 다음에 시각·관성 융합이 나온 것처럼 서술된다. 두 사람은 미네소타대학 소속이었고 모우리키스는 이후 UC 리버사이드로 옮겼다. 문제 설정은 센서의 약점이 서로 반대라는 관찰에서 나온다. 카메라는 어두운 곳, 질감 없는 벽면, 빠른 회전에서 추적을 놓친다. 관성측정장치는 어떤 상황에서도 값을 내지만 시간이 지나면 드리프트한다. 약점이 정확히 상보적이므로 합치면 된다. 이것이 시각·관성 오도메트리다. 결정적 기여는 합치는 방법에 있다. 기존 방식은 특징점의 3차원 좌표를 전부 칼만필터 상태벡터에 넣었다. 그래서 복잡도가 특징점 수의 제곱으로 늘었다. MSCKF는 특징점 좌표를 상태벡터에서 빼버린다. 대신 하나의 정지한 점이 여러 카메라 자세에서 관측되었다는 기하학적 제약만을 측정 모델로 표현한다. 그 결과 복잡도가 특징점 수에 대해 선형이 된다. | 항목 | 값 | |---|---| | 카메라 | Pointgrey FireFly, 640×480, 3헤르츠 | | 관성측정장치 | Inertial Science ISIS, 100헤르츠 | | 필터가 유지하는 카메라 자세 수 | 최대 30개 | | 실험 조건 | 미니애폴리스 주택가 자동차 주행 약 9분 | | 사용 데이터 | 영상 1,598장, 특징점 총 142,903개 | | 주행거리와 최종 위치 오차 | 3.2킬로미터에 약 10미터 | | 오차율 | 이동거리의 0.31퍼센트 | | 처리 | Intel T7200 2기가헤르츠 단일 코어, 14헤르츠 |표 출처: [6] (본문 기준으로 재구성)
> The vision-aided inertial navigation algorithm we propose has computational complexity only linear in the number of features, and is capable of high-precision pose estimation in large-scale real-world environments. […] the final position error is approximately 10m in a trajectory of 3.2km, i.e., an error of 0.31% of the travelled distance. > > 우리가 제안하는 시각 보조 관성항법 알고리즘은 특징점 수에 대해 선형인 계산 복잡도만을 가지며, 대규모 실세계 환경에서 고정밀 자세 추정이 가능하다. […] 최종 위치 오차는 3.2킬로미터 경로에서 약 10미터로, 이동 거리의 0.31퍼센트에 해당하는 오차다. > > ― Mourikis & Roumeliotis (2007) 표의 두 항목에는 반드시 단서를 붙여야 한다. 카메라 3헤르츠는 설계상의 선택이 아니다. 논문 원문은 시험 시스템의 하드디스크 용량 제약 때문에 영상을 3헤르츠로만 기록했다고 명시한다. 그러므로 관성측정장치가 카메라보다 33배 빠르다는 비율을 시각·관성 융합의 구조적 특성처럼 제시하면 오독이다. 14헤르츠 처리도 실시간 온라인 구동이 아니다. 실험 중에는 모든 데이터를 컴퓨터에 저장했고 처리는 오프라인으로 했다고 원문에 적혀 있다. 이 계보가 중요한 이유는 계산량이다. 스마트폰이 감당할 수 있는 규모로 시각과 관성을 융합하는 법을 제시했다. 카메라가 못 보는 짧은 순간을 관성으로 메우기 때문에, 추적이 끊기지 않는다는 체감이 여기서 처음 나온다. 원조성의 범위는 좁혀야 한다. 시각과 관성을 합치는 발상 자체는 1990년대에 이미 있었다. MSCKF의 독창성은 다중상태 제약 확장칼만필터라는 정식화에 국한된다. 남긴 한계는 이름에 적혀 있다. 오도메트리이지 SLAM이 아니다. 루프를 닫지 않으므로 드리프트는 누적되기만 하고 결코 보정되지 않는다. 3.2킬로미터에 10미터는 훌륭한 수치이지만, 출발점으로 돌아와도 10미터 어긋난 채로 남는다. GPS 참값이 없어 정량 검증도 지도 대조 수준에 머물렀다. 여기가 지구상 어디인가라는 절대좌표 문제는 손대지 못했다. [6] ### 끊겨도 돌아온다 라울 무르아르탈, 몬티엘, 후안 타르도스가 2015년 2월 3일 arXiv에 올리고 같은 해 『IEEE Transactions on Robotics』 31권 5호 1147~1163쪽에 실은 ORB-SLAM은 PTAM의 구조를 계승해 도시 규모로 확장한다. 세 사람은 스페인 사라고사대학 소속이었다. 결정적 설계 결정은 추적, 지도작성, 재위치추정, 루프 폐쇄라는 네 가지 작업에 전부 동일한 특징을 쓴 것이다. ORB는 256비트 이진 서술자를 가진 방향성 코너 특징이다. 서술자가 이진이므로 비교가 비트 연산으로 끝나고, 그래서 기존의 SIFT나 SURF보다 두 자릿수 빠르면서 시점과 회전 변화에 견딘다. 여기에 두 종류의 그래프가 얹힌다. 공시성 그래프는 어느 키프레임들이 같은 점을 함께 보는지 기록한다. 핵심 그래프는 그중 강한 연결만 남긴 성긴 부분그래프다. 루프를 닫을 때 빽빽한 공시성 그래프 전체를 최적화하지 않고 핵심 그래프만 최적화하므로, 도시 규모에서도 실시간이 유지된다. 중복 키프레임은 적자생존 방식으로 솎아낸다. 장면이 실제로 바뀔 때만 지도가 자란다. | 항목 | 값 | |---|---| | 코너 추출 스케일 | 8개 레벨, 스케일 인자 1.2 | | 프레임당 특징점 수(512×384~752×480) | 1,000개 | | 프레임당 특징점 수(1241×376) | 2,000개 | | 서술자 크기 | 256비트 | | 평가 데이터 | 공개 데이터셋 27개 시퀀스 | | 하드웨어 | Intel Core i7-4700MQ 4코어 2.40기가헤르츠, RAM 8기가바이트 | | 정확도(좁은 실내 / 넓은 야외) | 통상 1센티미터 이하 / 수 미터 |표 출처: [7] (본문 기준으로 재구성)
> The accuracy of the system is typically below 1 cm in small indoor scenarios and of a few meters in large outdoor scenarios (once we have aligned the scale with the ground truth). > > 본 시스템의 정확도는 좁은 실내 환경에서 통상 1센티미터 이하, 넓은 야외 환경에서는 수 미터 수준이다(척도를 참값에 맞춰 정렬한 뒤의 값이다). > > ― Mur-Artal, Montiel & Tardós (2015) 특징 선택의 근거는 시간 예산이다. 30헤르츠로 돌려면 한 프레임에 쓸 수 있는 시간이 33밀리초다. 논문이 비교한 SIFT와 SURF는 각각 약 300밀리초, A-KAZE는 약 100밀리초를 쓴다. 세 가지 모두 예산 안에 들어오지 못한다. 그래서 ORB였다. 루프 후보 검색 속도로 자주 인용되는 39밀리초에는 조건이 셋 붙는다. 39밀리초 미만이고, 1만 장 규모 데이터베이스에서이며, ORB-SLAM 자체의 측정치가 아니라 저자들이 앞서 발표한 장소 인식기의 결과를 인용한 값이다. 본 논문은 그 개선판을 쓴다. 이 계보가 더한 것은 회복력이다. 그 전의 SLAM은 끊기면 끝이었다. ORB-SLAM은 추적이 끊겨도 현재 화면을 단어 가방 방식으로 기술해 비슷한 과거 키프레임을 찾아내 즉시 재위치추정한다. 큰 루프를 닫아 누적 드리프트를 되돌린다. 그리고 소스코드를 공개했다. 이후 대부분의 학술 시스템이 이것을 기준선으로 삼았다. 남긴 한계 두 가지가 야외 대규모 현장에 직접 걸린다. 첫째는 인용문의 괄호다. 척도를 참값에 맞춰 정렬한 뒤의 값이라고 저자들이 직접 적었다. 단안 카메라 SLAM은 절대 크기를 모른다. 눈앞의 수목이 3미터인지 6미터인지 영상만으로는 판정할 수 없다. 그래서 스마트폰 SDK는 관성측정장치를, 헤드셋은 스테레오 카메라나 깊이 센서를 반드시 함께 쓴다. 둘째는 실내 1센티미터와 야외 수 미터 사이의 간극이다. 두 자릿수 이상이다. 설계 도면이 요구하는 정밀도는 실내 쪽 값에 가깝고, 실제 현장은 야외 쪽 조건이다. 이 간극이 현장 증강현실이 개념 시연에는 강하고 도면 검증에는 약한 구조적 이유다. 덧붙여 특징점 기반이므로 질감 없는 면과 움직이는 물체에 취약하다. 균질한 포장면, 하늘, 흔들리는 잎, 지나가는 사람이 모두 여기 해당한다. [7] ### 주머니 속으로 기술이 보급되는 방식은 기술의 발전과 다른 축이다. 2017년에 일어난 일은 새로운 알고리즘의 등장이 아니었다. 위의 계보 전체가 이미 손에 들려 있는 기기로 옮겨간 사건이었다. 먼저 지워지기 쉬운 구간을 복원한다. 구글 프로젝트 탱고는 2014년 6월 5일 공개됐다. 시제품 단계의 Peanut 폰과 Yellowstone 태블릿이 2014년에 나왔고, 2016년 Lenovo Phab 2 Pro, 2017년 Asus ZenFone AR로 소비자 기기에 시각·관성 추적과 깊이 센싱이 실제로 들어갔다. 구글은 2017년 12월 15일 종료를 발표하고 2018년 3월 1일 지원을 끊었다. ARCore 1.0 정식 출시로부터 불과 1주 뒤다. 시각·관성 추적이 2017년에 주머니로 들어왔다고만 적으면 이 2014년부터 2017년까지의 구간이 지워진다. 애플 쪽 준비도 2017년보다 앞선다. 2015년 5월 독일 뮌헨의 증강현실 기업 메타이오를 인수했고, 여기에는 엔지니어 인력과 100건 이상의 증강현실 특허 출원이 포함됐다. 메타이오 엔지니어들은 애플 기술개발그룹에 합류한 뒤 ARKit 공개를 맞았다. | 항목 | 시점 | |---|---| | 프로젝트 탱고 공개 | 2014년 6월 5일 | | 애플의 메타이오 인수 | 2015년 5월 | | ARKit 발표 | 2017년 6월 WWDC | | ARKit 출시 | 2017년 9월, iOS 11 | | ARCore 시제품 공개 | 2017년 8월 | | 탱고 종료 발표 | 2017년 12월 15일 | | ARCore 정식 출시 | 2018년 2월 23일 | | 탱고 지원 종료 | 2018년 3월 1일 |표 출처: [8] (본문 기준으로 재구성)
두 SDK의 핵심은 모두 시각·관성 오도메트리다. 카메라 영상의 특징점 추적과 관성 적분을 융합해 6자유도 자세를 낸다. > Visual-Inertial Odometry (VIO) — Combines camera input with IMU (accelerometer/gyroscope) data for robust motion tracking without requiring external infrastructure. > > 시각·관성 오도메트리 — 카메라 입력과 관성측정장치(가속도계·자이로스코프) 데이터를 결합하여, 외부 기반시설 없이도 견고한 움직임 추적을 수행한다. > > ― Apple Developer, ARKit 문서 그 위에 실제 응용이 필요로 하는 상위 기능이 붙었다. 평면 검출로 바닥과 벽을 찾는다. 광원 추정으로 가상 물체의 밝기와 그림자를 실제 조명에 맞춘다. 앵커로 특정 지점에 물체를 고정한다. 이후 세대에서는 장면 재구성으로 공간을 삼각망으로 만들고 깊이 지도를 낸다. 개발자가 SLAM 논문을 한 편도 읽지 않고 이 자리에 물체를 놓아라라고 쓸 수 있게 됐다. 요구 사양은 ARKit이 애플 A9 칩 이상이다. 라이다 스캐너에 의존하는 기능은 iPhone 12 Pro와 Pro Max 이후, 그리고 2020년 이후의 iPad Pro로 제한된다. 플랫폼 확장 경로는 iOS 11에서 2019년 iPadOS 13으로, 2024년 visionOS 1.0으로 이어진다. 연도를 쓸 때 ARCore의 2017년 8월과 2018년 2월을 구분해야 한다. 앞은 시제품 공개, 뒤가 정식 출시다. 효과는 문헌 분포에 그대로 찍혔다. 본 조사가 수집한 야외 경관 분야 증강현실 논문은 2014년 14편에서 2021년 61편으로 네 배가 된다. 증가 곡선이 꺾이는 지점은 2019년이다. 두 SDK가 보급된 직후다. 기술적 도약이 아니라 유통의 도약이었고, 결과적으로 연구 총량을 바꿨다. 남긴 한계는 세 가지이며 모두 같은 뿌리에서 나온다. 상대좌표라는 점이다. 이 기기 기준으로 3미터 앞은 알지만 여기가 지구상 어디인지는 모른다. 세션이 끊기면 지도가 사라지므로 어제 배치한 가상 물체를 오늘 같은 자리에 다시 띄우지 못한다. 넓은 대지를 걸어다니면 드리프트가 누적된다. [8] ### 정합을 전용 실리콘에 얹다 지연을 줄이는 가장 직접적인 길은 계산을 전담하는 회로를 따로 두는 것이다. 마이크로소프트 홀로렌즈가 그 길을 상용 제품에서 처음 열었다. 1세대는 2015년 1월 21일 발표되고 2016년 3월 30일 개발자판이 3,000달러, 상용판이 5,000달러로 출시됐다. 2세대는 2019년 2월 24일 MWC에서 발표되고 같은 해 11월 7일 3,500달러로 출하됐다. 발표와 출하 사이 간격이 1세대는 약 14개월, 2세대는 약 8.5개월이다. 설계의 핵이 홀로그래픽 처리 장치다. 공간 매핑, 제스처 인식, 음성 인식을 전담하는 보조 프로세서를 따로 설계해 얹었다. 중앙처리장치가 응용프로그램을 돌리는 동안 이 보조칩이 센서 융합과 정합을 계속 돌린다. 아주마가 지목한 동적 오차의 근원인 종단간 지연을 구조적으로 낮추는 방식이다. 디스플레이는 광학 시스루 도파관을 택했다. 영상을 합성하는 것이 아니라 실제 세계 위에 빛을 더한다. | 항목 | 1세대 | 2세대 | |---|---|---| | 헤드 트래킹 카메라 | 환경 인식 센서 4개 | 가시광 카메라 4개 | | 시선 추적 | 없음 | 적외선 카메라 2개 | | 깊이 센서 | 시야각 120°×120° 깊이 카메라 | 100만 화소 비행시간 방식 | | 사진·동영상 카메라 | 240만 화소 | 자료 미확인 | | 디스플레이 | 230만 화소, 초점 거리 약 2미터 고정 | 2k 3:2 광학엔진 | | 홀로그램 밀도 | 자료 미확인 | 라디안당 광점 2.5k 초과 | | 연산기 | SoC + 1세대 보조칩 | Snapdragon 850 + 2세대 보조칩 | | RAM | SoC 1기가바이트 + 보조칩 1기가바이트 LPDDR3, 8메가바이트 SRAM 공유 | 4기가바이트 LPDDR4x | | 저장장치 | 64기가바이트 | 64기가바이트 UFS 2.1 | | 기타 | 4채널 마이크 배열 | 무게 566그램, 무팬 수동 냉각, 배터리 2~3시간 | 2세대 가시광 카메라는 초점거리 1.08밀리미터, 대각 시야각 96.1도이며 스테레오 기선은 98.6밀리미터다. > Head tracking: 4 visible light cameras. Eye tracking: 2 Infrared (IR) cameras. Depth: 1-MP Time-of-Flight depth sensor. […] Holographic density: >2.5k radiants (light points per radian). > > 헤드 트래킹: 가시광 카메라 4개. 시선 추적: 적외선 카메라 2개. 깊이: 100만 화소 비행시간 방식 깊이 센서. […] 홀로그램 밀도: 라디안당 광점 2.5k 초과. > > ― Microsoft Learn, HoloLens 2 하드웨어 두 숫자는 확정해서 쓸 수 없다. 첫째는 1세대 보조칩의 디지털신호처리기 개수다. 널리 인용되는 28개는 위키백과의 홀로렌즈 항목이 2016년 8월 기사를 근거로 적은 값이고, 같은 위키백과의 다른 항목은 24개로 적으면서 28은 공정 노드 28나노미터로 기술한다. 마이크로소프트의 현행 공식 문서에는 개수 자체가 없고, 1세대 공식 하드웨어 페이지는 현재 접속되지 않는다. 둘째는 시야각이다. 1세대의 약 30°×17.5°는 위키백과 자신이 시연 기준 추정치라고 명시한 값이다. 2세대의 43°×29°도 널리 인용되지만 마이크로소프트 공식 하드웨어 문서에는 시야각 항목이 없다. 공식 표기는 홀로그램 밀도뿐이다. 애플 비전 프로는 같은 발상을 더 밀어붙였다. 2023년 6월 5일 발표되고 2024년 2월 2일 미국에서 출시됐다. M 계열 칩이 앱과 그래픽을 맡고, R1이라는 별도 칩이 오직 센서 입력 처리와 화면 출력만 전담한다. 그리고 애플은 이 구조로 얻은 수치를 기술 사양에 올렸다. 광자에서 광자까지 12밀리초다. 바깥 세상의 빛이 카메라에 들어와 처리를 거쳐 눈앞 디스플레이의 빛으로 나오기까지의 전체 시간이다. 이 숫자가 제품의 성립 조건인 이유는 방식 때문이다. 비전 프로는 광학 시스루가 아니라 비디오 패스스루다. 사용자가 보는 현실조차 전부 카메라를 거친 12밀리초 지난 영상이다. > R1 streams new images to the displays within 12 milliseconds — 8x faster than the blink of an eye. […] R1 chip processes input from 12 cameras, five sensors, and six microphones to ensure that content feels like it is appearing right in front of the user's eyes, in real time. > > R1은 12밀리초 이내에 새 영상을 디스플레이로 보낸다. 눈을 한 번 깜빡이는 것보다 8배 빠르다. […] R1 칩은 12개 카메라, 5개 센서, 6개 마이크의 입력을 처리하여, 콘텐츠가 실시간으로 사용자의 눈앞에 바로 나타나는 것처럼 느껴지도록 한다. > > ― Apple Newsroom (2023년 6월 5일) 센서 구성은 고해상도 메인 카메라 2개, 외부 인식용 트래킹 카메라 6개, 시선 추적 카메라 4개, TrueDepth 카메라 1개, 라이다 스캐너 1개, 관성측정장치 4개, 플리커 센서, 주변광 센서다. 여기서 애플 자료 자체가 어긋난다. 카메라를 열거하면 13개인데 위 발표 문구는 12개로 적는다. 애플의 두 자료 사이의 불일치이므로 병기할 때 주석이 필요하다. 디스플레이는 마이크로 OLED이며, 애플이 공식으로 밝히는 값은 양안 합계 2,300만 화소, 화소 피치 7.5마이크로미터, 우표 크기 패널 2장이다. 널리 인용되는 눈당 약 3,660×3,200과 시야각 약 100°×73°는 애플 공식 사양표에 없다. 제3자 분해분석과 패널 공급망 추정치이므로 애플 출처로 표기하면 안 된다. 재생빈도도 세대를 구분해야 한다. 2024년 출시된 M2 모델은 90, 96, 100헤르츠를 지원한다. 120헤르츠는 2025년 10월 15일 발표되고 같은 달 22일 출시된 M5 개정판에서 추가된 값이다. M5 사양은 고성능 4개와 효율 6개로 구성된 10코어 중앙처리장치, 10코어 그래픽처리장치, 16코어 뉴럴 엔진이다. 여기서 흔히 저지르는 비교 오류를 짚어야 한다. 아주마의 1997년 계산에 12밀리초를 대입하면 팔 길이에서 약 7밀리미터가 나온다. 26년의 진보를 한 줄로 보여주는 수치처럼 보인다. 그런데 두 숫자는 정의가 다르다. 애플의 12밀리초는 패스스루 영상의 광자에서 광자까지의 지연이다. 아주마의 10밀리초는 머리 회전 초당 50도에서 각오차 0.5도를 유지하기 위한 트래킹 종단간 지연이다. 재는 대상이 다르므로 근접했다거나 도달했다는 직접 비교는 성립하지 않는다. 7밀리미터는 자릿수 감각을 주는 계산일 뿐, 제품의 정합 정확도가 아니다. 남긴 한계도 그 지점에서 시작한다. 애플은 12밀리초를 공표했지만 가상 물체가 실제 위치에서 몇 밀리미터 어긋나는지는 공표하지 않았다. 패스스루 방식이므로 사용자가 보는 현실 자체가 카메라의 해상도, 동적 범위, 색재현의 한계를 물려받는다. 직사광선과 짙은 그늘이 한 화면에 동시에 있는 야외 현장은 동적 범위 측면에서 가장 가혹한 조건이다. 광학 시스루 쪽의 제약은 성질이 다르다. 도파관은 빛을 더하기만 하므로 검은색을 표현할 수 없고, 직사광선 아래서는 영상이 씻겨 사라진다. 그리고 실외 장시간 착용, 이동 중 사용, 절대좌표 정합은 양쪽 모두 미해결이다. 가격도 남는다. 3,000달러에서 3,500달러는 현장 보급 가격이 아니다. [9][10] ### 마지막 순간에 결과를 고친다 렌더링 파이프라인은 프레임 하나를 그리는 데 십수 밀리초를 쓴다. 그 사이 머리는 이미 움직였다. 그래서 완성된 프레임을 화면에 내보내기 직전에, 가장 최신의 자세 측정값을 읽어 이미 그려진 영상을 살짝 회전하거나 이동시켜 보정한다. 회전만 보정하는 것이 타임워프다. 깊이 정보를 써서 시차까지 보정하는 것이 스페이스워프다. > The headset's driver takes previously rendered frames and uses sensor motion data to extrapolate or warp them into predictions of what normally rendered frames would resemble. > > 헤드셋의 드라이버는 앞서 렌더링된 프레임들을 가져다가 센서의 움직임 데이터를 이용해, 정상적으로 렌더링되었을 프레임이 어떤 모습일지에 대한 예측으로 외삽하거나 왜곡시킨다. 이 기법의 계보를 예측 트래킹의 산업적 구현이라고 적는 서술이 많다. 틀렸다. 아주마의 1997년 서베이는 동적 오차 대책을 네 범주로 나누면서, 타임워프의 원형인 이미지 편향을 겉보기 지연 줄이기 범주에 넣고 예측을 별도 범주에 넣는다. 그리고 이미지 편향의 선행 문헌으로 1989년부터 1994년 사이의 연구 네 건을 인용한다. 원문은 이 기법이 되먹임 없는 앞먹임 방식이며, 스캔아웃 직전에 시스템이 가장 최근의 방향 보고를 읽는다고 기술한다. 즉 두 기법은 같은 뿌리에서 갈라진 형제가 아니라 처음부터 다른 계보다. | 기법 | 벤더 | 시점 | |---|---|---| | 비동기 타임워프 | Oculus | 2015년 3월 2일 | | 비동기 스페이스워프 | Oculus | 2016년 11월 10일 | | 인터리브드 리프로젝션 | Valve | 2016년 3월 26일 | | SteamVR 모션 스무딩 | Valve | 2018년 11월 27일 |표 출처: [11] (본문 기준으로 재구성)
표의 날짜는 위키백과의 비동기 재투영 항목이 참조하는 블로그 게시일이다. 같은 문서의 벤더 목록에는 마이크로소프트 항목이 없다. 홀로렌즈의 후단 재투영이 1세대부터 탑재됐다는 서술이 흔히 보이지만, 이 출처로는 확인되지 않는다. 본 조사에서 탑재 시점을 확정하지 못했으므로 연도를 붙여 쓰면 안 된다. 참조 하드웨어로 메타 퀘스트 3의 사양을 둔다. 2023년 6월 1일 발표되고 같은 해 10월 10일 128기가바이트 499.99달러, 512기가바이트 649.99달러로 출시됐다. | 항목 | 값 | |---|---| | 연산기 | Snapdragon XR2 Gen 2 | | 디스플레이 | 눈당 2064×2208 RGB 스트라이프 LCD 2장 | | 재생빈도 | 90~120헤르츠 | | 패스스루 카메라 | 400만 화소 RGB 2개 | | 추적 카메라 | 400×400 화소 적외선 4개 | | 깊이 센서 | 적외선 패턴광 투사식 |표 출처: [11] (본문 기준으로 재구성)
이 기법이 왜 필수가 되었는지는 예산 계산으로 돌아가면 보인다. 각오차 0.5도를 지키려면 지연 10밀리초 이하가 필요하고, 60헤르츠 스캔아웃만으로 16.67밀리초가 든다. 정면 돌파가 불가능한 구조다. 재투영은 렌더링을 더 빠르게 만들자는 정면 승부를 포기하고, 마지막 순간에 결과를 고치는 우회로를 택했다. 오늘날 소비자용 헤드셋은 이것 없이 성립하지 않는다. 그래픽처리장치가 목표 프레임레이트를 못 맞추는 순간에도 머리 움직임에는 즉각 반응하는 것처럼 느껴진다. 남긴 한계는 원리에 박혀 있다. 이미 그린 그림을 고치는 일이므로 없던 정보를 만들 수 없다. 회전 보정은 거의 완벽하다. 위치 이동 보정은 가려져 있던 영역에 구멍을 남긴다. 움직이는 물체는 왜곡된다. 프레임레이트가 심하게 떨어지면 물체가 겹쳐 보이거나 번지는 현상이 생긴다. 정리하면 이 기법은 지연을 감춘 것이며 지연을 없앤 것이 아니다. [11] ### 여기가 지구상 어디인가 여기까지의 모든 기법이 답하지 못한 질문이 하나 남는다. 이 지점이 지구상 어디이고 지금 어느 방향을 보고 있는가. 위성항법은 답이 되지 못한다. 수평 오차가 수 미터에 달하고, 방위는 지자기계에 의존하므로 건물 사이나 철 구조물 근처에서 크게 틀어진다. 시각 측위 시스템은 대신 거대한 사전 지도와 현재 카메라 영상을 대조한다. 구글의 방식은 이렇다. 15년 넘게 전 세계에서 촬영한 스트리트뷰 영상을 심층신경망에 통과시켜, 오랜 기간 변하지 않고 알아볼 수 있을 만한 부분을 골라 기술한다. 건물 모서리, 간판, 창틀의 배열 같은 것들이다. 이렇게 뽑은 기술자들을 수백억 장의 영상에 걸쳐 결합해 조 단위 점으로 된 3차원 점군 모델을 만든다. 기기가 위치를 요청하면 신경망이 현재 화면의 픽셀을 이 모델에 대응시켜 위치와 방향을 계산한다. > Deep neural networks identify and describe parts of the images that are likely to be recognizable over long periods of time. Those parts are then combined across tens of billions of images to compute a 3D point cloud. […] This localization model consists of trillions of points and spans nearly all countries. > > 심층신경망이 영상에서 오랜 기간에 걸쳐 알아볼 수 있을 만한 부분들을 식별하고 기술한다. 그렇게 추출된 부분들을 수백억 장의 영상에 걸쳐 결합하여 3차원 점군을 계산한다. […] 이 위치추정 모델은 조 단위의 점으로 이루어져 있으며 거의 모든 국가에 걸쳐 있다. > > ― Google, ARCore Geospatial API 개발자 문서 앵커는 세 종류로 나뉜다. WGS84 앵커는 위경도와 고도를 직접 지정한다. 지형 앵커는 지표면을 기준으로 상대 고도를 지정한다. 옥상 앵커는 건물 옥상을 기준으로 삼는다. 나이앤틱은 같은 일을 다른 데이터로 한다. 스트리트뷰 대신 이용자들이 직접 스캔한 영상을 모은다. Lightship SDK는 2021년 11월 유니티 기반으로 공개됐다. 이 계보의 의미는 좌표계의 성격이 바뀌었다는 점이다. 그 전까지 앵커는 이 세션 안에서만 유효했다. 이후로는 위도, 경도, 고도, 방위로 앵커를 지정할 수 있다. 어제 다른 사람이 놓은 가상 물체를 오늘 내 기기에서 같은 자리에 볼 수 있다. 설계 도면이 본질적으로 절대좌표 문서라는 점을 생각하면 이 전환이 실무에 왜 결정적인지가 분명해진다. 절대좌표 없이는 증강 조감이 대충 저쯤에 머문다. 남긴 한계는 네 가지다. 첫째, 지도가 있는 곳에서만 작동한다. 구글 방식은 스트리트뷰 차량이 다닌 길, 즉 도로변을 따라 지도가 만들어졌다. 부지 내부, 보행로 안쪽, 차량이 들어가지 않는 깊은 곳에는 지도가 없다. 둘째, 지도의 근거가 건물과 간판 같은 인공 구조물의 안정적 특징이다. 계절마다 모습이 완전히 바뀌는 식생은 도움이 되지 않고 오히려 오차원이 된다. 셋째, 정확도 수치가 공표되지 않는다. 넷째, 서비스가 사업자 인프라에 종속된다. 나이앤틱의 지리공간 사업이 2025년 5월 29일 게임 부문 매각과 동시에 별도 회사로 분사된 사실이 이 위험의 실례다. 세 번째 한계는 특히 조심해야 한다. 본 조사에서 구글의 여러 공식 페이지를 확인했으나 수평 정확도, 고도 정확도, 방위 정확도의 구체적 임계값을 찾지 못했다. 공식 문서는 국가 수도 숫자 대신 거의 모든 국가라고만 적는다. 센티미터 정확도라고 쓰는 2차 기사가 많지만 1차 출처가 없다. [12] ### 계보를 한 장으로 여덟 개 절을 하나의 표로 압축한다. 각 기법이 무엇을 풀었고 무엇을 남겼는지가 이 책이 쓰려는 구분이다. | 기법 | 시점 | 해결한 것 | 남긴 것 | |---|---|---|---| | 예측 트래킹 · 하이브리드 트래커 | 1994년 | 지연 80밀리초 이하에서 동적 오차 약 10배 감소, 광학과 관성의 결합 | 지연 80밀리초 초과 시 예측 자체가 오차원, 작업 범위 방 하나 | | 기준마커 · ARToolKit | 1999년 | 전용 하드웨어 없이 6자유도 자세, 단안으로 절대 스케일, 표준 도구화 | 시야 이탈·가림 시 즉시 실패, 거리에 따른 열화, 마커 설치 불가 지형 | | 단안 SLAM · MonoSLAM | 2003 / 2007년 | 마커와 사전 지도 제거, 실시간 30헤르츠, 재방문 시 드리프트 보정 | 복잡도가 특징점 수의 제곱, 특징점 약 100개, 방 한 칸, 끊기면 복구 불가 | | 시각·관성 오도메트리 · MSCKF | 2007년 4월 | 복잡도를 특징점 수에 선형으로, 3.2킬로미터에 0.31퍼센트 오차 | 루프 폐쇄 없음, 드리프트 영구 누적, 절대좌표 미해결 | | 병렬 SLAM · PTAM | 2007년 11월 | 추적과 지도작성 분리, 키프레임과 번들 조정, 특징점 수천 개 | 키프레임 150개 한계, 루프 폐쇄 없음, 정적·질감 장면 전제 | | 대규모 SLAM · ORB-SLAM | 2015년 | 재위치추정과 루프 폐쇄, 도시 규모 실시간, 실내 1센티미터 이하 | 단안은 절대 크기 미지, 야외 수 미터, 질감 없는 면과 움직이는 물체 취약 | | 모바일 SDK · Tango, ARKit, ARCore | 2014~2018년 | 별도 장비 없이 6자유도 추적, 평면 검출과 광원 추정, 연구 진입 비용 소멸 | 상대좌표, 세션 종료 시 지도 소멸, 장거리 드리프트 | | 자립형 헤드셋 · 전용 실리콘 | 2016~2024년 | 외부 기지국 없는 인사이드아웃 추적, 센서 처리 분리, 광자에서 광자까지 12밀리초 | 정합 정확도 비공개, 시야각과 가격, 직사광선과 동적 범위 | | 비동기 재투영 | 2015년~ | 스캔아웃 직전 보정으로 겉보기 지연 제거, 프레임 저하 시에도 반응성 유지 | 위치 이동 보정의 구멍, 움직이는 물체 왜곡, 지연을 감춘 것일 뿐 | | 시각 측위 · VPS | 2019~2022년 | 상대좌표에서 절대좌표로, 세션과 사용자를 넘는 앵커 공유 | 도로변 한정, 식생은 오차원, 정확도 미공표, 사업자 종속 |표 출처: [1][2][3][4][5][6][7][8][9][11][10][12] (본문 기준으로 재구성)
같은 계보를 요구 정밀도와 도달 정밀도로 다시 보면 남은 거리가 드러난다. | 기준 | 값 | |---|---| | 아주마가 제시한 트래커 요구 정확도 | 약 1밀리미터, 1도의 작은 분수 | | 인간 눈의 분해 한계 | 1분각 = 약 0.017도 | | 개방루프 시스템 실적(1994년) | ±5밀리미터 이내 | | 폐쇄루프 시스템 실적(1995~96년) | 1픽셀 이내 | | ORB-SLAM 실내 | 1센티미터 이하 | | ORB-SLAM 야외 | 수 미터 | | MSCKF 주행 오차 | 3.2킬로미터에 약 10미터, 0.31퍼센트 | | 각오차 0.5도 유지에 필요한 지연 | 10밀리초 이하 | | 60헤르츠 스캔아웃만의 소요 | 16.67밀리초 | | 비전 프로 광자에서 광자까지 지연 | 12밀리초 |표 출처: [1][2][3][4][5][6][7][8][9][11][10][12] (본문 기준으로 재구성)
표의 마지막 세 행은 앞에서 말한 이유로 서로 직접 비교되지 않는다. 같은 자리에 둔 것은 자릿수 감각을 위해서다. [1][2][3][4][5][6][7][8][9][11][10][12] ### 확인하지 못한 것 기법의 계보를 쓸 때 가장 위험한 것은 숫자가 있는 자리를 비워 두지 못하는 태도다. 본 조사에서 1차 출처로 확정하지 못한 항목을 명시해 둔다. 아래 값은 책이나 보고서에 확정 수치로 쓰면 안 된다. | 항목 | 상태 | |---|---| | ARCore Geospatial API의 정식 발표일과 지원 국가 수 | 공식 블로그 접근 실패. 87개국 같은 숫자는 1차 출처 미확인. 공식 문서는 국가 수 대신 거의 모든 국가로만 적는다 | | 시각 측위 시스템의 정확도 수치 | 수평·고도·방위 정확도의 미터·도 단위 임계값을 공식 문서에서 찾지 못했다. 센티미터 정확도 표기 금지 | | Niantic Lightship VPS의 등록 지점 수와 정확도 | 공식 블로그 URL이 리다이렉트 후 404. 웨이스팟 수, 대규모 지리공간 모델의 학습 규모 모두 미확인 | | Azuma & Bishop 1994 원논문 | PDF 접근 실패. 관련 수치는 전부 Azuma 1997 서베이의 2차 인용이다 | | 홀로렌즈 2세대 공식 시야각 | 공식 하드웨어 문서에 시야각 항목이 없다. 43°×29°와 1세대 30°×17.5° 모두 확정 불가 | | 1세대 보조칩의 신호처리기 개수 | 28개와 24개가 함께 유통되고 마이크로소프트 공식 문서에는 개수가 없다 | | ARKit·ARCore의 정합 정확도 | 애플도 구글도 몇 밀리미터 어긋나는지 공표하지 않는다. 비전 프로도 지연만 공표하고 정합 오차는 비공개다 | | 홀로렌즈 후단 재투영의 탑재 시점 | 인용 출처에 해당 서술이 없다 | | 신경 표현 계열의 정합 정확도 | NeRF와 3D 가우시안 스플래팅 계열의 수치는 확인하지 못했다 |표 출처: [6][7][8][10] (본문 기준으로 재구성)
조사 조건도 함께 남긴다. 본 조사는 검색 도구를 쓸 수 없는 상태에서 URL 직접 접근만으로 수행됐다. 그래서 1차 논문은 잘 확보됐다. 아주마의 1997년 서베이, 카토와 빌링허스트의 1999년 논문, MonoSLAM, PTAM, MSCKF, ORB-SLAM의 전문을 모두 직접 추출해 확인했다. 반면 제품 발표 뉴스처럼 검색으로 찾아야 하는 항목에 구멍이 남았다. 위 표의 앞 세 항목이 그 구멍이다. [6][7][8][10] ### 아직 남은 것 열 개 기법을 관통하는 미해결 지점을 다섯 갈래로 묶는다. 첫째, 절대 스케일이다. 단안 SLAM은 크기를 모른다. 관성측정장치, 스테레오 카메라, 라이다가 이를 메우지만 야외 장거리에서는 누적 오차가 남는다. 둘째, 비정적 장면이다. PTAM 이래 모든 특징점 기반 방식이 장면이 비교적 정적일 것을 전제한다. 바람에 흔들리는 수관, 계절마다 형태가 바뀌는 낙엽수, 물결치는 수면은 이 전제를 정면으로 깬다. 셋째, 질감 없는 표면이다. 잔디밭, 균질한 포장, 하늘은 특징점을 주지 않는다. 넷째, 조명이다. 야외 직사광선은 광학 시스루의 영상을 씻어낸다. 그늘과 양지가 공존하는 장면은 패스스루 카메라의 동적 범위를 넘는다. 다섯째, 규모다. ORB-SLAM의 자기 보고로도 실내 1센티미터와 야외 수 미터다. 설계 도면이 요구하는 정밀도와 두 자릿수 이상 차이가 난다. > The registration problem is far from solved. Many systems assume a static viewpoint, static objects, or even both. […] Much more work needs to be done to increase the domains in which registration is robust. > > 정합 문제는 해결과는 거리가 멀다. 많은 시스템이 정지된 시점, 정지된 물체, 혹은 그 둘 모두를 전제한다. […] 정합이 견고하게 작동하는 영역을 넓히려면 훨씬 더 많은 연구가 필요하다. > > ― Azuma (1997), 4.5절 아주마가 1997년에 정합이 안 되는 조건으로 꼽은 네 가지를 오늘의 야외 조건에 대입하면 성적이 갈린다. 시점 고정은 해결됐다. 시각·관성 오도메트리와 SLAM이 풀었다. 마커 의존은 해결됐다. 마커 없는 SLAM이 풀었다. 이동 범위 제한은 대체로 해결됐다. 절대좌표는 부분적으로 해결됐다. 시각 측위 시스템이 열었으나 도로변에 한정된다. 그러나 움직이고 계절마다 변하는 자연물에 대한 정합은 1997년 이후 실질적 진전이 없다. 이 성적표가 현장 증강현실의 활용 분포를 설명한다. 개념 시연과 교육 용도로는 두텁고, 도면 수준의 위치 검증에는 얇다. 두 용도가 요구하는 정밀도가 두 자릿수 다르기 때문이다. 마지막으로 한 가지를 구분해 둔다. 아직 안 된다는 것은 영영 안 된다는 뜻이 아니다. 신경 표현 계열과 대규모 지리공간 모델이 비정적 장면과 질감 없는 표면 문제를 다른 방향에서 공략하고 있다. 다만 본 조사에서는 그 실제 정합 정확도 수치를 확인하지 못했다. 기대는 기대로 적고, 수치는 확인된 뒤에 적는다. [13] ### 이 장의 핵심 트래킹 30년의 역사는 정확도를 올린 역사가 아니라 아주마가 1997년에 쪼개 놓은 두 오차, 곧 멈춰 있어도 남는 정적 오차와 움직여야 나타나는 동적 오차를 각각 다른 수단으로 갈라 공격해 온 역사이며, 마커에서 SLAM으로, SLAM에서 시각·관성 융합으로, 다시 시각 측위로 넘어오며 해결한 것은 시점의 자유와 마커의 제거와 절대좌표의 도로변 확보뿐이고, 움직이고 계절마다 변하는 자연물 앞에서는 여전히 1997년의 문장이 그대로 유효하다. [1][13]본문의 번호를 누르면 출처로 이동합니다. 절 끝의 번호는 그 절의 사실 자료를, 표 아래의 번호는 표에 사용한 자료를 가리킵니다. 비교·계산·비유와 결론은 필자의 재구성입니다. 한 번호에 함께 사용한 문헌이 둘 이상이면 묶어서 적었습니다.
서지정보와 확인 메모는 옵시디언 조사 기록을 바탕으로 복원했습니다. 원 기록의 ‘전문 확인’·‘조회’ 표기는 당시 조사 상태이며 이번 웹판에서 모두 재검증했다는 뜻은 아닙니다. 불완전한 서지사항은 임의로 채우지 않았습니다.
아주마 자신이 '정합 문제는 전혀 해결되지 않았다(far from solved)'고 적었다. 당시 성공 사례는 대부분 시점이 고정되어 있거나, 물체가 고정되어 있거나, 이동 범위가 제한되거나, 기준마커가 붙은 단 하나의 물체에만 작동했다. 야외·대규모·자연물에 대한 정합은 논의조차 못 했다.
예측은 지연이 짧을 때만 통한다. 지연이 80ms를 넘으면 예측 자체가 오차원이 되어 물체가 '앞질러 튀는' 현상을 만든다. 또 천장 LED 격자 방식이라 작업 범위가 방 하나로 묶였고, 야외로 나갈 수 없었다.
세 가지 한계가 그대로 남았다. ①마커가 카메라 시야에서 벗어나거나 일부만 가려도 즉시 추적 실패 ②거리에 따라 정확도가 급격히 열화 ③마커를 물리적으로 설치해야 하므로 '붙일 데가 없는' 야외 대규모 지형에는 적용 불가. 이 세 번째 한계가 조경 AR의 근본 병목이며, 마커 없는(markerless) SLAM 계보를 부른 이유다.
O(N²) 복잡도가 치명적이었다. 특징점 100개로는 방 한 칸이 한계이고, 정원이나 공원 같은 야외 규모는 원리적으로 불가능했다. 또 급격하거나 거친 카메라 움직임에 추적이 끊겼고, 끊기면 복구 수단이 없었다.
논문 제목의 'Small AR Workspaces'가 곧 한계 선언이다. 키프레임 150개를 넘으면 전역 번들 조정이 수렴하는 데 수십 초가 걸려 탐색 중에는 사실상 포기된다. 큰 루프를 닫는 기능이 없어 넓은 공간을 돌면 드리프트가 누적된다. 또 빠른 카메라 움직임이 만드는 모션블러가 FAST 코너를 지워버려 추적이 끊긴다. '장면이 충분히 질감이 있고, 비교적 정적이며, 자기가림이 심하지 않을 때'라는 전제가 붙는다 — 바람에 흔들리는 식생은 이 전제를 정면으로 위반한다.
오도메트리(odometry)이지 SLAM이 아니다 — 루프를 닫지 않으므로 드리프트가 누적되기만 하고 결코 보정되지 않는다. 3.2km에 10m는 훌륭하지만, 같은 자리로 돌아와도 10m 어긋난 채로 남는다. 또 실험은 오프라인 처리였고 GPS 참값이 없어 정량 검증이 지도 대조 수준에 머물렀다. 야외 절대좌표 문제(이 공원의 이 지점이 지구상 어디인가)는 손대지 못했다.
두 가지가 조경에 직접 걸린다. 첫째, '척도를 참값에 맞춰 정렬한 뒤'라는 단서 — 단안 카메라 SLAM은 절대 크기를 모른다. 이 나무가 3m인지 6m인지 SLAM 혼자서는 판정할 수 없다(그래서 ARKit·ARCore는 IMU를, 헤드셋은 스테레오 카메라를 반드시 함께 쓴다). 둘째, 야외 정확도가 '수 미터'다. 실내 1cm와 야외 수 미터 사이의 이 간극이 조경 AR이 실무 도면 수준에 도달하지 못하는 이유다. 또 특징점 기반이므로 질감 없는 면(잔디밭, 콘크리트 포장, 하늘)과 움직이는 물체(흔들리는 잎, 지나가는 사람)에 취약하다.
실내 책상 규모의 상대좌표 추적이다. '이 기기 기준 3m 앞'은 알아도 '이곳이 지구상 어디인가'는 모른다. 세션이 끊기면 지도가 사라져 어제 배치한 가상 수목을 오늘 같은 자리에 다시 띄우지 못한다. 넓은 대지에서 걸어다니면 드리프트가 누적된다. 이 세 가지가 조경 실무에 그대로 걸리며, 이를 풀려는 시도가 다음 항목의 VPS와 클라우드 앵커다. 주의: 'ARCore 2017년 8월 발표'는 시제품 공개였고 정식 SDK 출시는 2018년 2월이다 — 책에서 연도를 쓸 때 둘을 구분해야 한다.
세 가지가 남았다. ①시야각 — 1세대의 약 30°×17.5°는 팔 길이에서 손바닥만 한 창으로, 넓은 경관을 담을 수 없다. ②가격 — $3,000~$3,500은 현장 보급 가격이 아니다. ③광학 시스루의 원리적 제약 — 도파관은 빛을 '더하기'만 하므로 검은색을 표현할 수 없고, 야외 직사광선 아래서는 홀로그램이 씻겨 사라진다. 조경 AR의 무대가 대부분 야외임을 생각하면 이 세 번째가 가장 무겁다.
12ms는 '센서에서 화면까지'의 지연이지 '정합 정확도'가 아니다. 애플은 가상 물체가 실제 위치에서 몇 밀리미터 어긋나는지는 공표하지 않았다. 또 비디오 패스스루이므로 사용자가 보는 현실 자체가 카메라 해상도·동적 범위·색재현의 한계를 물려받는다 — 야외 직사광선과 그늘이 동시에 있는 조경 현장은 동적 범위 측면에서 가장 가혹한 조건이다. 실외 장시간 착용, 이동 중 사용, 그리고 절대좌표 정합(이 나무가 도면상 어느 좌표인가)은 여전히 미해결이다.
재투영은 이미 그린 그림을 고치는 것이므로 없던 정보를 만들 수 없다. 회전 보정은 거의 완벽하지만, 위치 이동(translation) 보정은 가려졌던 영역에 구멍을 만든다. 움직이는 물체는 왜곡되고, 프레임레이트가 심하게 떨어지면 물체가 겹쳐 보이거나 번지는 현상(judder, ghosting)이 생긴다. 즉 '지연을 감춘' 것이지 '지연을 없앤' 것이 아니다.
조경에 걸리는 한계가 명확하다. ①VPS는 스트리트뷰 차량이 다닌 길, 곧 도로변에서만 작동한다 — 공원 내부, 산책로 안쪽, 정원 깊숙한 곳은 지도가 없다. ②지도의 근거가 건물·간판 같은 인공 구조물의 안정적 특징이다. 계절마다 모습이 완전히 바뀌는 식생은 오히려 오차원이 된다. ③구글 공식 문서는 정확도를 미터·도 단위 수치로 공표하지 않는다 — 본 조사에서 여러 공식 페이지를 확인했으나 수평·고도·방위 정확도의 구체적 임계값을 찾지 못했다. 책에 '몇 센티미터 정확도'라고 쓰면 안 된다. ④서비스가 사업자 인프라에 종속된다 — 나이앤틱의 지리공간 자산이 2025년 기업 분할을 거친 사실이 이 위험을 보여준다.
표 출처: [1] (본문 기준으로 재구성)
번개와 천둥으로 생각하면 쉽다. 번개가 번쩍인 순간부터 내 귀에 소리가 닿는 순간까지를 재야 뜻이 있다. 소리가 공기 중으로 출발한 순간부터 재면 아무것도 말해 주지 않는다. 증강현실에서 이 숫자가 특히 가혹한 이유는 따로 있다. 사용자가 정답지를 손에 쥐고 있다. 가상 물체가 늦게 그려지면 그 뒤에 실제 세계가 그대로 있어서 어긋남이 즉시 드러난다. 순수 가상현실에서는 비교 대상이 없으므로 전체가 함께 늦어도 덜 티가 난다. 목표치로 흔히 인용되는 20밀리초는 성격을 구분해 읽어야 한다. 카맥은 2013년에 50밀리초면 반응은 좋으나 미묘하게 늦게 느껴진다고 적고, 20밀리초 미만을 권고했다. 그러나 같은 글에서 사람의 감각계는 아주 작은 상대 지연도 검출한다고 못 박았다. 스타우페르트와 동료들도 2020년 리뷰에서 이 숫자를 지각 역치가 아니라 권고 예산으로 정리한다. 20밀리초는 넘지 말자는 선이고, 보이기 시작하는 선은 훨씬 아래에 있다. 또 하나 중요한 사실이 있다. 지연은 단일 숫자가 아니라 분포다. 같은 기기에서도 화면의 어느 위치인가에 따라 값이 다르다. 60프레임 화면에서 마지막에 갱신되는 쪽은 처음 갱신되는 쪽보다 약 16밀리초 늦다. 프레임마다 값이 흔들리는 것도 마찬가지다. [1] ### 첫 관문, 센서의 주기와 지터 머리의 움직임은 관성측정장치의 자이로스코프와 가속도계가 먼저 잡는다. 이 단계에서 지연은 두 갈래로 생긴다. 하나는 샘플링 주기다. 센서가 초당 125회 값을 내보낸다면, 움직임이 일어난 순간과 그것이 표본에 잡히는 순간 사이에 최대 8밀리초의 간격이 생긴다. 평균으로는 4밀리초의 지연이고, 동시에 0에서 8밀리초 사이를 무작위로 오가는 흔들림이다. 이 흔들림을 지터라고 부른다. 다른 하나는 전송이다. 범용 인터페이스는 폴링 방식이라 장치가 값을 준비해도 호스트가 물어볼 때까지 기다린다. 여기에 운영체제가 메시지를 커널에서 사용자 프로그램으로 넘기는 시간이 붙는다. 카맥은 이 값을 약 2밀리초 이내의 무작위 지연으로 적었다. 초당 125장을 찍는 카메라로 달리는 사람을 잡는 상황과 같다. 셔터와 셔터 사이는 8밀리초다. 카메라 성능이 아무리 좋아도 사건이 그 틈에 일어나면 8밀리초 늦게 발견된다. 샘플링 주기는 사건과 발견 사이의 운 나쁜 간격을 정한다. | 항목 | 값 | 조건 | |---|---|---| | 범용 인터페이스 표준 갱신 | 초당 125회 | 주기 8ms, 지터 0~8ms | | 고속 갱신이 가능한 하드웨어 | 초당 1000회 | 주기 1ms | | 운영체제 전달 | 약 2ms 이내 무작위 | 카맥 2013 | | 자기식 트래커 사양 지연 | 4ms | 호스트 전송 제외한 벤더 사양 | | 같은 트래커의 측정 지연 | 약 11ms | 호스트 전송 포함 |표 출처: [2] (본문 기준으로 재구성)
표의 마지막 두 줄은 함께 읽어야 한다. 홀러웨이는 1995년에 당시 자기식 트래커의 사양 지연이 4밀리초라고 적으면서, 그 값이 호스트로의 전송 시간을 빼고 계산된 것이라는 단서를 달았다. 같은 논문의 다른 절에서는 같은 장치의 지연을 약 11밀리초로 측정했다고 적는다. 같은 장치가 경계를 어디에 두느냐에 따라 두 배 이상 달라진다. 해법은 두 방향이다. 주파수를 올려 주기를 줄이거나, 센서 쪽에서 타임스탬프를 찍어 값이 언제 측정된 것인지를 정확히 알리는 것이다. 후자가 더 중요하다. 지연의 절대값은 예측으로 보상할 수 있지만, 얼마나 늦었는지 모르는 지연은 보상할 방법이 없다. 파이프라인 맨 앞의 지터는 뒤에서 제거되지 않는다. [2] ### 정확도를 시간으로 산다 관성측정장치만으로는 위치를 알 수 없다. 가속도를 두 번 적분하면 오차가 시간의 제곱으로 누적되어 수 초 만에 수 미터가 어긋난다. 그래서 카메라 기반 추적이 절대 기준을 잡아 주고, 관성센서가 그 사이를 빠르게 메운다. 문제는 두 센서의 시간 상수가 정반대라는 점이다. 관성센서는 빠르지만 드리프트한다. 카메라는 정확하지만 느리다. 노출과 리드아웃에 시간이 들고, 특징점 추출과 최적화에 다시 몇 밀리초가 든다. 빠르지만 조금씩 틀리는 손목시계와, 정확하지만 하루에 한 번만 볼 수 있는 천문대 시계를 함께 쓰는 것과 같다. 평소에는 손목시계를 보고, 천문대 시계를 볼 때마다 조용히 맞춘다. 맞추는 순간이 티 나지 않게 하는 것이 융합 알고리즘의 기술이다. 융합기에는 고유한 지연이 하나 더 있다. 카메라 결과가 도착했을 때 그 관측은 이미 과거의 것이다. 따라서 과거 시점으로 되돌아가 상태를 수정하고 현재까지 다시 적분해야 한다. 이것이 관측 지연이며, 단순한 계산 시간과는 다른 항목이다. 실용적 타협은 명확하다. 화면에 내보내는 자세는 관성센서가 주도하는 고주파 추정치를 쓴다. 카메라는 천천히 드리프트를 잡아당긴다. 그래서 헤드셋은 빠르게 돌릴 때 매끄럽지만, 가만히 있으면 물체가 아주 느리게 미끄러지는 현상을 보인다. 숫자로 보면 이 단계의 무게가 드러난다. 아주마는 1995년 시스템의 종단 지연을 통상 50에서 70밀리초로 보고했다. 그 안에서 광학식 트래커가 15에서 30밀리초를 쓰고, 예측기가 약 12밀리초, 렌더러가 16.67밀리초를 쓴다. 트래커가 30밀리초를 쓰고 총량이 70밀리초일 때 트래커의 몫은 약 43퍼센트다. 트래커가 15밀리초라면 같은 총량에서 약 21퍼센트다. | 구간 | 지연 | 총 50~70ms에서의 몫 | |---|---|---| | 광학식 트래커 | 15~30ms | 21~60% | | 예측기 계산 | 약 12ms | — | | 렌더러 한 프레임 | 16.67ms | — | | 통신과 동기화 대기 | 나머지 | — |표 출처: [3] (본문 기준으로 재구성)
한 가지 단서가 필요하다. 같은 논문은 일반적인 구성에 대해서는 종단 지연이 통상 100밀리초를 넘는다고 적는다. 50에서 70밀리초는 저지연으로 최적화한 구성의 값이다. 어느 구성의 숫자인지 밝히지 않고 단일 값으로 인용하면 안 된다. 현대 헤드셋의 관성센서는 통상 초당 500에서 1000회, 추적 카메라는 초당 30에서 90회 수준으로 알려져 있다. 이것은 업계에서 통용되는 범위이며, 특정 기기의 확인된 사양이 아니다. [3] ### 숨은 프레임 게임 엔진은 보통 중앙처리장치가 장면을 준비하고 그래픽처리장치가 그리는 구조로 돌아간다. 둘을 겹쳐 돌리면 초당 프레임 수는 올라간다. 대가로 지연이 프레임 단위로 쌓인다. 중앙처리장치가 세 번째 프레임을 준비하는 동안 그래픽처리장치는 두 번째를 그리고, 화면은 첫 번째를 보여 준다. 공장의 컨베이어 벨트와 같다. 작업을 여러 단계로 나누면 시간당 생산량은 늘지만, 원료 하나가 완제품이 되어 나오기까지의 시간은 오히려 길어진다. 주문한 사람에게 중요한 것은 시간당 생산량이 아니라 내 물건이 언제 나오느냐다. 카맥은 2013년 글에서 여러 전략의 지연을 파이프라인 타임라인 도해로부터 산출해 정리했다. 아래 값들은 실측이 아니라 그 도해에서 뽑은 추정 예산이다. 원문의 라벨을 함께 적는다. | 전략 | 지연 추정 | |---|---| | 성능 여유 있고 수직동기 사용 | 16~32ms | | 성능 여유 있고 동기 없음(약 200fps) | 5~8ms | | 그래픽처리장치 버퍼링 최소화 | 32~48ms | | 이중 그래픽처리장치 교대 프레임 렌더링 | 48~64ms | | 늦은 프레임 스케줄링 | 18~34ms | | 뷰 바이패스 | 16~32ms | | 타임워프 | 2~18ms | | 연속 타임워프(센서 500Hz) | 2~3ms |표 출처: [4] (본문 기준으로 재구성)
표에서 눈에 띄는 것은 폭이다. 같은 하드웨어에서 구조를 바꾸는 것만으로 지연이 한 자릿수에서 수십 밀리초까지 오간다. 개발자가 직접 통제할 수 있는 가장 큰 덩어리가 여기다. 더 중요한 함정은 프레임을 놓쳤을 때다. 90프레임 화면에서 프레임 하나는 약 11밀리초다. 60프레임에서는 약 16.7밀리초다. 목표 주사율을 놓치면 같은 그림이 두 번 표시되고, 두 번째 표시분은 한 프레임만큼 더 늙은 그림이 된다. 지연의 평균이 아니라 분산이 커진다. 이것이 저더의 직접적 원인이다. 그래서 마이크로소프트는 혼합현실 개발자에게 일정한 30프레임이 30과 60을 오가는 것보다 낫다고 안내한다. 같은 문서는 게임 스레드와 렌더 스레드가 록스텝으로 도는 엔진에서 30프레임으로 떨어지면 33.3밀리초의 추가 지연이 붙을 수 있다고 적는다. 조건절이 중요하다. 두 스레드가 맞물려 도는 구조라는 전제가 붙어 있다. 이 안내는 특정 세대의 기기에 한정되지 않고 광학 방식과 몰입형 헤드셋을 함께 다룬다. [4] ### 화면의 위와 아래는 같은 시각이 아니다 디스플레이는 이미지 전체를 한꺼번에 켜지 않는다. 대부분의 패널은 한쪽 끝에서 반대쪽 끝까지 순차적으로 화소를 갱신한다. 그런데 렌더링은 보통 한 순간의 시점으로 화면 전체를 계산한다. 화면 전체가 동일 시각의 표본이라고 가정하고 그린 그림을, 시간이 한 방향으로 번지는 장치에 내보내는 것이다. 이 불일치가 기하학적 왜곡으로 나타난다. 머리를 돌리는 동안 직선은 진행 방향으로 기울어 보인다. 정지해 있어야 할 물체는 위아래가 어긋난 채 흔들린다. 팩스로 그림을 보내는 것과 같다. 팩스는 종이를 한 줄씩 훑어 보낸다. 보내는 동안 종이를 옆으로 밀면, 받은 쪽 그림은 아래로 갈수록 옆으로 밀린 평행사변형이 된다. 숫자를 적을 때 주의할 점이 있다. 카맥의 서술은 60프레임 화면에서 마지막에 갱신되는 쪽이 처음 갱신되는 쪽보다 약 16밀리초 늦다는 것이다. 프레임 주기인 16.7밀리초가 아니다. 실제 주사 구간은 수직 소거기간을 뺀 값이기 때문이다. 같은 이유로 90프레임에서의 값도 11.1밀리초가 아니라 약 10.7밀리초다. 이 4퍼센트가 뒤의 각도 계산에 그대로 전파된다. 덧붙여 많은 헤드셋 패널은 세로가 아니라 가로 방향으로 주사되므로, 위아래라는 표현 자체가 기기에 따라 달라진다. | 주사율 | 처음과 마지막의 시간차 | 100°/s 회전 시 전단 | |---|---|---| | 60Hz | 약 16ms | 약 1.6° | | 90Hz | 약 10.7ms | 약 1.07° | | NTSC 인터레이스 | 33ms 이상 | — |표 출처: [5] (본문 기준으로 재구성)
마인과 비숍은 1993년에 급진적이지만 개념적으로 옳은 해법을 제안했다. 각 화소를 그 화소가 실제로 표시될 시각의 세계 상태로 계산하라는 것이다. 정지 화면으로 보면 왜곡된 그림이지만, 순차 주사 디스플레이에서 보면 오히려 왜곡이 없다. 두 사람의 계산은 이렇다. 초당 60필드, 수평 시야 60도에 600화소, 머리 회전 200도/초 조건에서 한 필드 동안 3.3도가 돌아간다. 화소로 환산하면 33화소의 정합 오차다. 같은 조건에서 주사선 단위로 다시 계산하면 0.013도, 즉 0.13화소로 떨어진다. 이 절의 교훈은 하나다. 지연은 단일 숫자가 아니라 화면 위 위치의 함수다. 평균 지연만 줄여서는 이 왜곡이 사라지지 않는다. [5] ### 켜 두는 시간이 곧 번짐의 길이다 화소가 명령을 받고 실제로 밝기를 바꾸는 데 걸리는 시간이 응답 시간이다. 액정은 분자를 물리적으로 회전시켜야 해서 느리다. 유기발광다이오드는 전류를 흘리면 바로 빛나므로 압도적으로 빠르다. 카맥의 기준으로 일반 액정 패널은 약 10밀리초, 게임과 입체영상용으로 최적화한 패널은 5밀리초 미만, 유기발광다이오드는 1밀리초 미만이다. 그런데 증강현실에서 더 중요한 것은 응답 시간이 아니다. 얼마나 오래 켜져 있는가, 즉 잔상 시간이다. 이유는 눈이 움직이기 때문이다. 세계에 고정된 물체를 바라보며 머리를 돌리면 눈은 반대 방향으로 회전해 시선을 그 물체에 붙여 둔다. 그런데 화면의 그림은 한 프레임 동안 패널 위의 같은 자리에 그대로 켜져 있다. 그림은 회전하는 망막 위를 미끄러지고, 켜져 있던 시간만큼 길게 번진다. 관계식은 단순하다. 번짐 각도는 망막 미끄러짐 각속도에 잔상 시간을 곱한 값이다. 어두운 방에서 손전등을 켜 둔 채 카메라 셔터를 길게 열면 빛이 선으로 찍힌다. 셔터를 아주 짧게 열면 점으로 찍힌다. 머리를 돌리는 동안 우리 눈은 움직이는 카메라이고, 화면이 켜져 있는 시간이 셔터 시간이다. 워버턴과 동료들은 2023년에 여러 헤드셋을 측정하면서, 시험한 기기들이 모두 저잔상 방식이라고 적었다. 화면은 매 프레임의 끝에서 짧은 동안만 점등된다. 논문이 제시하는 값은 개별 기기별 목록이 아니라 시험 전체에 걸친 양 끝점이다. 짧은 쪽이 0.33밀리초, 긴 쪽이 2밀리초다. 그 사이 기기들의 개별 잔상 시간은 보고되지 않았다. 또한 이 값들은 저자들이 측정한 결과가 아니라 패널의 사양 특성에 대한 서술이다. 그들이 측정한 것은 motion-to-photon 지연이다. 머리를 초당 100도로 돌리며 세계에 고정된 물체를 응시하는 조건에서 번짐을 계산하면 아래와 같다. | 잔상 시간 | 번짐 각도 | 각분 환산 | |---|---|---| | 11.1ms(프레임 전체 점등) | 1.11° | 약 67각분 | | 2ms | 0.2° | 약 12각분 | | 0.33ms | 0.033° | 약 2각분 |표 출처: [6] (본문 기준으로 재구성)
사람 시력의 분해 한계가 약 1각분이다. 가장 짧은 0.33밀리초에서도 번짐은 그 두 배 수준이다. 잔상은 지연 예산과 독립된 두 번째 시간 축이다. 지연을 0으로 만들어도 잔상이 길면 물체는 여전히 흐려진다. 듀티비를 단일 숫자로 말할 때는 조심해야 한다. 0.33밀리초는 고정된 점등 시간이다. 프레임 길이가 6.94밀리초인 144프레임에서는 듀티비가 약 4.8퍼센트지만, 12.5밀리초인 80프레임에서는 약 2.6퍼센트다. 같은 기기가 여러 주사율로 시험되었으므로 하나의 듀티비를 대표값으로 제시하면 오독을 부른다. [6] ### 사람은 언제 알아채는가 몇 밀리초부터 보이는가에 대한 답은 연구마다 크게 갈린다. 이유가 세 가지 있다. 첫째, 무엇을 묻는지가 다르다. 늦다고 느끼는가, 두 조건 중 어느 쪽이 더 늦은가, 불편한가, 수행이 나빠지는가는 서로 다른 네 개의 질문이다. 보통 이 순서대로 숫자가 커진다. 둘째, 자극이 다르다. 고대비의 선명한 모서리가 있는 장면에서 머리를 빠르게 돌리면 미세한 어긋남도 움직임으로 보인다. 흐릿하고 대비가 낮은 장면에서는 같은 지연이 숨는다. 셋째, 개인차가 크다. 훈련된 관찰자는 훨씬 낮은 역치를 보인다. 원리적으로 사람이 지연에 민감한 것은 절대 시간을 재기 때문이 아니다. 지연이 장면이 스스로 움직이는 것으로 번역되어 운동 지각 체계에 잡히기 때문이다. 그래서 역치는 사실 밀리초의 역치가 아니라 장면 운동 속도의 역치다. 머리를 빨리 돌릴수록 더 작은 지연이 보인다. 이 지점이 이 분야에서 가장 자주 오해되는 부분이다. 음악에 맞춰 손뼉을 치는 것과 같다. 혼자 조용히 치면 조금 어긋나도 모른다. 옆 사람과 맞춰 치면 훨씬 작은 어긋남도 들린다. 증강현실은 항상 옆 사람과 맞춰 치는 상황이다. 그 옆 사람이 실제 세계다. | 보고 | 값 | 성격과 단서 | |---|---|---| | 카맥 2013 | 20ms 미만 권고, 50ms는 미묘하게 늦음 | 절대 지연에 대한 권고 예산 | | 엘리스 등 1999·2004, 아델스타인 등 2003 | 17ms 이하도 탐지 가능 | 절대 탐지인지 변별인지는 리뷰 요약만으로 판별되지 않음 | | 제럴드 2010 | 3.2ms | 한 참가자에게서 보고된 최소값, 리뷰를 통한 2차 인용 | | 아티히 등 2017 | 100ms 이하에서 사용성 영향 없음 | 헤드셋이 아닌 일반 상호작용 환경 |표 출처: [7] (본문 기준으로 재구성)
표의 제럴드 값은 조심해서 읽어야 한다. 원논문을 직접 확인하지 못한 2차 인용이며, 한 참가자의 최소값이다. 평균 역치는 이보다 상당히 높을 가능성이 크다. 그래도 이 값이 의미가 있는 것은, 조건이 극단으로 가면 역치가 한 자릿수 밀리초까지 내려갈 수 있음을 보여 주기 때문이다. 여기에 성격이 다른 결과 하나를 덧붙여 둔다. 데이비스와 동료들은 2015년에 사람이 500헤르츠 수준의 시각 변동, 즉 깜빡임 인공물을 검출할 수 있음을 보였다. 단위가 헤르츠이고 다루는 현상이 시간주파수 민감도이므로, 밀리초 단위의 지연 역치 목록과 섞어서는 안 된다. 20밀리초면 충분하다는 관용구는 특정 조건의 권고치일 뿐이다. 고대비 장면과 빠른 머리 회전이라는 최악 조건에서는 한 자릿수 밀리초가 요구된다. [7] ### 우리가 이기려는 상대 사람의 눈은 머리가 돌면 자동으로 반대 방향으로 돈다. 귓속의 반고리관이 각속도를 감지해 눈 근육으로 보내는 회로가 전정안반사다. 감각에서 근육까지 세 개의 뉴런만 거치도록 진화한 덕에 이 반사는 인체의 어떤 반응보다 빠르다. 여기에 증강현실이 처한 곤경의 본질이 있다. 우리는 한 자릿수 밀리초로 반응하는 생물학적 안정화 장치와 경쟁하고 있다. 머리가 돌면 눈은 즉시 보정되어 시선이 목표에 붙는다. 그런데 화면 속 가상 물체는 파이프라인 지연만큼 늦게 따라온다. 그 차이가 망막 위의 미끄러짐으로 나타나고, 시각계는 이것을 물체가 스스로 움직였다고 해석한다. 정지해 있어야 할 물체가 머리 움직임에 맞춰 헤엄치는 현상이 이렇게 생긴다. 손에 물컵을 들고 걸을 때 손목이 무의식적으로 컵을 수평으로 유지하는 것과 같다. 그 보정은 생각보다 훨씬 빠르다. 눈도 마찬가지다. 컴퓨터는 이 무의식의 속도를 따라잡아야 한다. | 반응 | 잠복기 | |---|---| | 전정안반사 | 문헌에 따라 5~7ms 또는 7~13ms | | 시각 추종 | 약 100ms | | 자발적 반응(버튼 누르기) | 200ms 이상 |표 출처: [8] (본문 기준으로 재구성)
전정안반사의 잠복기는 문헌마다 갈린다. 최근 리뷰는 아주 짧은 잠복기로 5에서 7밀리초를 적는다. 렌처와 트릴렌베르크가 2008년에 정리한 값을 인용하는 문헌은 7에서 13밀리초로 적는다. 측정 방법에 따라 달라지므로 단일 값으로 고정하기 어렵다. 어느 값을 쓰든 결론은 같다. 이 반사는 시각 추종의 시작 잠복기보다 여덟 배에서 열네 배 빠르다. 시각계 자신보다 훨씬 빠른 셈이다. 더 나쁜 것이 있다. 시각이 보고하는 움직임과 전정기관이 보고하는 움직임이 불일치하면 뇌는 이를 중독 신호로 해석한다는 감각 갈등 이론이 있다. 멀미가 단순한 불쾌가 아니라 진화적으로 설계된 경보인 이유다. 한편 머리 운동 자체의 대역폭은 좁다. 아주마의 실측 파워스펙트럼에서 신호 에너지는 거의 전부가 2헤르츠 이하에 있다. 그러나 그 안에서의 순간 각속도는 수백 도/초에 이른다. 대역이 좁다는 것과 빠르지 않다는 것은 다른 이야기다. [8] ### 지연을 각도로 환산한다 이 장의 모든 논의가 하나의 식으로 수렴한다. 각도 오차는 머리 각속도에 지연을 곱한 값이다. 식이 성립하는 이유는 간단하다. 시스템이 어떤 시간만큼 이전의 머리 자세로 그림을 그렸다면, 그 그림은 머리가 그 시간 동안 돈 각도만큼 틀어진 자리에 놓인다. 각속도가 일정하면 틀어진 각도는 정확히 각속도 곱하기 지연이다. 이 각도를 눈에 보이는 거리 오차로 바꾸려면 물체까지의 거리를 곱한다. 작은 각도에서 선형 오차는 거리 곱하기 라디안 각도에 가깝다. 여기서 두 가지 성질이 드러난다. 각도 오차는 거리와 무관하다. 멀리 있든 가까이 있든 똑같이 틀어진다. 반면 물리적 거리 오차는 거리에 비례한다. 멀리 있는 물체일수록 같은 지연에서 더 크게 어긋난다. 달리는 차 안에서 창밖의 표지판을 손가락으로 가리키는 것과 같다. 눈으로 본 위치를 손가락이 가리키기까지 시간이 걸리면, 그 사이 차가 지나간 만큼 손가락은 표지판 뒤를 가리킨다. 차가 빠를수록, 반응이 느릴수록 더 많이 빗나간다. 더하기가 아니라 곱하기다. | 각속도 | 지연 | 각도 오차 | 기준 거리 | 선형 오차 | |---|---|---|---|---| | 50°/s | 100ms | 5.0° | 68cm | 약 59mm | | 50°/s | 10ms | 0.5° | 68cm | 약 5.9mm | | 50°/s | 10ms | 0.5° | 1m | 약 8.7mm | | 100°/s | 20ms | 2.0° | 1m | 약 35mm | | 300°/s | 20ms | 6.0° | 1m | 약 105mm |표 출처: [9] (본문 기준으로 재구성)
표에서 둘째와 셋째 줄을 나란히 보라. 각도 오차는 같은데 밀리미터 값이 다르다. 같은 0.5도가 50센티미터에서는 약 4.4밀리미터, 68센티미터에서는 약 5.9밀리미터, 1미터에서는 약 8.7밀리미터다. 그러므로 정합 오차를 밀리미터로 말할 때는 기준 거리를 반드시 함께 적어야 한다. 거리 없이 적은 밀리미터 값은 다른 값과 비교할 수 없다. 병진 운동도 같은 방식으로 더해진다. 머리가 초속 v로 움직이면 지연 동안 v 곱하기 지연만큼 위치가 어긋난다. 이것은 거리와 무관한 절대 오차다. 홀러웨이는 두 성분을 합친 모델에서 회전 기여와 병진 기여가 대략 같은 크기임을 보였다. 여기서 나온 경험칙이 유명하다. 지연 1밀리초당 정합 오차 약 1밀리미터다. 그러나 조건을 빼면 오류가 된다. 이 값은 물체 거리 500밀리미터, 최대 머리 속도 초속 500밀리미터이자 초당 50도라는 특정 조건에서 나왔다. 그 조건에서 회전 기여가 0.44밀리미터/밀리초, 병진 기여가 0.5밀리미터/밀리초이고 합이 약 1밀리미터/밀리초다. 평균 속도인 초속 164밀리미터, 초당 20도 조건에서는 약 0.33밀리미터/밀리초로 내려간다. 물체 거리가 2미터라면 회전 기여가 네 배가 되므로 경험칙이 그대로 성립하지 않는다. 역산도 해 볼 만하다. 오차를 시력 한계인 1각분, 즉 0.0167도 이내로 묶으려면 초당 50도에서 지연이 0.33밀리초 이하여야 한다. 현실의 어떤 시스템도 도달하지 못하는 값이다. 목표를 0.5도로 완화하면 지연 10밀리초 이하가 요구된다. 이것이 20밀리초라는 관용적 목표가 왜 출발선일 뿐인지를 보여 준다. 정적 정합과 동적 정합을 섞지 않는 것도 중요하다. 아주마의 1995년 시스템은 대부분의 시점에서 정적 오차를 ±5밀리미터 이내로 유지했다. 68센티미터 팔 길이에서 0.42도에 해당하고, 그 이전 연구의 ±13밀리미터보다 작다. 그러나 이 값은 정적 정합이다. 같은 논문은 동적 오차가 쉽게 100밀리미터를 넘을 수 있다고 적는다. 68센티미터에서 약 8.3도다. 홀러웨이가 아주마의 시스템을 요약하며 온건한 머리 속도에서 4에서 5밀리미터의 동적 정합을 달성했다고 적은 문장이 널리 인용되지만, 그 표현은 제3자의 요약이다. 아주마 본인은 어디서도 동적 정합을 밀리미터로 보고하지 않는다. [9] ### 머리는 얼마나 빨리 도는가 지연을 오차로 환산하려면 머리가 실제로 얼마나 빨리 도는지를 알아야 한다. 이것은 추정이 아니라 측정된 값이다. 놀라운 사실은 분포가 극단적으로 비대칭이라는 점이다. 사용자는 대부분의 시간을 아주 느리게 움직이며 보낸다. 그리고 아주 짧은 순간에만 빠르게 돈다. 그런데 빠르게 도는 그 짧은 순간이 바로 지연 오차가 가장 크게 드러나는 순간이다. 평균 각속도로 설계한 시스템은 평소에는 괜찮고 결정적 순간에 무너진다. 도시의 자동차 속도 분포와 같다. 평균 시속은 20킬로미터도 안 되지만 도로는 시속 100킬로미터를 견디도록 설계해야 한다. 사고는 평균 속도에서 나지 않는다. | 출처와 과제 | 각속도 | |---|---| | 아주마, 헤드셋 착용 데모, 느린 시퀀스 | 최대 70°/s | | 아주마, 같은 데모, 빠른 시퀀스 | 최대 120°/s | | 홀러웨이, 정밀 계획 과제 | 평균 20~26°/s | | 홀러웨이가 채택한 보수적 상한 | 50°/s, 500mm/s | | 리스트 1983, 비행 시뮬레이터 표적 응시 | 최대 76~240°/s | | 스미스 1984, 시뮬레이터 | 최대 300°/s |표 출처: [10] (본문 기준으로 재구성)
아주마의 측정에서 값의 약 절반이 초당 10도 이하였다. 빠른 시퀀스에서도 상위 10퍼센트만 초당 40에서 120도 구간에 있었다. 비대칭이 이렇게 드러난다. 표에 실리지 않은 숫자 하나를 짚어야 한다. 마인과 비숍은 전형적인 머리 운동에서 최대 초당 370도가 나온다고 적으면서 리스트의 1983년 연구를 출처로 명시한다. 그런데 아주마가 같은 리스트의 연구에서 인용한 최대치는 초당 76에서 240도다. 같은 1차 출처가 240도와 370도로 갈린다. 둘 중 하나는 반드시 틀렸고, 2차 인용 과정의 오류일 가능성이 높다. 설계 상한을 정할 때는 이 불일치를 알고 있어야 한다. 주파수 쪽 사실도 중요하다. 머리와 목은 관성이 있고 근육의 출력에는 한계가 있다. 그래서 신호 에너지의 거의 전부가 2헤르츠 이하에 있다. 이것이 예측이 원리적으로 가능한 근거다. 대역이 제한된 신호는 짧은 구간이라면 외삽할 수 있다. 동시에 이 사실은 예측의 한계도 정해 준다. 2헤르츠 신호는 몇 초 안에 여러 번 방향을 바꾸므로 긴 예측은 원리적으로 불가능하다. 최악의 경우를 무엇으로 잡느냐가 지연 예산을 통째로 바꾼다. 초당 50도로 설계한 시스템은 초당 300도 회전에서 여섯 배의 오차를 낸다. [10] ### 완화 1, 예측 지연을 없앨 수 없다면 미리 그리면 된다. 트래커가 읽은 현재 자세 대신, 그림이 실제로 표시될 시점의 자세를 추정해 그리는 것이다. 원리는 외삽이다. 현재의 각도와 각속도와 각가속도를 알면 일정 시간 뒤의 각도를 테일러 전개로 추정할 수 있다. 여기서 관성센서가 결정적인 이유가 드러난다. 위치 트래커만 있으면 속도와 가속도를 수치 미분해야 하는데, 미분은 잡음을 증폭한다. 자이로는 각속도를 직접 측정하므로 미분 한 번을 건너뛴다. 아주마는 이 차이가 2배에서 3배의 정확도 향상으로 나타남을 실측했다. 예측을 아예 하지 않는 경우와 비교하면 평균 5배에서 10배다. 농구에서 패스를 줄 때 동료가 지금 있는 자리가 아니라 공이 도착할 때 있을 자리로 던지는 것과 같다. 한 걸음 앞은 잘 맞히지만 열 걸음 앞은 못 맞힌다. 게다가 공이 날아가는 시간을 잘못 어림하면 아무리 잘 던져도 빗나간다. 예측에는 냉혹한 대가가 있다. 주파수 영역에서 보면 예측기는 신호를 각주파수의 제곱과 예측 구간에 비례해 증폭한다. 예측 오차는 예측 구간의 제곱에 가깝게 커진다. 그래서 예측은 짧은 구간에서만 이득이고, 어느 지점을 넘으면 예측하지 않는 것보다 나빠진다. 아주마의 그래프는 예측 구간 25밀리초에서 200밀리초까지를 측정 범위로 한다. 그 구간에서 무예측 곡선은 대체로 선형으로 증가하고 예측 곡선은 그보다 빠르게 증가한다. 본문은 여기서 곡선의 형태를 외삽해, 500밀리초 지점에서는 두 예측 방식 모두 무예측보다 부정확해질 것이라고 적는다. 500밀리초는 측정점이 아니라 외삽이다. 실효 한계로 흔히 인용되는 80밀리초도 성격을 구분해야 한다. 아주마는 문맥에 따라 예측 구간을 약 80밀리초 이하로 유지하라는 뜻으로도 쓰고, 시스템 지연을 약 80밀리초 이하로 유지하라는 뜻으로도 쓴다. 두 문장은 다른 이야기다. 인용할 때 어느 쪽인지 밝혀야 한다. 결정적 함정이 하나 더 있다. 시스템은 얼마나 앞을 예측해야 하는지, 즉 남은 지연이 얼마인지를 정확히 알아야 한다. 이 값은 프레임마다 흔들린다. 아주마는 계산에 반영되지 않은 지연 10밀리초가 초당 50도에서 0.5도의 오차를 낳고, 이것이 1미터 앞 물체에서 거의 9밀리미터의 오차가 된다고 적었다. 여기서 얼핏 역설적인 결론이 나온다. 예측이 효과를 보려면 먼저 지연이 짧고 예측 가능해야 한다. 예측은 지연을 대체하지 않는다. 지연을 줄여야 예측이 잘 듣는다. [11] ### 완화 2, 타임워프와 재투영 타임워프는 발상의 전환이다. 장면을 다시 그리는 대신, 이미 렌더링이 끝난 이미지를 화면에 내보내기 직전에 최신 머리 자세에 맞춰 2차원적으로 비틀어 넣는다. 회전만 보정하는 경우 이 변환은 단순한 이미지 워프이므로 계산 비용이 거의 들지 않고, 렌즈 왜곡 보정 패스와 합칠 수도 있다. 효과는 극적이다. 지연이 렌더링이 끝난 시각부터 표시 시각까지로 줄어들기 때문이다. 카맥의 예산에서 타임워프를 적용한 구성은 2에서 18밀리초, 주사선을 따라가는 연속 타임워프는 센서 초당 500회 기준으로 2에서 3밀리초다. 사진관에서 찍은 단체 사진을 인화 직전에 조금 회전시켜 액자에 맞추는 것과 같다. 다시 촬영하는 것보다 훨씬 빠르고, 회전만이라면 결과도 거의 같다. 그러나 카메라가 옆으로 움직였다면 회전만으로는 맞출 수 없고, 사진에 없던 뒤쪽 배경은 만들어 낼 수 없다. 비동기 타임워프는 이것을 별도 스레드에서 수행해, 게임이 프레임을 놓쳐도 화면은 항상 최신 자세로 갱신되게 한다. 안토노프는 2015년에 이 방식의 구현 요건을 정리했다. 90프레임에서 프레임 간격이 약 11밀리초이므로 그래픽처리장치가 메인 렌더링을 선점해야 하고, 실용적으로는 2밀리초 이하의 선점 단위가 필요하다. 당시의 하드웨어와 드라이버로는 어려운 요구였다. 또 하나의 규칙이 있다. 비동기 타임워프는 표시 주사율의 정수 분의 1로 떨어뜨려야 한다. 90에서 45로 떨어지면 안정적인 이중상이 되지만, 65와 같은 중간값에서는 망막 위 상의 개수와 위치가 계속 변해 오히려 나쁘다. 2016년의 비동기 스페이스워프는 여기서 한 걸음 더 나간다. 장면 안에서 스스로 움직이는 물체까지 외삽해 연산 부담을 거의 절반으로 줄인다. 다만 표시 주사율의 절반 미만으로는 잘 확장되지 않는다. 마이크로소프트의 혼합현실 문서는 이 계열의 기법을 하드웨어 보조 안정화, 즉 재투영이라고 설명하며 네 가지 주된 방식을 열거한다. 깊이 재투영, 평면 재투영, 자동 평면 재투영, 그리고 사용하지 않음이다. 깊이 재투영은 2세대 기기와 몰입형 헤드셋에서만 쓸 수 있다고 명시한다. 따라서 1세대 광학 방식 기기에서 선택지는 자동 평면과 평면 둘이다. | 방식 | 보정 범위 | 남는 문제 | |---|---|---| | 회전 전용 2D 워프 | 머리 회전 | 병진 미반영, 가까운 물체의 이중상 | | 깊이 기반 재투영 | 회전과 병진 | 가려졌던 영역에 데이터 없음 | | 평면 재투영 | 지정한 평면 위의 내용 | 평면에서 벗어난 깊이는 어긋남 | | 장면 운동 외삽 | 장면 내 움직임까지 | 절반 미만 주사율에서 확장 불량 |표 출처: [12] (본문 기준으로 재구성)
대가를 정리하면 이렇다. 회전만 보정하면 머리의 이동이 반영되지 않아 가까운 물체에서 저더가 남는다. 깊이를 함께 써서 위치까지 보정하면 가려졌던 영역에 데이터가 없어 구멍이 생긴다. 장면 안에서 스스로 움직이는 물체는 워프된 프레임에서 시간이 얼어붙는다. 시선 방향에 의존하는 반사와 하이라이트는 틀린 값으로 남는다. 현대 기기의 체감 지연이 카탈로그상의 파이프라인 지연보다 훨씬 낮은 것은 거의 전적으로 이 기법 덕이다. 동시에 이 기법의 한계가 왜 여전히 높은 프레임률이 필요한지에 대한 답이다. 타임워프는 만능 해법이 아니라 도로의 구멍을 메우는 보험이다. [12] ### 완화 3, 저잔상 디스플레이 저잔상은 지연을 줄이지 않는다. 그런데도 체감 품질을 극적으로 올린다. 이유는 홀드형 번짐이다. 화면이 프레임 내내 켜져 있으면 그 시간 동안 눈이 회전하면서 상이 망막 위를 미끄러져 길게 뭉개진다. 화소를 프레임 끝에 짧게만 번쩍이면 번짐은 그 짧은 시간만큼으로 줄어든다. 달리는 기차 안에서 창밖 풍경을 보는 것과 같다. 전등을 계속 켜 두면 풍경이 길게 흘러 보인다. 스트로보를 짧게 터뜨리면 매 순간이 또렷한 정지 화면으로 보인다. 대신 스트로보가 너무 느리면 깜빡임이 거슬린다. 대가가 셋 있다. 첫째, 밝기다. 듀티비가 33분의 1로 줄면 같은 평균 휘도를 내기 위해 순간 휘도를 33배 올려야 한다. 광학 방식 장치에서는 밝은 실외 환경과 경쟁해야 하므로 이 제약이 특히 가혹하다. 둘째, 플리커다. 켜짐과 꺼짐이 반복되면 주사율이 낮을 때 깜빡임이 지각된다. 그래서 저잔상은 90프레임 이상의 높은 주사율과 짝을 이뤄야만 성립한다. 셋째, 프레임을 놓쳤을 때의 저더가 오히려 더 선명해진다. 번짐이 없으니 두 개의 상이 또렷하게 분리되어 보인다. 저잔상은 흐릿한 하나의 상을 선명한 두 개의 상으로 바꾸는 거래다. 프레임률을 지키는 것을 전제로만 이득이다. 색순차 방식에서는 또 다른 부작용이 나타난다. 1세대 광학 방식 기기는 적, 녹, 청, 녹 순서로 색 필드를 초당 60회 순환시키고, 개별 색 필드는 초당 240회로 표시된다. 이 구조 때문에 빠르게 움직이는 물체에서 색이 분리되어 무지개 테두리가 보인다. 그래서 개발자 문서는 시선으로 추적될 물체를 초당 5도 이하로 움직이도록 권고한다. 초당 5도는 대단히 느린 속도다. 이 권고 하나가 색순차 방식의 제약을 그대로 드러낸다. [13] ### 완화 4, 두 개의 기울어짐 증강현실 장치에는 시간이 이미지 위로 번지는 장치가 둘 있다. 카메라의 롤링 셔터와 디스플레이의 순차 주사다. 둘은 방향만 반대일 뿐 같은 문제다. 롤링 셔터 카메라는 센서의 행을 한쪽 끝에서 차례로 읽어 낸다. 읽는 동안 카메라가 돌면 첫 행과 마지막 행은 서로 다른 시각의 세계를 담는다. 직선은 기울고 사각형은 평행사변형이 된다. 달리는 차창 밖으로 카메라를 내밀고 찍은 사진에서 전봇대가 기울어 보이는 현상과 같다. 센서가 한쪽에서 반대쪽으로 훑는 동안 세상이 옆으로 흘러갔기 때문이다. 추적에 미치는 영향은 심각하다. 특징점의 위치가 왜곡되면 자세 추정 자체가 틀어진다. 그 오차는 지연 오차와 구별되지 않은 채 정합 오차로 나타난다. motion-to-photon 지연만 측정해서는 결코 발견되지 않는 오차원이다. 보정 원리는 명확하다. 각 행에 독립된 타임스탬프를 부여하고, 그 시각의 관성센서 자세를 써서 행마다 다른 변환을 적용한다. 하나의 이미지가 하나의 자세라는 가정을 버리고, 하나의 행이 하나의 자세라는 수준으로 내려가는 것이다. | 기울어짐의 원인 | 조건 | 전단 각도 | |---|---|---| | 카메라 리드아웃 10ms | 100°/s | 1.0° | | 60Hz 순차 주사, 약 16ms | 100°/s | 약 1.6° | | 90Hz 순차 주사, 약 10.7ms | 100°/s | 약 1.07° | | NTSC 60필드/s, 한 필드 | 200°/s | 3.3°, 600화소 시야에서 33화소 |표 출처: [14] (본문 기준으로 재구성)
표의 마지막 줄과 대비되는 값이 마인과 비숍의 계산이다. 같은 조건에서 주사선 단위로 다시 계산하면 오차가 0.13화소로 떨어진다. 250배가 넘는 차이다. 디스플레이 쪽 해법도 대칭적이다. 주사선 단위로 타임워프를 적용하거나, 프레임 전체를 동시에 발광시키는 방식으로 문제 자체를 없앤다. 카맥의 연속 타임워프는 주사선을 추종하는 방식으로 센서 초당 500회 기준 2에서 3밀리초의 지연을 달성한다. 카메라 쪽 근본 해법은 글로벌 셔터 센서다. 모든 화소를 같은 순간에 노출하고 동시에 저장한다. 대신 화소마다 저장 소자를 두어야 하므로 감도와 해상도를 희생한다. 공짜가 아니다. [14] ### 두 갈래 길 광학 방식과 비디오 방식의 차이는 한 가지 질문으로 요약된다. 현실을 늦출 수 있는가. 광학 방식에서는 실제 세계의 빛이 반투명 광학계를 통해 곧바로 눈에 들어온다. 현실 쪽 지연은 사실상 0이다. 반면 가상 물체는 파이프라인 전체를 통과해 늦게 도착한다. 그래서 오차가 상대적으로 드러난다. 현실이라는 완벽한 기준선 위에서 가상만 헤엄친다. 이 오차를 줄일 방법은 하나뿐이다. 가상 쪽 지연을 실제로 줄이는 것이다. 비디오 방식에서는 현실도 카메라를 통과한다. 노출, 리드아웃, 신호 처리, 합성, 렌더링, 주사를 모두 거친다. 여기서 결정적 이점이 생긴다. 현실과 가상이 같은 파이프라인을 지나므로, 둘을 같은 시각으로 정렬하면 상대 정합은 원리적으로 완벽해질 수 있다. 홀러웨이는 1995년에 바주라와 노이만의 연구를 인용하며 이 점을 지적했다. 비디오 방식은 실제 영상을 일부러 지연시켜 가상과 맞추는 선택지를 갖는다. 광학 방식에는 없는 선택지다. 무대 위 배우와 자막의 관계로 생각하면 쉽다. 광학 방식은 배우가 실제로 무대에 서 있고 자막만 늦게 나오는 상황이라 어긋남이 즉시 보인다. 비디오 방식은 배우의 모습도 화면으로 중계하는 상황이라 자막과 완벽히 맞출 수 있다. 대신 관객이 듣는 실제 목소리보다 화면이 통째로 늦게 나온다. 비디오 방식의 대가가 여기에 있다. 세계 전체가 전정기관보다 늦는다. 시각과 전정 감각의 불일치는 정합 오차보다 근원적인 불편을 만든다. 손을 뻗어 물건을 집는 것 같은 감각운동 과제의 수행도 떨어진다. | 항목 | 광학 방식 | 비디오 방식 | |---|---|---| | 현실 쪽 지연 | 사실상 0 | 카메라 파이프라인 전체 | | 상대 정합의 이론적 한계 | 가상 쪽 지연이 그대로 오차 | 원리적으로 완벽 가능 | | 현실을 늦추는 선택 | 불가능 | 가능 | | 주된 고통 | 가상 물체의 헤엄침 | 세계 전체의 지각 지연 |표 출처: [15] (본문 기준으로 재구성)
비디오 쪽 지연을 구성하는 항목은 카메라 노출이 통상 1에서 10밀리초, 롤링 방식 센서 리드아웃이 5에서 15밀리초 수준으로 알려져 있다. 이 역시 업계 통용 범위이며 특정 기기의 확인된 사양이 아니다. 실무에서는 카메라 영상 자체에도 타임워프를 적용해, 카메라의 긴 파이프라인 지연을 머리 움직임에 대한 응답 지연으로부터 분리한다. 홀러웨이의 결론은 광학 방식에 대해 단호하다. 온건한 머리 속도에서도 시스템 지연이 만드는 정합 오차가 다른 모든 오차원의 합보다 크다. 게다가 광학 왜곡을 그래픽 파이프라인에서 계산으로 보정하면, 그 계산이 유발하는 지연 오차가 원래의 왜곡 오차보다 커지는 경우가 흔하다. 보정이 문제를 키우는 것이다. 벤더 수치를 읽을 때의 주의점도 여기서 나온다. 애플은 2023년에 비전 프로의 전용 칩이 12밀리초 안에 새 이미지를 디스플레이로 스트리밍한다고 공표했다. 눈 깜빡임보다 8배 빠르다는 표현을 덧붙였다. 이 문장은 카메라에서 디스플레이까지의 스트리밍 구간을 말한다. 머리의 물리적 움직임에서 시작하는 motion-to-photon의 양 끝점과 일치하지 않는다. 깜빡임 비교도 96밀리초를 전제한 셈인데, 사람의 눈 깜빡임은 통상 100에서 400밀리초 지속된다. 검증 가능한 지연 예산으로 취급할 수 없는 숫자다. 두 방식의 구조적 차이를 모르면 어느 방식이 지연이 더 낮은가라는 잘못된 질문을 하게 된다. 두 방식의 지연은 서로 다른 것을 재는 서로 다른 숫자다. 광학 방식은 가상의 지연을 줄이는 싸움이고, 비디오 방식은 세계 전체의 지연을 줄이는 싸움이다. [15] ### 재는 법, 그리고 남은 문제 지연 측정의 어려움은 양 끝점이 서로 다른 물리 도메인에 있다는 데 있다. 시작점은 기계적 움직임이고 끝점은 빛이다. 표준 방법은 두 가지다. 하나는 고속 카메라로 실제 물체와 화면 속 대응물을 한 프레임에 함께 찍어 프레임 수를 세는 것이다. 단순하고 검증 가능하지만 시간 분해능이 카메라 프레임률에 묶인다. 다른 하나는 광다이오드로 화면의 밝기 변화를 재고 물리적 스위치나 가속도계와의 시간차를 재는 것이다. 시간 분해능은 훨씬 높지만 화면의 한 점만 측정한다. 측정 정확도에는 한계가 있다. 펠트스타인과 엘리스는 2020년에 단일 값에 대한 측정 불확실도를 약 ±4.2밀리초로 제시했다. 초당 240프레임 카메라의 구간 폭은 4.17밀리초이고, 이 방법은 평균적으로 약 2.1밀리초를 과대 보고한다. 20밀리초를 다투는 분야에서 ±4.2밀리초는 작은 값이 아니다. 여기서 이 장의 가장 실무적인 발견이 나온다. 지연은 단일 값이 아니며, 언제 재느냐에 따라 다섯 배 이상 달라진다. 워버턴과 동료들은 2023년에 일곱 개 구성을 초당 240프레임 카메라법으로 측정했다. 90프레임 기기 둘, 80프레임 기기 하나, 그리고 하나의 기기를 80, 90, 120, 144프레임으로 돌린 네 구성이다. 이들은 움직임이 갑자기 시작되는 순간과 움직임이 매끄럽게 진행 중인 순간을 나누어 측정했다. | 조건 | 측정 지연 | |---|---| | 갑작스러운 움직임 시작 | 평균 21~42ms | | 매끄러운 구간, 예측 작동 | 2~13ms | | 예측이 낮은 값에 도달하는 시간 | 움직임 시작 후 25~58ms | | 영상 간 재현성 | 표준편차 최대 1.75ms |표 출처: [16] (본문 기준으로 재구성)
갑작스러운 시작에서는 예측 알고리즘이 무력하다. 그래서 시스템의 진짜 파이프라인 지연이 드러난다. 매끄러운 구간에서는 예측이 작동해 실효 지연이 한 자릿수로 떨어진다. 제조사가 광고하는 낮은 숫자는 대개 후자다. 사용자가 불편을 느끼는 순간은 대개 전자다. 가속이 급격한 순간, 즉 움직임의 시작과 정지와 방향 전환이 지연이 폭로되는 지점이다. 자동차의 공인 연비와 실주행 연비의 차이와 같다. 정속 주행에서 잰 숫자는 좋지만, 신호등마다 서고 출발하는 도심 주행에서는 전혀 다른 값이 나온다. 같은 연구에서 나온 반례 하나가 중요하다. 한 기기를 144프레임으로 돌렸을 때의 지연이 90프레임으로 돌아가는 다른 기기보다 컸다. 주사율이 높다고 지연이 낮은 것이 아니다. 주사율은 파이프라인 구조와 예측 품질을 대체하지 못한다. 선행 문헌의 범위도 넓다. 초기 개발자용 기기의 회전 지연이 40에서 85밀리초로 보고된 적이 있고, 일부 설정에서는 1에서 26밀리초로도 보고되었다. 어느 구성인지, 무엇을 경계로 삼았는지를 밝히지 않은 숫자는 비교에 쓸 수 없다. 스타우페르트와 동료들의 2020년 리뷰는 지연과 멀미를 다룬 연구 약 11건을 한 표로, 1991년부터 2020년까지의 측정 방식 약 25행을 다른 표로 정리한다. 측정 방식이 이렇게 많다는 사실 자체가 표준의 부재를 말해 준다. 아직 풀리지 않은 것을 정직하게 적어 둔다. 첫째는 지터다. 지연의 흔들림이 평균 지연보다 해로울 수 있다는 정성적 결론은 확인되지만, 어느 정도 크기와 빈도의 지연 스파이크가 멀미를 유발하는지에 대한 구체적 수치는 정리되어 있지 않다. 둘째는 네트워크 오프로딩이다. 렌더링을 기기 밖으로 내보내는 구조에서 지연 예산이 어떻게 재편되는지는 이 장이 다룬 문헌의 범위를 넘는다. 셋째는 개인차다. 같은 기기에서 같은 지연을 겪어도 사람마다 불편의 정도가 크게 다르다. 이 차이를 설계 변수로 다루는 방법은 아직 없다. 이 장의 모든 절이 결국 하나의 곱셈으로 돌아간다. 지연은 초로 재지만 사람이 보는 것은 각도이고, 둘을 잇는 것은 머리의 각속도다. 그러므로 증강현실에서 지연을 줄이는 일은 속도를 높이는 공학이 아니라, 각속도가 가장 클 순간을 견디도록 시간 예산을 배분하는 설계다. [16]본문의 번호를 누르면 출처로 이동합니다. 절 끝의 번호는 그 절의 사실 자료를, 표 아래의 번호는 표에 사용한 자료를 가리킵니다. 비교·계산·비유와 결론은 필자의 재구성입니다. 한 번호에 함께 사용한 문헌이 둘 이상이면 묶어서 적었습니다.
서지정보와 확인 메모는 옵시디언 조사 기록을 바탕으로 복원했습니다. 원 기록의 ‘전문 확인’·‘조회’ 표기는 당시 조사 상태이며 이번 웹판에서 모두 재검증했다는 뜻은 아닙니다. 불완전한 서지사항은 임의로 채우지 않았습니다.
표 출처: [1] (본문 기준으로 재구성)
두 가지를 짚어 둘 필요가 있다. 첫째, 개인차가 세 배를 넘는다. 최대 원뿔세포 밀도가 10만인 사람과 32만인 사람이 같은 헤드셋을 쓴다. '표준 눈'을 가정한 파라미터는 누군가에게는 과하고 누군가에게는 부족하다. 둘째, 자주 인용되는 '147,000개/mm²'는 Curcio의 값이 아니다. 그 숫자는 Shroff가 2011년에 낸 안과 수치 편람에서 온 것이고, 백과사전 항목이 Curcio의 개인 범위와 한 문장에 섞어 놓는 바람에 널리 잘못 퍼졌다. 원 논문의 평균 최대 밀도는 199,000개/mm²다. 중심와의 물리적 크기와 시야각을 짝지은 수치들도 널리 쓰이지만 출처가 다르다. 중심와 지름 약 1.5mm가 시야각 약 5°, 무혈관대 0.5mm, 중심소와(foveola)에서 100μm당 원뿔세포 50개 대 주변부 12개, 그리고 시신경 섬유의 약 절반이 중심 2°를 담당한다는 서술은 모두 백과사전 수준의 2차 요약이다. 이 값들을 섞어 쓸 때 조심할 점이 두 개 있다. 하나는 환산 계수가 서로 맞지 않는다는 점이다. 1.5mm를 5°로 보면 밀리미터당 3.33도, 0.35mm를 1°로 보면 2.86도, 0.5mm를 1.5°로 보면 3.00도가 나온다. Drasdo와 Fowler가 제시한 표준 망막 환산인 밀리미터당 약 3.5도를 쓰면 각각 약 5.2°, 약 1.2°, 약 1.75°가 되어야 한다. 무혈관대를 1.5°로 적은 문헌은 이 환산에서 벗어난다. 다른 하나는 선밀도와 면밀도가 충돌한다는 점이다. 100μm당 50개는 밀리미터당 500개이고, 이를 면밀도로 환산하면 대략 25만 개/mm²가 된다. 같은 백과사전 문서가 147,000개/mm²에 대응하는 선밀도를 밀리미터당 383개로 적고 있다. 두 숫자를 한자리에서 인용하면 25만과 14만 7천이 부딪친다. 파라미터를 뽑아 쓸 사람이라면 어느 계열의 숫자를 쓰는지 스스로 정하고 일관되게 가야 한다. 그럼에도 그림의 골자는 흔들리지 않는다. 사람이 고해상도로 받아들이는 영역은 팔을 뻗어 엄지손톱을 세웠을 때 그 손톱이 가리는 정도다. 나머지는 도약안구운동으로 순간순간 채워 넣은 합성이다. > 중심와는 시야의 중심 2°만을 본다… 시신경 섬유의 약 절반이 중심와에서 오는 정보를 나르고, 나머지 절반이 망막의 나머지 전체에서 오는 정보를 나른다. > The fovea sees only the central two degrees of the visual field... approximately half the nerve fibers in the optic nerve carry information from the fovea, while the remaining half carry information from the rest of the retina. 이 서술도 Curcio 논문에 있는 내용이 아니라 2차 요약이다. 그 논문은 광수용체 밀도 지도를 다루고 시신경 섬유의 배분은 다루지 않는다. 다만 렌더링 설계자에게 필요한 결론은 이미 충분히 명확하다. 눈이 요구하는 정보량 자체가 시야 중심에 몰려 있으므로, 시선이 어디를 향하는지 알면 계산량을 원리적으로 한 자릿수 이상 줄일 수 있다. 한 가지 한계를 미리 박아 둔다. 위 밀도는 정적인 해부 수치다. 주변시가 무엇에 둔감한지는 말해 주지만, 주변시가 무엇에 여전히 예민한지는 말해 주지 않는다. 주변시는 해상도에 둔감하되 움직임과 깜박임과 대비 변화에는 놀랄 만큼 예민하다. 이 비대칭이 뒤에 나오는 모든 문제의 출발점이다. [1] ### 시선을 알면 그래픽스가 싸진다 이심률에 따라 시력이 떨어진다는 사실 자체는 오래된 지식이다. Østerberg가 1935년에 이미 광수용체 분포를 보고했다. 그래픽스가 이 사실을 성능으로 바꾸려 한 시도도 생각보다 이르다. Levoy와 Whitaker는 1990년 『Symposium on Interactive 3D Graphics』에서 시선 방향에 따라 볼륨 렌더링의 표본 밀도를 바꾸는 방법을 제시했다. Curcio의 해부 논문과 같은 해다. Luebke와 Hallen은 2001년 Eurographics에서 지각 기반으로 기하를 단순화하는 접근을 내놓았다. 포비티드 렌더링을 '2010년대에 등장한 기법'으로 적으면 20년을 건너뛰는 셈이 된다. 그러나 개념과 제품 사이에는 세 가지 공백이 있었다. 실시간 GPU에서 굴러가는 구조, 사람이 눈치채지 못하는 열화의 한계를 실제로 측정한 값, 그리고 그렇게 해서 몇 배 빨라지는지에 대한 숫자다. Guenter와 Finch, Drucker, Tan, Snyder가 2012년 SIGGRAPH Asia에서 발표한 「Foveated 3D Graphics」가 이 셋을 한꺼번에 채웠다. 구조는 단순하다. 시선 추적기로 응시점을 받고, 그 점을 중심으로 세 겹의 이미지 레이어를 동심원처럼 쌓는다. 안쪽 레이어는 각도상 좁지만 표본 밀도가 높다. 바깥으로 갈수록 덮는 각도는 커지고 표본 비율은 뚝 떨어진다. 세 장을 각각 그린 뒤 합성해 최종 화면을 만든다. > 우리는 주변시에서 시력이 떨어지는 현상을 이용해 데스크톱 HD 디스플레이(1920×1080)에서 그래픽 연산을 5~6배 가속한다. 우리 방법은 사용자의 응시점을 추적하고, 그 주위에 각도상 크기는 점점 커지되 샘플링 비율은 점점 낮아지는 세 개의 이미지 레이어를 렌더링한다. > We exploit the falloff of acuity in the visual periphery to accelerate graphics computation by a factor of 5-6 on a desktop HD display (1920×1080). Our method tracks the user's gaze point and renders three image layers around it at progressively higher angular size but lower sampling rate. | 항목 | 값 | |---|---| | 대상 화면 | 1920×1080 데스크톱 HD | | 렌더링 속도 향상 | 5~6배 | | 셰이딩 화소 수 감소 | 10~15배 | | 이심률 계수 | 1도당 1.32~1.65 각분(arcmin) | | 레이어 수 | 3겹 | | 저자 예측 | 시야 70°의 더 크고 선명한 미래 디스플레이에서 최대 100배 |표 출처: [2] (본문 기준으로 재구성)
이 표에서 가장 오래 살아남은 값은 속도가 아니라 이심률 계수다. 1도당 1.32~1.65 각분이라는 기울기는 사용자 실험으로 얻은 값이고, 이후 거의 모든 포비티드 렌더링 구현이 이 값을 파라미터 기준으로 삼는다. 정확히 말하면 이 논문의 기여는 아이디어의 발명이 아니다. 3레이어 실시간 GPU 구현과 정신물리 실험을 하나로 묶은 첫 사례라는 것이 정확한 위치다. 한계도 이 논문이 스스로 남겼다. 주변부를 그냥 흐리게 하면 시간적 앨리어싱이 생겨 오히려 눈에 띈다. 그리고 시선 추적이 느리면 눈이 먼저 새 지점에 도착하고 고해상도 영역이 뒤늦게 따라오는 것이 보인다. 이 두 문제가 정면으로 다뤄지기까지 각각 4년과 5년이 더 걸린다. [2] ### 흐리게 하면 들킨다 앞 절의 한계는 사실 방향이 잘못 잡힌 문제였다. 문제는 화소를 덜 그린 것이 아니라 잘못된 종류의 신호를 버린 것이다. Patney와 Salvi, Kim, Kaplanyan, Wyman, Benty, Luebke, Lefohn이 2016년 SIGGRAPH Asia에서 발표한 연구가 이 구분을 세웠다. 핵심 발견은 주변시의 비대칭이다. 주변시는 해상도에는 둔감하지만 대비에는 민감하다. 저해상도로 그리는 과정에서 세부만 사라지는 것이 아니라 대비도 함께 뭉개지는데, 사람이 '뭔가 이상하다'고 느끼는 원인은 사라진 세부가 아니라 사라진 대비였다. 해법은 그래서 역설적이다. 주변부를 저해상도로 그린 뒤, 후처리 필터로 대비를 다시 살려 준다. 해상도는 돌아오지 않지만 사람의 수용도는 크게 올라간다. | 항목 | 값 | |---|---| | 셰이딩 횟수 감소 | 최대 70% | | 성긴 셰이딩 허용 시작점 | 중심와로부터 30° 더 가까운 지점까지 | | 대비 보정 시 수용 가능한 흐림 반경 | 2배 증가 |표 출처: [3] (본문 기준으로 재구성)
> 우리는 눈의 고정 영역 바깥으로 갈수록 점진적으로 세부를 줄여 영상을 합성하는 포비티드 렌더링 시스템을 제시한다… 우리 시스템은 셰이딩 횟수를 최대 70%까지 줄인다. > We present a foveated rendering system which synthesizes images with progressively less detail outside the eye fixation region... our system reduces the number of shades by up to 70%. 시간적 안정성도 함께 잡혔다. 결과 영상이 프레임 사이에서 출렁이지 않아, 시간 필터를 건 비포비티드 렌더링과 비슷한 품질을 냈다. 이것이 중요한 이유는 주변시가 깜박임에 예민하다는 앞 절의 지적 때문이다. 정지 화면에서 안 보이던 열화가 움직이는 화면에서 갑자기 보이는 일이 포비테이션의 전형적 실패 모드다. 이 연구가 세운 문법은 한 문장으로 줄여진다. 덜 그리는 것이 목표가 아니라, 사람이 놓치지 않는 신호는 복원하고 놓치는 신호만 버리는 것이 목표다. 오늘날 상용 헤드셋의 포비테이션 맵 설계가 모두 이 계보 아래에 있다. 한계는 두 갈래다. 대비 보정 필터 자체가 연산 비용이라 절감분을 일부 먹는다. 그리고 콘텐츠 종류에 따라 이 필터가 아티팩트를 키운다. 가는 선, 작은 텍스트, 반복되는 격자 무늬가 최악의 조합이다. 치수선과 주기가 촘촘한 격자와 작은 글자가 가득한 설계 도면 화면은 포비테이션에 가장 불리한 종류의 콘텐츠다. 몰입형 화면에서 도면을 검토하는 용도를 상정한다면, 게임 벤치마크에서 나온 절감률을 그대로 기대하면 안 된다. [3] ### 눈보다 늦으면 안 된다 포비티드 렌더링에서 가장 자주 얼버무려지던 숫자가 시선 추적 속도다. 원리는 명백하다. 눈이 도약안구운동으로 새 지점에 도착했는데 고해상도 영역이 아직 옛 자리에 있으면, 사용자는 저해상도 주변부를 중심와로 직접 들여다보게 된다. 열화가 숨을 곳이 없어지는 순간이다. Albert와 Patney, Luebke, Kim이 2017년 『ACM Transactions on Applied Perception』에 실은 연구가 이 값을 실측했다. 방법은 정직하다. 시선 추적 지연을 인위적으로 늘려 가며, 참가자가 수용하는 포비테이션 강도가 어디서부터 떨어지는지를 측정했다. | 추가 지연 | 결과 | |---|---| | 20~40ms | 수용 가능한 포비테이션 수준이 거의 떨어지지 않음 | | 80~150ms | 뚜렷한 저하 | | 권고 전체 시스템 지연 허용치 | 50~70ms |표 출처: [4] (본문 기준으로 재구성)
> 포비티드 렌더링은 주변시 시력이 떨어진다는 잘 알려진 사실에 기반한 성능 최적화다. 사용자의 중심(중심와) 시야에는 고품질 영상을, 주변부에는 저품질 영상을 보여줌으로써 연산 비용을 줄인다. > Foveated rendering is a performance optimization based on the well-known degradation of peripheral visual acuity. It reduces computational costs by showing a high-quality image in the user's central (foveal) vision and a lower quality image in the periphery. 50~70ms라는 예산의 가치는 그것이 구매 결정과 파이프라인 설계를 동시에 묶는다는 데 있다. 시선 추적 카메라의 프레임레이트, 시선 추정 알고리즘의 처리 시간, 렌더링 큐의 길이, 디스플레이 갱신 주기가 모두 이 하나의 예산을 나눠 쓴다. 상용 기기가 시선 추적을 200Hz급으로 올리는 이유가 여기 있다. Varjo XR-4의 시선 추적이 200Hz로 도는 것은 사양서에 적을 자랑거리가 아니라 이 예산을 지키기 위한 최소 조건에 가깝다. 한계는 예산이라는 말 자체에 있다. 50~70ms는 평균적으로 참을 만한 값이지 알아채지 못하는 값이 아니다. 실험은 특정 콘텐츠와 특정 포비테이션 강도 조건에서 수행됐다. 고대비 텍스트를 읽거나 시선을 빠르게 옮기며 화면을 훑는 작업에서는 더 엄격한 예산이 필요할 가능성이 높다. 도면 검토가 정확히 그 작업이다. [4] ### 하드웨어로 내려온 포비테이션 논문의 절감률이 제품의 절감률이 되려면 오버헤드가 사라져야 한다. 세 겹의 레이어를 따로 그려 합성하는 방식은 그 합성 자체가 비용이다. 화면 영역마다 다른 정밀도로 셰이딩하라는 명령을 래스터라이저가 직접 받아들이면 그 비용이 거의 0이 된다. 그것이 가변 셰이딩률(Variable Rate Shading)이다. 이 기능에도 선행 계보가 있다. NVIDIA의 공식 문서 자체가 Turing의 VRS 앞에 Maxwell 세대의 Multi-Res Shading과 Pascal 세대의 Lens Matched Shading을 선행으로 명시한다. 2015년과 2016년의 일이다. 고정 포비티드 렌더링도 Quest Pro에서 시작한 것이 아니라 Oculus Go와 초기 Quest 세대에 이미 상용화돼 있었다. 다만 그 상용화 시점을 확인할 1차 출처는 이번 조사에서 확보하지 못했으므로 단정하지는 않는다. Direct3D 12의 Tier 2 VRS가 지금의 표준 형태다. 화면을 정사각 타일로 나누고, 타일마다 1바이트짜리 '셰이딩률 이미지'로 정밀도를 지정한다. | 항목 | 값 | |---|---| | D3D12 Tier 2 타일 크기 | 8·16·32 텍셀 중 하나 | | 필수 지원 셰이딩률 | 1x1, 1x2, 2x1, 2x2 | | 선택 지원 셰이딩률 | 2x4, 4x2, 4x4 | | 셰이딩률 이미지 포맷 | DXGI_FORMAT_R8_UINT(타일당 1바이트) | | NVIDIA Turing 타일 | 16×16 화소 | | NVIDIA Turing 셰이딩률 종류 | 7가지, 가시성 샘플당 1회부터 16샘플당 1회까지 |표 출처: [5] (본문 기준으로 재구성)
표의 첫 줄에는 단서가 필요하다. Microsoft 문서가 스스로 모순된다. Tier 2 요약 불릿은 '화면공간 이미지 타일 크기는 16x16 이하'라고 적는데, 타일 크기를 설명하는 절에서는 8·16·32 중 하나라고 적는다. 질의로 반환되는 값이 후자이므로 8·16·32를 쓰는 편이 규범적이지만, 인용할 때는 이 불일치를 알고 있어야 한다. 4x4 셰이딩률은 화소 16개를 한 번만 셰이딩하고 결과를 복사한다는 뜻이다. 여기서 가장 중요한 성질이 따라온다. > 가변 셰이딩률—또는 거친 화소 셰이딩—은 렌더링 성능/전력을 이미지 영역마다 다른 비율로 배분할 수 있게 하는 기법이다. … 거친 화소 셰이딩을 사용할 때에도 깊이·스텐실·커버리지는 언제나 전체 샘플 해상도로 계산되어 출력된다. > Variable-rate shading—or coarse pixel shading—is a mechanism that lets you allocate rendering performance/power at rates that vary across your rendered image. … When coarse pixel shading is used, depth and stencil and coverage are always computed and emitted at the full sample resolution. 깊이와 스텐실과 커버리지가 언제나 전체 샘플 해상도로 계산된다는 것은, 실루엣이 뭉개지지 않는다는 뜻이다. 물체의 경계선은 온전하고 빛과 재질 계산만 싸진다. 이 성질이 포비테이션을 실무적으로 쓸 만하게 만든다. 형태는 유지되고 음영만 성겨지기 때문에 사람이 알아채기 어렵다. Meta Quest Pro는 이 위에 시선 추적을 얹었다. 렌즈 왜곡만 보고 화면 가장자리를 일괄로 낮추는 고정 포비테이션과 달리, 시선 추적 포비테이션은 응시점을 실제 해상도로 그리고 주변을 훨씬 공격적으로 낮춘다. 대신 요건이 붙는다. Vulkan을 써야 하고 Multiview 스테레오 렌더링이 필수이며 지원 기기가 한정된다. 한계는 숫자가 없다는 것이다. Meta 문서는 시선 추적 포비테이션이 고정 포비테이션보다 '평균적으로 GPU 절감이 크다'고만 적고 구체적 퍼센트를 공개하지 않는다. 다른 상용 기기도 마찬가지다. Apple도 자사 플랫폼의 포비테이션 절감률을 공개하지 않는다. 즉 5~6배와 70%는 논문의 수치이고, 상용 제품의 실제 절감률은 사실상 공개된 숫자가 없다. 이 둘을 구분해서 읽어야 한다. 기술적 부작용도 하나 있다. 거친 화소는 화면공간 미분값을 키워 밉맵 선택을 한 단계 흐린 쪽으로 밀어낸다. 텍스처가 의도보다 더 흐려지므로 셰이더에서 보정해야 한다. [5] ### 2,300만 화소라는 전제 조건 디스플레이 해상도가 어느 선을 넘으면 포비테이션은 선택지가 아니라 전제 조건이 된다. Apple Vision Pro가 그 선을 넘은 첫 상용 제품이다. | 항목 | 값 | 출처 성격 | |---|---|---| | 양안 합계 화소 | 2,300만 | Apple 공식 | | 화소 피치 | 7.5μm | Apple 공식 | | 색역 | DCI-P3 92% | Apple 공식 | | R1 광자-대-광자 지연 | 12ms | Apple 자체 측정 | | R1 메모리 대역폭 | 256GB/s | Apple 공식 | | 시선 추적 카메라 | 4대(적외선) | Apple 공식 | | 세계 추적 센서 | 전방 카메라 6대 + 메인 카메라 2대 + TrueDepth + LiDAR + IMU 4개 | Apple 공식 | | 눈당 해상도 | 약 3,660×3,200 | 3자 분석, Apple 미확인 | | 시야각 | 약 100°×73° | 3자 분석, Apple 미확인 | | 패널 대각 | 1.41인치 | 3자 출처, Apple 사양서에 없음 |표 출처: [6] (본문 기준으로 재구성)
화소 피치 7.5μm의 의미는 비교로 잡힌다. 사람 머리카락 굵기가 약 70μm이니, 화소 하나가 머리카락 굵기의 10분의 1이다. 이 밀도의 마이크로 OLED는 그전까지 시제품에만 있었다. 주사율과 메모리 대역폭에서는 세대를 섞지 말아야 한다. 2024년 2월에 출시된 M2 탑재 초판은 90Hz, 96Hz, 100Hz를 지원하고 최대가 100Hz다. 120Hz는 2025년 10월 15일에 발표된 M5 탑재 개정판부터다. 메인 칩 메모리 대역폭도 초판 M2가 100GB/s, M5 개정판이 153GB/s다. 표에 적은 256GB/s는 메인 칩이 아니라 R1 보조 칩의 값이다. Apple의 사양 페이지는 항상 최신 모델 기준으로 갱신되므로, 초판 기기의 근거로 현재 페이지를 그대로 인용하면 세대가 어긋난다. R1이라는 별도 칩의 역할이 이 제품의 설계 철학을 말해 준다. 메인 칩이 앱을 돌리는 동안 R1은 카메라 12대와 센서 5개, 마이크 6개의 입력만 전담한다. 실제 세계의 빛이 카메라에 들어와 다시 디스플레이에서 광자로 나오기까지 12밀리초를 보장한다. 비디오 패스스루가 '화면을 본다'에서 '창밖을 본다'로 넘어가는 임계점이 이 근처에 있다. 렌더링 관점의 결론은 단순하다. 2,300만 화소를 90Hz 이상으로 전부 그리는 것은 가능하지 않다. 그래서 이 플랫폼은 앱이 포비테이션을 직접 구현하지 않아도 컴포지터 단계에서 적용한다. 포비티드 렌더링이 성능 옵션이 아니라 시스템의 기본 동작이 된 것이다. 한계는 검증이다. 12ms는 Apple의 자체 측정치이고 독립 검증된 수치가 아니다. 눈당 해상도와 시야각은 공식 사양서에 아예 없다. 널리 인용되는 값들은 분해와 3자 측정에서 나왔으며 Apple이 확인한 적이 없다. 비교 표를 만들 때 공식값과 3자 추정치를 같은 칸에 넣으면 나중에 곤란해진다. [6] ### 눈이 모이는 곳과 초점이 맺히는 곳 포비테이션이 계산의 낭비를 줄이는 문제라면, 다음 문제는 착시 자체가 무너지는 지점이다. 사람의 두 눈은 물체를 볼 때 두 가지를 동시에 한다. 눈알을 안쪽으로 모아 시선을 한 점에 맞추는 수렴(vergence), 그리고 수정체 두께를 바꿔 초점을 맞추는 조절(accommodation)이다. 자연 상태에서 이 둘은 평생 같은 거리에 묶여 있다. 가까운 것을 보면 눈이 모이면서 동시에 수정체가 두꺼워진다. 신경계는 이 연결을 평생 학습한다. 스테레오 헤드셋은 이 연결을 끊는다. 화면은 고정된 광학 거리에 있고, 보통 1.3~2m에 상당한다. 조절은 언제나 그 거리에 고정된다. 반면 수렴은 가상 물체의 깊이를 따라 자유롭게 움직인다. 눈앞 30cm에 떠 있는 가상 물체를 보면 눈은 30cm로 모이지만 수정체는 1.5m에 초점을 맞추고 있다. 평생 함께 움직였던 두 신호가 어긋난다. 이 현상을 HMD 맥락에서 처음 보고한 것은 Wann과 Rushton, Mon-Williams가 1995년 『Vision Research』에 실은 논문이다. 실험으로 결정적인 근거를 세운 것은 Hoffman과 Girshick, Akeley, Banks가 2008년 『Journal of Vision』에 발표한 연구다. 이들은 조절 거리를 자유롭게 바꿀 수 있는 광학 벤치를 만들어, 불일치가 없는 조건과 비교했다. > 수렴-조절 불일치는 시각 수행을 저해하고 시각 피로를 유발한다. > Vergence–accommodation conflicts hinder visual performance and cause visual fatigue. 논문 제목 자체가 결론이다. 불일치가 있으면 입체시 정확도가 떨어지고 융합에 걸리는 시간이 길어지며 피로와 두통이 늘어난다. 보고되는 증상은 눈 피로, 시각 피로, 두통, 입체 효과의 방향감각 상실, 시각 수행 저하다. '0.4디옵터까지는 괜찮다'는 기준이 이 논문과 함께 인용되는 일이 많은데, 귀속이 틀렸다. 그 수치는 Shibata와 동료들이 2011년 『Journal of Vision』에 실은 「The zone of comfort」에서 나왔고, Hoffman의 2008년 논문은 이런 단일 상수를 제시하지 않는다. 더 중요한 것은 Shibata의 편안한 영역이 고정 상수가 아니라는 점이다. 시청 거리에 따라 달라지고, 교차 시차와 비교차 시차에 대해 비대칭이다. '한계 0.4디옵터'라는 단일값 서술은 과단순화다. 개인차와 연령차도 크다. 노안이 오면 조절 능력 자체가 줄어들어 문제의 성질이 달라진다. 이 문제의 무게는 '적응하면 된다'는 말로 넘길 수 없다는 데 있다. 광학 구조에서 필연적으로 나오는 문제다. 이 논문 이후 varifocal, multifocal, light field, holographic이라는 네 갈래의 디스플레이 연구가 모두 하나의 질문 아래 정렬된다. 이 불일치를 어떻게 없앨 것인가. 한 가지 투명하게 남겨 둘 점이 있다. Hoffman 등의 2008년 논문 원문 초록은 이번 조사에서 확보하지 못했다. 학술지와 논문 데이터베이스 모두 자동 접근을 차단했다. 위 서술은 제목과 2차 출처 요약에 기반한다. [7] ### 초점면을 옮기는 네 갈래 **첫째, varifocal.** 가장 직접적인 접근이다. 시선 추적으로 사용자가 지금 어느 깊이를 보고 있는지 알아낸 뒤, 화면의 광학 거리를 그 깊이로 옮긴다. 초점면 하나를 실시간으로 이동시키는 방식이다. 다초점면 디스플레이의 선행은 Akeley와 Watt, Girshick, Banks가 2004년 SIGGRAPH에서 발표한 시제품이다. 널리 알려진 후속은 Meta Reality Labs의 Half Dome 계열이다. 1번 시제품은 기계식 액추에이터로 렌즈의 초점을 물리적으로 다시 맞췄다. 작동은 하지만 가동부 때문에 무겁고 소음이 있으며 수명이 문제였다. 3번 시제품은 가동부를 없애고 액정 렌즈 6층을 쌓은 전자식 구조로 바꿨다. 각 층이 켜짐과 꺼짐 두 상태를 가지므로 층을 조합하면 이산적인 초점 상태를 여러 개 만들 수 있고, 이 방식으로 64개의 이산 초점면을 구현한 것으로 알려져 있다. 렌더링 쪽 부담은 포비테이션과 성질이 같다. 시선 깊이 추정, 초점면 전환, 그에 맞춘 피사계 심도 렌더링이 한 프레임 안에 맞물려야 한다. 시선 추적 지연이 곧 품질이 된다. 한계가 많다. Half Dome 각 세대의 시야각, 디옵터 범위, 초점 전환 지연, 무게 같은 핵심 수치를 이번 조사에서 1차 출처로 확인하지 못했다. 원문 블로그 주소들이 모두 죽어 있었다. 64개 초점면도 2차 출처 기반이다. 공개 연도와 발표 행사도 미검증이다. 원리적으로도 이산 초점면은 근사이고 완전한 연속 조절을 제공하지 못한다. 그리고 이 계열은 여러 해째 시제품 단계에 머물러 있다. > Meta의 Half Dome 시제품은 액정 렌즈 적층으로 64개의 이산 초점면을 만들었으나, 현재 이 기술을 사용한 양산 제품은 없다. > Meta's Half Dome prototypes used liquid crystal lens stacks creating 64 discrete focal planes, but no production products currently available using these technologies. **둘째, 광선장.** varifocal이 초점면을 옮기는 접근이라면, 광선장 디스플레이는 눈에 들어오는 광선 자체를 재현하는 접근이다. Lanman과 Luebke가 2013년 『ACM Transactions on Graphics』에 실은 근안 광선장 디스플레이가 이 계열의 기준점이다. 구조는 패널 앞에 마이크로렌즈 배열을 놓는 것이다. 각 렌즈가 패널의 작은 화소 묶음을 서로 다른 방향의 광선으로 쏘아 보낸다. 눈의 동공에 여러 방향의 광선이 동시에 들어오면, 수정체는 어느 거리에 초점을 맞추느냐에 따라 실제 물체를 볼 때와 똑같이 선명해지거나 흐려진다. > 우리는 유한한 피사계 심도 범위 안에서 눈의 연속적인 조절을 지원하는 근안 광선장 디스플레이를 제시한다 … 관찰자의 자연스러운 조절 범위 안에서 가상 물체의 선명한 상을 그려낸다 … 거의 올바른 수렴, 조절, 양안 시차, 망막 흐림의 깊이 단서를 제공한다. > We present near-eye light field displays that support continuous accommodation of the eye throughout a finite depth of field … depicting sharp images of virtual objects within a viewer's natural accommodation range … nearly correct convergence, accommodation, binocular disparity, and retinal defocus depth cues. 네 가지 깊이 단서가 모두 동시에, 자연스럽게 제공된다는 것이 이 접근의 힘이다. 시선 추적도 가동부도 필요 없다. 광학만으로 불일치가 사라진다. 마이크로렌즈 배열 덕분에 두께도 극적으로 얇아져, 안경형 형태 인자의 가능성을 처음 보였다. 대가가 치명적이다. 저자들은 해상도와 시야각과 피사계 심도 사이에 근본적인 교환 관계가 있음을 정식화했다. 방향 정보를 담으려면 화소를 각도에 나눠 써야 하므로, 광선장이 풍부해질수록 공간 해상도가 떨어진다. 2013년 시제품의 화질은 당시 일반 헤드셋보다도 낮았다. 이 교환 관계가 광선장 디스플레이가 아직 상용화되지 못한 핵심 이유다. 다만 시제품의 마이크로렌즈 피치와 유효 해상도, 시야각, 조절 범위는 이번 조사에서 확인하지 못했다. 논문 본문에 실려 있을 가능성이 높으므로 '논문에 없다'가 아니라 '확인하지 못했다'로 적는 것이 정확하다. **셋째, 홀로그래픽.** 빛의 진폭뿐 아니라 위상까지 제어해 파면 자체를 재구성하는 접근이다. 원리적으로 깊이 단서를 완전하게 제공하므로 불일치가 아예 생기지 않는다. 문제는 광엔진의 부피였다. 근안 홀로그래픽 디스플레이의 선행은 Maimone과 Georgiou, Kollin이 2017년 『ACM Transactions on Graphics』에 실은 연구다. 시야 80°와 90Hz 이상의 실시간 위상 홀로그래피를 보였다. 여기서 한 걸음 더 나간 것이 Gopakumar와 Lee, Choi, Chao, Peng, Kim, Wetzstein이 2024년 『Nature』에 발표한 메타표면 도파관 기반 풀컬러 3D 홀로그래픽 AR 디스플레이다. | 항목 | 값 | |---|---| | 메타표면 격자 주기 | 384nm | | 메타표면 격자 높이 | 220nm | | 동작 파장 | 적 638nm, 녹 521nm, 청 445nm | | 알고리즘 | 해석적 물리 모델 + CNN 결합한 학습된 도파관 모델 |표 출처: [8][9][10] (본문 기준으로 재구성)
> 여기서 우리는 역설계된 풀컬러 메타표면 격자, 소형 분산 보상 도파관 구조, 인공지능 기반 홀로그래피 알고리즘의 독창적 결합을 통해 이러한 난제들을 극복하는 홀로그래픽 AR 시스템을 제시한다. > Here we introduce a holographic AR system that overcomes these challenges using a unique combination of inverse-designed full-colour metasurface gratings, a compact dispersion-compensating waveguide geometry and artificial-intelligence-driven holography algorithms. 이 연구에서 가장 오래 남을 발상은 세 번째 항목이다. 실제 도파관은 이론대로 동작하지 않는다. 그 비이상적 거동까지 신경망이 학습해 위상 패턴을 계산한다. 광학의 불완전함을 소프트웨어가 보정하는 구조다. 근안 디스플레이 설계의 표준 문법이 될 가능성이 크다. 한계는 형태 인자와 잡음이다. 시야각, 아이박스 크기, 도파관 두께, 시제품 전체 크기 같은 수치를 이번 조사에서 확인하지 못했다. 홀로그래픽 디스플레이는 일반적으로 스페클 잡음과 좁은 아이박스가 고질적 문제이며, 실시간 위상 계산의 연산 부담도 크다. 연구 시제품이고 상용화 일정은 없다. **넷째, 광학 투시.** 앞의 셋이 화면을 고치는 접근이라면, 이 접근은 화면을 통하지 않는다. Microsoft HoloLens 2가 대표 사례다. 사용자가 유리를 통해 실제 세계를 직접 보고, 그 위에 빛을 얹는다. 광엔진의 빛이 도파관 렌즈 안으로 들어가 전반사로 눈앞까지 전달된 뒤 회절 격자로 눈을 향해 빠져나온다. > 광학: 투시형 홀로그래픽 렌즈(도파관). 홀로그래픽 해상도: 2k 3:2 광엔진. 홀로그래픽 밀도: 2.5k 라디안트 초과(라디안당 광점 수). 눈 기반 렌더링: 3D 눈 위치에 맞춘 디스플레이 최적화. > Optics: See-through holographic lenses (waveguides). Holographic resolution: 2k 3:2 light engines. Holographic density: >2.5k radiants (light points per radian). Eye-based rendering: Display optimization for 3D eye position. '눈 기반 렌더링'을 명시적 사양으로 내건 첫 상용 AR 기기라는 점이 이 제품의 위치다. 시선 추적이 인터랙션뿐 아니라 광학 보정에까지 쓰였다. | 항목 | 값 | 출처 성격 | |---|---|---| | 홀로그래픽 해상도 | 2k 3:2 광엔진 | Microsoft 공식 | | 홀로그래픽 밀도 | 2.5k 라디안트 초과 | Microsoft 공식 | | 깊이 센서 | 1MP Time-of-Flight | Microsoft 공식 | | 시선 추적 카메라 | 적외선 2대 | Microsoft 공식 | | 헤드 트래킹 카메라 | 가시광 4대 | Microsoft 공식 | | 전방향 가시광 카메라 스테레오 베이스라인 | 98.6mm | Microsoft 공식, 전방향 카메라 한정 | | 대각 시야각 | 52°(1세대 34°) | 3자 출처 | | 무게 | 566g | 공식 표기 | | 가격 | 3,500달러 | 3자 출처 |표 출처: [8][9][10] (본문 기준으로 재구성)
베이스라인 98.6mm는 4대 전체에 적용되는 값이 아니다. Microsoft 공식 표는 이 값과 동일 평면 조건을 전방을 향한 가시광 카메라에 한정해 명시한다. 시야각 52°와 가격 3,500달러도 공식 하드웨어 페이지에 없고 3자 출처에서만 확인된다. 공식 디스플레이 항목은 2k 3:2 광엔진과 2.5k 라디안트 초과까지다. 한계가 이 접근의 성격을 가장 잘 보여 준다. 실효 해상도에 논란이 있다. Microsoft는 도당 47화소를 주장했으나 디스플레이 분석가 Karl Guttag는 레이저 빔 스캐닝 방식의 특성상 실측 해상도가 도당 20화소 미만이라고 반박했다. 스캐닝 방식에서 '화소'는 고정 격자가 아니라 빔이 그리는 궤적이므로 정격 수치와 실효 선명도가 크게 벌어질 수 있다. 다만 Guttag의 원문 분석에는 이번에 접근하지 못해 그의 측정 방법을 직접 확인하지는 못했다. 시야각 52°도 여전히 좁아 가상 물체가 시야 가장자리에서 잘려 나간다. 그리고 구조적으로 검은색을 표현할 수 없다. 빛을 더할 수만 있고 뺄 수 없으므로 가상 물체가 언제나 반투명하게 보인다. Microsoft는 2024년 이 제품의 생산 종료를 발표했다. [8][9][10] ### 못 그린 프레임을 만들어낸다 비디오 패스스루에는 두 가지 구조적 문제가 있다. 지연과 왜곡이다. 지연은 앞에서 봤다. 빛이 카메라에 들어와 처리를 거쳐 디스플레이에서 다시 나오기까지의 시간이 길면, 고개를 돌렸을 때 세상이 뒤늦게 따라와 멀미가 난다. 왜곡은 기하학의 문제다. 카메라는 눈이 있는 자리에 없다. 이마 바깥쪽으로 몇 센티미터 떨어져 있다. 카메라가 찍은 영상을 그대로 보여주면 시차가 틀어져 손이 부자연스럽게 커 보이거나 가까운 물체의 거리감이 어긋난다. 보정하려면 장면의 깊이를 추정해 카메라 시점의 영상을 눈 시점으로 재투영해야 한다. 깊이 추정이 틀린 경계에서는 물결치는 왜곡이 남는다. 같은 재투영 기술이 프레임레이트 방어에도 쓰인다. 이쪽 계보가 렌더링 예산에 직접 영향을 준다. | 기법 | 시점 | 방식 | |---|---|---| | 비동기 타임워프(ATW) | 2015년 3월 | 머리 회전 정보만으로 이미 그린 프레임을 마지막 순간에 비틀어 표시 시점 자세에 맞춤 | | 비동기 스페이스워프(ASW) | 2016년 11월 | 깊이 정보를 더해 새 프레임을 외삽 | | ASW 2.0 | 2019년 8월 | 외삽 품질 개선 | | Application SpaceWarp(AppSW) | 2021년 11월 | 앱이 표시 주사율의 절반만 그리고 나머지를 모션 벡터와 깊이 버퍼로 합성 |표 출처: [11] (본문 기준으로 재구성)
AppSW의 발상이 가장 과감하다. 72Hz로 표시하면서 앱은 36fps로만 그린다. 나머지 프레임은 모션 벡터 버퍼와 깊이 버퍼를 써서 합성한다. > [Application SpaceWarp는] 초기 테스트에서 최대 70퍼센트의 추가 연산 여유를 확보했다. … AppSW가 요구하는 모션 벡터와 깊이 데이터는 [컬러 버퍼보다] 훨씬 낮은 해상도여도 된다. > [Application SpaceWarp] achieved up to 70 percent additional compute in initial testing. … motion vector and depth data required by AppSW can be much lower resolution [than the color buffer]. 렌더링 36/45/60fps가 표시 72/90/120Hz가 된다. 모션 벡터와 깊이 버퍼를 컬러보다 낮은 해상도로 만들 수 있다는 점이 절감의 핵심이다. 인스턴스가 수만 개 되는 장면에서 렌더링 예산이 절반으로 줄어드는 것은 결정적이다. 기기별 사양도 정리해 둔다. | 기기 | 사양 | |---|---| | Quest 3 | 눈당 2064×2208 LCD, 주사율 72·80·90·120Hz, 팬케이크 렌즈, 컬러 패스스루 카메라 4MP 2대, 적외선 패턴 투사기 기반 깊이 센싱, Snapdragon XR2 Gen 2 | | Varjo XR-4 | 눈당 3840×3744, 도당 51화소, 시야 120°×105°, 패스스루 카메라 2,000만 화소 2대, 300 KPIX LiDAR(유효 7m), 시선 추적 200Hz | | Vision Pro | 광자-대-광자 지연 12ms(R1 전담) |표 출처: [11] (본문 기준으로 재구성)
Quest 3의 주사율을 '90~120Hz'로 적은 요약을 자주 보게 되는데, 72Hz와 80Hz가 빠진 불완전한 서술이다. Varjo XR-4의 도당 51화소가 기본형 전체에 적용되는 값인지 포커스 영역 한정인지는 공식 제품 페이지에 명시되어 있지 않다. 출시 시점도 그 페이지에 없다. 한계는 재투영의 본질에서 나온다. 재투영은 근본적으로 외삽이다. 빠르게 움직이는 물체의 경계, 반투명 표면, 반사 표면에서 유령상과 찢어짐이 남는다. 패스스루 카메라의 시차 왜곡은 손이 얼굴에 가까울 때 여전히 뚜렷하다. Meta가 Flamera 같은 광선장 패스스루 카메라를 연구하는 이유가 이것이다. 그리고 주요 기기 모두 패스스루 영상의 실효 해상도를 공식 공개하지 않는다. Vision Pro의 12ms도 자체 측정치다. [11] ### 가려지지 않으면 거기 있지 않다 AR이 '겹쳐 보이는 화면'이 아니라 '거기 있는 물건'이 되려면, 실제 세계가 가상 물체를 가려야 한다. 가상 물체가 실제 건물 앞에 떠 있으면 그 순간 거짓말이 들통난다. 문제는 렌더러가 실제 세계의 깊이를 모른다는 것이다. 이 문제의 1차 문헌은 Wloka와 Anderson이 1995년 『Symposium on Interactive 3D Graphics』에 발표한 「Resolving occlusion in augmented reality」다. Azuma가 1997년 『Presence』에 실은 서베이는 이를 인용해 정리하면서, AR의 요건을 세 가지로 못 박았다. > [증강현실은] 세 가지 기본 특징을 갖춘 시스템이다: 실제 세계와 가상 세계의 결합, 실시간 상호작용, 그리고 가상 물체와 실제 물체의 정확한 3차원 정합. > [AR is] a system that incorporates three basic features: a combination of real and virtual worlds, real-time interaction, and accurate 3D registration of virtual and real objects. 세 번째 요건이 가림 처리가 존재하는 이유다. 가림은 정합이 시각적으로 검증되는 가장 엄격한 시험대다. 몇 센티미터만 어긋나도 경계에서 바로 보인다. 해법은 세 갈래다. **정적 환경 메시.** 깊이 센서로 공간을 스캔해 실시간 환경 메시를 만들고, 렌더러가 이 메시를 깊이 버퍼에만 쓰고 색은 그리지 않는 '가림 전용 지오메트리'로 처리한다. 벽과 바닥과 가구처럼 움직이지 않는 것은 이걸로 충분하다. HoloLens 2의 1MP ToF 깊이 센서가 이 방식의 표준을 세웠다. 다만 ToF 깊이 센싱의 기점을 2019년으로 잡으면 계보를 놓친다. HoloLens 1세대가 2016년에 이미 ToF 센서를 탑재했고, 그 계보는 2010년 Kinect까지 올라간다. HoloLens 2의 1MP ToF는 2세대 개선이지 최초가 아니다. **실시간 깊이 맵.** Meta의 Depth API가 매 프레임 깊이 맵을 앱에 넘겨, 지나가는 사람이나 손처럼 움직이는 것까지 가릴 수 있게 한다. 동적 가림이다. **의미 분할.** Apple ARKit의 People Occlusion은 사람을 따로 분할해 사람 뒤로 가상 물체를 보낸다. 도입 시점을 정리하면 2019년에 해당하는 것은 ARKit 3의 People Occlusion이고, LiDAR 스캐너는 2020년 3월 iPad Pro와 그해 10월 iPhone 12 Pro부터다. 두 시점을 한 해로 묶으면 안 된다. People Occlusion의 도입 버전과 연도 자체도 이번 조사에서 1차 출처로 확인하지 못했다. | 기기 | 깊이 센싱 | |---|---| | HoloLens 2 | 1MP Time-of-Flight | | Quest 3·3S(Depth API) | 최소 유효 거리 약 0.2m, 그보다 가까우면 추정 불안정 | | Varjo XR-4 | 300 KPIX LiDAR, 유효 거리 7m | | Apple | LiDAR 스캐너 + TrueDepth 카메라 |표 출처: [12] (본문 기준으로 재구성)
이 표가 실무에서 가장 자주 쓰이는 정보인데, 정작 중요한 칸이 비어 있다. Meta는 깊이 맵의 해상도와 갱신 주기, 정확도를 공개하지 않는다. 문서에 명시되어 있지 않다. 확인된 것은 최소 유효 거리 0.2m뿐이다. 한계가 여기서 가장 두껍다. 0.2m 미만에서는 손 가림의 정확도가 떨어져 손가락 윤곽이 뭉개진다. Depth API는 가림과 레이캐스팅에는 쓸 수 있지만 물리 충돌에는 쓸 수 없다. 더 근본적으로, 실외 현장은 실내보다 훨씬 불리하다. ToF와 구조광 방식 모두 직사광선에 취약하다. 그리고 잎처럼 얇고 미세하며 반투명한 경계는 깊이 센서가 가장 못 다루는 형태다. 경계가 뭉개지면 가림도 뭉개지고, 가림이 뭉개지면 크기와 거리 판단이 무너진다. 현장에 서서 아직 세워지지 않은 구조물을 미리 확인하려는 용도를 생각해 보면 이 한계의 무게가 드러난다. 그 구조물이 기존 물체와 건물에 제대로 가려져야 크기와 위치를 판단할 수 있다. 실내 몇 미터 범위에서는 지금 기술로 충분하다. 야외 원거리 가림은 여전히 미해결이며, 위성 측위와 SLAM과 의미 분할을 결합한 접근이 연구 단계에 있다. [12] ### 무엇을 믿고 무엇을 의심할 것인가 이 장의 숫자들은 성격이 두 층으로 갈린다. 논문에서 나온 절감률과 지연 예산은 실험 조건이 명시되어 재현 가능한 값이다. 상용 제품의 절감률은 사실상 공개되어 있지 않다. Meta는 시선 추적 포비테이션이 고정 포비테이션보다 '평균적으로' 낫다고만 적는다. Apple은 자사 플랫폼의 포비테이션 절감률을 공개하지 않는다. 패스스루의 실효 해상도도, 깊이 맵의 정확도도 공개되지 않는다. 그래서 성능 예측을 세울 때의 규칙은 단순하다. 논문의 5~6배와 70%는 상한이 아니라 특정 조건의 관측값으로 읽는다. 시선 추적 포비테이션의 이득은 콘텐츠에 따라 크게 흔들린다고 가정한다. 가는 선과 작은 텍스트와 규칙적 격자가 많은 화면은 이 최적화의 최악 조건이라고 미리 잡아 둔다. 그리고 수렴-조절 불일치는 지금 살 수 있는 어떤 제품으로도 해결되지 않았다는 사실을 착용 시간 계획에 반영한다. 포비티드 렌더링은 눈의 구조가 남긴 낭비를 되찾는 기술이고, 그 되찾음의 한계는 눈이 무엇에 둔감한가가 아니라 눈이 무엇에 여전히 예민한가에서 정해진다. 대비와 깜박임과 지연과 가림 경계, 그 네 가지가 예민함의 목록이다. [2][4][6][10] ### 한 문장 시선이 닿는 좁은 영역에만 힘을 쏟는 것이 몰입형 렌더링의 유일한 경제학이고, 그 절감이 들키는 지점은 언제나 사람이 여전히 예민한 신호 — 대비, 깜박임, 지연, 가림 경계 — 에서 나온다. [1][4][7]본문의 번호를 누르면 출처로 이동합니다. 절 끝의 번호는 그 절의 사실 자료를, 표 아래의 번호는 표에 사용한 자료를 가리킵니다. 비교·계산·비유와 결론은 필자의 재구성입니다. 한 번호에 함께 사용한 문헌이 둘 이상이면 묶어서 적었습니다.
서지정보와 확인 메모는 옵시디언 조사 기록을 바탕으로 복원했습니다. 원 기록의 ‘전문 확인’·‘조회’ 표기는 당시 조사 상태이며 이번 웹판에서 모두 재검증했다는 뜻은 아닙니다. 불완전한 서지사항은 임의로 채우지 않았습니다.
원뿔세포 밀도의 개인차가 3배 이상이라 '표준 눈'을 가정한 포비티드 파라미터는 일부 사용자에게 과하거나 부족하다. 또한 밀도는 정적 해부 수치일 뿐, 주변시가 여전히 민감한 움직임·플리커·대비 변화는 설명하지 못한다(이것이 뒤의 시간적 안정성 문제로 이어진다).
주변부를 단순히 흐리게 하면 시간적 깜박임(temporal aliasing)이 생겨 오히려 눈에 띈다. 또 시선 추적 지연이 크면 눈이 먼저 도착하고 고해상도 영역이 뒤늦게 따라오는 것이 보인다 — 이 두 문제는 각각 2016년(Patney)과 2017년(Albert)에 가서야 정면으로 다뤄진다.
대비 보정 필터 자체가 연산 비용이고, 콘텐츠 종류(텍스트·가는 선·격자 무늬)에 따라 오히려 아티팩트를 키운다. 조경 설계 도면처럼 가는 선과 텍스트가 많은 콘텐츠는 포비테이션에 가장 불리한 종류다.
50~70ms는 '평균적으로 참을 만한' 값이지 '알아채지 못하는' 값이 아니다. 또 실험은 특정 콘텐츠·특정 포비테이션 강도 조건이므로, 고대비 텍스트나 빠른 시선 이동이 잦은 작업(도면 검토 등)에서는 더 엄격한 예산이 필요할 가능성이 높다.
Meta 문서는 ETFR이 'FFR보다 평균적으로 GPU 절감이 크다'고만 쓰고 구체적 퍼센트를 공개하지 않는다. 또 거친 화소는 화면공간 미분값을 키워 밉맵 선택을 흐리게 만들므로, 텍스처가 예상보다 더 흐려지는 부작용을 셰이더에서 보정해야 한다.
Apple은 눈당 해상도와 시야각을 공식 사양서에 쓰지 않는다. 널리 인용되는 눈당 3,660×3,200과 시야 약 100°×73°는 3자 분석·분해에서 나온 값이며 Apple이 확인한 적 없다. 또 12ms는 Apple의 자체 측정치이며 독립 검증된 수치가 아니다.
논문 원문(Journal of Vision 8(3):33, 2008)의 초록 전문은 이번 조사에서 확보하지 못했다 — JOV와 PubMed 모두 봇 차단으로 접근이 막혔다. 위 내용은 제목과 2차 출처 요약에 기반한다. 또 0.4디옵터라는 편안 한계는 개인차·연령차(노안이 오면 조절 자체가 줄어 문제가 달라진다)가 크다.
Half Dome 각 세대의 시야각·디옵터 범위·전환 지연·무게 같은 핵심 수치를 이번 조사에서 1차 출처로 확인하지 못했다(Meta의 원문 블로그 URL들이 모두 404였다). 64개 초점면이라는 숫자도 2차 출처 기반이다. 더 근본적으로는, 이산 초점면은 어디까지나 근사이고 완전한 연속 조절은 제공하지 못한다. 그리고 8년째 시제품 단계에 머물러 있다는 사실 자체가 이 접근의 난이도를 말해 준다.
공간 해상도의 희생이 치명적이다. 각 마이크로렌즈가 방향 정보를 담는 대가로 유효 해상도가 크게 떨어져, 2013년 시제품의 화질은 당시 일반 HMD보다도 낮았다. 이 교환 관계가 광선장 디스플레이가 아직 상용화되지 못한 핵심 이유다. 구체 수치는 논문 본문 확인 필요.
시야각·아이박스 크기·도파관 두께·시제품 전체 크기 같은 형태 인자 수치를 이번 조사에서 확인하지 못했다(Nature 본문이 인증 차단). 홀로그래픽 디스플레이는 일반적으로 스페클 잡음과 좁은 아이박스가 고질적 문제이며, 실시간 위상 계산의 연산 부담도 크다. 연구 시제품이며 상용화 일정은 없다.
Quest 3·Vision Pro 모두 패스스루 영상의 실효 해상도(도당 화소)를 공식 공개하지 않는다. Vision Pro의 12ms도 Apple 자체 측정치이며 독립 검증이 없다. 재투영은 근본적으로 외삽이라 빠르게 움직이는 물체의 경계나 반투명·반사 표면에서 유령상(ghosting)과 찢어짐이 남는다. 패스스루 카메라의 시차 왜곡은 손이 얼굴에 가까울 때 여전히 뚜렷하며, 이것이 Meta가 Flamera 같은 광선장 패스스루 카메라를 연구하는 이유다.
Meta는 깊이 맵의 해상도·갱신 주기·정확도를 공개하지 않는다(문서에 명시되어 있지 않음). 근거리 0.2m 미만에서는 손 가림의 정확도가 떨어져 손가락 윤곽이 뭉개진다. 또 Depth API는 가림과 레이캐스팅에는 쓸 수 있지만 물리 충돌에는 쓸 수 없다. 더 근본적으로, 실외 조경 현장은 실내보다 훨씬 불리하다 — ToF와 구조광 방식 모두 직사광선에 취약하고, 나뭇잎처럼 미세하고 반투명한 경계는 깊이 센서가 가장 못 다루는 형태다. 야외 원거리 가림은 여전히 미해결이며 GNSS·SLAM·의미 분할을 결합한 접근이 연구 단계에 있다.
표 출처: [1] (본문 기준으로 재구성)
여기서 중요한 것은 정확도 2도가 아니라 중심와가 1도라는 사실이다. 사람이 선명하게 보는 범위 자체가 좁다. 시선 추적 장치가 아무리 좋아져도, 사용자가 '한 점을 본다'고 느끼는 그 점은 원래부터 면적을 가진 얼룩이다. 시선의 부정확은 센서의 결함이 아니라 눈의 생리다. 이 점이 이후 모든 설계에서 표적 크기 규칙으로 되돌아온다. 서지 정보에는 오래된 오식이 하나 붙어 있다. 이 논문의 인쇄본 러닝 푸터에는 'Vol. 9, No. 3, April 1991'로 찍혀 있는데, ACM 디지털 라이브러리와 Crossref의 색인은 Volume 9, Issue 2, April 1991, pp. 152–169로 되어 있다. 1991년 TOIS 9권의 쪽수가 연속이라 152~169쪽은 구조적으로 2호에만 들어갈 수 있고, 3호는 187쪽부터 7월호로 시작한다. 인용할 때는 9권 2호로 적어야 색인과 맞는다. 저널 자체의 인쇄 오류가 30년 넘게 인용문헌 목록을 오염시킨 사례다. [1] ### 시선이 고르고 손이 결정한다 미다스의 손 문제에 대한 첫 번째 대안은 체류 시간이었다. 일정 시간 이상 응시하면 선택으로 간주한다. 구현이 간단하고 추가 장치가 필요 없다. 그리고 반드시 실패한다. 체류 시간은 두 방향 모두로 나쁘다. 길게 잡으면 사용자는 모든 선택마다 반 초씩 기다려야 하므로 답답하다. 짧게 잡으면 지나가는 시선이 명령을 발화시키므로 미다스의 손 문제가 그대로 돌아온다. 교환관계의 양 끝이 모두 불량인 것이다. 체류 시간을 조절해서는 이 문제를 풀 수 없다. Ken Pfeuffer, Benedikt Mayer, Diako Mardanbegi, Hans Gellersen이 2017년 ACM Symposium on Spatial User Interaction에서 발표한 Gaze + Pinch는 조절을 포기하고 채널을 나눴다. 확정 신호를 눈에서 빼내 손으로 옮긴 것이다. 눈은 '무엇을'만 정한다. 손은 '언제'와 '어떻게'를 정한다. 이 분업이 우아한 이유는 두 채널의 결함이 서로 어긋난다는 데 있다. | 채널 | 강점 | 약점 | |---|---|---| | 시선 | 빠르다. 목표에 먼저 도착한다. 별도 동작이 없다 | 부정확하다. 끌 수 없다 | | 손 | 정밀하다. 명확히 켜고 끌 수 있다 | 느리다. 들고 있으면 피로하다 |표 출처: [2] (본문 기준으로 재구성)
시선의 약점은 손이 덮고, 손의 약점은 시선이 덮는다. 그리고 결정적인 실용적 이점이 하나 더 붙는다. 손을 들어 올릴 필요가 없다. 집기 동작은 무릎 위에서도 되기 때문에, 팔을 뻗어 허공을 가리키는 자세에서 오는 피로가 사라진다. 시선이 시야 전체를 커버하므로 손은 위치 정보를 제공할 의무가 없고, 켜고 끄는 신호만 담당하면 된다. 이 논문은 이후 상용 기기 상호작용의 학술적 원본으로 인용된다. 피인용 수를 적을 때는 데이터베이스와 조회 시점을 같이 적어야 한다. Semantic Scholar 기준 369회, 같은 시점 Crossref의 is-referenced-by-count 기준 330회로 값이 다르다. DOI는 10.1145/3131277.3132180이다. 다만 이 논문의 원문 문장을 여기에 인용문으로 싣지 못했다. 출판사 정책으로 공개 API에서 초록이 제거되어 있어 원문 확보에 실패했다는 사실을 밝혀 둔다. 기법 자체에 남는 한계도 두 가지다. 첫째, 시선 정확도가 낮은 영역에서는 인접한 작은 대상들을 구분하지 못한다. 둘째, 빠른 선택에서 사용자의 시선이 손의 확정 동작보다 먼저 다음 대상으로 떠나 버리는 '클릭 전 이탈'이 발생한다. 시선은 빠르고 손은 느리므로, 둘을 묶으면 동기화 문제가 새로 생긴다. Jacob이 1991년에 이미 지적한 현상이다. [2] ### 스물여섯 개의 관절 손이 확정 신호를 담당하려면 기계가 손을 읽어야 한다. 여기서 세대 차이가 극명하다. 2016년의 1세대 HoloLens는 손을 '한 점'으로 읽었다. 그 점에 붙일 수 있는 동작은 에어탭과 블룸, 두 개의 상징 제스처뿐이었다. 사용자는 기계가 알아듣는 동작을 외워야 했다. 이것은 키보드 단축키와 구조가 같다. 몸을 쓰지만 몸이 아는 방식은 아니다. 2019년 2월 MWC에서 발표되고 그해 11월 출시된 HoloLens 2는 손을 뼈대 모델 전체로 풀었다. Windows Perception API의 HandJointKind 열거형은 손바닥과 손목에 더해 엄지 4개, 나머지 네 손가락 각 5개를 합쳐 한 손당 0번부터 25번까지 26개 관절을 정의한다. OpenXR의 XR_EXT_hand_tracking 확장도 같은 26개를 쓴다. 숫자만으로는 무엇이 달라졌는지 보이지 않는다. 핵심은 각 관절이 위치만이 아니라 방향까지 갖는다는 점이다. 전방이 손끝, 위가 손등이라는 규약으로 자세가 정의되므로, 앱은 손가락이 몇 도 굽었는지를 직접 읽는다. 개발자가 받는 것이 '탭했다/안 했다'는 이벤트가 아니라 손의 기하학 자체인 것이다. 이벤트를 받으면 정해진 동작만 쓸 수 있다. 기하학을 받으면 새 동작을 정의할 수 있다. Microsoft의 설계 문서는 이 전환을 선언문처럼 적었다. > HoloLens 2에서는 상징적 제스처를 외우게 하지 않는다(we don't ask users to memorize any symbolic gestures). 외워야 하는 인터페이스에서 몸이 이미 아는 인터페이스로 넘어간 지점이다. 버튼은 손가락으로 누르고, 모서리는 잡아 늘린다. 이것이 26관절이 산 것이다. 관절을 푸는 물리적 토대는 센서다. 1메가픽셀 Time-of-Flight 깊이 센서가 거리 영상을 만들고, 4대의 가시광 카메라가 머리 추적 좌표계를 만든다. 손의 관절들은 그 좌표계 위에서 매 프레임 풀려 나온다. | 항목 | HoloLens 2 사양 | |---|---| | 손 추적 | 양손 완전 관절 모델, 한 손 26관절 | | 깊이 센서 | 1-MP Time-of-Flight | | 머리 추적 카메라 | 가시광 4대. 초점거리 1.08 mm, 대각 FOV 96.1도, 스테레오 베이스라인 98.6 mm | | 시선 추적 센서 | 적외선 카메라 2대 | | 마이크 | 5채널 어레이 | | 연산 | Snapdragon 850 + 2세대 HPU | | 무게 | 566 g | | 배터리 | 2~3시간 |표 출처: [3] (본문 기준으로 재구성)
제조사 주장과 실측은 다른 문제다. Istituto Italiano di Tecnologia의 Bertolasi, Garcia-Hernandez, Memeo, Guarischi, Gori는 2025년 연구에서 HoloLens 2의 손 추적을 Vicon 모션캡처와 대조했다. > The results indicate that the HL2 exhibits millimeter-level errors compared to Vicon's tracking system in Task 1, spanning in a range from 2 mm to 4 mm. > > 결과는 HL2가 과제 1에서 Vicon 추적 시스템 대비 밀리미터 수준의 오차, 즉 2 mm에서 4 mm 범위의 오차를 보였음을 나타낸다. > > — Bertolasi 외(2025) 손끝 위치 오차 2~4 mm, 관절 굽힘각 평균 오차 5도다. 손끝 오차는 놀랍도록 작고 각도 오차는 그렇지 않다. 위치를 잘 맞추는 것과 자세를 잘 맞추는 것은 별개의 성취인 셈이다. 이 검증에는 조건이 붙는다. 실내 통제 환경에서 이뤄졌다. 적외선과 ToF에 의존하는 센서가 야외 직사광 아래에서 같은 성능을 낸다는 보장은 없다. 그 밖의 구조적 한계는 세 가지다. 카메라 시야 밖으로 손이 나가면 추적이 끊긴다. 손이 손을 가리는 자가폐색 상황에서 오차가 커진다. 그리고 촉각 피드백이 없다. [3] ### 촉각이 없는 손끝 마지막 한계가 가장 깊다. 손 뼈대를 얻었다고 '만질 수 있게' 되지는 않는다. 실제 버튼은 손끝이 닿는 순간 반발력으로 접촉을 알린다. 사용자는 눈으로 확인하지 않고도 눌렀다는 것을 안다. 허공의 홀로그램은 그러지 못한다. 손끝이 표면을 통과해도 아무 저항이 없고, 아무 신호가 없다. 사용자는 자기 손끝이 어디 있는지 시각으로만 판단해야 하는데, 손끝과 표면의 거리는 시각적으로 가장 판단하기 어려운 정보에 속한다. Microsoft의 해법은 센서 성능이 아니라 설계였다. 손 관절이 26개라고 해서 손끝 10개 전부에 충돌체를 붙이면 안 된다. > However, because of the lack of tactile feedback, 10 collidable fingertips can cause unexpected and unpredictable collisions with holograms. We suggest only putting a collider on each index finger. > > 그러나 촉각 피드백이 없기 때문에, 충돌 가능한 손끝 10개는 홀로그램과 예상치 못한, 예측 불가능한 충돌을 일으킬 수 있다. 우리는 각 검지에만 충돌체를 두기를 권한다. 검지 끝 하나에만 구 충돌체를 두고, 그 지름을 핸드 API에서 조회한 실제 손가락 굵기에 맞춘다. 입력 자유도를 일부러 줄이는 결정이다. 촉각이 없으면 사용자는 자기 손이 무엇을 건드렸는지 모르므로, 건드릴 수 있는 점을 하나로 줄여 예측 가능성을 산다. 그 다음이 피드백 합성이다. 사라진 촉각을 다른 감각 채널로 복원한다. | 장치 | 동작 | 대신하는 감각 | |---|---|---| | 손끝 커서 | 표면에 가까워질수록 작아지는 도넛 | 접촉 직전의 거리감 | | 근접 셰이더 | 홀로그램 표면에 스포트라이트를 비춤 | 손이 이 면을 향한다는 방향감 | | 버튼 눌림 | 손끝을 따라 실제로 눌려 들어가고, 정해진 깊이에서 발화 | 눌리는 행정과 클릭 |표 출처: [4] (본문 기준으로 재구성)
이 설계가 중요한 이유는 문제를 푼 위치에 있다. 촉각 부재는 센서 정확도로 해결되지 않는다. 추적이 0.1 mm로 정확해져도 손끝에 반발력이 생기지는 않는다. 그래서 피드백 채널을 바꾼다. 없는 감각을 시각과 청각, 그리고 기하학적 변형으로 합성한다. 근거리 상호작용의 터치 제스처는 네 종류로 정리된다. 한 손가락 누르기, 한 손가락 탭, 두 손가락 누르기, 다섯 손가락 누르기다. 한계는 정직하게 세 가지다. 근거리 전용이라 팔 길이 이내에서만 쓴다. 공중에 손을 들고 있으면 어깨에 피로가 쌓인다. 그리고 촉각 대체는 어디까지나 대체이므로, 밀리미터 단위 정렬을 요구하는 정밀 작업에는 맞지 않는다. [4] ### 팔이 닿지 않는 곳 직접 조작은 팔 길이 안에서만 성립한다. 야외 대상지를 다루는 경우 대상의 대부분이 팔 밖에 있다. 그러면 원거리 조작이 기본 모드가 된다. HoloLens 2는 손바닥 중심에서 광선을 쏜다. 손가락으로 가리키지 않는 이유가 설계의 핵심이다. 다섯 손가락을 집기와 쥐기 같은 조작 제스처에 온전히 남겨 두려는 것이다. 가리키는 일과 조작하는 일을 신체 부위로 분리했다. 손바닥이 방향을 담당하고 손가락이 동작을 담당한다. 광선 끝에는 도넛 커서가 붙어 교차 지점을 표시하고, 엄지와 검지를 맞부딪치는 동작으로 확정한다. 상태에 따라 시각이 바뀐다. 가리키는 동안은 점선에 도넛 커서, 확정된 뒤에는 실선에 점 커서다. 사용자는 자기가 어느 상태에 있는지 선의 모양으로 안다. 근거리와 원거리의 전환은 자동이다. > When an object is within arm's length (roughly 50 cm), the rays are turned off automatically, encouraging near interaction. > > 물체가 팔 길이 이내(대략 50 cm)에 있으면 광선은 자동으로 꺼지고, 근거리 상호작용을 유도한다. 여기서 결정적인 것은 임계값 50 cm가 아니라 제스처의 동일성이다. 근거리에서 잡는 동작과 원거리에서 확정하는 동작이 같다. 사용자는 거리에 따라 다른 조작법을 배우지 않는다. 하나의 심성 모형으로 팔 안과 팔 밖을 모두 다룬다. 거리는 연속체이고 제스처 언어는 단일하다. 계보를 정확히 적어 둘 필요가 있다. 2019년은 이 방식이 손에 이식된 해이지 창안된 해가 아니다. Microsoft 공식 문서는 원조를 명시한다. > The concept of point and commit for far interaction was created and defined for the Mixed Reality Portal (MRP). In this scenario, a user wears an immersive headset and interacts with 3D objects via motion controllers. … We apply the interaction model of rays and attached them to both hands. > > 원거리 상호작용을 위한 point and commit 개념은 Mixed Reality Portal을 위해 만들어지고 정의되었다. 그 상황에서 사용자는 몰입형 헤드셋을 쓰고 모션 컨트롤러로 3차원 물체와 상호작용한다. … 우리는 레이의 상호작용 모형을 가져와 양손에 붙였다. 즉 2017년 Windows Mixed Reality의 모션 컨트롤러 레이가 원형이고, HoloLens 2는 그 레이의 원점을 컨트롤러에서 손바닥으로 옮긴 것이다. 새 상호작용의 상당수가 이런 이식으로 만들어진다. 원거리 조작의 한계는 기하학에서 직접 나온다. 각도 오차가 거리에 비례해 위치 오차로 확대된다. 손 떨림 1도는 1 m 앞에서 약 1.7 cm이지만 10 m 앞에서는 약 17 cm가 된다. 멀리 있는 대상을 정밀하게 지시하는 일은 원리적으로 어렵다. 팔을 들어야 하므로 장시간 사용에서 피로하다는 문제도 그대로 남는다. [5] ### 1.5도라는 예산 시선을 쓰려면 정확도를 알아야 한다. HoloLens 2는 바이저 안쪽 적외선 카메라 2대로 각막 반사와 동공 윤곽을 잡아 시선 광선 하나를 만든다. 원점과 방향을 가진 광선이다. 기본 API는 이것을 약 30 Hz로 내보내고, 확장 API는 좌우 눈 각각의 벡터를 30, 60, 90 fps 중 선택해 준다. 사람마다 눈의 광축과 시축이 어긋나는 정도가 다르므로 개인별 보정이 필수다. Microsoft가 공개한 정확도는 다음과 같다. > The predicted eye-gaze is approximately within 1.5 degrees in visual angle around the actual target. Slight imprecisions are expected, so developers should plan for some margin around this lower-bound value (for example, 2.0-3.0 degrees may result in a much more comfortable experience). > > 예측된 시선은 실제 표적 주위 시각 약 1.5도 이내에 있다. 약간의 부정확은 예상되므로, 개발자는 이 하한값 주위에 여유를 두고 설계해야 한다(예컨대 2.0~3.0도가 훨씬 편안한 경험을 만들 수 있다). 주목할 것은 1.5도를 '하한값'이라고 부른 점이다. 제조사가 스스로 자기 수치를 최선의 경우로 규정하고 2.0~3.0도로 설계하라고 권한다. 이것이 정직한 사양 표기의 방식이다. 각도는 거리에 비례한 크기로 환산된다. 2 m 거리에서 1.5도는 약 5 cm다. 설계자가 실제로 다루는 단위는 각도가 아니라 이 환산된 크기다. | 항목 | 값 | |---|---| | 공개 정확도 | 시각 약 1.5도(하한값) | | 설계 권장 여유 | 시각 2.0~3.0도 | | 표본율 | 기본 약 30 Hz, 확장 API에서 30/60/90 fps 선택 | | 최소 표적 크기 권장 | 시각 2도 이상. 팔을 뻗었을 때 엄지손톱 크기 | | 추적 실패 시 폴백 타임아웃 | 500~1500 ms 후 머리 방향(head-gaze)으로 전환 |표 출처: [6] (본문 기준으로 재구성)
폴백 규칙이 특히 실무적이다. 시선 추적은 실패할 수 있으므로 실패를 전제로 설계한다. 0.5초에서 1.5초 사이에 시선 신호가 회복되지 않으면 머리 방향으로 되돌린다. 1세대 HoloLens가 시선 대신 쓴 것이 바로 머리 방향이었다. 머리는 몸 전체를 움직여야 하므로 느리지만, 거의 실패하지 않는다. 빠르지만 불안정한 채널의 뒤에 느리지만 튼튼한 채널을 배치하는 구조다. 한계 목록은 길다. 보정에 실패하는 사용자가 존재한다. 특정 콘택트렌즈와 안경, 눈 수술 이력, 눈 생리의 개인차가 원인이 된다. 외부 요인도 치명적이다. 바이저 얼룩, 강한 직사광, 머리카락 가림이 정확도를 떨어뜨리고, 조명이 변하면 재보정이 필요할 수 있다. 야외 현장은 직사광과 급격한 조도 변화가 기본값이므로 구조적 약점이 된다. 눈 데이터는 생체정보이므로 앱마다 사용자 권한 승인을 받아야 한다. 한 가지 더 밝혀 둘 것이 있다. 이 1.5도는 제조사가 공표한 값이고, 이 조사에서 제3자 실측 연구를 확보하지 못했다. 손 추적은 앞서 본 2025년 독립 검증이 있으나 시선은 그렇지 않다. 제조사 주장과 독립 검증이 모두 있는 수치와, 제조사 주장만 있는 수치는 신뢰의 등급이 다르다. [6] ### 운영체제가 된 조합 2017년의 학술 제안이 6년 뒤 운영체제의 기본 입력이 됐다. Apple Vision Pro는 컨트롤러를 아예 주지 않는다. 입력은 눈과 손과 목소리 셋뿐이다. 버튼을 바라보고 엄지와 검지를 맞부딪치면 선택된다. Apple은 이 동작을 아이폰 화면을 누르는 것과 동등한 것으로 규정한다. > With spatial input, you can simply look at a button and tap your fingers together to select it, keeping your arm relaxed on your lap. > > 공간 입력에서는 버튼을 바라보고 손가락을 맞부딪치기만 하면 선택된다. 팔은 무릎 위에 편하게 둔 채로. 마지막 구절이 핵심이다. 팔을 무릎에 둔다. HoloLens 2에서 시선은 보조 신호였고 홀로그래픽 셸의 기본 입력이 아니었다. 주된 방식은 손을 들어 광선을 쏘는 것이었다. Vision Pro는 그 관계를 뒤집었다. 시선이 커서이고 손은 클릭이다. 팔을 들지 않으므로 장시간 사용에서 피로가 크게 줄어든다. 시선이 담당하는 역할은 선택에 그치지 않는다. 양손 확대 동작을 할 때 확대의 기준점이 그 순간 눈이 머문 지점으로 정해진다. 시선이 조작의 좌표계를 제공하는 것이다. 손은 변화량만 말하고, 그 변화가 어디를 중심으로 일어나는지는 눈이 말한다. 이를 지탱하는 하드웨어에서 특이한 것은 센서 전용 실리콘이다. 눈 안쪽을 향한 아이트래킹 카메라 4대와 바깥쪽 월드 트래킹 카메라 6대가 붙어 있고, R1 칩이 센서 입력만 전담한다. Apple의 공식 문구는 이렇다. > R1 streams new images to the displays within 12 milliseconds — 8x faster than the blink of an eye. > > R1은 눈 깜박임보다 8배 빠른 12밀리초 안에 새 이미지를 디스플레이로 스트리밍한다. 여기서 표기에 주의할 것이 있다. 12 ms라는 수치는 정확하지만, 이를 '광자-대-광자 지연'이라 부르는 것은 Apple의 용어가 아니다. Apple 뉴스룸과 사양 페이지 어디에도 photon-to-photon이라는 표기는 없다. 공식 문구가 말하는 것은 센서 입력에서 디스플레이 출력까지의 전체 경로가 아니라 디스플레이로의 이미지 스트리밍 지연이다. 업계에서 통용되는 표현을 제조사 공식값처럼 옮기면 안 된다. 세대 구분도 무너뜨리지 말아야 한다. 현재 판매되는 모델과 첫 출시 모델의 사양이 다르다. | 항목 | 2024년 2월 출시 모델(M2) | 2025년 10월 모델(M5) | |---|---|---| | 지원 주사율 | 90 / 96 / 100 Hz | 90 / 96 / 100 / 120 Hz | | 무게 | 600~650 g(외부 배터리 353 g 제외) | 750~800 g | | 총 화소 | 양안 합계 2,300만, Micro-OLED, 화소 피치 7.5 마이크로미터 | 같음 | | 일반 사용 시간 | 최대 2.5시간 | 최대 2.5시간 |표 출처: [7] (본문 기준으로 재구성)
Apple 사양 페이지는 현재 M5 기준이므로 거기서 본 120 Hz를 2024년 초판 사양으로 옮겨 적으면 틀린 서술이 된다. 편당 해상도도 비슷한 함정이다. 널리 인용되는 '편당 3,660×3,200'은 Apple 공식 사양이 아니다. Apple이 공표하는 것은 총 2,300만 화소와 화소 피치 7.5 마이크로미터뿐이고, 편당 수치는 분해 분석에서 나온 추정치다. 쓸 때는 반드시 구분해 표기해야 한다. 시선 표적 크기 규칙에도 널리 퍼진 오독이 있다. '최소 면적 60포인트'로 알려진 것은 면적 규정이 아니다. Apple 휴먼 인터페이스 가이드라인의 실제 규정은 간격이다. 각 항목 경계 주위에 최소 16포인트의 여백을 두거나, 항목들의 중심이 항상 최소 60포인트 떨어지도록 배치하라는 것이다. 취지는 앞서 본 1.5도 예산과 같다. 시선이 얼룩이므로 얼룩 안에 두 개의 표적이 들어가지 않게 떼어 놓는다. 다만 요소 자체가 60포인트보다 클 필요는 없다. 크기와 여백을 합쳐 확보하면 된다. 그리고 Apple은 시선 정확도를 각도로 공개하지 않는다. HoloLens 2의 1.5도와 직접 비교할 수 있는 수치가 존재하지 않는다. 비교표를 만들 때 이 칸은 빈칸으로 두는 것이 정직하다. 남는 한계는 눈의 생리에서 온다. 눈은 한 번에 하나의 거리에만 초점을 맞춘다. 깊이가 자주 바뀌는 UI는 초점 조절을 반복시켜 피로를 부른다. Apple 스스로 상호작용 콘텐츠는 같은 깊이에 두라고 권한다. 시야 가장자리를 보는 것은 중앙보다 불편하다. 손을 뻗어 직접 만지는 방식은 여전히 곧 피로해진다. [7] ### 앱은 무엇을 보는지 모른다 시선을 기본 입력으로 쓰면 새 문제가 생긴다. 시선은 포인터이면서 동시에 주의의 기록이다. 어디를 얼마나 오래 보았는지는 광고 반응과 인지 부하, 때로는 질병 징후까지 드러낸다. 마우스 좌표와는 성질이 다른 데이터다. Vision Pro의 설계에서 기술적으로 가장 특이한 점은 여기에 대한 답이다. 앱이 사용자의 시선을 모른다. > To protect user privacy, the system handles camera and sensor inputs without passing the information to apps directly. … the system provides a way to automatically alter a view's appearance when someone looks at it, without your app ever knowing what the user is looking at. > > 사용자 프라이버시를 보호하기 위해, 시스템은 카메라와 센서 입력을 앱에 직접 전달하지 않고 처리한다. … 시스템은 사용자가 어떤 뷰를 바라볼 때 그 외양을 자동으로 바꿔주는 방법을 제공하되, 앱은 사용자가 무엇을 보고 있는지 끝내 알지 못한다. 사용자가 버튼을 바라보면 그 버튼의 하이라이트는 앱 프로세스 바깥에서 시스템이 그려 준다. 앱이 시선 위치를 알게 되는 것은 오직 사용자가 손가락을 집었을 때, 그 탭 좌표 하나뿐이다. 즉 시선은 사용자와 시스템 사이의 정보이고, 앱에는 사용자가 명시적으로 확정한 순간의 좌표만 전달된다. 확정 동작이 프라이버시 게이트를 겸하는 구조다. 같은 문제를 HoloLens 2는 다르게 풀었다. 앱 권한 승인이다. 사용자가 허락하면 앱이 시선 데이터를 받는다. Apple은 아예 주지 않는다. 손 데이터도 제한적이다. 실제 손 관절 좌표를 받으려면 몰입형 공간을 열어야 하고, Info.plist에 사용 목적을 명시한 뒤 사용자 승인을 받아야 한다. 승인된 경우 얻는 손 골격의 관절 수는 앞서 본 26개와 다르다. | 플랫폼 | 한 손 관절 수 | 구성 | |---|---|---| | HoloLens 2 / OpenXR XR_EXT_hand_tracking | 26 | 손바닥 1 + 손목 1 + 엄지 4 + 네 손가락 각 5 | | visionOS ARKit HandSkeleton | 27 | 팔뚝 2(forearmArm, forearmWrist) + 손목 1 + 엄지 4 + 네 손가락 각 5 |표 출처: [8] (본문 기준으로 재구성)
차이는 팔뚝 2개다. visionOS는 손목 위쪽까지 골격에 포함한다. 같은 손을 다루는 두 표준이 관절 수를 다르게 정의하므로, 플랫폼을 옮길 때 골격 인덱스를 그대로 옮기면 안 된다. 이 설계가 남기는 제약은 분명하다. 시선 히트맵이나 주의 분석 같은 연구용 응용은 Vision Pro에서 원천적으로 불가능하다. 권한만 받으면 가능한 HoloLens 2와 대비된다. 사람들이 어디를 얼마나 보는지를 측정해 선호를 분석하려는 연구는 플랫폼 선택에서 바로 갈린다. 손 데이터를 쓰려면 몰입형 공간을 열어야 하는데, 그러면 시스템이 다른 앱을 숨긴다. 여러 앱을 띄워 놓고 쓰는 방식과 양립하지 않는다. 사용자가 손 데이터 접근을 거부할 수 있으므로 앱은 데이터 없는 경우를 반드시 처리해야 한다. 한편 visionOS의 손 추적 갱신율과 예측 앵커의 선행 시간은 Apple 문서에 수치가 없어 이 조사에서 확인하지 못했다. [8] ### 보이면 말한다 세 번째 채널은 목소리다. 음성의 값어치는 명령을 말하는 데 있지 않다. 중첩된 메뉴를 한 번에 관통하는 데 있다. 세 단계 깊이의 메뉴를 손으로 열려면 세 번 조작해야 하지만, 이름을 부르면 한 번이다. Microsoft의 설계 원칙은 사용자가 명령어를 외우지 않게 하는 것이다. 버튼에 적힌 이름이 곧 음성 명령이다. 보이면 말할 수 있다. 26관절이 상징 제스처 암기를 없앤 것과 같은 방향의 결정이다. 결정적 진화는 시선과의 결합이다. > HoloLens has a "see it, say it" model for voice input, where labels on buttons tell users what voice commands they can say as well. … you could look at a hologram and say "put this" and then look over where you want to place it and say "over here". > > HoloLens는 음성 입력에 '보이면 말한다' 모델을 쓴다. 버튼에 붙은 레이블이 곧 사용자가 말할 수 있는 음성 명령을 알려준다. … 홀로그램을 바라보며 "이걸 놓아줘"라고 말한 뒤, 놓고 싶은 곳을 바라보며 "저기에"라고 말할 수 있다. 시선이 지시대명사의 지시 대상을 제공한다. '이것'과 '저것'이 무엇인지 눈이 정한다. 사람이 사람에게 말할 때 쓰는 구조 그대로다. 1980년 MIT의 Richard Bolt가 제시한 "Put-that-there"의 개념이 40년 만에 착용형 기기에서 실현된 셈이다. 차이는 지시 채널이 손가락에서 눈으로 바뀐 점이다. 손가락으로 가리키던 것을 눈으로 가리킨다. 여기서 세대 사양을 섞지 않도록 주의해야 한다. 자주 인용되는 5채널 마이크 어레이와 두 갈래 오디오 스트림은 HoloLens 2의 사양이다. 2016년 1세대는 마이크 4개, 무게 579 g, 1세대 HPU였다. | 항목 | 값 | 비고 | |---|---|---| | 마이크 | 5채널 어레이 | HoloLens 2 기준. 1세대는 4개 | | 음성 인식 스트림 | 16 kHz / 24 bit 모노 | 하드웨어 가속, CPU 전력 미소비 | | 주변음 녹음 스트림 | 48 kHz / 24 bit 스테레오 | 같은 마이크에서 분리 처리 | | 시스템 예약어 | 3개 | "Hey Cortana", "Select", "Go to start" | | 명령어 설계 권장 | 2음절 이상, 되돌릴 수 있을 것 | 파괴적 동작을 음성에 걸지 않는다 |표 출처: [9] (본문 기준으로 재구성)
되돌릴 수 있을 것이라는 권장이 중요하다. 음성은 오인식이 구조적으로 존재하는 채널이므로, 잘못 발화됐을 때 복구 가능한 동작만 배치한다. 입력 채널의 신뢰도에 따라 그 채널에 걸 수 있는 동작의 위험도를 제한하는 원칙이다. 음성의 한계는 다섯 가지다. 연속량의 미세 조정에 약하다. '조금 더 크게'의 '조금'을 정량화할 수 없다. 사회적 수용성 문제가 크다. 공유 사무실이나 공공장소에서 혼잣말하는 모습은 받아들여지기 어렵다. 고유명사와 은어, 약어의 인식이 어렵다. 소음 환경에서 취약하다. 그리고 Microsoft 문서는 HoloLens의 음성 인식이 미국 영어 원어민에 맞춰 최적화돼 있다고 명시한다. 한국어 현장 적용의 직접적 제약이다. 그럼에도 음성이 유일한 선택이 되는 상황이 있다. 두 손에 도구를 들고 있을 때다. 손이 막히면 남는 채널은 눈과 입뿐이다. [9] ### 근육이 먼저 말한다 지금까지 본 손 추적은 모두 카메라에 의존한다. 그러면 카메라가 보지 못하는 손은 읽히지 않는다. 주머니 속의 손, 책상 밑의 손, 다른 손에 가려진 손이 그렇다. 이 의존을 끊는 다른 계보가 있다. 근육이 내는 전기를 읽는 방식이다. 뇌의 운동 명령이 척수를 거쳐 운동 뉴런에 도달하면 각 운동 단위가 활동 전위를 내고, 그 전기 신호가 피부 표면까지 전파된다. 손목밴드의 전극이 그것을 잡는다. 표면 근전도, sEMG다. 카메라 기반 추적과 결정적으로 다른 점이 두 가지다. 첫째, 가려짐이 없다. 근육이 수축하면 신호가 나므로 손이 어디에 있든 읽힌다. 둘째, 움직임이 실제로 일어나기 전에 신호가 나온다. 전기 신호가 근육 수축보다 앞서기 때문이다. 카메라는 움직인 손을 본다. 근전도는 움직이려는 의도를 읽는다. 이 방식의 역사적 장벽은 정확도가 아니라 보정이었다. 팔 굵기, 지방층 두께, 전극 위치가 조금만 달라져도 신호 패턴이 달라진다. 그래서 사용자마다 보정 절차를 거쳐야 했고, 의수 제어 같은 특수 용도를 벗어나지 못했다. 매번 30분씩 보정해야 하는 입력 장치를 일상 기기로 쓸 수는 없다. Meta의 CTRL-labs 팀은 이를 데이터 규모 문제로 재정의했다. 한 사람의 데이터로 학습한 모델이 다른 사람에게서 77~83%의 오류를 내는 것은 모델이 개인의 특성을 외웠기 때문이다. 수천 명의 데이터를 넣으면 개인차를 관통하는 표현을 배울 수 있다는 가설이다. 결과는 2025년 7월 23일 Nature에 실렸다. > …the first high-bandwidth neuromotor interface with performant out-of-the-box generalization across people. > > …사람들 사이에서 별도 조정 없이 곧바로 성능을 내며 일반화되는, 최초의 고대역폭 신경운동 인터페이스. > > — Kaifosh, Reardon, CTRL-labs at Reality Labs(2025) 처음 착용한 사람에게도 보정 없이 작동한다. 개인화는 필수에서 선택으로 강등됐다. 학습에 쓰인 데이터 규모가 이 주장의 근거다. 과제별로 참가자 수가 다르다. | 과제 | 학습 코퍼스 참가자 | 폐루프 검증 참가자 | |---|---|---| | 필기 | 6,627명 | 20명 | | 이산 제스처 | 4,900명 | 24명 | | 손목 자세 | 162명 | 17명 |표 출처: [10] (본문 기준으로 재구성)
Nature 게재본의 표현대로 과제에 따라 162명에서 6,627명까지다. 손목 자세만 참가자 수가 두 자리 적은 것에 주의할 필요가 있다. 이 과제는 모션캡처로 측정한 실제 손목 굽힘각을 동시에 기록해야 했기 때문이다. 정답 레이블을 붙이는 비용이 규모를 제한한 셈이다. 그리고 뒤에서 볼 성능 차이가 바로 이 규모 차이와 겹친다. 하드웨어 사양은 프리프린트에서 확인된 연구용 장치의 것이다. | 항목 | 값 | |---|---| | 전극 | 금도금 48개 | | 채널 | 16개 양극(bipolar) | | 표본율 | 2 kHz | | 노이즈 | 2.46 µVrms | | 밴드 크기 | 4종 | | 연결 / 배터리 | 블루투스 무선 / 4시간 이상 |표 출처: [10] (본문 기준으로 재구성)
성능은 Nature 게재본 수치로 적어야 한다. 프리프린트와 게재본의 값이 다르기 때문이다. | 지표 | Nature 게재본(2025) | |---|---| | 연속 탐색 표적 획득 | 초당 0.66회 | | 이산 제스처 검출 | 초당 0.88회 | | 필기 | 분당 20.9 단어 | | 개인화 효과 | 20분치 개인화 데이터로 문자 오류율 16% 감소 |표 출처: [10] (본문 기준으로 재구성)
개인화 효과의 방향을 명시하는 것이 중요하다. 이것은 대역폭이 16% 오른 것이 아니라 문자 오류율이 16% 내려간 것이다. 6,400명으로 학습한 범용 모델에서도 20분치 개인 데이터가 그만큼의 오류 감소를 가져왔다는 서술이다. 프리프린트판은 최대 30% 향상이라는 다른 지표를 실었으므로 두 값을 섞으면 안 된다. > Input bandwidth can be further improved up to 30% by personalizing sEMG decoding models to the individual. > > sEMG 디코딩 모델을 개인에 맞춰 개인화하면 입력 대역폭을 최대 30%까지 더 높일 수 있다. 서지 정보도 판본을 구분해야 한다. Nature 645권 702–711쪽, DOI 10.1038/s41586-025-09255-w이고 제목은 'A generic non-invasive neuromotor interface for human-computer interaction'이다. 하이픈 없는 'noninvasive'는 프리프린트 제목 표기다. 저자 줄은 Patrick Kaifosh, Thomas R. Reardon, 그리고 단체 저자 CTRL-labs at Reality Labs 순이다. Crossref의 저자 배열은 246개 항목이고 그중 하나가 단체명이므로 개인 저자는 245명이다. 프리프린트는 2024년 2월 28일에 bioRxiv에 게시됐고 2차 판본이 그해 7월 23일에 올라왔다. DOI 문자열에 박힌 2024.02.23은 게시일이 아니라 투고 스탬프이므로 게시일로 읽으면 안 된다. 피인용은 Semantic Scholar 기준 84회, 같은 시점 Crossref 기준 79회다. 한계는 네 가지다. 첫째, 분당 20.9 단어는 숙련된 스마트폰 타이핑의 분당 35~40 단어에 못 미친다. 손목밴드로 문자를 입력하는 것이 아직 키보드를 대체하지 못한다는 뜻이다. 둘째, 과제별 성능이 고르지 않다. 이산 제스처와 필기는 90% 이상의 분류 정확도에 도달하지만 손목 자세는 75% 이상에 머문다. 앞서 본 학습 참가자 수 162명이라는 조건과 무관하지 않을 것이다. 셋째, 그리고 구조적으로 가장 중요한 한계는 손목밴드가 손의 절대 위치를 모른다는 점이다. 근육 신호는 손이 무엇을 하는지 알려주지만 손이 공간의 어디에 있는지는 알려주지 않는다. 위치는 다른 센서가 말해야 한다. 이 채널은 카메라를 대체하지 않고 보완한다. 넷째는 자료의 성격에 관한 것이다. 위에 적은 하드웨어 사양은 모두 논문의 연구용 장치 사양이다. 2025년 9월 제품화된 손목밴드가 같은 전극 수와 표본율을 쓰는지는 이 조사에서 확인하지 못했다. 제품 사양과 연구 장치 사양을 섞어 쓰면 틀린 서술이 된다. [10] ### 좌표를 어디에 심는가 여기까지가 한 사람이 눈앞의 물체를 조작하는 문제였다. 여러 사람이 같은 자리에서 같은 물체를 보려면 문제가 하나 더 생긴다. 공통 좌표 원점이 필요하다. 각자의 기기가 각자의 좌표계를 쓰면, 같은 물체를 서로 다른 자리에서 보게 된다. 공간 앵커가 그 원점 역할을 한다. Google의 Cloud Anchors가 쓰는 방식은 두 단계다. 먼저 기기가 앵커 주변 공간을 여러 각도에서 촬영해 3차원 특징점 지도를 만들어 서버에 올린다. 다른 기기가 같은 장소에서 카메라를 들면, 서버가 그 화면의 시각 특징을 저장된 지도와 대조해 기기의 위치와 방향을 역산한다. 지도 품질은 INSUFFICIENT, SUFFICIENT, GOOD 세 등급으로 실시간 피드백된다. | 항목 | 값 | |---|---| | 동시 진행 가능 작업 | 최대 40개 | | 앵커 수명 | API 키 인증 시 최대 24시간. 그 이상은 키리스 인증 필요 | | 호스트 요청 할당량 | 분당 30회(IP·프로젝트당) | | 리졸브 요청 할당량 | 분당 300회(IP·프로젝트당) | | 지도 품질 등급 | 3단계 | 호스트가 분당 30회, 리졸브가 분당 300회라는 비대칭이 이 기술의 사용 방식을 드러낸다. 심는 일은 드물고 찾는 일은 잦다. 한 번 심어 여러 사람이 여러 번 불러오는 구조를 전제한 할당량이다. 경쟁 구도는 정리되어 있지 않다. Meta Quest의 공유 공간 앵커는 그룹 식별자로 앵커를 공유하며, 공유받은 기기에서는 로컬 앵커처럼 동작한다. 다만 공식 문서는 적용 범위를 좁게 적는다. > Currently, SSA supports local multiplayer games in a single room. > > 현재 공유 공간 앵커는 단일 공간 내의 로컬 멀티플레이만 지원한다. Microsoft 계열의 Azure Spatial Anchors는 서비스가 종료되어 현재 공백이다. 다만 이 조사에서 공식 종료 공지 원문에 도달하지 못했다. 확인한 것은 전용 문서 경로가 Azure 제품 허브로 리다이렉트되고, 혼합현실 공유 경험 문서에서 관련 언급이 모두 삭제됐다는 정황까지다. 통상 인용되는 2024년 11월의 종료일은 미검증 상태다. 실내는 벽에 마커를 붙이면 된다. 야외에는 붙일 벽이 없다. Google의 답은 지구 전체를 마커로 쓰는 것이다. 15년 넘게 축적한 거리 촬영 영상에서 뽑아낸 전 지구 3차원 점군과 기기 카메라 화면의 특징을 대조해 위치를 정한다. GPS만으로는 건물 사이에서 수 미터에서 수십 미터가 틀리지만, 이 방식은 건물 모서리와 간판, 가로 구조 같은 영속적 지형지물을 직접 맞추므로 훨씬 정밀한 위치와 방위각을 준다. 야외 AR의 병목은 1990년대부터 한결같이 정합이었다. 1997년 Feiner의 투어링 머신은 GPS와 자력계에 의존해 수 미터의 오차를 감수했다. 이 접근은 그 문제를 뒤집었다. 기기의 센서를 좋게 만드는 대신, 세계 전체를 미리 스캔해 둔다. 앵커의 종류와 도입 시점은 한 덩어리가 아니라 세 단계 확장이다. | 앵커 종류 | 기준 | ARCore 도입 | |---|---|---| | WGS84 앵커 | 위경도 + 타원체 기준 고도 | 1.31.0(2022-05-11) | | 지형(Terrain) 앵커 | 지면 기준 높이 | 1.33.0(2022-08-18) | | 지붕(Rooftop) 앵커 | 건물 옥상 기준 | 1.37.0(2023-05-10). Streetscape Geometry 동시 추가 | 야외 대상지에서 결정적인 것은 지형 앵커다. 지반고를 몰라도 '이 지점의 땅 위 1.5 m'라고 지정할 수 있다. 위경도와 고도를 함께 요구하는 WGS84 앵커는 땅의 높이를 먼저 알아야 하므로, 측량 성과가 없는 곳에서는 쓰기 어렵다. 지형 앵커가 2022년 8월에 별도로 추가됐다는 사실 자체가, 야외에서 무엇이 실제 병목이었는지를 말해 준다. 정확도 표기 방식도 특이하다. 고정된 수치가 없다. 장소와 시간대, 날씨, 촬영 각도에 따라 달라지기 때문에 Google은 상수를 공표하지 않고 실시간 추정치를 API로 내보낸다. 수평 정확도와 수직 정확도는 미터 단위로, 방위각 정확도는 도 단위로 나온다. 셋 다 정의가 같다. > [getHorizontalAccuracy returns] the radius of the 68th percentile confidence level around the estimated horizontal location. > > [getHorizontalAccuracy가 반환하는 값은] 추정된 수평 위치를 중심으로 한 68번째 백분위 신뢰 수준의 반경이다. 참값이 그 반경 안에 있을 확률이 68%라는 뜻이다. 100%가 아니다. 그러므로 앱은 매 프레임 이 값을 읽어 임계값과 비교하고, 기준을 넘지 못하면 가상 물체를 그리지 않거나 사용자에게 더 움직이라고 요구하는 구조로 짜야 한다. 정확도가 상수가 아닌 시스템에서는 정확도 자체가 입력이 된다. 방위각 정확도 API의 이름도 시점에 따라 다르다. 2022년 5월 시점에는 방위 정확도를 반환하는 getHeadingAccuracy였고, 야우 회전 정확도를 노출하는 getOrientationYawAccuracy로 바뀐 것은 같은 해 12월 8일 버전 1.35.0부터다. 발표 연도와 API 이름을 한 줄에 묶어 적으면 존재하지 않았던 함수를 발표 시점 기능으로 만들게 된다. 한계는 야외라는 조건에서 직접 나온다. 거리 촬영 차량이 들어가지 못한 곳에서는 작동하지 않는다. 보행로 내부, 산지, 새로 조성된 대지가 그렇다. 특징이 부족한 면에서도 지도 품질이 확보되지 않는다. 균질한 풀밭, 콘크리트 포장, 수면이 그렇다. 그리고 식생은 계절과 생장에 따라 외형이 크게 바뀌므로 특징 대조가 어긋난다. 잎이 지고 꽃이 피고 눈이 쌓이는 공간에서는 특징점 지도의 수명이 짧다. 실내 앵커에도 같은 제약이 있다. 기기를 제자리에서 회전시키는 것으로는 지도가 만들어지지 않고, 실제로 걸어 이동하며 여러 시점에서 촬영해야 한다. [11][12] ### 채널들의 이름표 이 장에서 다룬 입력 채널을 한 표로 정리하면 각자 무엇을 맡아야 하는지가 드러난다. 빈칸은 제조사가 공표하지 않았거나 이 조사에서 확인하지 못한 항목이다. | 채널 | 정확도 | 끌 수 있는가 | 가려짐 | 주요 피로 | |---|---|---|---|---| | 시선 | HoloLens 2 시각 1.5도(하한). Vision Pro 미공표 | 아니다 | 얼룩·직사광·머리카락에 취약 | 초점 조절 | | 손 관절(카메라) | 손끝 2~4 mm, 굽힘각 평균 5도(실내 검증) | 그렇다 | 시야 이탈·자가폐색에 취약 | 팔을 드는 자세 | | 손목 근전도 | 제스처·필기 분류 90% 이상, 손목 자세 75% 이상 | 그렇다 | 없다 | 낮다. 다만 절대 위치를 모른다 | | 음성 | 미국 영어 원어민 최적화 | 그렇다 | 없다. 소음에 취약 | 사회적 부담 |표 출처: [3][5][6][2][10][9][11] (본문 기준으로 재구성)
이 표에서 읽어야 할 것은 어느 채널이 우수한지가 아니다. 어느 채널도 혼자서는 완결되지 않는다는 사실이다. 시선은 끌 수 없고, 손은 가려지고 피로하고, 음성은 미세 조정을 못 하고 사람들 앞에서 쓰기 어렵고, 근전도는 손이 어디 있는지 모른다. 그래서 설계는 채널을 고르는 일이 아니라 채널을 나누는 일이 된다. 무엇을 고르는 일은 가장 빠른 채널에 맡기고, 결정하는 일은 켜고 끌 수 있는 채널에 맡기고, 되돌릴 수 없는 일은 어느 채널에도 단독으로 맡기지 않는다. 35년 전 Jacob이 정한 것은 해법이 아니라 문제였다. 그 문제 설정이 지금까지 남았다는 사실이 이 분야의 성격을 말해 준다. 1991년에는 시선 추적 장비가 연구실을 벗어나지 못했고, 손의 관절을 실시간으로 푸는 일은 상상 밖이었다. 정의가 먼저 있었고 하드웨어가 30년 늦게 따라왔다. 그리고 하드웨어가 도착했을 때, 설계자들이 집어 든 답은 Jacob이 열어 둔 방향 그대로였다. 시선만으로 확정하지 않는다. 확정은 반드시 다른 채널이 한다. 미다스의 손 문제는 해결된 것이 아니라 분업으로 우회됐다. 시선이 무엇을 고를지 말하고 손이 언제 실행할지 결정하는 구조, 그 구조가 이 장에서 다룬 모든 기기의 공통 답이다. [3][5][6][2][10][9][11]본문의 번호를 누르면 출처로 이동합니다. 절 끝의 번호는 그 절의 사실 자료를, 표 아래의 번호는 표에 사용한 자료를 가리킵니다. 비교·계산·비유와 결론은 필자의 재구성입니다. 한 번호에 함께 사용한 문헌이 둘 이상이면 묶어서 적었습니다.
서지정보와 확인 메모는 옵시디언 조사 기록을 바탕으로 복원했습니다. 원 기록의 ‘전문 확인’·‘조회’ 표기는 당시 조사 상태이며 이번 웹판에서 모두 재검증했다는 뜻은 아닙니다. 불완전한 서지사항은 임의로 채우지 않았습니다.
Jacob 자신이 밝혔듯 '의도한 응시'와 '그냥 본 것'은 **일반적으로 구분이 불가능하다**. 그는 특정 상황별 상호작용 기법으로 우회할 뿐이라고 썼다. 또한 빠른 선택에서는 사용자의 시선이 손의 클릭보다 먼저 다음 대상으로 떠나버리는 '클릭 전 이탈(leave before click)' 현상이 생겨, 느린 확정 채널과의 동기화가 별도 문제로 남는다.
논문 초록이 출판사 정책으로 공개 API에서 차단돼 있어, 이번 조사에서 원문 문장을 직접 확보하지 못했다(아래 uncertain 참조). 기법 자체의 한계로는, 시선 정확도가 낮은 영역에서 인접한 작은 대상들을 구분하지 못하는 문제와, 집기 동작 직전에 시선이 이미 다음 대상으로 이동하는 '클릭 전 이탈'이 남는다.
카메라 시야(FOV) 밖으로 손이 나가면 추적이 끊긴다. 손이 손을 가리는 자가폐색(self-occlusion) 상황에서 오차가 커진다. 촉각 피드백이 없어 '눌렀다'는 감각을 시각·청각으로 대체해야 한다. 정확도 검증은 실내 통제 환경에서 이뤄졌고, 야외 직사광 아래 IR·ToF 센서 성능은 별도 문제다(조경 현장에 그대로 옮기기 어려운 이유).
근거리 전용이다(팔 길이 이내). 공중에 손을 들고 있으면 피로가 쌓인다(gorilla arm). 촉각 대체는 어디까지나 대체이므로 정밀 작업(밀리미터 단위 정렬)에는 부적합하다.
손 떨림이 광선 끝에서 증폭된다 — 거리가 멀수록 각도 오차가 위치 오차로 확대되어 원거리 정밀 지시가 어렵다. 팔을 들어야 해서 장시간 사용 시 피로하다.
보정에 실패하는 사용자가 존재한다(특정 콘택트렌즈·안경, 눈 수술 이력, 눈 생리 차이). 외부 요인도 치명적이다 — 바이저 얼룩, **강한 직사광**, 머리카락 가림. 조명이 변하면 정확도가 떨어져 재보정이 필요할 수 있다. 야외 조경 현장은 직사광·급격한 조도 변화가 기본값이라는 점에서 구조적 약점이다. 눈 데이터는 생체정보이므로 앱마다 사용자 권한 승인이 필요하다.
Apple은 시선 정확도를 각도로 공개하지 않는다(60포인트라는 UI 규칙으로만 제시). 눈은 한 번에 하나의 거리에만 초점을 맞추므로, 깊이가 자주 바뀌는 UI는 눈의 피로를 부른다 — Apple 스스로 '상호작용 콘텐츠는 같은 깊이에 두라'고 권한다. 시야 가장자리를 보는 것은 중앙보다 불편하다. 직접 터치(손을 뻗어 만지기)는 공중에 손을 들어야 해서 곧 피로해진다.
시선 데이터를 앱이 못 쓰므로, 시선 히트맵·주의 분석 같은 연구용 응용은 Vision Pro에서 원천적으로 불가능하다(HoloLens 2는 권한만 받으면 가능). 손 데이터를 쓰려면 몰입형 공간을 열어야 하는데, 그러면 시스템이 다른 앱을 숨긴다 — 여러 앱을 띄워놓고 쓰는 방식과 양립하지 않는다. 사용자가 손 데이터 접근을 거부할 수 있으므로 앱은 데이터 없는 경우를 반드시 처리해야 한다.
연속량의 미세 조정에 약하다 — "조금 더 크게"의 '조금'을 정량화할 수 없다. 사회적 수용성 문제가 크다(도서관, 공유 사무실, 공공장소에서 혼잣말하는 모습). 고유명사·은어·약어는 인식이 어렵다. 소음 환경에서 취약하다. Microsoft 문서는 HoloLens의 음성 인식이 **미국 영어 원어민에 맞춰 최적화**돼 있다고 명시한다 — 한국어 현장 적용의 직접적 제약이다.
분당 20.9 단어는 숙련된 스마트폰 타이핑(분당 35~40 단어 수준)에 못 미친다. 손목 자세 분류 정확도는 제스처·필기(90% 이상)보다 낮은 75% 이상에 머문다. 손목밴드는 손의 **절대 위치**를 모른다 — 공간상 어디에 있는지는 다른 센서가 알려줘야 한다. 프리프린트(2024)와 Nature 게재본(2025)의 수치가 다르다(필기 17.0 → 20.9 wpm, 개인화 이득 8.35% → 16%). 책에 쓸 때는 **Nature 게재본 수치**를 쓰고 프리프린트와 구분해야 한다.
특징점 지도는 **환경이 변하면 무효가 된다** — 계절에 따라 잎이 지고, 꽃이 피고, 눈이 쌓이는 조경 공간에서는 지도 수명이 짧다. 기기를 제자리에서 회전시키는 것으로는 부족하고 **실제로 걸어 이동**하며 여러 시점에서 촬영해야 한다. 특징이 부족한 면(균질한 잔디, 콘크리트 포장, 수면)에서는 지도 품질이 확보되지 않는다. Azure Spatial Anchors는 2024년 11월 서비스가 종료되어, Microsoft 계열 해법은 현재 공백 상태다(종료 시점은 아래 uncertain 참조).
Google은 **고정된 정확도 수치를 공표하지 않는다** — 장소·시간대·날씨·촬영 각도에 따라 달라지기 때문이다. 앱이 매 프레임 정확도 값을 읽어 임계값과 비교하는 구조로 짜야 한다. 스트리트뷰가 들어가지 못한 곳(공원 내부 보행로, 산지, 신규 조성지)은 VPS가 작동하지 않는다. 식생은 계절·생장에 따라 외형이 크게 바뀌므로 특징 대조가 어긋날 수 있다. 조경 대상지의 상당수가 정확히 이 사각지대에 있다는 점이 실무적 제약이다.
표 출처: [2] (본문 기준으로 재구성)
세 가지가 걸러진다. 첫째, 설계 기관은 RAE다. Rank Cintel과 Elliott만 적고 RAE를 빼면 개발의 인과 사슬에서 설계 주체가 사라진다. 둘째, 375는 장치 수이며 생산라인 전체의 누계다. 이것을 기체 수로 읽으면 Buccaneer 총 생산 211기와 정면으로 모순된다. 셋째, 이 장치를 "세계 최초의 실용 HUD"라고 부를 근거는 확인된 출처에 없다. 출처가 말하는 것은 용어의 최초 사용이다. 게다가 같은 문서가 1955년 미 해군 ONR의 HUD 목업을 Buccaneer보다 먼저 기술한다. 용어의 최초 사용과 장치의 최초 실용화는 다른 주장이다. 유사 파생형은 1959년부터 English Electric Lightning에 미사일 공격 모드와 함께 장착됐다. 여기서부터 HUD는 서방 전투기의 표준 장비로 굳는다. [2] ### 문법을 만든 사람 초기 HUD는 기종마다 기호가 달랐다. 조종사가 기종을 옮기면 화면 읽는 법을 다시 배웠다. 1960년대에 프랑스 시험조종사 Gilbert Klopfstein이 최초의 현대적 HUD와 표준화된 기호 체계를 만들었다. 자세와 비행경로, 속도 추세를 기호의 형태와 위치만으로 읽게 하는 문법이다. 여기서 비행경로 벡터처럼 기체가 실제로 향하는 방향을 공간에 정합해 그리는 개념이 정립된다. 정확히 하자면 출처가 확인해 주는 것은 표준 기호 체계까지다. 그 체계가 기종 간 이식성을 보장했다는 서술은 출처 범위를 넘는다. 표준화 이전의 기종별 심볼로지가 사실상 사멸했다는 주장도 근거가 없다. 군에서 민간으로 넘어가는 과정은 안전이 아니라 경제가 밀었다. 저시정 상황에서 착륙을 포기하고 회항하면 항공사는 연료와 숙박, 보상 비용을 직접 물고 정시성 지표가 깎인다. HUD는 저시정 착륙 기준을 낮춰 결항과 회항을 줄이는 수단으로 채택됐다. | 연도 | 사건 | |---|---| | 1955 | 미 해군 ONR HUD 목업 | | 1958 | Buccaneer 시스템 통합 | | 1960년대 | Klopfstein 표준 심볼로지 | | 1975 | 계기착륙용 현대 HUD 개발 | | 1970년대 | 민항 도입 | | 1988 | Oldsmobile Cutlass Supreme, 최초 양산차 HUD |표 출처: [3] (본문 기준으로 재구성)
이 표에서 확산 기간을 계산할 때 주의할 점이 있다. 1958년을 기점으로 1970년대 민항 도입까지는 12년에서 21년 사이다. 이것을 "20년 이상"으로 쓰면 구간의 상한만 임의로 취한 과장이 되고, 1988년까지 늘려 "약 30년"으로 쓰면 양 끝점이 모두 부실한 자체 산술이 된다. 더 큰 문제는 '1970년대 민항 도입'이라는 시점 자체가 3차 자료의 문장 하나에만 근거한다는 것이다. 항공사 이름도, 기종도, 형식증명 연도도 없다. 같은 문서는 A320·A330·A340·A380 계열이 여전히 HUD 인증 절차를 밟고 있다고 적는다. 군에서 민간으로의 확산은 한 번에 끝난 사건이 아니라 지금도 진행 중인 과정이다. [3] ### 천장에 매달린 검 1968년 하버드대의 Ivan Sutherland가 학생 Bob Sproull, Quintin Foster, Danny Cohen 등과 함께, 사용자 머리 자세가 바뀌면 그에 맞춰 영상을 다시 그려 주는 최초의 머리 장착 표시장치를 만들었다. 와이어프레임으로 된 방 모형을 띄웠다. 장치가 무거워 천장에 매달았고, 그 현가 구조 때문에 '다모클레스의 검'이라는 별명이 붙었다. 엄밀히 말하면 이 이름은 머리 방향을 읽는 기계식 추적 팔을 가리킨다. 표시장치 전체의 이름으로 쓰는 것은 통용되지만 기술적으로는 부정확하다. 이 연구에서 이 장의 주제와 직접 맞닿는 사실은 부품의 출처다. > The optical see-through head-mounted display used in Sutherland's VR system was a stock item used by U.S. military helicopter pilots to view video from cameras mounted on the helicopter's belly. 기성품이었다. 미군 헬기 승무원이 기체 배면 카메라 영상을 보는 데 쓰던 장비였다. 자주 인용되는 "소형 CRT"라는 특정은 출처에 없다. 기성품이었던 것은 표시장치다. 이 한 문장이 말해 주는 것이 크다. 1960년대에 사람 머리에 씌울 만큼 작은 표시장치를 만들 수요와 자금을 가진 곳은 군뿐이었다. 학술 연구조차 군수 부품 목록에서 재료를 조달했다. 증강현실과 가상현실의 물질적 기반은 처음부터 군수였다. 연구로서는 성공이었고 이후 모든 머리 장착 표시장치 계보의 출발점으로 인용된다. 그러나 실용 장치가 되기까지 다시 20년 이상이 걸렸다. [4] ### 정보 병목과 Super Cockpit 1970~80년대 전투기 조종석에서는 다른 종류의 위기가 자라고 있었다. 레이더, 전자전, 항법, 무장 정보가 폭증했는데 조종석 면적은 늘릴 수 없었다. 계기를 더 달 자리가 없다는 것이 문제였다. Thomas A. Furness III는 미 공군 Armstrong Aerospace Medical Research Laboratory 인간공학부 시각표시장치과장으로 오하이오 Wright-Patterson 공군기지에 재직했다. 1966년 9월부터 1989년까지다. 그는 이 상태를 정보 병목으로 규정하고, 계기판 자체를 없애고 조종사 주위에 3차원 정보 공간을 만들자는 발상을 밀었다. 머리와 시선, 음성을 입력으로 쓰고 헬멧을 출력으로 쓰는 시각 결합 방식이다. 1986년에 Super Cockpit 프로그램을 조직해 프로그램 디렉터를 맡았고, 1989년 가을 퇴직할 때까지 이끌었다. 여기서도 확인의 한계를 적어 둔다. Furness의 업적으로 흔히 함께 거론되는 VCASS라는 시뮬레이터는 이 조사가 확인한 출처 어디에도 등장하지 않는다. 시야각이나 해상도 수치도 확인되지 않았다. Super Cockpit의 예산 규모 역시 확인하지 못했다. 재직 시작 연월도 두 출처를 섞어야 나오는 값이라 귀속에 주의가 필요하다. 프로그램 자체는 전투기에 그대로 실장되지 못했다. 그러나 남긴 것이 훨씬 크다. Furness는 1989년 9월 워싱턴대로 옮겨 HIT Lab을 세웠다. 군에서 축적한 인간공학 방법론과 표시장치 설계 경험이 여기서 민간 연구로 흘러나갔다. 그는 2018년에 이 분야 50년 공로로 평생공로상을 받았고 IEEE 펠로로 선출됐다. 같은 계열의 한 갈래가 1992년 미 공군 Armstrong Laboratory에서 나왔다. Louis Rosenberg의 가상 고정물 연구다. 원격 조작에서 실제 환경 위에 가상의 안내 구조물을 겹쳐 주면 조작자의 수행이 유의하게 향상된다는 결과였다. 향상률 수치는 이 조사에서 확인하지 못했다. 다만 방향은 분명하다. 증강의 가치는 더 많이 보여 주는 데 있지 않고, 사람이 해야 할 판단의 수를 줄이는 데 있다. [5] ### 시선을 조준선으로 다음 단계는 시선 자체를 조준 입력으로 쓰는 헬멧이었다. 미 해군과 Honeywell이 만든 VTAS가 서방 최초의 헬멧 조준 체계다. 조종사 헬멧에 조준 레티클을 띄우고 헬멧의 방향을 추적해, 조종사가 보는 곳으로 미사일 탐색기를 돌려 준다. 기수를 표적 쪽으로 돌리지 않고 조준한다는 것이 목적이었다. 동인은 명확했다. 근접전에서 기수를 돌리는 시간이 곧 피격 위험이다. 베트남전에서 드러난 낮은 교환비가 보는 곳으로 쏘게 하라는 요구를 만들었다. | 시점 | 내용 | 플랫폼 | |---|---|---| | 1969년부터 | AIM-9와 함께 통합 | 후기형 해군 F-4 팬텀 | | 1970년대 초 | 비행 시험 | F-4J | | 1974~1978년 | ACEVAL/AIMVAL 평가 | F-14, F-15 |표 출처: [6] (본문 기준으로 재구성)
시험 플랫폼을 구분하는 것이 중요하다. F-4J에서 비행한 것과 ACEVAL/AIMVAL 평가 기체는 다르다. 후자는 F-14와 F-15다. 두 사실을 뭉치면 없던 사건이 만들어진다. 그리고 이 항목에서 통설은 출처와 정반대다. 자료는 VTAS를 실패로 적지 않는다. > received praise for its effectiveness in targeting off-boresight missiles 호평을 받았다고 적는다. 1970년대 말에 폐기됐다는 시점 주장도 출처에 없다. 널리 반복되는 설명, 즉 헬멧은 되는데 무장이 못 따라왔다는 인과도 근거가 없다. 당대의 AIM-9G는 SEAM이라 불리는 확장 획득 모드를 가졌다. > allowed the slaving of the optics to a radar or helmet sight 무장은 헬멧 조준기에 탐색기를 슬레이빙할 수 있었다. 한계는 연동 불가가 아니라 짐벌 각도와 탐색기 성능의 제약이었다. 그렇다면 VTAS는 왜 확대되지 않았는가. 확인된 출처는 그 이유를 적지 않는다. 모르는 것을 모른다고 적는 것이 이 항목의 정직한 결론이다. 널리 회자되는 "입력장치만 앞서가고 무장이 못 따라온 전형적 사례"라는 요약은 듣기에 매끄럽지만, 이 조사에서는 뒷받침되지 않았다. [6] ### 소련이 앞선 구간 서방이 헬멧 조준에 힘을 빼는 동안 소련은 헬멧과 고기동 단거리 미사일을 한 세트로 묶었다. 조종사가 고개를 돌려 표적을 보면 미사일 탐색기가 그쪽으로 돌아가고, 그대로 발사한다. 기체 성능의 열세를 조종사의 시선이라는 인터페이스로 상쇄하려는 선택이었다. | 항목 | 확인된 값 | |---|---| | Shchel-3UM 설계 | 1981년(ZSh-5/ZSh-7 헬멧) | | R-73 취역 | 1984년 | | R-73 오프보어사이트 각도 | ±40°(수출형 R-73E ±45°) | | MiG-29 소련 공군 취역 | 1983년 8월 | | HMD와 R-73을 갖춘 MiG-29 전력화 | 1985년 | | 서방의 구 동독 MiG-29 접근 | 1990년 독일 통일 이후 |표 출처: [7] (본문 기준으로 재구성)
연도 두 개가 자주 섞인다. MiG-29 자체의 취역은 1983년 8월이다. 1985년은 헬멧 조준기와 고오프보어사이트 무장을 갖춘 구성이 전력화된 시점이다. 한정어를 빼고 1985년을 기체 배치 연도로 적으면 2년이 밀리고, 하필 그 2년이 "서방이 20년 뒤처졌다"는 계산의 기준점이다. 각도도 그렇다. R-73의 표준형 오프보어사이트는 ±40°다. 압도적인 각도 우위가 아니다. 이 수치를 제시하지 않고 조합의 위력만 말하면 독자는 실제보다 큰 격차를 상상한다. 서방의 반응은 성능이 알려진 뒤에 왔다. 1990년 독일 통일로 구 동독 공군의 MiG-29에 접근할 수 있게 되면서, 여러 나라가 MiG-29와 헬멧 조준기, R-73의 조합에 대응하는 프로그램을 시작했다. 여기서 한 가지 유명한 장면은 걸러야 한다. 모의 근접전에서 F-16 등 서방 전투기가 일방적으로 밀렸다는 서술은 널리 회자되지만 확인된 출처에 없다. 출처가 말하는 것은 조합의 실효성이 알려진 뒤 대응 프로그램이 쏟아졌다는 사실까지다. 더 약한 고리도 있다. 남아공 공군이 1975년에 Mirage IIICZ와 Mirage F1AZ에 자체 개발 헬멧 조준기와 Armscor V3A 미사일을 통합했다는 서술이다. 근거는 3차 자료의 단문 하나뿐이고, 교차 확인하면 연대가 흔들린다. Mirage F1AZ의 인도는 1975~1976년에 시작됐고, 남아공 공군 Mirage F1의 실전 투입은 1978년 11월부터다. 인도가 막 시작된 기체에 자체 헬멧 조준기가 같은 해에 통합돼 운용됐다는 서술은 무리가 있다. 통상 남아공의 헬멧 조준 연동은 후속 V3B Kukri와 함께 논의된다. 게다가 이 사례가 소련의 개발을 촉발했다는 인과는 출처 자신이 통설로 한정하고 있다. 논지의 하중이 큰 항목인데 근거가 가장 얇다. [7] ### 한쪽 눈으로 밤을 보다 전투기와는 별개의 계보가 회전익에서 자라났다. 1985년에 미 육군의 AH-64 아파치에 배치된 IHADSS가 그것이다. Honeywell이 만들었고 이탈리아의 Agusta A129 Mangusta에도 채택됐다. 구조가 독특하다. 단안 표시장치를 한쪽 눈앞에 두고 40°×30° 시야에 영상과 기호를 겹쳐 보여 준다. 헬멧에 적외선 발광체를 달아 머리 방향을 측정하고, 그 방향으로 기수 아래의 열영상 카메라를 종속시킨다. 조종사가 고개를 돌리면 카메라가 따라 돌고, 그 열영상이 한쪽 눈에 들어온다. 조종사는 자기 눈이 아니라 기체 바깥의 센서로 밤을 보면서 지형 추수 비행을 한다. 이 조합을 요구한 임무는 하나뿐이었다. 공격헬기의 생존 방식은 지형에 붙어 낮게 나는 것인데, 밤에 그렇게 날려면 조종사가 어둠 속 지형을 봐야 한다. 야간투시경은 시야가 좁고 고개와 무기 조준을 따로 놀게 만든다. 밤에, 나무 높이로, 동시에 조준까지. 세 가지를 한꺼번에 요구한 것은 공격헬기뿐이었다. 성공했다. 1985년 배치 기준으로 40년을 넘겨 현역이다. 그러나 대가가 따랐다. 한쪽 눈만 영상을 받는 단안 구조는 두 눈이 서로 다른 장면을 볼 때 생기는 문제를 구조적으로 안고 있다. 한쪽 시야가 다른 쪽을 억제하는 시각 경합, 특정 눈이 우위를 점하는 시각 우위, 그리고 장시간 착용에서 나오는 두통과 안정피로, 방향감각 이상이다. 여기서 인용의 한계를 밝혀야 한다. 이 인체 영향은 아파치 조종사 관련 문헌에서 널리 논의되지만, 이 조사가 확인한 출처 본문에는 해당 서술이 없다. 미 육군 항공의학연구소는 참고문헌 목록에만 등장하며, 보고서 번호와 제목, 연도, 유병률 수치를 확인하지 못했다. 그래서 이 책은 정성적 수준에서만 적는다. 다만 방향은 분명하다. IHADSS는 증강현실 헬멧이 인체에 부과하는 비용을 대규모 운용에서 처음 드러낸 사례다. 40년 뒤 IVAS 시험에서 보고된 두통과 안정피로는 새로 발견된 문제가 아니었다. [8] ### 헬멧 안으로 들어간 표시장치 이스라엘 Elbit Systems의 DASH가 구조를 바꿨다. 이전 헬멧 조준기는 기존 헬멧에 장치를 덧붙이는 방식이었다. DASH는 표시장치를 헬멧 구조 안에 완전히 집어넣었다. CRT와 구면 바이저를 결합하고 전자기식 위치 센서로 머리 방향을 측정한다. 생산은 1986년경에 시작됐고, GEN III 변형은 1990년대 초에서 중반에 걸쳐 생산에 들어갔다. 이스라엘 공군은 다수 대 소수의 공중전을 전제했고, 첫 발을 먼저 쏘는 능력이 절대적이었다. 동시에 Python 4 같은 고기동 미사일을 자체 개발하고 있었다. 미사일과 헬멧을 같은 조직 안에서 함께 설계할 수 있는 드문 위치였고, 그것이 통합의 속도를 만들었다. F/A-18과 F-5에서도 인증됐고 MiG-21 개량형에 수출됐다. 최신형 DASH IV는 인도 HAL Tejas에 통합돼 있다. 여기서 조달의 아이러니가 생긴다. 미국은 자국의 VTAS 계보를 확대하지 않은 대가로, 뒤에 이스라엘 기술을 사와야 했다. [9] ### 만회 — JHMCS 미국의 만회는 1990년에 시작됐다. 인과의 분기점은 ASRAAM이다. 미국은 공동 단거리 미사일 사업 ASRAAM에서 철수하고, 그 대신 AIM-9X와 JHMCS 개발에 자금을 댔다. 구 동독 MiG-29로 확인된 격차를 스스로 메워야 했다. 주계약 주체를 정확히 적어야 한다. Vision Systems International(VSI)은 Kaiser Electronics와 Elbit의 합작사로 출발했다. Rockwell Collins가 Kaiser를 인수한 것은 나중이다. 1990년대의 사건에 현재의 사명을 소급 적용하면 시대착오가 된다. | 시점 | 내용 | |---|---| | 1990년 | 개발 착수(ASRAAM 철수에 따른 전환) | | FY2002 | 저율초도생산 | | 2003년 11월 | 미 공군 최초 배치, Elmendorf AFB 제12·19전투비행대 | | 2009년 3월 | 호주 공군 F/A-18, ASRAAM '발사 후 락온' 시연 성공 |표 출처: [10] (본문 기준으로 재구성)
체계는 조종사 바이저에 단색 기호를 투사하고 머리 방향을 추적해, 시선을 무장과 레이더, 센서의 조준 입력으로 쓴다. AIM-9X와 결합하면 기수 기준 좌우 최대 80°까지 표적을 지정한다. 적외선 영상을 래스터로 띄워 야간 운용도 지원한다. 장착 기종은 F/A-18A++/C/D/E/F, F-15C/D/E 계열, F-16 Block 40/50/60/70이다. 플랫폼 간 95% 공통이라는 수치는 자주 성과로 인용되는데, 출처상 이것은 제조사의 설계 스펙이다. 독립 검증된 실적치가 아니다. 2009년 3월 호주 공군 시연도 정확히 적어야 한다. 발사된 것은 AIM-9X가 아니라 ASRAAM이다. 미국이 빠진 사업의 미사일이 미국제 헬멧으로 유도됐다는 점이 이 사례의 실제 내용이다. [10] ### HUD를 없애다 F-35는 50년 만에 HUD가 없는 전투기다. 모든 비행 정보와 전술 정보가 헬멧 바이저에 투사된다. 여기에 기체 외피에 박힌 적외선 센서들이 전방위 영상을 합성해 헬멧으로 보낸다. 조종사가 발밑을 내려다보면 조종석 바닥과 기체 구조를 통과해 그 아래 지형이 보인다. 왜 이런 극단적 선택을 했는가. 스텔스기는 외부 형상을 깨는 장비를 달 수 없다. 조종사 한 명이 다수 센서의 융합 결과를 처리해야 한다. 계기판과 HUD를 함께 두면 공간도 시선도 부족하다. 기체 형상을 보존하면서 조종사에게 전방위 인식을 준다는 요구가 HUD 제거를 강제했다. | 항목 | 값 | 조건 | |---|---|---| | 헬멧 단가 | 약 40만 달러/개 | | | DAS 적외선 센서 | 6개, 360° 합성 | AN/AAQ-37 | | 탄도미사일 탐지·추적 | 1,300km(800마일) 초과 | 2011년 훈련 중 시연, 조건 미상, 독립 검증 없음 | | 대체 헬멧 사업 | 2011년 착수, 2013년 10월 중단 | BAE Systems 선정 | | Gen III 도입 | 2016년 | LRIP Lot 7 |표 출처: [11] (본문 기준으로 재구성)
DAS의 1,300km는 수치 자체는 맞지만 맥락 없이 제시하면 오독된다. 2011년 군 연습 중의 탐지·추적 시연 결과이며, 제3자 검증이 붙어 있지 않다. 상시 운용 탐지거리로 읽히게 나열하면 그 순간 과장이 된다. DAS의 공급자는 Northrop Grumman이고 2023년 Lot 15부터 Raytheon이 맡았다. 성공했지만 고통스러웠다. Gen II 헬멧에서 문서로 확인되는 결함은 네 가지다. 진동, 지터, 야간투시, 센서 표시다. Lockheed Martin과 Elbit은 2011년에 야간투시경 기반의 대체 헬멧 사양을 만들고 BAE Systems를 선정했으나, 2013년 10월에 대체 사업을 중단하고 원래 계통의 개량으로 돌아섰다. 2016년에 Gen III가 들어왔다. 야간투시 카메라 개선, 새 액정 표시장치, 자동 정렬, 소프트웨어 개선이 담겼다. 주계약 주체는 VSI이며, 헬멧 쉘 공급사를 주계약자로 적는 서술은 귀속 오기다. 흔히 Gen II의 결함으로 붙는 '그린 글로우'는 세대가 다르다. 어두운 야간 항모 착함에서 표시 밝기가 밑바닥 수준의 배경광을 덮어 버리는 이 문제는 Gen III 헬멧과 F-35C 해상 시험에서 작전시험평가국이 보고한 사안이다. 이 책이 인용한 F-35 일반 문서에는 green glow라는 표현이 아예 없다. 주장을 살리려면 해당 연도의 작전시험평가국 보고서를 직접 인용해야 한다. 이 조사는 그 1차 문서를 열람하지 못했다. 인체 비용도 남았다. 헬멧 자체가 무거워 저체중 조종사의 사출 시 목 부상 위험이 제기됐다. 정확한 중량과 체중 하한 기준은 확인하지 못했다. 그런데 조종석의 이야기는 여기서 끝난다. 좌석에 앉은 사람에게 증강현실을 주는 문제는 1958년부터 2016년까지 58년에 걸쳐 사실상 해결됐다. 문제는 좌석에서 내린 사람이었다. [11] ### Land Warrior — 첫 번째 대형 실패 1989년에 미 육군이 시작하고 1994년에 정식 명명된 Land Warrior는 조종석의 정보 통합을 보병의 몸에 옮기려는 시도였다. 보병 한 명에게 헬멧 장착 표시장치, 무전기, 컴퓨터, 소총 장착 카메라를 준다. 디지털 지도와 아군 위치, 소총 카메라 영상을 눈앞에 띄워 모서리 너머를 보고 쏘게 한다는 목표였다. 동인은 걸프전 이후의 비대칭이었다. 지휘통제망이 차량과 항공기 수준까지 디지털화됐는데 정작 최말단 보병만 아날로그로 남았다. 이 격차를 마지막 전술 마일이라 불렀다. 아군 오인사격 감소도 핵심 명분이었다. 참여 기업이 계속 바뀌었다. General Electric이 초기 시제품을, Hughes Aerospace와 그 후신 Raytheon이 뒤를 맡았고 Motorola가 무전을 담당했다. 1999년에 Exponent Inc.로 재편됐고 2003년에 General Dynamics가 통합 계약을 받았다. | 시점 | 사건 | |---|---| | 1989년 | 사업 시작 | | 1994년 | 정식 명명 | | 2007년 2월 | 취소 | | 2007년 7월 | 부분 부활 | | 2007년 5월~2008년 6월 | 이라크 실전 투입, 229세트, 제4대대 9보병연대 |표 출처: [12] (본문 기준으로 재구성)
취소 사유를 정확히 적는 것이 중요하다. 출처가 드는 것은 두 가지다. 한정된 자원, 그리고 체계 전체의 무게 문제다. 허리케인 카트리나 구호로 예산이 전용됐다는 이야기가 취소 원인으로 자주 붙지만, 출처에서 그 서술은 컴퓨터 하위체계 개발에 한정된 별개 문장이다. 국소적 사실을 사업 취소의 원인으로 승격시키면 안 된다. 총 사업비로 흔히 인용되는 5억 달러 안팎의 금액도 이 조사에서는 확인되지 않았다. 실전에서 나온 증언이 가장 날카롭다. 병사들은 무게와 배터리 부담을 문제 삼았고, 일부는 장비를 두고 나갔다. 증강현실 장비의 최종 평가는 시험장의 성능 수치가 아니라 이 행동이다. 쓰지 않으면 성능은 0이다. 무게를 비교할 때는 단위를 맞춰야 한다. Land Warrior 앙상블은 약 10파운드 규모였고, 그중 전투조끼 배터리만 최대 2.5파운드(1.1kg)였다. 후속 사업 Nett Warrior는 체계 무게 3파운드(1.4kg)다. 앞의 1.1kg은 부품이고 뒤의 1.4kg은 체계다. 두 숫자를 나란히 놓고 경량화를 말하는 것은 성립하지 않는 비교다. 정작 중요한 것은 Nett Warrior가 무게를 어떻게 줄였는지다. 헬멧 표시장치를 포기했다. 대신 손에 드는 스마트폰형 단말로 바꿨다. 증강현실을 버린 것이 해법이었다. 이것이 이 실패의 핵심 교훈이다. [12] ### IVAS — 두 번째 실패, 훨씬 큰 돈 20년 뒤에 같은 문제가 같은 야심으로 돌아왔다. 이번 논리는 조달 철학이었다. 상용 증강현실 기기가 성숙했으니 군이 직접 만들지 않고 사다 쓰면 된다는 것이다. 마이크로소프트 HoloLens 2를 군용으로 개조한 헤드셋이 IVAS다. 열영상과 야간투시, 지도, 아군 표시, 무기 조준경 영상 중계, 가상 훈련을 하나의 바이저에 통합하고 싸우고 시연하고 훈련한다는 구호를 내걸었다. | 시점 | 사건 | 금액·수량 | |---|---|---| | 2018-09-25 | 개발 승인 | | | 2018-11 | Microsoft 개발 계약 | | | 2020-12 | 의회 예산 삭감 | 요구 11억 달러 중 2.3억 달러 삭감 | | 2021-03-26 | 양산 계약 | 10년 상한 약 218.8억 달러 | | 2022-03 | 예산 유보 | 약 4억 달러, 초기 운용시험 완료까지 | | 2022-04-22 | 국방부 감사관실 감사 보고 | | | 2022-09 | 초도 인수 | 5,000대 | | 2023-01 | 작전시험평가국 연례보고 | | | 2023-09 | IVAS 1.2 계약 | 9,500만 달러 / 280대 | 두 보고서가 이 사업의 성격을 규정했다. 2022년 4월의 국방부 감사관실 감사는 병사들이 실제로 쓰지 않으면 예산이 낭비된다고 경고하며, 육군이 사용자 만족도를 제대로 측정하지 않았다고 지적했다. 조달 감사가 기술 성능이 아니라 수용성을 지표로 지목한 것이다. 2023년 1월의 작전시험평가국 보고는 더 무겁다. 병사들이 IVAS를 쓸 때보다 기존 장비를 쓸 때 임무 수행이 더 나았다. 증강 장비가 성능을 떨어뜨렸다는 결론이며, 증강현실 체계에 내려질 수 있는 가장 치명적인 평결이다. 다수가 두통과 안정피로, 구토 등 신체 이상을 보고했고 기술적 결함도 다수 보고됐다. 바이저 발광이 수백 미터 밖에서 보인다는 지적도 나왔다. 야간에 자기 위치를 스스로 알리는 장비는 생존 장비의 정반대다. | 항목 | 실측 | 목표 | |---|---|---| | 무게 | 3.4lb(1.5kg) | 2.9lb(1.3kg) | | 시야 | 60° | 70° | 2021년으로 잡혀 있던 야전 배치는 2025년으로 밀렸다. 수량과 단가는 특히 조심해야 한다. 자료 안에서 서로 다른 세 숫자가 하나의 일관된 계획처럼 제시되곤 한다. | 출처 | 수량 표현 | |---|---| | IVAS 문서 | 배포 계획 40,000세트 초과 | | IVAS 문서 | 육군 근접전투부대 최소 120,000명 | | Anduril 문서 | 최대 121,000대 발주 의사 | 단가도 그렇다. 흔히 인용되는 약 29,205달러라는 금액은 특정 변형, 즉 임의의 헬멧에 부착해 승무원이 하차했을 때 기체와 독립적으로 동작하는 구성에 붙은 추정치다. 12만 대 규모 보병 사업의 취득단가가 아니다. 산술도 맞지 않는다. 계약 상한 218.8억 달러를 12만 대로 나누면 대당 약 18만 달러가 되고, 29,205달러에 12만 대를 곱하면 약 35억 달러가 된다. 여섯 배 차이다. 두 숫자는 범위가 다르다. 하나는 장비 추정단가이고 다른 하나는 10년간 서비스와 지원을 포함한 계약 상한이다. 설명 없이 나란히 놓으면 독자가 잘못된 나눗셈을 하게 된다. [13][14] ### 확정적으로 말할 수 없는 지점 2025년 2월 11일에 사업 주체가 바뀌었다. 여기서 이 책은 판정을 내리지 않는다. 두 문서가 서로 다르게 적기 때문이다. > From February 2025 Anduril Industries was to partner with Microsoft > took over development and production of IVAS from Microsoft 앞은 협력이고 뒤는 인수다. 강한 쪽만 골라 확정 서술하고 원래 계획이 소멸했다는 판정까지 덧붙이는 서술이 흔하지만, 근거는 둘로 갈린다. 확인되는 것은 다음까지다. 육군은 최대 121,000대 발주 의사를 유지하되, 그해 안에 고강도 실전 운용시험을 통과해야 본격 양산에 들어간다는 조건을 달았다. 그 이후에 대해 자주 언급되는 내용, 즉 Soldier Borne Mission Command 계열로의 재편이나 Anduril의 EagleEye 체계는 이 조사에서 1차 출처로 확인하지 못했다. 관련 매체와 육군 공식 자료 조회가 모두 실패했다. 계약 방식과 금액, 수량, 일정은 비어 있다. 비어 있다고 적는다. [8][12][13] ### 조종석에서는 되고 보병에서는 안 되는 이유 이제 이 장의 핵심 질문에 답할 수 있다. 같은 기술이 왜 한쪽에서는 58년에 걸쳐 성공하고 다른 쪽에서는 36년에 걸쳐 두 번 실패했는가. 답은 광학이나 렌더링에 없다. 몸과 임무의 조건에 있다. | 축 | 조종석 | 보병 | |---|---|---| | 기준계 | 좌석에 고정, 기체 좌표가 기지 | 몸이 곧 기준계, 고정점 없음 | | 전원 | 기체 발전기, 사실상 무제한 | 등에 진 배터리, 전력이 곧 무게 | | 중량 지지 | 좌석과 등받이가 받는다 | 목과 척추가 받는다 | | 필요 시야 | 전방 중심 | 전방위, 근거리, 지면 | | 손 | 조종간과 스로틀에 묶여 있다 | 자유롭고 소총에 있다 | | 야간 발광 | 캐노피 안, 고도 수 km | 수백 미터 밖에서 보인다 | | 임무 지속 | 소티 단위, 수 시간 | 수일, 정비 불가 환경 | | 대상 인원 | 수천 명, 고도 선발 | 12만 명 규모, 훈련 시간 적음 | | 허용 단가 | 헬멧 40만 달러가 통과된다 | 단가에 극도로 민감하다 | | 표시 대상 거리 | 대부분 원거리 또는 기체 상태값 | 수 m에서 수십 m |표 출처: [11][12][13] (본문 기준으로 재구성)
마지막 행이 기술적으로 가장 무겁다. 조종석 표시의 대부분은 세계 좌표 정합을 요구하지 않는다. 고도와 속도, 자세는 기체 자신의 상태값이다. 비행경로 벡터도 기체 기준계에서 계산된다. 표적 기호가 세계에 정합되어야 하는 경우에도 대상은 보통 수 km 밖에 있다. 보병 증강현실의 핵심 가치는 정반대다. 20m 앞 건물 창문에 아군 위치를 얹는 일이 전부다. 그런데 위치 오차는 거리와 무관하게 발생한다. 여기서 기하가 잔인해진다. 위치 오차 3m는 20m 앞 대상에 대해 약 8도의 각도 오차가 된다. 같은 3m 오차가 1,000m 밖 대상에서는 0.2도 미만이다. 오차의 크기는 같은데 화면에서 벌어지는 결과가 수십 배 다르다. 조종석에서 무시할 수 있었던 정합 오차가 보병의 눈앞에서는 벽 하나를 건너뛰는 오류가 된다. 두 번째로 무거운 것은 손이다. 조종사의 손은 조종간과 스로틀에 묶여 있다. 그래서 시선을 입력으로 쓰는 것이 순수한 이득이다. 보병의 손은 소총에 있고, 필요하면 언제든 뗄 수 있다. 손에 드는 단말이 헬멧 표시장치보다 나을 수 있다는 결론이 여기서 나온다. Nett Warrior가 실제로 내린 결론이 그것이다. 세 번째는 은폐다. 조종석에서는 표시장치의 밝기가 전술적 위험이 아니다. 보병에게는 발광이 곧 표적 지시다. IVAS 시험에서 바이저 발광이 수백 미터 밖에서 관측됐다는 지적은 부차적 결함이 아니라 체계의 존립 조건이다. 네 번째는 규모와 시간이다. 조종사는 고도로 선발되고 오래 훈련받는 소수다. 새 표시 문법을 익히는 데 수십 시간을 쓸 수 있고, 헬멧 한 개에 40만 달러를 쓰는 결정이 통과된다. 보병은 12만 명 규모이고, 개인 장비 훈련에 배정되는 시간은 비교할 수 없이 짧다. 단가 1,000달러의 차이가 사업 전체의 성립 여부를 가른다. 임무 지속시간도 다르다. 소티는 몇 시간이면 끝나고 기체는 정비고로 돌아온다. 보병의 임무는 며칠이 이어지고, 그동안 충전도 정비도 부품 교체도 없다. 배터리 하나가 떨어지면 체계 전체가 죽는 무게가 된다. 같은 성능의 장비라도 이 조건에서는 다른 물건이어야 한다. 정리하면 이렇다. 조종석은 증강현실에 필요한 거의 모든 조건을 미리 갖춰 둔 특수한 환경이다. 고정된 기준계, 안정된 전원, 무게를 받아 주는 구조물, 좁고 예측 가능한 시야, 묶인 손, 발광이 무해한 공간, 짧은 임무 시간, 높은 단가 허용치다. 보병은 이 여덟 가지를 모두 갖추지 못했다. 조종석에서의 성공이 보병에서의 성공을 예고한다고 읽은 것이 Land Warrior와 IVAS가 공유한 오판이다. [11][12][13] ### 이 장의 근거가 얼마나 단단한가 이 축은 이 책에서 자료의 신뢰도가 가장 낮은 부분이기도 하다. 그 사실을 감추지 않는다. 조사한 16개 항목의 출처 중 15개가 영문 위키백과에 단일 의존하며, 서로 다른 항목이 같은 문서 서너 개를 돌려 쓴다. 유일한 비위키 출처도 귀속이 어긋났다. 1차 자료로 표기한 두 건은 보고서 번호와 제목, 접근 경로 없이 날짜만 달려 있어, 원문을 열람한 결과가 아니라 3차 자료의 각주 표기를 옮긴 것으로 판단된다. 검증 과정에서 걸러 낸 오류의 유형이 그대로 교훈이다. 2년짜리 연도 오차, 설계 기관을 사슬에서 삭제한 귀속 오기, 현재의 사명을 1990년대 사건에 소급 적용한 시대착오, 출처에 없는 인과의 창작, 출처와 정반대인 성패 판정, 자체 산술을 인용 형식 안에 섞어 넣은 것, 부품 무게와 체계 무게를 나란히 놓은 비교, 시연 조건을 지운 제원 제시, 범위가 다른 두 금액의 병렬 배치다. 군용 증강현실은 사업자의 홍보와 감사기관의 결과가 정면으로 충돌하는 영역이다. 이런 영역에서 3차 자료 단일 의존은 방법론적으로 부적합하다. 이 장의 연도와 금액, 수량을 실무 판단의 근거로 쓸 생각이라면 조달 문서와 시험평가 보고서를 직접 확인해야 한다. 확인하지 못한 것을 명시한다. 자이로 건사이트의 격추율 향상 배수, Furness의 VCASS 존재와 제원, IHADSS 사용자의 두통과 방향감각 이상에 대한 정량 유병률, Land Warrior 총 사업비, F-35 그린 글로우의 1차 출처, 민항 HUD 확산의 사업자와 기종 사례, 2025년 이후 후속 사업의 계약 내용이다. [1][2][12][13][14] ### 이 장의 한 문장 증강현실은 좌석에 앉아 손이 묶인 사람에게는 반세기 넘게 성공해 왔고 걸어 다니며 손이 자유로운 사람에게는 아직 한 번도 성공하지 못했다. 실패의 원인은 언제나 광학이 아니라 몸이었다. [11][12][13]본문의 번호를 누르면 출처로 이동합니다. 절 끝의 번호는 그 절의 사실 자료를, 표 아래의 번호는 표에 사용한 자료를 가리킵니다. 비교·계산·비유와 결론은 필자의 재구성입니다. 한 번호에 함께 사용한 문헌이 둘 이상이면 묶어서 적었습니다.
서지정보와 확인 메모는 옵시디언 조사 기록을 바탕으로 복원했습니다. 원 기록의 ‘전문 확인’·‘조회’ 표기는 당시 조사 상태이며 이번 웹판에서 모두 재검증했다는 뜻은 아닙니다. 불완전한 서지사항은 임의로 채우지 않았습니다.
표 출처: [1] (본문 기준으로 재구성)
2.2배의 편차다. 어느 하나를 단일 권위 수치로 제시하면 다른 논문과의 상대 비교가 왜곡된다. 이 장에서 피인용을 언급할 때는 출처 데이터베이스를 함께 적는다. [1] ### 화면은 2차원인데 몸은 3차원이다 1992년, 노스캐롤라이나 대학 채플힐. Michael Bajura, Henry Fuchs, Ryutarou Ohbuchi는 헤드마운트 디스플레이를 쓴 관찰자가 임신부의 복부를 볼 때 초음파 프로브가 훑는 단면 영상이 실제 배 안쪽의 해당 위치에 3차원으로 떠 보이도록 정합했다. SIGGRAPH '92에 발표된 이 연구는 수술 안내가 아니라 진단 영상의 공간적 재배치였다. Crossref 기준 피인용은 Computer Graphics 26(2) 판 278회, 회의록 판 93회다. 이들이 겨눈 것은 초음파의 구조적 약점이다. 초음파는 실시간이고 방사선이 없고 값이 싸다. 대신 술자에게 극단적인 공간 인지 부담을 지운다. 화면은 2차원인데 그 평면이 몸 안에서 어떤 각도로 놓였는지는 프로브를 쥔 손의 감각으로 머릿속에서 재구성해야 한다. 간 종양 소작술에서 바늘 끝을 초음파 평면 안에 유지하는 일은 숙련자도 실패한다. 이 '평면 밖 바늘' 문제는 장비 성능의 문제가 아니라 인간 인지의 문제였다. 영상 품질을 높여서는 풀리지 않고, 표현 방식 자체의 변경을 요구했다. 이 연구실의 후속 작업은 InnerOptic Technology로 스핀오프해 제품이 됐다. 초음파 유도 종양 소작에서 바늘 궤적과 초음파 평면을 하나의 3차원 장면에 합쳐 보여주는 방식이다. 미국 식품의약국 510(k) 클리어런스는 InVision이 2009년 8월 12일(K083728), AIM이 2012년 9월 13일(K121479)에 받았다. 제품코드는 둘 다 IYO다. 발표에서 규제 통과까지 17년이 걸렸다. 그 17년 동안 무엇이 버려졌는지가 이 사례의 핵심이다. 초기 시스템은 지연시간, 추적 정확도, 헤드마운트 디스플레이 무게가 모두 임상 부적합이었다. 실제로 팔린 제품은 헤드셋을 버리고 모니터 기반 3차원 장면으로 후퇴한 형태였다. 연구가 증명한 개념과 시장에 남은 물건이 같지 않다. InnerOptic의 존재는 이 분야에서 자주 반복되는 단정 하나를 무너뜨린다. 증강현실은 움직이지 않는 뼈에서만 성립한다는 주장이다. InnerOptic은 변형하는 연부조직을 대상으로 초음파 정합 증강현실 제품을 만들어 두 차례 클리어런스를 받았다. Adballah 등이 2022년 Surgical Endoscopy에 보고한 적출 간 실험에서는 증강현실이 표준 초음파 내비게이션보다 절제연이 더 정확했다. 뼈가 훨씬 쉽다는 것은 사실이고, 뼈만 가능하다는 것은 사실이 아니다. [2] ### 정합을 사람 손에서 떼어내다 1990년대 초 수술 내비게이션의 실제 병목은 하드웨어가 아니었다. 정합에 걸리는 시간과 사람의 손이었다. 환자 영상과 실제 환자를 같은 좌표계에 놓으려면 두피에 기준 마커를 붙이고 CT를 다시 찍거나, 해부학적 랜드마크를 사람이 하나씩 클릭해야 했다. 마커를 미리 붙이고 촬영하는 절차는 응급수술에 쓸 수 없다. 마커가 피부와 함께 움직이면 오차가 생긴다. 수술실 시간이 분당 비용으로 환산되는 환경에서 자동·무마커 정합은 임상 채택의 전제조건이었다. MIT 인공지능연구소의 W. Eric L. Grimson과 Brigham and Women's Hospital 공동 연구진이 이 문제를 풀었다. 환자 머리 표면을 레이저로 스캔해 얻은 점군과 MRI에서 추출한 피부 표면을 자동으로 맞추는 표면 정합(surface matching) 알고리즘이다. 1994년 CVPR에 선행판(Crossref 피인용 52회), 1996년 IEEE Transactions on Medical Imaging에 본판이 실렸다(DOI 10.1109/42.491415, Crossref 피인용 211회). 논문 제목에 'enhanced reality visualization'이라는 표현이 직접 들어 있고, 정합된 MRI 구조를 수술 현미경 시야나 비디오 영상에 겹치는 데까지 나아갔다. 당시 정합 정확도의 실측 수준은 다음과 같다. | 방식 | 보고 정확도 | 출처 | |---|---|---| | 기준점 + 표면 혼합 정합 | 평균 1.81mm | Ganslandt 2002 | | 술중 초음파-MRI 공정합 | 2mm 이내 | Keles 2003 |표 출처: [3] (본문 기준으로 재구성)
표면 정합은 오늘날 거의 모든 상용 신경외과 내비게이션의 표준 옵션이 됐다. 그러나 이 성공에는 원리적 그림자가 붙어 있다. 표면을 맞춘다는 접근은 표면 아래의 변형에 무력하다. 다음 20년의 핵심 난제가 이 지점에서 그대로 남았다. [3] ### 증강현실보다 먼저 산업이 된 내비게이션 증강현실이 아직 연구 단계일 때, '정합 + 추적 + 화면'이라는 골격만 떼어낸 내비게이션은 먼저 산업이 됐다. 광학 추적 카메라가 환자에 고정된 기준 프레임과 수술 기구의 마커를 동시에 보고, 술전 CT나 MRI의 좌표계로 변환해 모니터의 세 단면에 기구 끝 위치를 그린다. 뮌헨의 Brainlab, Medtronic Navigation의 StealthStation이 이것을 상품으로 만들었다. Mazor Robotics는 여기에 로봇 팔을 더해 궤적을 물리적으로 고정하는 쪽으로 갔다. 증강현실과의 차이는 하나뿐이다. 술자가 환자에서 눈을 떼고 모니터를 봐야 한다. 이 시선 이탈(attention shift)이 훗날 헤드마운트 증강현실이 공략하는 정확한 틈이 된다. 내비게이션이 척추에서 먼저 팔린 이유는 그 수술에 숫자로 된 안전 기준이 있었기 때문이다. 척추 유합술에서 척추경 나사를 넣을 때 척추경 내벽을 4mm 이상 뚫으면 신경근이나 척수 손상이 발생한다. 자유수기는 술자 경험에 전적으로 의존했다. 투시(fluoroscopy) 의존은 환자와 술자 모두에게 누적 방사선을 안겼다. 나사 배치 평가에는 Gertzbein-Robbins 등급이라는 정량 척도가 통용된다. | 등급 | 척추경 내벽 천공 | |---|---| | A | 없음 | | B | 2mm 미만 | | C | 2~4mm | | D | 4~6mm |표 출처: [4] (본문 기준으로 재구성)
정확도가 곧 판매 논리가 될 수 있는 몇 안 되는 수술이었다. | 항목 | 값 | |---|---| | Mazor Robotics 창업 | 2001년 | | SpineAssist FDA 승인 | 2004년, 최초의 FDA 클리어 척추 수술 로봇 | | Renaissance 공표 정확도 | 1.5mm (2011년) | | Medtronic의 Mazor 인수 | 2018년, 약 17억 달러(보도에 따라 16.4억 달러) |표 출처: [4] (본문 기준으로 재구성)
이 산업적 성공이 곧 증강현실의 진입 장벽이 됐다. 내비게이션이 이미 충분히 좋은 해답으로 자리 잡았기 때문에, 증강현실은 정확도로 이기는 길을 잃었다. 남은 차별점은 시선을 떼지 않는다는 인간공학적 가치뿐이었다. 이 구도가 2019년 이후 제품 포지셔닝을 결정한다. [4] ### 장기는 움직인다 증강현실 수술 안내는 술전 영상이 술중 실제 해부와 같다고 가정한다. 이 가정이 어디까지 참인지를 측정할 도구가 1990년대 후반에 등장했다. 술중 MRI다. Erlangen의 Christopher Nimsky와 Rudolf Fahlbusch 연구진이 2000년 Neurosurgery에 보고한 수치는 이 분야의 기준점이 됐다. 개두 후 뇌 피질은 최대 24mm 이동했다. 심부 종양 경계도 전체 증례의 66%에서 3mm를 넘게 움직였다. 정합이 완벽해도 대상이 이미 그 자리에 없다. 복부외과는 10년 늦게 같은 질문에 도달했고 답은 더 나빴다. 기복(pneumoperitoneum)으로 복강에 가스를 넣으면 간의 형상 자체가 변한다. 주요 보고치를 모으면 다음과 같다. | 연구 | 대상 | 지표 | 값 | |---|---|---|---| | Nimsky 2000 | 인체 개두술 | 피질 이동 | 최대 24mm | | Nimsky 2000 | 인체 개두술 | 심부 종양 경계 3mm 초과 이동 | 증례의 66% | | Prevost 2020 | 인체 복강경 간절제 10례·병변 18개 | 기준점 정합 오차(FRE) | 첫 시도 평균 14.0mm(SD 5.0) → 마지막 시도 9.2mm(SD 2.8) | | Prevost 2020 | 같음 | 정합 소요 시간 | 중앙값 8분 50초 | | Pelanis 2021 | 돼지 4마리 전임상 | 병변 부근 표적 정합 오차(TRE) | 3.78±1.89mm | | Pelanis 2021 | 같음 | 절제연 정확도 | 중앙값 4.44mm, 최대 9.75mm | | Ribeiro 2024 | 간 팬텀 | 조준 오차, 복강경 축 투영 | 29.4±17.1mm | | Ribeiro 2024 | 같음 | 조준 오차, 조작포트 축 투영 | 9.2±5.1mm (P=0.001) |표 출처: [5] (본문 기준으로 재구성)
이 표를 정직하게 읽는 일이 중요하다. 이 분야의 문헌은 종종 나쁜 값만 골라 인용된다. Prevost 2020의 14.0mm는 첫 정합 시도의 값이고 마지막 시도는 9.2mm다. FRE는 표적 정확도가 아니라 정합 잔차라는 점도 함께 적어야 한다. 같은 논문에서 "수술 안내에는 너무 부정확하다"는 표현은 측정에 기반한 판정이 아니라 절제 유도에 한정된 설문 응답이며, 저자들은 워크플로 영향은 작고 사라지는 병변을 탐지하는 이득은 크다고 결론지었다. Ribeiro 2024도 29.4mm만 인용하면 왜곡이 된다. 조작포트 방향으로 투영하면 오차가 9.2mm로 줄고, 저자 결론은 그 투영이 단안 복강경의 2차원 인터페이스 문제를 부분적으로 해결한다는 긍정이다. Pelanis 2021은 특히 자주 잘못 인용된다. 이 연구는 인체 임상이 아니라 돼지 4마리 전임상 시험이고, 헤드마운트 디스플레이가 아니라 로봇 C-arm 기반 내비게이션이다. 저자 결론은 실패가 아니다. > "The presented solution is accurate enough to be potentially clinically beneficial for surgical guidance in laparoscopic liver surgery." > > "제시한 해법은 복강경 간수술의 수술 안내에 임상적으로 유익할 가능성이 있을 만큼 충분히 정확하다." 그럼에도 남는 결론은 분명하다. 강체 정합(rigid registration)은 변형체에 대해 원리적으로 틀렸다. 비강체 정합에는 술중 3차원 영상이 필요하고, 술중 MRI나 CT를 갖춘 수술실을 만드는 개조비는 수백만 달러 규모다. 정확도 이득이 그 비용을 정당화하지 못했다. 그래서 증강현실 수술 안내는 뼈로 후퇴했다. 간, 폐, 유방은 2026년 현재도 연구 단계다. [5] ### 정확도를 달성하고도 사라진 시스템들 2000년대에 정확도 목표를 이미 달성한 두 시스템이 있었다. 둘 다 제품이 되지 못했다. 빈 의과대학의 Wolfgang Birkfellner와 Michael Figl은 상용 헤드마운트 수술 확대경에 마이크로디스플레이를 끼워 광학 투과형 증강현실을 만들었다. Varioscope AR이다. 두개악안면외과에서 모니터를 볼 수 없는 자세 문제를 겨냥했다. 뮌헨공대의 Nassir Navab 연구진은 전혀 다른 발상을 택했다. 이동형 C-arm의 X선 원점에 거울로 광축을 일치시킨 비디오 카메라를 달아, 단 한 장의 X선 영상과 실시간 비디오를 하드웨어적으로 정합시켰다. Camera Augmented Mobile C-arm, 줄여서 CAMC다. 소프트웨어 정합이 아예 필요하지 않으므로 정합 오차의 상당 부분이 구조적으로 제거된다. 외상외과의 고유 문제가 방사선이었다는 점이 이 설계의 배경이다. 골절 정복과 나사 삽입에서 투시를 반복하면 술자 손이 1차 빔에 근접한 채 누적 피폭을 받는다. 내비게이션은 기준 프레임을 뼈에 박아야 해서 응급 외상에 부적합했다. | 시스템 | 지표 | 값 | 출처 | |---|---|---|---| | Varioscope AR | 평균 보정 오차 | 1.24±0.38 픽셀 = 0.12±0.05mm | Birkfellner, IEEE TMI 2002 | | Varioscope AR | 최대 보정 오차 | 3.33±1.04 픽셀 = 0.33±0.12mm | 같음 | | Varioscope AR | 프로브 위치 변환 오차 | 56%가 1mm 미만, 나머지 2mm 미만 | 같음 | | 후속 광학투과형 | 중첩 오차 | 0.14~0.91mm | Figl, IEEE TMI 2005 | | 후속 광학투과형 | 지연 0.1초로 인한 공간 편차 | 최대 1.1~2.8mm | 같음 | | 입체시 중첩 | 과제 성공률 | 87.5% (단안 66.6%) | Birkfellner, Phys Med Biol 2003 | | CAMC | 중첩 정확도 | 1mm 미만 | Navab, IEEE TMI 2010 | | CAMC | 임상 적용 | 43례 | Weidert, Unfallchirurg 2012 |표 출처: [6] (본문 기준으로 재구성)
여기서 문헌 인용의 함정 하나를 짚어둔다. CAMC를 두고 '사체 43례 검증'이라는 서술이 돌아다니는데 근거가 없다. Navab 2010은 외상외과의가 수행한 사체 연구를 언급하되 증례 수를 제시하지 않는다. 43은 Weidert 2012의 임상 적용 건수다. 같은 숫자가 사체와 임상 양쪽에 중복 기재된 오류다. 두 시스템이 소멸한 이유는 서로 다르고, 둘 다 기술 외부에 있었다. CAMC는 C-arm 제조사가 기존 제품군을 개조해야 했다. 규제 재승인 비용과 시장 규모가 맞지 않았다. Varioscope 계열은 지연시간 0.1초만으로 최대 2.8mm의 공간 편차가 생겼다. 술자가 머리를 움직이는 실제 수술에서 정확도를 보증할 수 없다는 뜻이다. 이 지연과 오차의 등가 관계가 저지연 헤드셋이 나오기 전까지 광학투과형 증강현실 전체의 발목을 잡았다. [6] ### 하드웨어가 연구를 끊는다 2013년부터 몇 년간 의료계는 Google Glass에 열광했다. 단안 프리즘 디스플레이가 달린 경량 안경으로, 술자 시점 1인칭 영상 스트리밍과 핸즈프리 기록, 음성 검색을 제공했다. 엄밀히 말해 정합 증강현실이 아니라 시야 주변 정보 표시였다. 의료계는 그것을 증강현실로 받아들였다. 의료가 Glass를 원한 이유는 증강현실이 아니라 핸즈프리였다. 수술실의 오래된 문제는 멸균 상태에서 손을 쓸 수 없다는 것이다. 술자는 영상을 다시 보려고 세척된 손을 쓸 수 없고 매번 순회간호사에게 말해야 한다. Glass는 이 문제를 1,500달러라는 소비자 가격으로 푸는 것처럼 보였다. 이 열풍의 규모를 말할 때 흔히 인용되는 '82편'은 출처가 잘못 붙은 숫자다. 82는 데이터베이스 검색 건수가 아니라 Davis와 Rosenfield가 2015년 Plastic and Reconstructive Surgery에 실은 체계적 문헌고찰의 스크리닝 수다. > "Eighty-two publications were identified, with 21 included for review." > > "82편의 문헌을 확인했고, 그중 21편을 고찰에 포함했다." 그 21편의 구성이 당시 근거 수준을 그대로 보여준다. | 유형 | 편수 | |---|---| | 정식 논문 | 3 | | 사설·논평 | 7 | | 학회 초록 | 1 | | 뉴스 | 3 | | 온라인 자료 | 7 |표 출처: [7] (본문 기준으로 재구성)
참고로 2026년 9월 조회 기준 PubMed 실제 검색값은 'Google Glass' AND surgery 79건, 'Google Glass' 단독 186건이다. 당시 인용된 임상 근거의 강도도 짚어야 한다. Sahyouni 등이 2017년 Surgical Neurology International에 보고한 레지던트 술후 디브리핑 만족도는 3.75에서 4.42로 올랐다(5점 척도, p<.05). 그런데 이것은 12건의 설문에 대한 3개 문항의 사전·사후 자기보고 평균이고 대조군이 없다. Glass가 실패한 원인은 기술과 제도 양쪽에 있었다. | 항목 | Google Glass | 비교(GoPro) | |---|---|---| | 연속 촬영 배터리 | 1시간 미만 | 2시간 초과 | | 동영상 해상도 | 720p | 1080p | | 사진 화소 | 5MP | 12MP |표 출처: [7] (본문 기준으로 재구성)
여기에 수술용 루페와의 물리적 간섭, 발열, 화상회의의 지연과 끊김이 겹쳤다. 제도적으로는 환자 영상이 외부 클라우드를 경유하는 구조가 미국 의료정보보호법(HIPAA) 준수 검토를 통과하기 어려웠다. 다만 '2년 반의 열광 뒤 소멸'이라는 흔한 요약은 10년의 궤적을 압축한 오류다. 실제 연표는 다음과 같다. | 시점 | 사건 | |---|---| | 2015-01-15 | Explorer 프로토타입 생산 종료 | | 2017 | Glass Enterprise Edition 1 기업용 공개 | | 2019-05 | Enterprise Edition 2 출시, 8MP 카메라 | | 2023-03-15 | Google, Glass 생산·판매 완전 중단 |표 출처: [7] (본문 기준으로 재구성)
의료 연구는 Enterprise Edition 2로 이어졌다. 그래도 남는 교훈은 바뀌지 않는다. 의료 증강현실의 실패 원인 1순위는 알고리즘이 아니라 하드웨어 수명주기와 데이터 거버넌스다. [7] ### 규제가 문을 여는 방식 전환은 논문이 아니라 규제 문서에서 일어났다. 미국에서 의료기기가 시장에 나오는 가장 흔한 경로는 510(k)다. 기존에 이미 합법적으로 팔리는 기기(predicate)와 실질적으로 동등하다는 판정을 받는 절차다. 여기서 어느 제품코드로 신청하느냐가 사실상 모든 것을 결정한다. 2018년 9월 21일, 유타의 PACS 업체 Novarad가 HoloLens 기반 OpenSight로 클리어런스를 받았다(K172418). 주목할 점은 제품코드다. Novarad는 자사 PACS 제품과 같은 LLZ, 'System, Image Processing, Radiological'로 신청했다. 증강현실을 새로운 수술기구가 아니라 영상 표시 방법의 변형으로 프레이밍한 것이다. 전략은 통했다. 그러나 이것을 '최초의 미국 의료 증강현실 510(k)'라고 부르는 것은 틀렸다. FDA는 K172418을 증강현실 범주로 취급하지 않았고, 제품코드는 영상처리 시스템이었다. 앞서 본 InnerOptic InVision(K083728, 2009년 8월 12일)이 9년 앞선 증강현실 510(k)다. 범주를 실제로 연 것은 그다음이다. 2019년 12월 20일, 이스라엘 Yokneam과 미국 시카고에 기반한 Augmedics가 xvision으로 클리어런스를 받았다(K190929). 투명 디스플레이가 달린 전용 헤드셋을 술자가 쓰면 환자 척추의 3차원 재구성과 계획된 나사 궤적이 환부 위에 겹쳐 보인다. 별도 광학 카메라 없이 헤드셋 자체가 환자에 부착된 마커를 추적한다. 기존 내비게이션과의 차이는 하나다. 술자가 모니터를 보려고 고개를 돌리지 않는다. 이 기기를 위해 FDA는 새 제품코드 SBF를 만들었다. 정의는 다음과 같다. > "An orthopedic augmented reality device provides visual guidance during orthopedic procedures, where the use of stereotaxic navigation is utilized." > > "정형외과 증강현실 기기는 정위 내비게이션을 사용하는 정형외과 시술 중에 시각적 안내를 제공한다." 여기서 정확히 무엇이 새로 만들어졌는지를 구분해야 한다. 널리 퍼진 서술은 FDA가 '정형외과 증강현실'이라는 새 분류 규정을 신설했다는 것이다. 실제 기록은 다르다. | 항목 | 기록 | |---|---| | 제품코드 | SBF | | 규정 번호 | 882.4560 | | 등급 | Class II | | 규정의 성격 | 기존 신경외과 정위기구(stereotaxic instrument) 규정 | | medical_specialty 표기 | Orthopedic이 아니라 Neurology | | K190929의 판정 | De Novo가 아니라 Substantially Equivalent | 즉 신설된 것은 기존 신경과 규정 아래의 새 제품코드다. 새 분류 규정이 아니다. 작은 차이로 보이지만 규제 전략을 읽을 때는 결정적이다. 새 코드는 후속 제품이 따라 들어올 predicate의 계보를 만들고, 새 규정은 등급 심사 자체를 바꾼다. 증강현실은 후자를 얻지 못했다. xvision의 임상 근거를 인용할 때도 표본을 반드시 함께 적어야 한다. Johns Hopkins의 Camilo A. Molina 연구진이 2021년 Operative Neurosurgery에 보고한 첫 인체 적용 결과는 Gertzbein-Robbins 정확도 100%, 선형 편차 평균 2.07mm, 각도 편차 2.41°였다. 이것은 78세 여성 환자 한 명의 L4-S1 수술에서 삽입한 나사 6개의 결과다. 나사 6개의 100%를 결정적 증거로 쓰는 것은 통계적으로 무의미하다. Augmedics는 이후 여섯 차례 재클리어런스를 받았다(K211188, K220905, K241481, K250255, K251639, K261854). [8][9] ### 헤드셋은 필요조건이 아니다 증강현실 수술 안내에서 헤드셋을 아예 쓰지 않는 계열이 있다. 스웨덴 카롤린스카 연구소의 Adrian Elmi-Terander, Gustav Burström 연구진이 Philips Healthcare와 개발한 ARSN, 제품명 ClarifEye다. 하이브리드 수술실 천장의 C-arm에 네 대의 비디오 카메라를 내장한다. 술중 콘빔 CT로 얻은 3차원 척추 영상을 환자 피부 표면의 비디오 영상에 정합해 모니터에 겹친다. 술자는 환자 피부 위에 그려진 나사 궤적을 보며 진입점과 각도를 잡는다. 피부에 붙이는 접착식 마커만 쓰고 뼈에 기준 프레임을 박지 않는다. 헤드셋의 지연과 무게, 시야각 문제를 아예 회피한 설계다. 이 선택에는 경제적 배경이 있다. 2010년대 중반 유럽 대형 병원은 혈관내 시술용 하이브리드 수술실에 이미 수백만 유로를 투자해둔 상태였다. 그 장비를 척추수술에 재활용할 수 있다면 한계 비용이 낮다. 동시에 최소침습 척추수술의 확산으로 작은 절개로는 해부 랜드마크를 촉지할 수 없어 영상 의존도가 급등했다. | 연구 | 대상 | 결과 | |---|---|---| | Spine 2019 | 인체 흉요천추 나사 253개 | 전체 정확도 94.1%, Gertzbein 2등급(2~4mm) 5.9%(15개), 3등급 0개, 나사당 평균 5.2±4.1분 | | Spine 2018 | 사체 최소침습, 나사 18개 | 16개 완벽 배치(89%), 내비게이션 90±53초, 평균 오차각 0.9°±0.8° | | Spine 2020 | 변형교정 비교 | 나사 밀도 ARSN 86.3%±14.6% vs 자유수기 74.7%±13.9%, 수술시간 431분 vs 417분으로 차이 없음 |표 출처: [10] (본문 기준으로 재구성)
Spine 2019 논문의 피인용은 Crossref 204회, Europe PMC 164회다. FDA 클리어런스는 2021년 2월 23일, 제품코드 OWB로 받았다(K201743). ClarifEye의 성공은 xvision의 성공과 종류가 다르다. 하이브리드 수술실을 이미 보유한 병원에만 팔 수 있어 설치 기반이 제한적이다. 그리고 이 두 계열의 비교에서 나온 결과가 헤드셋의 가치 주장을 흔든다. Pahwa 등의 2023년 메타분석에서 xvision(헤드셋 계열, 나사 595개)과 Allura 증강현실(비헤드셋 계열, 나사 462개)의 정확도 차이는 통계적으로 유의하지 않았다(p=0.092). 헤드셋이 정확도에 기여한다는 증거는 아직 없다. 헤드셋의 가치 주장은 여전히 인간공학과 작업흐름에 머물러 있다. [10] ### 정형외과가 증강현실을 택한 이유는 정확도가 아니다 xvision이 뚫은 SBF 제품코드로 제품이 쏟아졌다. 흔히 인용되는 '35건'은 2025년 7월 31일까지 자른 값이다. openFDA 조회 기준 실제 누계는 다음과 같다. | 시점 | SBF 제품코드 510(k) 누계 | |---|---| | 2019-12-20 (K190929, 첫 건) | 1건 | | 2025-07-31 (K250477) | 35건 | | 2025-12-31 | 40건 | | 2026-09-29 조회 시점 | 43건, 최신 결정일 2026-07-31 (K261854) |표 출처: [11] (본문 기준으로 재구성)
2025년에만 13건이 통과했다. 이 코드로 들어온 회사와 제품의 분포가 중요하다. | 제품 | 제조사 | 510(k) | 결정일 | |---|---|---|---| | xvision | Augmedics | K190929 | 2019-12-20 | | NextAR TKA | Medacta International | K193559 | 2020-07-10 | | Knee+ | Pixee Medical | K202750 | 2021-04-21 | | NextAR Spine | Medacta International | K210859 | 2021-11-05 | | OptiVu ROSA MxR | Zimmer Biomet / Orthosoft | K220733 | 2022-07-29 | | SpineAR SNAP | Surgical Theater | K213034 | 2022-09-29 | | AR Spine | Onpoint Surgical | K231284 | 2023-09-08 | | Mixed Reality Spine Navigation | Brainlab | K242569 | 2025-05-16 | | ExcelsiusXR | Globus Medical | K241525 | 2025-07-08 |표 출처: [11] (본문 기준으로 재구성)
척추에서 시작해 인공슬관절, 인공견관절, 인공고관절로 빠르게 퍼졌다. 기존 내비게이션의 강자인 Brainlab이 2025년에야 이 코드로 들어온 것은 방어적 채택의 신호다. 인공관절이 증강현실을 받아들인 이유는 척추와 다르다. 인공슬관절 치환술에서 대퇴와 경골 절삭면의 각도 오차 몇 도가 임플란트 수명과 재치환율을 좌우한다. 기존 해법은 부정확한 기계식 가이드, 또는 대당 수억 원에 수술실 공간을 점유하고 등록 시간을 추가하는 로봇·내비게이션뿐이었다. 증강현실 글래스는 로봇의 정확도에 근접하면서 로봇의 자본지출이 없는 중간 가격대를 열었다. Pixee Medical의 Knee+는 스마트글래스에 마커를 붙여 대형 장비 없이 절삭 가이드 각도를 표시하는 저가 접근을 택했다. 정형외과가 증강현실을 택한 동기는 정확도가 아니라 자본 효율이다. 임상 근거는 아직 얇다. 43건의 클리어런스는 모두 기존 기기와 실질적으로 동등하다는 판정이고, 우월성 입증이 아니다. 대조군이 있는 연구를 정확히 읽으면 그림이 달라진다. | 연구 | 설계 | 결과 | |---|---|---| | Pahwa 2023 (J Clin Med) | 대조군 없는 단일군 비율 메타분석, 8편·163명·나사 1,259개 | 정확도 97.2% (95% CI 96.2~98.1). 인용된 p<0.001은 군간 비교 p값이 아니다. Europe PMC 피인용 3회 | | Ma 2025 (Orthop Surg) | 무작위대조시험, 150명·계획 나사 699개(351+348) | 사전 규정 FAS 민감도 분석에서 98.0%(344/351) vs 91.7%(319/348), 차이 6.3%[3.0~9.8], p=0.0003. 실제 처치군(ATS) 기준으로는 99.1% vs 91.7%, 차이 7.3%[4.1~10.6] | | Kurosaka 2023 (CORR) | Level I 무작위대조시험, 인공고관절 126명 | 컵 전염각 오차 2°±2° vs 가속도계 5°±4°, p<0.001 |표 출처: [11] (본문 기준으로 재구성)
Ma 2025를 인용할 때 '99.1% 대 91.7%, p<0.0001'로 짝지은 서술이 널리 돌아다니는데, 이것은 분석집합을 섞은 오류다. 99.1%는 ATS에서만 나오는 값이고, 초록에 p<0.0001이라는 표기는 존재하지 않는다. 여러 분석집합 중 가장 큰 차이와 가장 작은 p값을 각각 골라 붙인 결과다. Kurosaka 2023은 통계적 유의성을 얻고도 저자 스스로 도입을 권하지 않았다. > "whether those small differences will prove clinically important is unknown... we recommend against the widespread use of these systems" > > "그 작은 차이가 임상적으로 중요할지는 알 수 없다. 우리는 이 시스템들의 광범위한 사용을 권하지 않는다." 정형외과 증강현실의 진짜 시험대는 정확도가 아니라 재치환율과 기능점수 같은 장기 결과다. 그 데이터는 2026년 현재 존재하지 않는다. [11] ### 오차가 해를 끼치지 않는 곳 의료 증강현실 중 가장 먼저, 가장 널리 실용화된 분야는 수술이 아니라 교육이다. 이유는 단순하다. 환자가 없으므로 정합 오차가 해를 끼치지 않는다. Case Western Reserve University의 Interactive Commons와 Cleveland Clinic Lerner College of Medicine이 만든 HoloAnatomy는 HoloLens로 인체 전신의 3차원 홀로그램을 여러 학생이 동시에 같은 공간에서 보며 층별로 벗겨내고 회전시키는 플랫폼이다. Mark Griswold와 Susanne Wish-Baratz가 주도했다. 교육 증강현실이 채택된 동기는 더 잘 가르치기 위해서가 아니었다. 시신을 구할 수 없어서였다. 배경에 세 가지 구조적 압력이 있다. 시신 기증이 줄고 보관과 처리 비용이 높다는 것, 의학교육과정 압축으로 해부학 시수 자체가 줄어든다는 것, 원격·분산 캠퍼스가 확대된다는 것. 2020년 감염병 대유행으로 실습실 접근이 물리적으로 차단되면서 대체재 수요가 급증했다. | 연구 | 설계 | 결과 | |---|---|---| | Stojanovska 2020 (Med Sci Educ) | 무작위대조시험, 학생 64명, 대조군 33명은 사후 추가 모집된 비무작위 집단 | 시신 실기시험 73.8%±12.3 vs 혼합현실 실기시험 74.2%±13.0, 유의차 없음(p>0.05), 두 시험 간 상관 r=0.74(p<0.01) | | Baratz 2022 (Int J Med Educ) | 학습 파지 예비연구, 1학년 38명 참여, 2부에서 참가자 22명과 동급생 129명 비교 | 혼합현실군이 유의하게 높은 점수(p<.009) |표 출처: [12] (본문 기준으로 재구성)
핵심 결과는 혼합현실 학습군이 시신 시험에서 더 잘한 것이 아니다. 차이가 없었다는 것이다. 우월이 아니라 동등으로서의 성공이다. 시신 확보가 불가능하거나 비용이 과도한 기관에서는 이것으로 충분한 도입 근거가 된다. 여기서 반드시 갈라야 할 두 주장이 있다. '전통 해부 대비 최대 2배 빠른 학습'이라는 문구가 제조사와 대학의 홍보 페이지에 실려 있다. 이 주장은 위의 동등성 연구가 뒷받침하지 않으며 독립 검증이 없다. 동등하다는 것과 두 배 빠르다는 것은 다른 주장이다. 혼동하면 의사결정이 틀어진다. [12] ### 전문가의 손가락만 보내기 원격 수술 지원의 근본 문제는 언어의 공간 표현 한계다. 원격지의 전문의는 무엇을 하라고 정확히 알지만, 음성으로는 어디를 전달할 수 없다. "조금 더 왼쪽"은 위치가 아니다. 퍼듀대학교의 Edgar Rojas-Muñoz, Juan P. Wachs 연구진이 만든 STAR는 이 문제를 겨눴다. 원격 전문의가 현장 술자의 시야 영상 위에 절개선과 기구 방향을 직접 그리면, 그 주석이 환부에 정합돼 현장의 반투과 화면에 표시된다. 2020년 npj Digital Medicine에 실린 윤상갑상막절개술 무작위 교차시험에서 STAR 안내는 음성 전용 대비 시술 점수와 시술 안전성에서 통계적으로 우월했다. 대부분 사례보고에 그치는 이 분야에서 드물게 근거 수준이 높은 설계다. 이 기술이 가장 필요한 곳은 전투 현장, 재난 지역, 군함, 오지다. 숙련도가 낮은 시술자가 시간 제약이 있는 술기를 수행해야 하는 환경이다. 미 국방부와 NASA가 이 분야를 후원한 이유가 여기 있다. 문헌의 규모는 아직 작다. Hamza 등이 2025년 Journal of Medical Internet Research에 실은 범위검토는 최소침습수술 원격멘토링의 동적 증강현실 큐를 다룬 논문 21편을 정리했다. | 분류 | 편수 | |---|---| | 전체 | 21 | | 서술적 연구 | 7 | | 분석적 연구 | 14 | | 손동작 큐 | 10 | | 수술기구 큐 | 10 |표 출처: [13] (본문 기준으로 재구성)
규제 승인을 받은 정합 원격 증강현실 제품은 없다. 막힌 지점이 기술 하나가 아니다. 대역폭과 지연이 통제되지 않는 위성·전술망 환경이 바로 그 기술이 가장 필요한 환경이라는 역설이 있다. Google Glass가 겪은 끊김이 그대로 재현된다. 제도 쪽은 더 굳어 있다. 원격 술기 지도의 의료과실 책임 소재, 주와 국경을 넘는 면허 문제가 해결되지 않았다. 별도 수가 코드가 없어 병원이 도입할 재무적 유인도 없다. 그 사이 상업적 공간은 Proximie나 Help Lightning 같은 영상 위 주석 도구가 차지했다. 이들은 정합 증강현실이 아니다. [13] ### 하드웨어 수명주기라는 구조적 위험 2018년부터 2024년까지 의료 증강현실 제품의 다수는 자체 하드웨어가 아니라 소비자용 헤드셋 위에 얹힌 소프트웨어였다. Novarad의 OpenSight와 VisAR, HoloAnatomy, Surgical Theater의 SpineAR, 다수의 대학 연구 시스템이 여기 해당한다. 그 기반이 2024년에 흔들렸다. | 항목 | 기록 | |---|---| | HoloLens 2 출시 | 2019-11-07, 3,500달러(기업형 월 125달러 / 개발자 월 99달러) | | HoloLens 2 대각 시야각 | 52° (초대 HoloLens 34°) | | HoloLens 2 단종 | 2024년, 소프트웨어 업데이트는 2027-12-31까지 | | Magic Leap One 출시 | 2018-08-08, 2,295달러 | | Magic Leap 누적 조달액 | 2024년 8월 기준 최소 35억 달러 | | Magic Leap 감원 | 2020-04-22 약 50%, 2024-07 약 75명 | | Magic Leap 2 출시 | 2022-09-30 | | Magic Leap One 종료 | 2024-12-31, 클라우드 서비스 종료 및 핵심 기능 지원 종료 |표 출처: [14] (본문 기준으로 재구성)
이 구조가 위험한 이유는 규제 설계에 있다. 510(k)로 클리어된 기기는 predicate와 같은 하드웨어 구성을 전제한다. 헤드셋이 단종되면 제조사는 새 헤드셋으로 다시 신청해야 한다. Augmedics의 반복 재클리어런스에도 부분적으로 이 성격이 있다. 반면 소비자 증강현실 하드웨어의 제품 주기는 3~5년이고, 군용 조달 계약 같은 외부 요인으로 방향이 바뀐다. 의료가 기대하는 기기 수명은 10~15년이다. 두 시간 척도가 애초에 맞지 않았다. 다만 이 위험을 '의료 증강현실의 가장 큰 단일 위험'이라고 단정하면 과장이 된다. 같은 기록이 반대 근거도 준다. HoloLens 2는 단종 후에도 2027년 말까지 소프트웨어 업데이트가 유지된다. Magic Leap 2는 존속한다. Magic Leap One은 기기가 문자 그대로 벽돌이 된 것이 아니라 클라우드 의존 기능이 끊긴 것이다. 무엇보다 상업적으로 성공한 제품들은 애초에 소비자 헤드셋에 의존하지 않았다. | 제품 | 하드웨어 기반 | |---|---| | Augmedics xvision | 전용 헤드셋 자체 제작 | | Medacta NextAR | 전용 장비 | | Philips ClarifEye | 기존 수술실 C-arm에 통합 |표 출처: [14] (본문 기준으로 재구성)
그러니 정확한 진술은 이렇다. 소비자 헤드셋 의존은 의료 증강현실 연구를 반복적으로 끊어온 실패 경로이고, 그 경로를 피한 제품이 살아남았다. Google Glass의 공급 중단(2015)에서 Magic Leap One의 지원 종료(2024)까지, 같은 종류의 실패가 9년 간격으로 되풀이됐다. [14] ### 확인하지 못한 것 이 장의 신뢰도를 위해 확인하지 못한 항목을 밝혀둔다. 이 분야에서 가장 자주 무비판적으로 인용되는 것들이다. 첫째, 정합 정확도 요구치의 규범적 근거다. 신경외과 2mm, 척추경 나사 Gertzbein-Robbins B등급 2mm 미만 같은 기준은 문헌에서 반복 사용된다. 그러나 이를 규정한 표준 문서의 번호를 확인하지 못했다. 이 장에 나온 1.81mm, 2mm, 4mm는 개별 논문의 보고치이지 규제 요구치가 아니다. 이 구분은 설계 판단에 직접 영향을 준다. 논문의 보고치를 사양으로 옮겨 적으면 근거 없는 사양이 된다. 둘째, 수가다. 증강현실 내비게이션에 별도 청구 코드가 있는지, 기존 정위 내비게이션 추가 코드에 포섭되는지 확인하지 못했다. 원격 증강현실의 수가 부재는 문헌의 일반적 지적을 옮긴 것이다. 셋째, 시장 규모의 구체 수치다. Augmedics xvision의 누적 시술 건수와 시스템 가격은 제조사 페이지에서 확인되지 않았다. 업계에 도는 숫자가 있지만 검증하지 못했다. 넷째, 정맥 투영 장치다. VeinViewer는 2006년, AccuVein은 2008년에 출시됐고 2015년 기준 미국 가격은 약 15,000달러로 알려져 있다. 소아 정맥로 확보 성공률을 유의하게 높이지 못할 수 있다는 지적도 있다. 510(k) 번호와 연도를 확인하지 못해 이 장의 본문에서 별도 사례로 다루지 않았다. 다섯째, 창업 연혁과 인수 금액이다. Brainlab의 창업 연도, Medtronic이 Surgical Navigation Technologies를 인수한 연도, StealthStation의 최초 출시 연도는 1차 확인에 실패했다. Mazor 인수 금액은 17억 달러와 16.4억 달러 두 수치가 병존한다. 여섯째, HoloLens 2 단종 발표의 정확한 일자다. 2024년이라는 것만 확인했다. [1][2][4][9][10][11][12][13][14] ### 이 장이 못 박는 한 문장 의료 증강현실 40년사는 기술이 얼마나 정확해졌는지의 역사가 아니라, 정합이 성립하는 조건과 하드웨어가 살아남는 조건이 겹치는 좁은 교집합을 찾아온 역사다. 그 교집합은 변형하지 않는 뼈, 밀리미터로 정량화된 안전 기준, 전용 하드웨어를 직접 만들 만한 시장 규모, 그리고 실질적 동등만으로 통과하는 규제 경로가 동시에 성립하는 자리였다. 척추와 인공관절이 그 자리였고, 간과 폐는 아직 아니다. 정확도가 부족해서 실패한 제품은 드물다. 정확도를 달성하고도 하드웨어가 사라져서, 또는 그 정확도가 임상적으로 중요한지를 아무도 입증하지 못해서 사라졌다. [5][9][10][14]본문의 번호를 누르면 출처로 이동합니다. 절 끝의 번호는 그 절의 사실 자료를, 표 아래의 번호는 표에 사용한 자료를 가리킵니다. 비교·계산·비유와 결론은 필자의 재구성입니다. 한 번호에 함께 사용한 문헌이 둘 이상이면 묶어서 적었습니다.
서지정보와 확인 메모는 옵시디언 조사 기록을 바탕으로 복원했습니다. 원 기록의 ‘전문 확인’·‘조회’ 표기는 당시 조사 상태이며 이번 웹판에서 모두 재검증했다는 뜻은 아닙니다. 불완전한 서지사항은 임의로 채우지 않았습니다.
표 출처: [4] (본문 기준으로 재구성)
기업 인증 파트너 프로그램은 2014년에 이미 가동됐다. 소비자 판매 중단은 2015년 1월이다. 기업 용도는 소비자 실패의 결과가 아니라 병행이었다. 물류 현장의 초기 시범들도 소비자용 글래스가 아직 팔리는 동안 진행됐다. 실패 후 전환이라는 깔끔한 인과는 사후에 만들어 붙인 것이다. 표에서 또 하나 읽어야 할 것은 판매 기간이다. 최종 사용자 배송은 2013년 4월에 시작됐으므로 실제 소비자 판매 기간은 약 21개월이다. 7개월이라는 숫자가 자주 돌아다니지만 그것은 1일 한정 판매일을 판매 시작일로 착각한 결과다. 산업 전환이 통한 이유는 기술이 아니라 맥락이었다. 공장 작업자는 이미 보안경과 헬멧을 쓴다. 이상한 안경을 썼다는 사회적 비용이 0이다. 그리고 한 대당 생산성 향상이 곧바로 원가로 환산된다. 여기서 결정적인 사실이 드러난다. Glass Enterprise Edition은 3D 정합을 하지 않는 단안 HUD였다. 해상도는 640×360으로, 2.4미터 거리의 25인치 화면에 해당한다. 홀로그램도 공간 인식도 없었다. 그런데도 팔렸다. 태블릿을 들었다 놨다 하는 시간이 사라진다는 것, 그 하나가 3D 그래픽보다 강한 구매 동기였다. 그런데도 2023년 3월 구글은 이 제품군을 끝냈다. 이유는 기술이 아니라 규모였다. 단안 저해상도 HUD의 기능은 수백 달러짜리 스마트폰으로 상당 부분 대체된다. 수천에서 수만 대 규모의 기업 시장은 구글이 제품 라인을 유지할 이유를 만들어주지 못했다. 성과 수치도 남기지 못했다. 농기계와 항공 엔진 업체의 25~30% 개선 사례가 자주 인용되지만 이번 조사에서 1차 출처를 확인하지 못했다. 확인된 것은 반대쪽이다. 구글이 2019년 Enterprise Edition 2를 발표한 공식 블로그는 생산시간 단축, 품질 향상, 비용 절감을 언급하면서 숫자는 한 개도 제시하지 않았다. [4] ### 창고의 한 줄, 그리고 누가 먼저였는가 창고 피킹에서 작업자는 종이 리스트나 핸드헬드 스캐너를 들고 통로를 걷는다. 한 손이 묶이고 시선이 화면과 선반을 왕복한다. pick-by-vision은 안경에 통로 번호, 칸 번호, 수량만 띄우고 바코드는 안경 카메라가 읽게 해 두 손을 풀어준다. 여기서 증강현실은 3D 홀로그램이 아니라 시야 안의 텍스트 한 줄이다. 그리고 그것이 정확히 성공 요인이었다. 전자상거래가 확산되면서 주문 단위가 팔레트에서 낱개 하나로 바뀌었다. 창고 인건비의 55~65%가 피킹에 몰렸고 계절 성수기마다 단기 인력을 대량 투입해야 했다. 신입이 2주 걸려 익히는 동선을 안경이 대신 알려주면 교육기간이 사라진다. 증강현실이 팔린 논리는 증강이 아니라 교육비 절감이었다. 이 용례의 공로는 흔히 DHL에 돌아간다. 2014년 개념 보고서, 2015년 네덜란드 창고 시범, 2017년 확대, 2019년 다국 배치라는 연표가 함께 인용된다. 그러나 pick-by-vision은 DHL보다 6년 앞서 학술 검증이 끝나 있었다. | 연구 | 연도 | 인용수 | |---|---|---| | Reif & Günthner, "Pick-by-vision: augmented reality supported order picking", The Visual Computer | 2009 | 98 | | Reif, Günthner & Schwerdtfeger, "Pick-by-Vision comes on age: evaluation ... in a real storage environment" | 2009 | 42 | | Schwerdtfeger, "Pick-by-vision: bringing HMD-based augmented reality into the warehouse" | 2012 | 미확인 |표 출처: [5] (본문 기준으로 재구성)
세 편 모두 뮌헨공대에서 나왔다. 두 번째 논문의 제목이 말하듯 실제 창고 환경 평가까지 2009년에 끝났다. DHL은 개척자가 아니라 후발 채택자다. 대기업 시범이 곧 기술의 기원이 되는 재인용 구조가 여기서 잘 보인다. 성과 수치는 더 심각하다. 네덜란드 시범의 효율 25% 향상, 이후 배치의 생산성 약 15% 향상이라는 두 숫자가 산업 증강현실 논의에서 가장 널리 인용되는 근거다. 이번 조사에서 두 숫자의 1차 출처를 확보하지 못했다. 회사 도메인 접근이 차단됐고, 웹 아카이브 스냅샷도 없었으며, 아카이브 색인 조회 결과도 0건이었다. 시범 규모로 통용되는 작업자 10명, 3주, 약 2만 품목, 9천 건 주문도 같은 보도자료를 재인용한 2차 매체뿐이다. 이 숫자들은 고객사와 공급사가 함께 발표한 자체 수치다. 동료심사도, 제3자 감사도 없다. 앞서 본 2009년 실환경 평가들은 조건에 따라 효과가 크게 달라진다고 보고했다. 그쪽이 검증된 문헌이고, 널리 인용되는 쪽이 검증되지 않은 홍보물이다. 결과는 부분 성공이다. 산업 증강현실 중 가장 오래 살아남은 용례인 것은 맞다. 그러나 같은 문제를 음성 피킹이 1990년대부터 더 싸게 풀고 있었고, 손목형 스캐너도 경쟁했다. 아마존은 2012년 키바 시스템스를 7억 7,500만 달러에 인수해 사람의 동선 자체를 없앴다. 증강현실 피킹이 남은 자리는 완전 자동화가 경제성이 안 나오는 중간 규모 창고라는 틈새다. [5] ### 인증이 있는 산업에서만 계산이 됐다 에어버스는 2011년 MiRA를 도입했다. 태블릿을 A380 동체 내부에 비추면 3D 디지털목업과 실물의 차이가 겹쳐 보인다. 2015년에는 조립 위치 마킹용 SART가 나왔다. 개발과 운용은 자회사 테스티아가 맡았다. 주목할 점은 기기 선택이다. HMD가 아니라 태블릿이었다. 정합 정밀도가 중요한 검사 작업에서는 손에 든 화면이 오히려 실용적이었다. 핸즈프리라는 증강현실의 대표 편익을 포기한 것이 역설적으로 생존 이유가 됐다. 항공기 제조가 특별한 이유는 인증이다. 도면대로 만들었다는 증거를 남기는 비용이 제조원가의 상당 부분을 차지한다. 동체 한 섹션에 수만 개의 브래킷이 붙고, 각각이 도면 위치에 맞게 붙었는지 사람 눈으로 대조하는 것이 병목이었다. 증강현실은 조립을 빠르게 한 것이 아니라 검사 기록을 자동으로 남기는 역할로 들어갔다. 여기서 다른 산업의 실패 원인이 드러난다. 규제 증빙 의무가 없는 산업에서는 증강현실의 투자수익 계산이 훨씬 어렵다. 절감액의 수령자가 불명확하기 때문이다. 수치는 여기서도 조심해야 한다. 브래킷 약 8만 개의 검사를 3주에서 3일로 줄였다는 문장이 거의 모든 산업 증강현실 자료에 등장한다. 약 7배 단축이다. 이번 조사에서 제조사 원문 페이지는 404였고 제품 페이지도 접근되지 않았다. 검사 범위와 비교 기준선이 공개된 적이 없다. 무엇 대비 3주였는지 아무도 모른다. 기업 홍보 수치가 인용 연쇄를 통해 검증된 성과로 승격된 전형적 사례다. 결과 평가는 제한적 성공이 정확하다. 검사와 마킹 같은 좁은 작업에서는 정착했고, 조립 라인 전반의 작업지시 수단으로는 확산되지 않았다. [6] ### 사라진 회사들 2015년부터 2018년까지 산업 증강현실은 자본의 총애를 받았다. 그리고 2019년 한 해에 하드웨어 중간지대가 무너졌다. 이 장의 중심은 이 목록이다. | 회사 | 조달·자금 | 최대 인원 | 종말 | |---|---|---|---| | DAQRI | 누적 2억 7,500만 달러(2017-07 기준), 시리즈A 1,500만 달러(2013-06) | 해산 시점 140명 | 2019-09-09 자산매각·폐업 발표, 그달 내 정리 | | Meta Company | 킥스타터 19만 4,444달러(2013), 시리즈A 2,300만 달러(2015), 추가 5,000만 달러(2016) | 약 100명 | 2018-09 3분의 2 무급휴직, 2019-01 채권자 압류·전 자산 매각 | | ODG | 2017년 특허 일부 매각으로 자금 조달, 금액 미확인 | 미확인 | 2018~2019 감원, 매각 무산, 자산 경매 | DAQRI는 2010년 로스앤젤레스에서 브라이언 멀린스, 가이아 뎀프시, 필립 톨크가 창업했다. 접근은 명료했다. 중공업 현장은 어차피 안전모를 쓴다. 안전모를 그대로 증강현실 기기로 만들면 추가 착용 저항이 0이다. 스마트 헬멧은 2014년 개발에 들어가 2016년 1월 CES에서 인텔 기조연설을 통해 공개됐다. 인텔 코어 m7을 넣고 3D 매핑, 열화상, 실시간 경보, 시각적 작업지시를 제공했다. 무겁다는 비판에 2017년 1월 경량 스마트글라스로 대응했다. 회사는 EEG 업체 멜론, 초기 증강현실 툴킷 ARToolworks, 디스플레이 업체 1066 랩스까지 인수하며 수직계열화를 시도했다. 더블린과 비엔나에 사무소를 열었다. 2017년 10월 직원 약 4분의 1을 감원하고 공동창업자가 사임했다. 2019년 9월 9일 폐업을 발표하고 그달 안에 정리됐다. 실패 원인은 두 갈래다. 헬멧은 무겁고 배터리가 짧았다. 더 중요한 쪽은 사업 구조였다. 대당 수천 달러 하드웨어를 팔면서 소프트웨어 생태계가 없어 반복 매출이 생기지 않았다. 하드웨어를 직접 제조하겠다는 선택이 치명적이었다. 같은 시기 살아남은 회사는 모두 소프트웨어였다. Meta Company는 2012년 메론 그리베츠가 컬럼비아대 재학 중 창업했다. 홀라이즌스 벤처스, 팀 드레이퍼, 레노버, 텐센트가 투자했다. 2016년 3월 발표한 Meta 2의 논리는 가격이었다. 마이크로소프트 홀로렌즈가 3,000달러일 때 949달러를 제시했고 시야각은 더 넓었다. 대신 PC에 유선으로 물려야 했다. 오스터하우트 디자인그룹은 군용 디스플레이 기술로 시작해 R-7, R-8, R-9 산업용 안경을 냈고 2017년 마이크로소프트에 특허 일부를 매각해 자금을 댔다. 둘 다 같은 가설 위에 있었다. 소비자용보다는 싸고 산업용으로는 쓸 만한 중간지대를 열면 공장 도입이 폭발한다. 가설은 틀렸다. 그리고 두 회사의 소멸이 그것을 증명했다. 기업은 3,000달러가 비싸서 사지 않은 것이 아니다. 1,000대를 깔았을 때 무엇이 얼마나 좋아지는지 회계적으로 증명할 수 없어서 사지 않았다. 가격을 3분의 1로 내려도 증명 불가능은 그대로다. 절감액을 장부에 올릴 수 없는 투자는 결재를 받지 못한다. 2019년에 여러 회사가 동시에 무너진 것은 우연이 아니다. ODG에 대해서는 한 가지를 더 말해야 한다. 이 회사는 파산을 신청한 것이 아니라 감원과 매각 무산을 거쳐 자산 경매로 끝났다. 그리고 이번 조사에서 독립 백과 항목이 존재하지 않음을 확인했다. 조달액, 제품 가격, 특허 매각 금액, 경매 결과를 하나도 확인하지 못했다. 1억 5,000만 달러 특허 매각설이 돌지만 근거를 찾지 못했다. 한 시대의 주요 플레이어였던 회사의 기록이 10년도 지나지 않아 공개 웹에서 사라졌다는 사실 자체가 이 시장의 규모를 말해준다. 기록이 남을 만큼 크지 않았다. [7][8] ### 소프트웨어는 살아남았고, 카테고리는 흡수됐다 2019년 상장한 독일 괴핑엔의 원격제어 소프트웨어 회사 팀뷰어가 2020년부터 산업 증강현실 소프트웨어 업체를 연달아 사들였다. 우비맥스를 2020년 7월 15일, 업스킬을 2021년 3월 2일, 비스코픽을 2021년에 인수해 TeamViewer Frontline으로 통합했다. 인수 금액은 어느 쪽도 공시되지 않았다. 우비맥스가 1억 3,000만 유로대라는 보도가 있지만 추정치다. 주목할 것은 인수자의 정체다. 증강현실 회사도 아니고 제조 소프트웨어 회사도 아닌 원격 데스크톱 회사였다. 이것은 산업 증강현실의 실제 킬러앱이 3D 조립지시가 아니라 다른 것으로 수렴했음을 보여준다. 원격의 전문가가 현장 화면을 보면서 화살표를 그리는 일이다. 코로나19가 결정적이었다. 2020년 국경이 닫히자 장비 제조사의 서비스 엔지니어가 고객 공장에 갈 수 없었다. 전문가를 비행기에 태우는 비용이라는 아주 구체적인 숫자가 갑자기 눈에 보였고, 원격지원이 그 비용을 직접 대체했다. 증강현실이 팔린 이유는 증강이 아니라 출장 금지였다. 여기서 흔히 붙는 근거 없는 계보를 잘라내야 한다. 업스킬의 제품 스카이라이트가 보잉 배선 조립 시범에 쓰였다는 사실 때문에, 이 회사를 1990년 카우델과 미젤의 그 프로젝트와 연결하는 서술이 있다. 무관하다. 업스킬은 APX 랩스로 출발한 별개 회사이고, 스카이라이트가 쓰인 보잉 시범은 2016년경의 일이다. 법인도 인력도 기술도 연속성이 없다. 26년 간격의 두 사건을 붙여 30년 만의 귀환이라는 이야기를 만들면 읽기는 좋지만 사실이 아니다. 참고로 그 2016년 시범에서 인용되는 조립시간 25% 단축, 오류 50% 감소라는 수치도 이번 조사에서 1차 출처를 확인하지 못했다. 개별 회사로 보면 정상적인 엑시트다. 카테고리로 보면 다르다. 산업 증강현실 소프트웨어는 독립 시장으로 존속하지 못하고 원격지원 SaaS의 한 기능으로 흡수됐다. 시장이 사라지는 방식에는 파산만 있는 것이 아니다. 더 큰 제품의 메뉴 항목이 되는 것도 소멸이다. [9][10] ### 공시가 말한 것과 말하지 않은 것 2015년 11월 3일 PTC가 퀄컴 커넥티드 익스피리언스로부터 뷰포리아를 인수했다. 뷰포리아는 2010년대 초 가장 널리 쓰인 증강현실 SDK였다. 인수 조건은 SEC 공시에 남아 있다. | 항목 | 금액·조건 | |---|---| | 총 인수대가 | 6,920만 달러 | | 인수 현금 450만 달러 차감 순액 | 6,480만 달러 | | 인수 무형기술 | 4,120만 달러 | | 영업권 | 2,330만 달러 | | 기술 상각 내용연수 | 6년 | | 인수 시점 인원 | 약 80명 |표 출처: [9] (본문 기준으로 재구성)
이 공시에서 가장 많이 인용되는 문장은 다음이다. > At the time of the acquisition, Vuforia had approximately 80 employees and historical annualized revenues which were immaterial to our financial results. 개발자 점유율 1위 증강현실 플랫폼의 과거 연환산 매출이 재무적으로 무의미했다는 문장이다. 강력한 문장이지만 문맥을 지켜야 한다. 이것은 2015년 11월 인수 시점, 퀄컴 산하 시절 뷰포리아의 상태를 서술한 취득회계 상용구다. PTC가 10년간 운영한 증강현실 사업의 실적 평가가 아니다. 그 평가는 애초에 공시된 적이 없다. FY2021과 FY2024 10-K 전문에서 뷰포리아는 각각 정확히 한 번 등장하고 매출 수치는 나오지 않는다. PTC의 전략은 명확했다. PTC는 CAD와 PLM 회사다. 고객사의 3D 모델을 이미 다 갖고 있으니 그 모델을 현장 작업자 시야에 띄우는 것이 자연스러운 확장이다. 증강현실을 새 시장이 아니라 기존 CAD 데이터의 마지막 배송 구간으로 정의한 것이다. 참고로 인수 직전 PTC의 IoT 부문 매출은 FY2015 5,290만 달러에서 FY2016 8,030만 달러로 늘었다. 변화는 분류 체계에서 읽힌다. FY2021 10-K는 CAD, PLM, IIoT, AR을 네 개 시장으로 서술한다. FY2024 10-K의 5대 솔루션은 PLM, ALM, SLM, CAD, SaaS이고 증강현실은 여기에 없다. 대신 다른 문장에 들어간다. > Our principal products and services are enhanced by a collection of enabling technologies, including SaaS versions of our Creo CAD and Windchill PLM software, artificial intelligence software, our ThingWorx Internet of Things software, and our Vuforia augmented reality software. 증강현실은 시장에서 가능화 기술로 이동했다. 여기서 두 가지 흔한 과장을 걷어내야 한다. 첫째, 원문 표현은 enabling technologies이고 부수 기술이라는 폄하는 원문에 없다. 둘째, 그 자리를 AI가 가져갔다는 서술은 이 공시가 직접 반박한다. AI는 증강현실과 같은 문장, 같은 범주에 나란히 병기돼 있다. IoT도 함께 내려갔다. 증강현실만의 강등이 아니라 분류 체계 전체의 재편이다. 그래도 사실은 남는다. 산업 증강현실 소프트웨어 최대 사업자의 공시에서, 증강현실은 성장 시장 목록에서 빠졌다. [9] ### 218.8억 달러는 수령액이 아니다 마이크로소프트 홀로렌즈 2는 산업 증강현실의 사실상 기준기가 됐다. 조립, 정비, 원격지원 소프트웨어가 모두 이 기기 위에 지어졌다. 2015년 1월 발표, 2016년 3월 30일 개발자판 3,000달러, 2019년 2월 24일 홀로렌즈 2 발표 3,500달러다. 그런데 이 기기의 존속을 뒷받침한 것은 산업 시장이 아니라 군이었다. 군은 증강현실의 투자수익을 생산성이 아니라 생존율로 계산할 수 있는 거의 유일한 고객이고, 예산 규모가 민간 산업 증강현실 시장 전체보다 컸다. IVAS는 근접전투부대 12만 명 이상에게 야시, 조준, 상황인식을 통합한 HMD를 보급하는 사업이었다. 2021년 3월 26일 체결된 양산계약의 규모는 최대 218.8억 달러다. 이 숫자를 읽는 법이 중요하다. | 항목 | 값 | |---|---| | 10년 생산계약 상한 | 218.8억 달러 | | 2020-12 의회 삭감 | 11억 달러 요구에서 2억 3,000만 달러 삭감 | | 2022-03 집행 보류 | 약 4억 달러, 시험 완료 전까지 | | 2022-09 초기 인수 | 5,000대, 당초 2021년 4만 대 목표에서 하향 | | 2023-08 IVAS 1.2 시제 | 20대 | | FY2024 계획 | 280대 |표 출처: [11] (본문 기준으로 재구성)
218.8억 달러는 10년 계약의 상한이다. 수주액도 인식 매출도 아니다. 실제 집행 기록은 두 자릿수 억 달러 수준이다. 218.8억 달러를 따고도 실패했다는 낙차 연출은 성립하지 않는다. 상한을 실적처럼 읽는 것은 산업 증강현실 시장 규모 논의에서 반복되는 오류이고, 이 사업이 그 오류의 가장 큰 사례다. 기술 평가는 별개로 명확하다. 초기 운용시험은 2022년 5~6월에 수행됐다. 2023년 1월 국방부 시험평가국 연례보고서가 그 결과를 정리했다. 병사들은 두통, 눈피로, 메스꺼움 등 광범위한 신체 장애를 겪었다. 기기 발광이 수백 미터 밖에서 보인다는 지적도 나왔다. 결론 문장은 이렇다. > accomplished their missions better with their current equipment than with IVAS 기존 장비로 임무를 더 잘 수행했다. 기술적 실패가 1차 문서로 명확하게 기록된 드문 사례다. 그리고 실패 원인이 모두 소프트웨어 밖에 있었다는 점이 중요하다. 시야각, 무게, 발광, 멀미는 광학과 인체공학의 문제다. 코드로 고칠 수 없다. 다만 이 평가를 프로그램의 최종 판정으로 읽어서는 안 된다. 대상은 IVAS 1.0과 1.1 하드웨어였고 사업은 취소되지 않았다. 1.2로 이어졌고 2025년 2월 생산과 개발, 납기 관리가 안두릴로 이관됐다. 특정 시험 단계의 결론과 프로그램의 종결 평가는 다르다. 한편 주변 제품군은 차례로 정리됐다. 윈도우 믹스드 리얼리티는 윈도우 11 24H2에서 제거됐고 스팀VR 연동은 2026년 11월까지만 유지된다. 애저 리모트 렌더링은 2025년 9월 30일 서비스가 종료됐다. [11] ### 단 하나의 순수 사업자가 남긴 재무제표 시장조사기관의 예측치는 산업 증강현실을 논하는 데 쓸모가 없다. 2016~2018년에 나온 수백억 달러 규모 전망들은 검증할 방법이 없고 대부분 유료 보고서 뒤에 있다. 대신 상장기업의 제출 서류가 있다. 뷰직스는 1997년 폴 트래버스가 뉴욕 로체스터에 세운 회사로, 산업용 단안 스마트글라스의 대표 공급사다. 물류와 의료 현장 도입 사례가 10년 넘게 계속 보도됐다. 2015년 1월 인텔이 2,500만 달러를 투자해 지분 30%를 확보하며 주목받았다. 지분은 이후 10%로 희석됐다. 직원은 약 90명이다. 다음은 SEC XBRL 데이터에서 직접 조회한 연간 실적이다. | 회계연도 | 매출 | 순손실 | |---|---|---| | 2016 | 213만 달러 | 1,925만 달러 | | 2017 | 미확인 | 1,963만 달러 | | 2018 | 809만 달러 | 2,188만 달러 | | 2019 | 667만 달러 | 2,648만 달러 | | 2020 | 1,158만 달러 | 1,795만 달러 | | 2021 | 1,316만 달러 | 4,038만 달러 | | 2022 | 1,184만 달러 | 4,076만 달러 | | 2023 | 1,213만 달러 | 5,015만 달러 | | 2024 | 575만 달러 | 7,354만 달러 | | 2025 | 628만 달러 | 3,227만 달러 |표 출처: [12] (본문 기준으로 재구성)
10년간 누적 매출은 8,320만 달러, 누적 순손실은 3억 4,230만 달러다. 손실이 매출의 4배가 넘는다. 연매출은 단 한 번도 1,320만 달러를 넘지 못했다. 이 표를 산업 증강현실이 도입되고 있다는 10년치 보도와 나란히 놓으면, 서사와 실제 지불 규모 사이의 격차가 보인다. 표의 모양도 읽어야 한다. 이 회사의 매출을 2016년 213만에서 2018년 809만, 2020년 1,158만으로 이어 붙이면 꾸준한 성장 곡선이 나온다. 그러나 2019년은 667만으로 전년 대비 약 18% 하락했다. 하락 연도를 건너뛴 배열이 곳곳에서 발견된다. 그리고 2020~2021년의 증가는 산업 구조의 변화가 아니라 코로나 원격지원 수요였다. 2024년 매출이 반토막 난 것은 그 수요가 사라졌다는 뜻이다. 산업 증강현실 하드웨어의 수요는 제조업의 구조가 아니라 팬데믹이라는 일시적 조건 위에 얹혀 있었다. 회사는 생존했고 확장은 실패했다. [12] ### 35억 달러의 후퇴 매직리프는 증강현실 기업 역사상 가장 많은 돈을 모았다. 그 돈의 이동 경로가 이 시장의 성격을 말해준다. | 시점 | 조달 | 기업가치 | |---|---|---| | 2014-10 | 구글 주도 라운드 5억 4,000만 달러 초과, 퀄컴·a16z·클라이너퍼킨스 공동 | 공표 없음 | | 2015-12 | 시리즈C, 누적 14억 달러 | 37억 달러 | | 2016-02-02 | 시리즈C 공표액 7억 9,350만 달러 | 45억 달러 | | 2018-03 | 시리즈D 4억 6,100만 달러 | 공표 없음 | | 2019 | NTT도코모 2억 8,000만 달러(2019-04) | 64억 달러 | | 2020-05 | 3억 5,000만 달러 | 4억 5,000만 달러(2020-06, 93% 하락) | | 2021-10 | 5억 달러 | 20억 달러 | | 2024-08 기준 | 누적 최소 35억 달러 | 공표 없음 |표 출처: [13] (본문 기준으로 재구성)
2014년 라운드는 구글 단독 투자가 아니다. 구글이 주도하고 퀄컴, 앤드리슨 호로위츠, 클라이너 퍼킨스가 함께 넣은 5억 4,000만 달러 이상의 라운드다. 이 구분이 중요한 이유는 뒤에 나온다. 사우디 공공투자기금은 누적 7억 5,000만 달러를 넣고 최대 주주가 됐다. 시리즈D 4억 6,100만 달러도 이 자금이다. 흔히 유통되는 조달 내역을 단순 합산하면 40억 달러가 나와 회사가 밝힌 누적 35억 달러를 초과하는데, 원인은 시리즈C의 중복 기재와 국부펀드 자금의 이중계상이다. 35억 달러라는 숫자를 2015~2018년 자본 전성기에 배치하는 서술도 흔하다. 시대착오다. 2018년 시점 누계는 약 23억 달러이고, 나머지 약 11억 달러는 2019년 이후에 들어왔다. 10년치 조달을 4년 창에 압축하면 전성기의 규모가 부풀어 오른다. 제품의 궤적은 단순하다. 2018년 8월 8일 매직리프 원이 AT&T를 통해 2,295달러로 나왔고 판매는 참담했다. 2020년 4월 직원 약 절반을 감원하고 CEO를 교체하며 기업용으로 전면 선회했다. 2022년 9월 30일 매직리프 2는 처음부터 기업 전용으로 출시됐다. 매직리프 원 지원은 2024년 12월 31일 종료됐다. 여기서 산업 증강현실의 구조가 드러난다. 기업용 전환의 표면 이유는 코로나였지만 실질 이유는 소비자 판매 실패였다. 기업용 시장은 단가가 높고 수량이 적어도 되는 시장이라, 하드웨어 원가가 높은 회사에게 유일하게 남은 출구다. 산업 증강현실로 넘어온 회사 상당수가 같은 경로를 밟았다. 자발적 선택이 아니라 후퇴였다. 산업이 증강현실을 불러들인 것이 아니라, 소비자 시장에서 밀려난 기업들이 산업으로 피난했다. 2024년 매직리프는 구글과 광학 기술 파트너십을 맺으며 사실상 부품과 광학 공급자로 재정의됐다. 35억 달러를 쓰고 독립 제품 회사로 자리잡지 못했다는 결과는, 이 시장의 총 지불 규모 자체가 작다는 방증이다. [13] ### 도입 사례가 플랫폼과 함께 증발한다 마이크로소프트 다이나믹스 365 가이드는 홀로렌즈용 홀로그래픽 작업지시 앱이고, 리모트 어시스트는 원격 전문가 지원 앱이다. 2018년과 2019년에 각각 나와 7~8년간 산업 증강현실의 표준 제품으로 불렸다. 전 세계 파트너사 수십 곳이 이 위에 사업을 세웠다. | 시점 | 조치 | |---|---| | 2025-03-25 | 리모트 어시스트 모바일 폐기 | | 2025-09-30 | 애저 리모트 렌더링 서비스 종료 | | 2025-10-14 | 두 제품 지원 종료 공지 | | 2025-11-01 | 신규 구매·갱신 중단 | | 2026-12-31 | 지원 종료, 앱 작동 중지 |표 출처: [14] (본문 기준으로 재구성)
공지에서 구매 중단까지 2주 남짓이다. 사실상 즉시 중단이다. 지원 종료 이후 앱은 작동하지 않고 데이터만 데이터버스에 남는다. 대체재로 제시된 것은 마켓플레이스의 다양한 혼합현실 솔루션과 팀즈 모바일의 공간 주석 기능이다. 직접적인 후속 제품이 없다는 뜻이다. 철수의 이유는 증강현실이 작동하지 않아서가 아니다. 같은 엔지니어링 자원을 AI에 투입하는 편이 수익률이 압도적으로 높았기 때문이다. 산업 증강현실의 총 유효시장이 마이크로소프트 규모 회사의 최소 사업 단위에 못 미쳤다는 것이 핵심이다. 기술이 아니라 기회비용이 제품을 끝냈다. 결과가 남기는 교훈은 기술 자체보다 무섭다. 2026년 말 이후, 지난 10년간 축적된 홀로렌즈 기반 기업 도입 사례 전부가 마이그레이션 대상이 된다. 성공 사례로 소개됐던 공정들이 플랫폼과 함께 증발하는 셈이다. 기술 도입을 특정 벤더의 플랫폼에 의존할 때 무엇이 위험해지는지, 이보다 선명한 사례를 찾기 어렵다. 도입의 성공 여부와 무관하게 끝난다. [14] ### 34년이 가르친 것 이 장에 나온 실패를 원인별로 묶으면 세 갈래다. 첫째는 물리다. 무게, 시야각, 발광, 멀미, 정합 정밀도는 코드로 고칠 수 없었다. 국방부 시험 결과가 그것을 가장 정확하게 기록했다. 둘째는 데이터다. 1990년대 말 독일 컨소시엄이 걸린 곳은 광학이 아니라 CAD 데이터를 현장에 실시간으로 내려보내는 파이프라인이었다. 셋째는 회계다. 기업이 사지 않은 이유는 가격이 아니라 절감액을 장부에 올릴 수 없다는 점이었다. 949달러가 3,000달러를 이기지 못한 이유가 여기 있다. 살아남은 용례에는 공통점이 있다. 규제 증빙이 의무인 산업의 검사 기록, 국경이 닫혔을 때의 출장 대체, 완전 자동화가 안 되는 중간 규모 창고의 교육비 절감이다. 세 경우 모두 절감액이 기존 원가 항목으로 이미 존재했다. 증강현실은 새 가치를 만들 때가 아니라 이미 장부에 있는 비용을 지울 때만 팔렸다. 반대로 하드웨어를 직접 만든 회사는 예외 없이 사라졌고, 남은 회사는 소프트웨어였으며, 그 소프트웨어마저 원격지원 SaaS의 기능으로 흡수됐다. 마지막으로 이 장의 자료가 스스로 드러낸 문제를 적어둔다. 산업 증강현실의 성과 수치는 거의 전부 공급사와 고객사가 함께 발표한 자체 수치다. 효율 25% 향상, 검사 3주에서 3일, 조립시간 25% 단축, 작업효율 8~12% 향상. 이 조사에서 이 숫자들의 1차 출처를 하나도 확보하지 못했다. 도메인이 닫혔고 페이지는 404였으며 웹 아카이브에도 기록이 없었다. 반대로 1차 문서로 확인된 숫자는 성격이 다르다. 상장기업의 10년 누적 매출 8,320만 달러, 인수 시점 매출은 재무적으로 무의미, 병사들은 기존 장비로 임무를 더 잘 수행했다, 지원 종료 2026년 12월 31일. 검증 가능한 숫자는 모두 나쁜 소식이고, 좋은 소식은 검증되지 않는다. 이 비대칭이 산업 증강현실 34년의 가장 정직한 요약이다. 산업 증강현실은 기술적으로 실패한 적이 거의 없다. 기술은 대체로 작동했다. 다만 34년 내내, 한 대를 깔았을 때 얼마가 절약되는지를 장부에 쓸 수 있는 사람이 나타나지 않았다. 그래서 이 기술은 사라지지도 않았고, 산업을 바꾸지도 못했다. [1][6][9][11][12][14]본문의 번호를 누르면 출처로 이동합니다. 절 끝의 번호는 그 절의 사실 자료를, 표 아래의 번호는 표에 사용한 자료를 가리킵니다. 비교·계산·비유와 결론은 필자의 재구성입니다. 한 번호에 함께 사용한 문헌이 둘 이상이면 묶어서 적었습니다.
서지정보와 확인 메모는 옵시디언 조사 기록을 바탕으로 복원했습니다. 원 기록의 ‘전문 확인’·‘조회’ 표기는 당시 조사 상태이며 이번 웹판에서 모두 재검증했다는 뜻은 아닙니다. 불완전한 서지사항은 임의로 채우지 않았습니다.
표 출처: [3] (본문 기준으로 재구성)
던리비 논문은 이 분야 최상위권 인용 수다. ETR&D 논문의 게재 연도를 2007년으로 적은 문헌이 많은데 2007년 4월 5일은 온라인 선공개일이고 지면 게재는 2008년이다. 주목할 점은 두 연구가 성과만 보고하지 않았다는 것이다. 참여도 상승과 함께 한계를 명시했다. 인지 과부하, 기기 관리 부담, 위성항법 오차와 배터리 같은 기술적 실패다. 그리고 확산은 실패했다. 기기 배포, 위치 정확도, 교사 훈련 비용 때문에 연구 프로젝트 밖으로 나가지 못했다. 위치기반 교육 증강현실의 실질적 대중화는 10년 뒤 소비자 쪽에서 일어난다. [3] ### 숫자가 필요해진 순간 2010년대 초 스마트폰 보급으로 증강현실 교육 논문이 폭증했다. 서로 다른 기기와 과목과 측정도구를 쓴 소규모 연구들이라 비교가 불가능했다. 정리 없이는 연구비 심사도 교육정책 판단도 할 수 없는 상태였다. 우 흐시우핑 외(2013)가 Computers & Education에 현황과 기회와 도전을 정리해 의제를 설정했다. Crossref 기준 1,832회 인용된 논문이다. 율리안 라두(2014)는 증강현실과 비증강현실을 비교한 선행 연구들을 메타리뷰해 긍정 효과와 부정 효과를 나란히 목록화했다. 부정 효과로 꼽은 것은 주의 터널링, 사용성 난이도, 인지 과부하, 교실 통합의 어려움이다. Crossref 686회, Semantic Scholar 860회 인용됐다. 라두가 분석한 비교 연구 편수는 26편으로 인용되지만 두 데이터베이스가 이 논문의 초록을 보유하지 않아 이번 조사에서는 검증하지 못했다. 두 편이 기준점을 만든 뒤 2014년부터 메타분석이 쏟아졌다. | 연구 | 표본 | 효과크기 | 비고 | |---|---|---|---| | Santos 외(2014), IEEE TLT 7(1) | 87편 검토 → 사용자 연구 43편 → 효과크기 산출 가능 7편 | 평균 0.56 | 범위가 작은 음의 효과부터 큰 효과까지 | | Tekedere & Göker(2016) | 동료심사 15편, 2005-2015 | 0.677 | 게재지에 DOI 없음, 현재 폐간 | | Özdemir 외(2018), EJER 74:165-186 | SSCI 등재 16편, 2007-2017 | 미확인 | 모바일 기기에서 최대, 웹캠에서 최소 | | Garzón & Acevedo(2019), Educational Research Review 27 | 64편, 학습자 4,705명, 2010-2018 | d=0.68, p<.001 | 이 세대의 표준 인용값 | 표를 읽는 방식이 중요하다. 산토스의 경우 87편을 검토해 효과크기를 뽑을 수 있었던 논문이 7편뿐이었다. 이 숫자 자체가 당시 이 분야의 보고 관행을 말해 준다. 가르손과 아세베도의 64편 4,705명은 연구당 평균 약 74명이다. 외즈데미르 외(2018)의 초록은 그 관행을 더 선명하게 보여준다. 같은 초록 안에서 두 문장이 충돌한다. > AR applications increase students' academic achievement in the learning process compared to traditional methods > It was concluded that AR applications do not show significant differences in academic success in the learning process 증가한다고 쓴 직후에 유의한 차이를 보이지 않는다고 쓴다. 이 논문의 평균 효과크기 숫자는 2차 문헌에서 여러 값으로 인용되지만 1차 자료에서 확인되지 않으므로 이 책에서는 제시하지 않는다. Tekedere와 Göker의 0.677을 가르손과 아세베도의 0.68과 나란히 놓는 것도 조심해야 한다. 앞쪽은 DOI가 없고 현재 폐간된 학술지 게재물이며, 171편 중 15편을 선별했다는 흔한 서술은 초록에 없다. 초록이 밝히는 것은 2005년부터 2015년까지의 동료심사 논문 15편과 효과크기 0.677뿐이다. 두 값은 자릿수가 비슷하지만 증거의 등급이 같지 않다. 이 세대에서 가장 널리 인용되는 값 하나는 아예 검증에 실패했다. 가르손, 파본, 발디리스(2019)의 Virtual Reality 논문은 통상 중간 효과크기와 61편이라는 숫자로 인용되지만, 유료 접근과 초록 비공개로 이번에 통합 효과크기와 포함 편수를 확인하지 못했다. 확인된 것은 Crossref 451회, Semantic Scholar 503회라는 피인용 수뿐이다. [7][8] ### 평균에서 조건으로 1세대가 내놓은 0.5에서 0.7 사이의 값이 정책 문서에 인용되기 시작했다. 그런데 이 값은 같은 기술로 왜 어떤 수업은 되고 어떤 수업은 안 되는지 설명하지 못했다. 조달 담당자에게 필요한 것은 평균이 아니라 조건이었다. 2세대 메타분석은 질문을 바꿨다. 평균이 얼마냐에서 무엇이 조절하느냐로. | 연구 | 대상 범위 | 보고값 | |---|---|---| | Garzón 외(2020), Educational Research Review 31 | 학습이론별 분류 | 협력학습 설계에서 효과 최대 | | Cai, Pan & Liu(2022), JCAL 38(4):929-945 | 언어 학습 21편, 2008-2020 | 학습 이득 0.93, 학습 동기 0.42 | | Chang 외(2022), Computers & Education 191 | 134편, 2012-2021 | 처치 기간이 유의한 조절변수 | | Yılmaz & Batdı(2021), Journal of Science Learning 4(3) | 과학 24편 | g=0.602 | | Li 외(2025), Education Sciences 15(6):678 | 고등교육, 237편 검토 → 실험 60편, 2000-2023 | g=0.896, 95% CI [0.685, 1.107] | | Zhu 외(2026), Smart Learning Environments 13(1) | 27편, 종속변수는 인지부하 | g=-0.383, 95% CI [-0.740, -0.027], I²=92.7% |표 출처: [9] (본문 기준으로 재구성)
이 표는 조심해서 읽어야 한다. 값을 위에서 아래로 훑으면 하나의 수직선에 놓인 것처럼 보이지만, 실제로는 서로 다른 것을 재고 있다. 차이 외(2022)의 0.93은 언어 학습에 한정된 값이고, 같은 연구에서 학습 동기는 0.42다. 성적은 크게 오르고 동기는 별로라는 비대칭이다. 리 외(2025)의 0.896은 고등교육에 한정된 값이다. 대학생 표본의 추정치이므로 초중등을 포함한 교육 일반의 상한으로 읽으면 안 된다. 이 논문을 2024년 발표로 적은 문헌이 많은데 실제 게재일은 2025년 5월 29일이고 저자는 6인이다. 2024년은 연구계획 등록 연도다. 주 외(2026)의 -0.383은 부호가 반대인 다른 종속변수다. 인지부하 감소량이므로 음수일수록 바람직하다. 이 연구의 결론은 증강현실이 학습자의 인지부하를 유의하게 줄인다는 긍정 결과다. 이 값을 0.38이라는 낮은 수치처럼 배치해 0.38에서 0.93까지 흩어진다고 쓰는 서술을 자주 보는데, 그것은 분산을 인위적으로 만드는 범주 오류다. I²=92.7%도 인지부하 합성에서 나온 값이고 성취 문헌의 이질성이 아니다. 가르손이나 차이나 창이나 리의 메타분석에는 I² 값이 제시되지 않았으므로, 이 분야 전체의 이질성이 90%를 넘는다고 일반화할 근거는 없다. 그렇다면 성취 효과크기의 진짜 범위는 어디까지인가. 등재물을 전수 조회하면 아래쪽이 흔히 인용되는 값보다 훨씬 낮다. | 연구 | 표본 | 보고값 | |---|---|---| | Salimi 외(2024), Anatomical Sciences Education | 무작위대조시험 24편 | 증강현실 SMD=-0.02 | | Moro 외(2021) | 8편, 626명 | 2.9%p 차이, 비유의 | | Lu 외(2025), JECR | 17편 | g=1.109 | | Hidayat 외(2026), JCAL | 22편, 2,215명 | ES=1.19 |표 출처: [9] (본문 기준으로 재구성)
대략 -0.02에서 1.19까지다. 증강현실 교육의 효과를 회의적으로 논증하려는 문헌조차 가장 강한 음의 증거인 살리미 외의 -0.02를 자주 누락한다. 왜 이렇게 흩어지는가. 종속변수가 다르고, 모집단이 다르고, 처치 기간이 다르고, 교수설계가 다르다. 가르손 외(2020)가 협력학습 설계에서 효과가 가장 컸다고 보고한 것은 기술이 아니라 교수설계가 변수라는 뜻이다. 창 외(2022)는 3차원 시각화가 자동으로 좋은 것이 아니라고 경고했다. 결론은 하나다. 교과와 설계와 기간이 다르면 증강현실은 같은 개입이 아니다. 통합 평균이라는 물건은 여기서 해석 가치를 잃는다. 하티(2009)의 평균 효과크기 0.40을 기준선으로 삼아 0.9라는 값이 그 두 배를 넘는다고 말하는 관행도 있다. 다만 이 기준선은 이번에 원문을 재확인하지 않았고, 베르제롱과 리바르(2017) 등이 제기한 방법론적 비판이 존재한다. 기준선으로 쓸 때는 그 사실을 함께 적어야 한다. [9] ### 부풀림의 해부 리처드 클라크가 1983년 Review of Educational Research에 쓴 논변은 이 논쟁의 원점이다. 매체 자체는 학습에 영향을 주지 않으며, 효과로 보이는 것의 상당 부분은 교수설계 차이와 신기효과라는 주장이다. Crossref 기준 1,412회 인용됐다. 40년 뒤 증강현실 문헌이 같은 논쟁을 다시 하고 있다. 앨런 청과 로버트 슬래빈이 2016년 Educational Researcher에 낸 분석은 그 논변에 숫자를 붙였다. 교육 분야 12개 리뷰의 645편을 분석해 방법론적 특징이 효과크기를 얼마나 움직이는지 계량했다. | 특징 | 효과크기에 미치는 영향 | |---|---| | 출판된 논문 | 미출판 대비 약 2배 | | 소규모 시행 | 대규모 대비 약 2배 | | 연구자 자작 측정도구 | 독립 측정도구 대비 약 2배 | | 준실험 설계 | 무작위실험보다 유의하게 큼 |표 출처: [10] (본문 기준으로 재구성)
증강현실 교육 메타분석에 들어간 연구는 거의 전부가 이 네 조건을 동시에 만족한다. 출판됐고, 표본이 100명 미만이고, 시험지를 연구자가 만들었고, 무작위 배정이 없다. 앞 절에서 본 연구당 평균 74명이라는 숫자가 바로 두 번째 조건이다. 이것은 개별 연구자의 부정직을 말하는 것이 아니다. 소규모 단일 학급 준실험은 교육 연구의 현실적 조건이다. 문제는 그렇게 생산된 값을 조달 문서에서 절대적 성능 지표처럼 쓰는 데 있다. [10] ### 신기효과, 측정된 것과 측정되지 않은 것 2016년 7월 6일 출시된 위치기반 모바일 게임 하나가 증강현실이라는 단어를 전 세계 교사와 사서와 박물관 담당자의 어휘로 만들었다. 교육용으로 설계된 적이 없는 물건이었다. 그러나 모든 학생 주머니에 이미 있는 스마트폰만으로 증강현실이 성립함을 증명했고, 애플과 구글이 2017년에 운영체제 수준 증강현실 프레임워크를 내놓는 계기가 됐다. 교육이 이 기술을 다시 본 이유는 교육학적 발견이 아니라 설치 기반의 갑작스러운 확보였다. 규모와 감쇠가 같은 자료 안에 있다. | 항목 | 값 | |---|---| | 다운로드 | 1억(2016-07-31), 5억(2016-09), 10억(2019-02) | | 미국 일일 활성 사용자 | 2,100만 명(2016-07-12), 종전 기록 2,000만 경신 | | 미국 이탈률 | 2016년 9월 중순까지 79% | | 매출 | 2016년 9억 5천만 달러, 2020년까지 누적 64억 6천만 달러 | 하우 외(2016)가 BMJ에 실은 연구는 이 게임의 행동 변화 효과를 이중차분으로 추정했다. 2016년 8월 아마존 미케니컬 터크로 모집한 18세에서 35세 미국인 iPhone 6 사용자가 대상이다. 응답 2,225명 중 1,182명이 완료했고 그중 560명(47.4%)이 트레이너 레벨 5 이상이었다. 걸음 수는 iPhone 건강 앱에서 읽어 왔다. 설치 첫 주 일평균 걸음 수가 955보 증가했다. 95% 신뢰구간은 697보에서 1,213보다. 6주차에는 130보로 떨어졌고 신뢰구간은 -593보에서 853보로 0을 포함한다. Crossref 기준 144회 인용됐다. 이 자료가 교육 문헌에서 신기효과 감쇠의 가장 깨끗한 계량 증거로 인용되는데, 그 평가는 설계에 비해 과하다. 이것은 자기선택 코호트 관찰연구이고, 플레이 여부는 자기보고이며, 결과변수는 학습이 아니라 신체활동이다. 6주는 측정된 감쇠 상수가 아니라 관찰 종료 시점이다. 원저자들의 결론 문장은 연관이 중간 정도였고 6주 후에는 관찰되지 않았다는 것이며, 논문은 신기효과라는 용어를 쓰지 않는다. 그 용어를 붙인 것은 인용하는 쪽이다. 신기효과를 직접 측정했다고 인용되는 최근 연구 세 편에는 더 근본적인 문제가 있다. 세 편 모두 증강현실이 아니라 몰입형 가상현실 연구다. | 연구 | 매체 | 실제 내용 | |---|---|---| | Makransky, Terkildsen & Mayer(2019), Learning and Instruction 60:225-236 | 몰입형 VR | 과학실험 시뮬레이션, 현존감은 오르고 학습은 떨어짐 | | Miguel-Alonso 외(2024), Virtual Reality 28(1) | 몰입형 VR | 학부생 86명, 튜토리얼이 신기효과를 완화하는지 측정 | | Lee, Chen & Basu(2025), IEEE TVCG 31(5):3204-3212 | VR | 3주 3회차 종단 설계 | 미겔알론소 외(2024)는 인용 방식 자체가 뒤집혀 있다. 이 연구의 목적은 튜토리얼이 신기효과를 완화하는 효과를 측정하는 것이었고, 신기효과가 학습성과를 떨어뜨린다는 것은 결과가 아니라 전제로 서술된다. 보고된 결과는 튜토리얼이 만족도를 유의하게 높이고 조작 학습시간을 줄이고 이해와 평가 수준의 지식을 개선했다는 긍정 결과다. 전제를 결과로 바꿔 인용한 것이다. 정리하면 이렇다. 증강현실 교육의 신기효과 감쇠는 문헌에서 반복해 주장되지만, 그 주장을 지탱하는 실증은 걸음 수를 잰 관찰연구 하나와 다른 매체의 실험 세 편이다. 증강현실에서 직접 계량된 감쇠 곡선은 빈약하다. 주장이 틀렸다는 뜻이 아니다. 확인되지 않았다는 뜻이다. [11][10] ### 플랫폼이 죽으면 교재도 죽는다 커라월라 외(2006)가 지적한 네 가지 요구사항 중 첫 번째는 교사가 콘텐츠를 수정할 수 없다는 것이었다. 업계의 답은 코딩 없이 쓰는 저작 도구였다. 실제로 이 도구들이 나오자 교육 현장의 채택이 급증했다. 문제는 수익 모델이 없었다는 것이다. | 플랫폼 | 출시 | 종료 | 사인 | 콘텐츠 행방 | |---|---|---|---|---| | Junaio (Metaio) | 2009-11-11 | 2015-12-15 | 애플 인수 후 제품 판매 중단 | 개발사·브랜드 채널 중심이라 교사 자작물 비중 낮음 | | Aurasma / HP Reveal | 2011-05-05 | 2020-02 | 사업 정리 | 교사가 만든 aura 소멸 | | Google Expeditions | 2015-09 | 2021-06-30 | 제품 라인 정리 | Arts & Culture로 병합 |표 출처: [12] (본문 기준으로 재구성)
표의 날짜 두 개를 바로잡아야 한다. Junaio의 사망 시점을 2015년 5월로 적는 문헌이 많은데, 2015년 5월 28일은 애플 인수 보도와 메타이오의 제품 판매 중단 시점이고 Junaio 브라우저와 모든 채널이 비활성화된 날은 2015년 12월 15일이다. 메타이오 자체는 2003년 뮌헨공대 스핀오프로 소개되지만 폭스바겐 내부 프로젝트에서 출발했다는 기원이 함께 기록돼 있다. Google Expeditions에 대해서는 더 큰 정정이 필요하다. 교사들이 만든 콘텐츠가 함께 사라졌다는 서술은 이 플랫폼에 성립하지 않는다. 600종 이상의 답사 콘텐츠는 구글과 출판 파트너가 큐레이션한 1차 제작물이고, 서비스 종료 시 Arts & Culture로 이관됐다. 교사 제작 도구는 Tour Creator라는 별개 제품이었다. 이 플랫폼의 규모는 2015년 9월 출시, 2016년 5월까지 학생 100만 명 이상, 교실 키트는 카드보드 30개와 교사용 태블릿 구성이었다. 다만 100만 명이라는 숫자는 가상현실 모드 기준이다. Tango 기반 증강현실 모드는 2017년 가을에 추가됐고, 실제로 몇 개 학교에 배포됐는지는 확인되지 않았다. 즉 교사가 몇 년간 축적한 콘텐츠가 서버 종료와 함께 소멸한 사례는 Aurasma 계열이다. 정확히 말하면 이 일은 세 번 일어난 것이 아니라 한 번 일어났다. 그래도 학교가 받은 신호는 세 번이었다. 사인은 모두 기술이 아니라 경제였고, 이 학습된 무력감이 증강현실 재도입을 구조적으로 어렵게 만들었다. 같은 시기 ARToolKit 계열의 상업적 후원자도 함께 사라졌다. [12] ### 싼 것이 살아남는다 2016년 개발자용 헤드셋이 3,000달러였고 2018년 소비자용 공간컴퓨팅 기기가 2,295달러였다. 이 가격이 알려준 것은 하나다. 학급 30명에게 헤드셋을 주는 시나리오는 성립하지 않는다. 미국 샌안토니오의 Merge Labs는 반대 방향을 택했다. 손바닥만 한 폼 재질 정육면체 표면에 마커 패턴을 인쇄했다. 스마트폰 카메라로 보면 큐브 위에 심장이나 화산이나 행성이 올라오고, 학생이 손으로 돌리면 객체가 따라 돈다. 기기를 싸게 만드는 대신 기기를 아예 없애고 이미 있는 스마트폰과 태블릿에 종속시키는 전략이다. 촉각과 시각을 결합한다는 점, 그리고 학생 1인당 비용이 헤드셋의 100분의 1 수준이라는 점이 핵심이다. 이 제품의 출시일과 최초 소매가를 1차 자료로 확인하지 못했으므로 이 책에서는 제시하지 않는다. 2017년 무렵이라는 것과 대형 유통 독점 판매였다는 이야기가 널리 퍼져 있지만 검증에 실패했다. 현재 상태는 이렇다. mergeedu.com은 merge3d.ai로 리다이렉트되고, 2026년 9월 말 기준 요금은 개인 월 17달러(연 결제 207달러), 교사 월 28달러(연 331달러)이며 학급과 학교 요금제는 0달러로 표시된다. 교육용 페이지는 100종 이상의 대화형 경험을 제공한다고 적는다. 월 9.99달러에 기기 3대라는 요금제는 2020년경의 구가격이고 현행 페이지에 없다. 브랜드가 Merge3D로 바뀌고 인공지능 3차원 생성 제품으로 축을 옮긴 것이 최근 변화다. 여기서 방법론적 교훈을 하나 짚어야 한다. 3개월 전 웨이백 머신 캡처를 근거로 현재 가격과 서비스 존속을 현재형으로 단언하는 절차는 그 자체로 결함이다. 게다가 이 회사의 2026년 가격 페이지는 금액을 스크립트로 주입하기 때문에 캡처 본문에는 가격 정보를 불러오는 중이라는 문구만 남는다. 아카이브는 존재 증명에는 쓸 수 있고 가격 증명에는 못 쓴다. 학술적으로는 여전히 소규모 사례연구 위주이고 엄밀한 효과 검증은 빈약하다. 2023년 IEEE Access 논문 정도가 있다. 같은 계열의 저가 도구로 캘리포니아대 데이비스 KeckCAVES가 2012년에 공개한 오픈소스 AR Sandbox가 있고, 우즈 외(2016)의 Journal of Geoscience Education 파일럿 연구가 Crossref 기준 81회 인용됐다. [13] ### 비싼 것은 교실에 도달하지 못한다 직업훈련과 군사훈련은 실패 비용이 큰 절차를 반복 연습시켜야 한다는 이유로 증강현실의 가장 유력한 시장으로 지목됐다. 기업과 군은 숙련공 은퇴로 인한 암묵지 소실과 훈련용 실물 장비의 가동 중단 비용이라는 구체적 문제를 안고 있었다. 학교와 달리 대당 수천 달러를 지불할 능력도 있었다. | 항목 | 값 | |---|---| | 매직리프 누적 조달 | 35억 달러 이상(2024-08, 사우디 국부펀드 7억 5천만 달러 포함) | | Magic Leap One | 2018-08-08 출시, 2,295달러 | | 매직리프 감원 | 2020-04-22 인력 50%, 2024-07 약 75명 추가 | | IVAS 계약 | 2021-03-26, 최대 218억 8천만 달러, 12만 명분 | | IVAS 헤드셋 무게 | version 1.2 기준 3.4파운드(약 1.5kg) | | 의회 조치 | 2020-12 2억 3천만 달러 삭감, 2022-03 약 4억 달러 유보 | | 사업 이관 | 2025-02 Anduril |표 출처: [14] (본문 기준으로 재구성)
세 시도 모두 훈련 효과가 아니라 착용성과 비용과 조직 도입에서 무너졌다. 미 육군 IVAS는 필드 테스트에서 병사들이 두통과 눈의 피로와 구역을 호소했다. 이 보고를 2022년 11월 시험 결과로 적은 문헌이 있는데 인용된 근거 문서는 초기 운용시험이 2022년 5월에 시작해 6월 말에 종료됐다고만 적고 11월 시험을 기재하지 않는다. 날짜를 특정하지 않는 쪽이 정확하다. 국방부 감찰관실은 초기형 IVAS보다 기존 장비로 임무를 수행하는 편이 나았다고 평가했다. 매직리프는 2020년에 기업용으로 선회했다. 이 계열의 장비는 교육 현장에 사실상 도달하지 못했다. 앞 절의 큐브와 이 절의 헤드셋을 나란히 놓으면 이 분야의 경제학이 보인다. 교실에 남은 것은 값싸고 지루한 도구다. [14] ### 차이 없음이라는 결과 의학교육은 교과 내용이 폭증하면서 해부 실습에 배정할 시간이 줄어드는 구조적 압박을 받고 있었다. 동시에 시신 확보와 보존과 시설 비용은 계속 오른다. 증강현실은 해부학을 더 잘 가르치는 법이 아니라 더 싸고 빠르게 가르치는 법으로 요청됐다. 케이스웨스턴리저브대의 마리나 스토야놉스카 외 14인이 2020년 Medical Science Educator에 낸 연구가 이 요청에 답했다. 결과가 중요한 이유는 우위가 아니라 동등이었기 때문이다. 시신 실기시험 평균 73.8%에 표준편차 12.3, 혼합현실 실기시험 평균 74.2%에 표준편차 13.0, 통계적 차이 없음(p>0.05)이다. 두 시험 점수의 상관은 r=0.74(p<0.01)였다. Crossref 기준 67회 인용됐다. 그런데 이 숫자가 무엇의 비교인지를 정확히 읽어야 한다. 논문 초록의 설계 서술은 이렇다. > All 64 students completed two practical exams with equivalent content, one in the cadaver lab and one using MR 코호트 1은 상지를 혼합현실로 배우고 하지를 시신 해부로 배웠다. 코호트 2는 그 역순이었다. 즉 64명 전원이 두 교수법을 모두 받았고, 전원이 동등한 내용의 실기시험 두 개를 치렀다. 혼합현실만으로 배운 학생은 없다. 33명 대조군은 6회 세션이 모두 끝난 뒤 최종 실기시험에만 사후 모집됐고 무작위 배정되지 않았으며 그 점수는 초록에 보고되지 않았다. 논문의 결론 문장도 같은 범위를 지킨다. > regardless of the study modality, performed similarly on the MR and the cadaver practical exams 학생들이 학습 방식과 무관하게 두 시험에서 비슷하게 수행했다는 것이다. 즉 73.8% 대 74.2%는 두 시험 형식의 등가성이고 두 교수법의 무작위 비교 결과가 아니다. 초록이 스스로를 무작위대조시험이라 칭하기는 하지만 실제 구조는 개인 내 교차 비교이고, 논문 제목 자체가 비교효과 연구다. 따라서 시신 없이도 동등한 성취가 가능하므로 대체재가 된다는 정책 추론은 이 설계가 지지하지 않는다. 그 추론이 틀렸다는 뜻이 아니라 이 연구로는 말할 수 없다는 뜻이다. 표본도 단일 기관 64명이고, 장기 파지나 임상 수행으로의 전이는 측정되지 않았다. 직업훈련 쪽의 고전은 아서 탱, 찰스 오언, 프랭크 비오카, 메이 모우가 2003년 CHI에 낸 통제실험이다. 조립 지시를 공간에 직접 겹쳐 보여줄 때 인쇄물과 모니터 대비 오류와 정신적 작업부하가 줄어드는지 비교했다. Crossref 448회, Semantic Scholar 687회 인용됐다. 이 논문의 조립 오류율 82% 감소라는 수치가 널리 인용되는데 원문 초록을 확인하지 못했으므로 이 책에서는 쓰지 않는다. 확인된 것은 논문의 존재와 저자와 피인용 수뿐이다. [15] ### 숫자를 읽는 법 지금까지 나온 값들을 실무에서 쓰려면 값 하나를 볼 때마다 물어야 할 것이 있다. | 물음 | 왜 | |---|---| | 종속변수가 무엇인가 | 성취와 동기와 인지부하는 같은 축이 아니다 | | 모집단이 누구인가 | 고등교육 한정값을 초중등으로 옮기면 안 된다 | | 처치 기간이 얼마인가 | 기간은 확인된 조절변수다 | | 측정도구를 누가 만들었나 | 연구자 자작이면 약 2배 부풀려진다 | | 무작위 배정이 있었나 | 준실험은 유의하게 큰 값을 낸다 | | 표본이 몇 명인가 | 소규모 시행은 약 2배 부풀려진다 | | 이질성이 보고됐나 | 보고가 없으면 평균의 안정성을 알 수 없다 | | 플랫폼이 살아 있나 | 교재 수명은 효과크기에 나타나지 않는다 |표 출처: [8][9][15][10] (본문 기준으로 재구성)
인용 수를 쓸 때의 규칙도 하나 있다. 이 장의 모든 피인용 수는 Crossref 또는 Semantic Scholar 기준이고 조회일은 2026년 9월 29일이다. 같은 논문의 Google Scholar 값은 현저히 크다. 출처 데이터베이스와 조회일을 함께 적지 않은 피인용 수는 비교에 쓸 수 없다. 이 장 자체의 한계도 적어 둔다. 이번 조사는 학술 데이터베이스와 아카이브 조회로 수행됐고, 한국어권 사례와 최근 2년치 산업 보도는 포함되지 않았다. 국내 정책 사업의 성과 역시 다루지 못했다. 그 공백을 메우는 작업은 별도로 필요하다. [8][9][15][10] ### 이 장의 한 문장 교육 증강현실에서 답해야 할 물음은 효과가 있는지도, 효과가 얼마나 큰지도 아니다. 어떤 종속변수를 누구에게 몇 주간 누가 만든 시험지로 재서 얻은 값인지, 그리고 그 값을 만들어 낸 플랫폼이 3년 뒤에도 살아 있는지다. [8][9][10]본문의 번호를 누르면 출처로 이동합니다. 절 끝의 번호는 그 절의 사실 자료를, 표 아래의 번호는 표에 사용한 자료를 가리킵니다. 비교·계산·비유와 결론은 필자의 재구성입니다. 한 번호에 함께 사용한 문헌이 둘 이상이면 묶어서 적었습니다.
서지정보와 확인 메모는 옵시디언 조사 기록을 바탕으로 복원했습니다. 원 기록의 ‘전문 확인’·‘조회’ 표기는 당시 조사 상태이며 이번 웹판에서 모두 재검증했다는 뜻은 아닙니다. 불완전한 서지사항은 임의로 채우지 않았습니다.
표 출처: [1] (본문 기준으로 재구성)
여기서 널리 퍼진 통설 하나를 바로잡아야 한다. 2017년 평면 검출이 등장하면서 마커 AR이 용도 폐기됐다는 서술은 과장이다. 최신 안정판이 2024년 12월에 나왔고, 전 ARToolworks 경영진이었던 Ben Vaughan과 Phil Lamb이 artoolkitX로 유지보수를 이어가고 있다. 인쇄물과 포장재, 그리고 FLARToolKit의 계보를 잇는 웹 AR(AR.js) 영역에서 마커는 여전히 주류 형태다. 평면 검출은 마커를 대체하지 않았다. 용도를 갈라놓았을 뿐이다. [1] ### 인쇄물을 카메라 앞에 들어올리는 동작 첫 대량 소비자 노출은 광고에서 나왔다. 2008년 11월부터 12월까지 BMW 그룹 MINI 독일법인은 자동차 잡지 지면에 마커를 인쇄했다. 독자가 그 페이지를 PC 웹캠에 비추면 화면에 MINI Cabrio의 3D 모델이 떠오르고, 종이를 돌리면 차도 함께 돌았다. 게재지는 Auto Motor und Sport, Autobild, Werben & Verkaufen이었다. 추적 기술은 뮌헨의 Metaio가 제공했다. 자동차 광고에는 고유한 문제가 있었다. 실물의 크기와 존재감을 지면으로 전달할 방법이 없다는 것이다. 동시에 인쇄 광고는 효과 측정이 불가능했다. AR은 두 문제를 한꺼번에 건드렸다. 독자가 전용 URL에 접속하는 추적 가능한 행동을 만들어냈기 때문이다. 광고주가 AR에 처음 돈을 쓴 이유는 정밀도가 아니라 측정 가능성이었다. 이 캠페인에는 두 가지 흔한 오해가 붙어 있다. 첫째, Flash 포팅이 웹캠 달린 PC를 모두 AR 단말로 만들었기 때문에 이런 광고가 가능해졌다는 인과는 성립하지 않는다. MINI 캠페인은 2008년 11월이고 FLARToolKit은 2009년이다. 원인이 결과보다 뒤에 온다. 당시 보도(Hackaday, 2008년 12월 13일)는 이 광고가 Metaio의 Unifeye SDK로 구동됐고 Internet Explorer와 ActiveX 컨트롤을 요구해 다른 브라우저나 운영체제에서는 아예 작동하지 않았다고 기록한다. Flash와 무관한 구현이었다. 둘째, 이 캠페인을 '최초'라고 못박은 판정은 인용되는 어느 보도에도 없다. 대규모 소비자 노출의 이른 사례라고만 말하는 편이 정확하다. 이듬해 Esquire(Hearst)가 더 큰 실험을 했다. 편집장 David Granger 주도로 2009년 12월호 표지와 내지 여러 면에 마커를 인쇄했고, 독자가 PC에 전용 소프트웨어를 설치한 뒤 잡지를 웹캠에 비추면 그린스크린으로 촬영한 로버트 다우니 주니어가 표지에서 걸어나와 말을 걸었다. 제작은 The Barbarian Group과 애니메이션 스튜디오 Psyop이 맡았다. 잡지 한 권 전체를 AR 인터페이스로 설계한 사례다. 제작비는 '6자리 달러'로 보도됐지만 이는 Fast Company의 표현이고 정확한 금액이 공개된 적은 없다. 발매일도 확정하기 어렵다. 2009년 11월 9일과 10일은 사전 공개와 시연 시점으로 보이고, 실제 가판 발매를 11월 16일로 적은 보도가 다수다. 둘 다 반복되지 않았다. 2009년은 미국 잡지 광고면이 급감하던 해였고, 인쇄물이 디지털이 하지 못하는 무언가를 증명해야 한다는 압박이 편집국 차원의 실험을 낳았다. 그런데 실험은 후속호 없이 끝났다. 원인은 렌더링 품질이 아니었다. 잡지를 웹캠 앞에 들어올리는 동작이 일상 행동이 아니었고, Esquire의 경우 전용 소프트웨어를 내려받아 설치해야 했다. 캠페인 1회당 3D 모델과 전용 사이트를 새로 만들어야 하니 단가도 높았다. 여기서 이 분야의 첫 법칙이 드러난다. AR의 성패는 그림의 질이 아니라 진입 단계의 개수로 결정된다. [2][3] ### 센서만으로 도시를 덮으려 한 시도 다음 세대는 인쇄물을 버리고 도시를 겨냥했다. 2008년 10월 20일 오스트리아 잘츠부르크의 Wikitude World Browser가 먼저 나왔고, 2009년 6월 암스테르담에서 Raimo van der Klein, Claire Boonstra, Maarten Lens-FitzGerald가 Layar를 창업했다. 독일 뮌헨의 Metaio는 폭스바겐 사내 프로젝트에서 분사한 회사로 junaio를 냈다. 'AR 브라우저'라 불린 이 부류는 카메라 화면 위에 GPS와 디지털 나침반, 가속도계만으로 주변 정보를 겹쳤다. 발상 자체는 강했다. 지도 위의 핀이라는 2차원 은유를 버리고, 고개를 돌리면 그 방향의 정보가 보인다는 은유를 처음 상품화했다. 콘텐츠는 서드파티가 '레이어'로 등록했다. 부동산 매물, 지하철역, 위키백과 항목, 트윗이 그 위에 올라갔다. 2010년 9월 1일 세계경제포럼은 Layar를 'Technology Pioneer for 2011'로 선정했다. 등록된 레이어는 2010년 7월 1,000개에서 2011년 9월 2,993개로 늘었다. 누적 다운로드나 활성 이용자 수는 공개된 적이 없다. 남아 있는 정량 지표가 레이어 개수뿐이라는 사실 자체가 이 제품군의 실태를 말해준다. 이 부류가 2008년과 2009년에 쏟아진 데에는 시장 조건이 있었다. 스마트폰이 GPS와 디지털 나침반, 가속도계를 동시에 탑재하기 시작한 시점이고, 당시 안드로이드 마켓은 사실상 비어 있어서 센서만으로 만든 앱도 최상위에 오를 수 있었다. 유럽 브랜드들은 미국 플랫폼에 의존하지 않는 AR 공급자를 원했다. Wikitude가 2008년 Android Developer Challenge Top-50에 들고 2010년 World Summit Award와 Galileo Master, Navteq Challenge Global Champion을 받고 2017년 AWE 최우수 개발자 도구로 뽑힌 이력은 이 조건의 산물이다. 수상 이력과 제품 수명은 별개였다. 무너진 이유는 둘로 갈린다. 기술적으로는 도심 GPS 오차가 수십 미터에 달하고 나침반이 흔들려서, 겹쳐 보여야 할 대상이 엉뚱한 방향에 떠 있었다. 경제적으로는 콘텐츠 제공자가 레이어를 계속 갱신할 수익 유인이 없어 콘텐츠가 빠르게 죽었다. 당시 핸드헬드 AR 브라우저를 조사한 학술 연구도 얼리어답터의 지속 사용을 막은 3대 요인으로 빈약한 콘텐츠, UI 설계, 시스템 성능을 지목했다. 세 회사의 결말은 같은 모양이었다. 소비자 앱으로는 수익이 나지 않아 B2B SDK 사업으로 갈아탔고(Wikitude는 2012년에 제품 구조를 재편했다), 끝에는 플랫폼 기업에 흡수됐다. 다만 인수자를 뭉뚱그리면 틀린다. | 회사 | 인수자 | 시점 | 이후 | |---|---|---|---| | Layar | Blippar(영국) | 2014년 6월 | 2016년 암스테르담 사무소 폐쇄, 2019년 1월 공동창업자 2인이 IP 재매입 검토 | | Wikitude | 퀄컴 | 2021년 9월 | 신규 구독 중단 2023년 9월 21일, 서비스 종료 2024년 9월 21일 | | Metaio(junaio) | 애플 | 2015년 5월 | SLAM·컴퓨터비전 기술과 100건 이상의 AR 특허출원 이전, ARKit의 토대 | 세 회사가 모두 퀄컴과 애플로 갔다는 서술이 자주 보이지만 사실이 아니다. Layar를 산 곳은 영국 Blippar이고, 그 Blippar 자신이 4년 뒤 붕괴했다. 애플의 Metaio 인수 시점도 'May 2015'까지만 확인된다. 5월 21일이나 22일 같은 일 단위 특정은 어느 출처에도 근거가 없다. 보도가 나온 것은 5월 하순이다. [4][5] ### 해자 없는 유니콘 Blippar는 광고형 AR의 정점이자 종점이었다. 2011년 런던에서 Ambarish Mitra, Omar Tayeb, Steve Spencer, Jessica Butcher가 창업했고, 같은 해 8월 캐드버리와 함께 iOS·안드로이드에 출시했다. 제품은 단순했다. 제품 포장이나 인쇄 광고를 앱으로 스캔하면 콘텐츠가 뜨는 'blipp'를 광고주에게 캠페인 단위로 팔았다. 2014년 6월에는 Layar를 인수해 AR 브라우저 자산까지 흡수했다. 2016년 초 직원 300명, 사무소 14곳 규모였다. 이 회사의 재무 수치는 인용할 때 출처를 반드시 구분해야 한다. 위키백과가 기재하는 것은 Series D 5,400만 달러, 직원 300명과 사무소 14곳, 2019년 초 Nick Candy 측 투자사로의 IP 매각, 2021년 재기 시도의 500만 달러(360만 유로)뿐이다. 널리 인용되는 나머지 숫자들은 단일 언론 보도에 의존한다. | 항목 | 값 | 성격 | |---|---|---| | 총 조달액 | 1억 3,170만 달러 | ZDNET·Crunchbase 기준. CNBC는 약 1억 3,200만, Yahoo Finance는 1억 4,000만으로 범위가 다름 | | 15억 달러 | 2015년 익명 기업의 인수 제안액으로 전해진 금액 | 회사의 자칭 기업가치나 공인된 라운드 밸류에이션이 아님 | | 법정관리 | 발표 2018년 12월 17일, 보도 12월 18일 | 개시 확정일을 18일로 단정할 근거는 제시되지 않음 | | 잔고 약 6만 5,000달러 | 2019년 2월 관리인 보고 기준 | 2018년 12월 시점의 잔고로 확인된 값이 아님 |표 출처: [6] (본문 기준으로 재구성)
이 회사가 한때 정당했던 이유도 짚어둘 필요가 있다. 브랜드는 포장과 인쇄물이라는 죽은 매체를 측정 가능한 디지털 접점으로 바꾸고 싶어 했고, 2011년부터 2015년까지는 그 기능을 파는 회사가 따로 필요했다. 문제는 그 필요가 기간 한정이었다는 점이다. 숫자보다 중요한 것은 붕괴의 구조다. 기술적으로는 이미지 인식 자체가 상품화됐다. 애플과 구글, 페이스북이 같은 기능을 무료 SDK로 제공하기 시작하자 해자가 사라졌다. 경제적으로는 캠페인마다 3D 콘텐츠를 새로 제작해야 하는 에이전시형 원가구조라서, 매출이 늘어도 마진이 붙지 않았다. Snap에 매각을 시도했고 약 2억 달러 제안이 있었다고 전해지지만 무산됐다. 주주와의 분쟁으로 구제 증자가 막히면서 현금이 소진됐다. 광고형 AR의 교훈은 이것이다. 팔던 기능이 플랫폼의 기본 기능이 되는 순간, 남는 것은 콘텐츠 제작 원가뿐이고 거기에는 규모의 경제가 없다. [6] ### 사회가 거부한 기기 같은 시기 구글 글래스는 전혀 다른 이유로 죽었다. Google X와 Sergey Brin이 주도한 이 웨어러블은 안경테 오른쪽에 프리즘 디스플레이와 전방 카메라를 달고, 음성 명령과 관자놀이 터치패드로 조작하며 시야 한쪽에 알림과 길안내를 띄웠다. 목표는 명확했다. 스마트폰을 주머니에서 꺼내는 동작을 없애는 것이다. | 시점 | 사건 | |---|---| | 2012년 4월 | 공개 | | 2012년 6월 27일 | 사전 예약 개시 | | 2013년 4월 16일 | Explorer 배포 시작 | | 2014년 4월 15일·5월 14일 | 미국 일반 판매, 재고 하루 만에 소진 | | 2014년 6월 | 영국 출시, £1,000 | | 2015년 1월 15일 | Explorer 프로그램 종료 | | 2023년 3월 15일 | 기업용 판매 중단 |표 출처: [7] (본문 기준으로 재구성)
가격은 1,500달러였다. 판매량은 구글이 끝까지 공개하지 않았다. 확인되는 숫자는 2013년 '#ifihadglass' 공모로 선발된 8,000명이라는 수치뿐이다. 2013년 말 누적 약 1만 대라는 값은 언론 추정치이고 1차 자료로 확인된 바 없다. 확정 수치와 나란히 쓰면 오독을 부른다. 이 실패가 특별한 것은 원인이 기술이 아니었다는 점이다. 글래스는 착용자가 아니라 주변 사람의 프라이버시를 침해한 최초의 대중 기기였다. 'Glasshole'이라는 낙인이 생겼고 물리적 거부가 이어졌다. 2014년 2월 샌프란시스코의 한 바에서 착용자가 촬영 우려로 폭행당했다. 라스베이거스 카지노들은 네바다 도박규정을 근거로 착용을 금지했다. 2014년 10월 29일에는 MPAA와 전미극장주협회가 영화관 내 착용을 금지했다. 2013년 10월 캘리포니아에서는 운전 중 착용으로 딱지가 발부됐고 작동 증거 부족으로 기각됐다. 그리고 근본 문제가 하나 더 있었다. 없애려던 불편이 소비자에게 절박하지 않았다. 폰을 꺼내 보는 동작은 견딜 만한 수준의 번거로움이다. 반면 양손이 자유로워야 하는 기업 현장에는 실제 고통이 있었다. 글래스가 기업용으로만 살아남은 이유가 여기 있다. [7] ### 얼굴만 이해한 AR 소비자 AR에서 대량 규모를 낸 형태는 단 하나였고, 그것은 세계를 이해하지 않았다. 스냅챗 렌즈다. 기술 출발점은 Looksery였다. Victor Shaburov와 Yurii Monastyrshin이 2013년 우크라이나와 샌프란시스코에서 창업하고 2014년 6월 킥스타터에서 3만 달러 목표를 초과 달성했다. 2015년 9월 Snap이 1억 5,000만 달러에 인수했다. 당시 우크라이나 기술기업 최대 인수였다. 같은 달 Lenses가 출시됐고 2016년 12월에는 Cimagine을 3,000만에서 4,000만 달러 사이 금액으로 인수했다. 2017년 4월 World Lenses로 카메라 후면에도 3D 오브젝트를 놓기 시작했다. 작동 방식은 얼굴 랜드마크를 실시간 추적해 얼굴 위에 텍스처와 왜곡, 3D 오브젝트를 입히는 것이다. 공간을 이해하지 않고 얼굴만 이해한다. 그래서 저사양 단말에서도 30fps가 나왔다. 이 기술적 얕음이 곧 보급의 조건이었다. 2015년 '무지개 토하기' 렌즈가 사회 현상이 되자 브랜드는 스폰서드 렌즈를 사는 방식으로 광고에 들어왔다. 성공을 뒷받침하는 수치는 조심해서 읽어야 한다. 2022년 4월 CEO Evan Spiegel이 말한 '매일 2억 5,000만 명 이상이 AR 기능을 사용'은 자사 발표이고, '사용'의 정의가 공개되지 않았다. 렌즈를 한 번 탭한 경우까지 포함하는 광의라면 공간 정합 AR의 사용률로 읽는 것은 과대해석이다. 독립 감사나 제3자 계측은 없다. 크리에이터 25만 명이 렌즈 250만 개를 만들었다는 값도 같은 성격이다. 독립적으로 확인되는 지표는 World Lenses가 2017년 4월에 나왔다는 사실과 2022년 7월 일간 활성 이용자 3억 4,700만 명 정도다. 2023년 3월 투자자의 날에서 나온 수치는 원문을 확인하지 못했고, 함께 유통되는 '50억'이라는 값이 사람 수인지 사용 횟수인지조차 불분명해 인용을 보류하는 편이 맞다. 성공의 이유는 기술이 아니라 콘텐츠 공급이었다. 소셜 앱에는 '보낼 것이 없는 날'이라는 구조적 문제가 있다. 렌즈는 아무 일도 일어나지 않은 하루에도 보낼 거리를 만들어줬다. 그리고 여기에 이 분야의 핵심 아이러니가 있다. 소비자 AR에서 규모를 낸 유일한 형태가 현실 위에 정보를 겹친다는 AR의 원래 정의에서 가장 먼 형태였다. 공간 정합도, 측정도, 영속성도 필요 없었다. [8] ### 기술적으로 가장 단순했던 분수령 2016년 7월 6일 포켓몬 고가 호주와 뉴질랜드, 미국에서 출시됐다. Niantic(2010년 구글 사내 스타트업으로 시작해 2015년 10월 독립, John Hanke)과 닌텐도, 포켓몬컴퍼니의 합작이었다. 이 게임은 'AR이 대중화됐다'는 서사를 만들었다. 그런데 기술적으로는 이 장에서 다루는 어떤 제품보다도 단순했다. > AR 모드는 플레이어 기기의 카메라와 자이로스코프를 사용해 포켓몬이 현실에 있는 것처럼 표시한다. 위치는 GPS, 화면 정합은 자이로스코프와 카메라 영상 합성이 전부다. 공간을 인식하지 않는다. 평면을 찾지 않는다. 가림 처리도 하지 않는다. 포켓스톱과 체육관 좌표는 전작 Ingress에서 이용자들이 등록한 포털 데이터를 그대로 재활용했다. 2017년 12월 ARKit 기반 AR+ 모드가 추가됐지만 어디까지나 선택 기능이었다. | 지표 | 값 | |---|---| | 다운로드 1억 | 2016년 7월 31일 | | 다운로드 5억 | 2016년 9월 | | 다운로드 10억 | 2019년 2월 | | 매출 2016년 | 9억 5,000만 달러 | | 매출 2018년 | 13억 달러 | | 매출 2020년 | 19억 2,000만 달러 | | 누적 매출(2020년까지) | 64억 6,000만 달러 | | 미국 일일 이용 정점 | 2016년 7월 15일 | | 미국 플레이어 이탈 | 2016년 9월 중순까지 79% | | MAU | 2018년 5월 1억 4,700만 명 |표 출처: [9] (본문 기준으로 재구성)
매출 표기에 함정이 있다. 9억 5,000만 달러는 2016 역년 실적이고 게임은 7월 6일 출시였다. 실제로는 약 6개월치이므로 '첫해 매출'로 쓰면 부정확하다. 배터리 쪽 수치는 더 신중하게 다뤄야 한다. Mobile Enerlytics 측정에 따르면 고사양 Nexus 6에서 완충 배터리가 2시간에서 4시간 사이에 소진됐고, AR 캡처 상태에서는 1.95시간이었다. 같은 측정의 핵심 발견은 AR 모드를 끄면 포획 시 배터리 수명이 거의 두 배가 된다는 것이다. 카메라가 총 전력의 약 56%를 먹고 있었다. 배터리 절약 모드의 플레이 시간 연장 폭은 화면 밝기 30%에서 23%, 50%에서 30%, 80%에서 40%로 측정됐다. 절약 모드가 무의미했다는 인상을 주는 '19% 절감'이라는 값은 이 출처에 존재하지 않는다. 여기서 흔히 나오는 또 하나의 주장, 즉 '다수가 배터리 때문에 AR을 껐다'는 서술에는 측정 근거가 없다. Niantic은 AR 모드 사용률이나 비활성화 비율을 공표한 적이 없다. 확인되는 것은 당시 언론이 배터리를 아끼려면 AR을 끄라고 권고했다는 사실(CNET, 2016년 7월 15일)과 위 소모 측정치뿐이다. 정황은 강하지만 정량 수치가 아니다. 포켓몬 고가 성공한 이유도 기술과 무관했다. 위치기반 게임은 2012년부터 존재했지만 사람을 걷게 할 만큼 강한 IP가 없었다. 포켓몬은 애초에 밖에 나가서 잡는다는 서사를 가진 20년 된 IP였다. 게임 메커닉과 IP 서사가 일치한 드문 사례다. 2025년 3월 12일 Niantic은 게임 사업을 Scopely에 35억 달러로 매각했고(5월 29일 완료) 지리공간 사업만 Niantic Spatial로 남겼다. [9] ### 같은 엔진, 다른 IP 포켓몬 고의 변수가 무엇이었는지 확인하려면 대조군이 필요하다. 다행히 거의 완벽한 대조군이 있다. Ingress다. 2012년 11월 15일 안드로이드 비공개 베타, 2013년 12월 14일 공개, 2014년 7월 14일 iOS 출시. 같은 회사, 같은 엔진, 거의 같은 수준의 AR, 같은 위치기반 메커닉이다. 다른 것은 IP 하나뿐이었다. | 지표 | Ingress | |---|---| | 활성 이용자 | 2013년 5월 약 50만 명, 2014년 2월 200만 명 | | 누적 다운로드 | 2013년 8월 100만, 2015년 1월 800만, 2018년 11월 2,000만 | | 커뮤니티 포털 신청 | 2016년 7월까지 1,500만 건, 그중 500만 건 게임 반영 |표 출처: [10] (본문 기준으로 재구성)
Ingress의 누적 2,000만 건은 2018년 11월 수치이고 포켓몬 고의 10억 건은 2019년 2월 수치다. 시점이 다르므로 '같은 시점 50배'라는 표현은 쓸 수 없다. 그래도 자릿수 격차는 어떤 보정으로도 지워지지 않는다. 동일한 기술 스택에서 IP만 바꿨을 때 두 자릿수 이상의 차이가 났다는 사실이, 소비자 AR 대중화의 변수가 기술이 아니라 브랜드였음을 보여주는 가장 깨끗한 증거다. Ingress의 진짜 성과는 제품 지표가 아니라 데이터였다. 2012년에 구글은 지도 위에서 사람이 실제로 서는 지점이 어디인지 알 방법이 없었다. Ingress는 이용자가 실세계의 조형물과 표지판을 포털로 신청하게 해 그 데이터를 크라우드소싱했다. AR은 목적이 아니라 수집의 구실이었다. 제품으로는 소규모 성공, 데이터 파이프라인으로는 완전한 성공이다. [10] ### 플랫폼은 열렸고 앱 카테고리는 생기지 않았다 2014년 2월 Google ATAP이 Project Tango를 공개 발표했다. 적외선 깊이 센서를 단말에 넣어 정확한 3차원 정보를 얻으려는 접근이었다. 그해 6월 5일 개발자용 Yellowstone 태블릿이 출시됐고, 2015년 6월까지 Peanut 폰과 Yellowstone 태블릿을 합쳐 3,000대 이상이 판매됐다. 태블릿 단독으로 3,000대가 팔린 것이 아니며 3,000대가 상한도 아니다. 상용 단말은 Lenovo Phab 2 Pro(2016년 11월 미국 출시, 목표가 500달러 미만)와 Asus ZenFone AR(CES 2017) 두 종뿐이었다. 지원은 2018년 3월 1일 종료됐다. 대안은 반대 방향이었다. 애플 ARKit(2017년 6월, iOS 11)과 구글 ARCore(2017년 8월 29일 프리뷰 발표, 2018년 2월 23일 1.0)는 전용 센서를 포기하고 일반 카메라와 IMU만 쓰는 시각관성주행거리계로 자세를 추정했다. 정확도를 내주는 대신 이미 팔려 있는 단말 전부를 대상으로 삼았다. ARKit은 A9 이상 프로세서를 요구했다. 구글은 자사 전략을 2년 만에 뒤집고 Tango를 죽였다. 교훈은 단순하다. 전용 하드웨어를 요구하면 설치기반이 만들어지지 않는다. 그 결과 마커 없이 바닥을 찾아 물체를 놓는 일이 수억 대 단말의 기본 기능이 됐다. 그런데 AR 전용 앱이라는 카테고리는 끝내 생기지 않았다. 흔히 인용되는 근거는 Sensor Tower 집계다. 2018년 3월 기준 ARKit 전용 앱 누적 다운로드 1,300만 건, App Store의 AR 대응 앱 2,000개 돌파, 다운로드 구성은 게임 47%, 유틸리티 14%, 라이프스타일 11%다. 이 숫자를 '수요가 나타나지 않았다'의 증거로 쓰면 범주 오류가 된다. ARKit 전용 앱만 집계한 값이므로 스냅챗, 포켓몬 고, IKEA 본앱, 애플 측정 앱 안에서 일어난 AR 사용은 정의상 전부 빠진다. 게다가 인용되던 기사 URL은 현재 열리지 않고, 1,300만과 2,000개, 구성비 자체가 미검증 상태다. 정확하게 말할 수 있는 것은 하나다. AR은 독립 앱으로 팔리지 않고 기존 앱의 한 기능으로 들어갔다. [11] ### 반품 비용을 가진 유통이 가장 진지한 고객이었다 AR을 가장 실용적으로 쓴 곳은 반품 비용이 비싼 유통이었다. 가구는 그 조건에 가장 잘 맞는다. 부피와 배송과 조립이 모두 되돌려져야 하기 때문이다. 치수는 맞는데 막상 놓으면 커 보인다는 공간 불확실성은 온라인 구매를 막는 구체적 장애였고, AR은 정확히 그 불확실성만 겨냥했다. IKEA의 2013년판 카탈로그는 지면의 심벌을 스캔하면 가구 내부를 들여다보는 X-ray 뷰와 영상이 뜨는 마커 AR이었다. 2014년판부터는 카탈로그 책자 자체를 바닥에 놓아 축척 기준점으로 삼고 방 사진 위에 가구를 합성했다. 인쇄물 수억 부가 곧 전 세계에 배포된 마커였던 셈이다. 2017년 9월 IKEA Place는 ARKit의 평면 검출을 써서 마커를 완전히 없앴고 조명과 그림자, 직물 질감까지 렌더링했다. 초기 수록 제품은 약 2,000점이었다. 축척 정확도 98%라는 값이 널리 인용되지만 이는 IKEA 자체 발표이고 측정 방법과 조건, 오차 정의가 공개된 적이 없다. 검증된 성능이 아니라 마케팅 주장으로 취급해야 한다. | 카탈로그 발행부수 | 값 | |---|---| | 1951년 초판 | 28만 5,000부 | | 2013년 | 약 2억 800만 부 | | 2016년 | 2억 부(69개 판, 32개 언어, 50여 개국) | | 2021년 최종판 | 4,000만 부 |표 출처: [12] (본문 기준으로 재구성)
이 표에는 출처 자체의 모순이 들어 있다. 같은 자료가 2016년을 정점이라 부르면서 2013년 수치를 더 크게 적는다. 정점 표기를 그대로 옮겨 쓰면 안 된다. 결말은 역전이었다. 2020년 12월 IKEA는 70년 된 카탈로그의 폐간을 발표하며 고객과 연결되는 새로운 방식 때문에 카탈로그의 중요성이 줄었다고 밝혔다. AR은 인쇄물을 보조하러 들어왔다가 인쇄물을 대체했다. [12] ### 누가 측정했는가 AR 도입 근거로 가장 많이 인용되는 것은 반품 감소 수치다. 이 수치들의 출처를 따라가면 AR 성과 주장 전반의 구조가 드러난다. > merchants who use 3D AR visualization strategies have seen a 40% reduction in returns 반품관리 SaaS 벤더 Loop Returns가 2022년 1월 18일 블로그에 쓴 문장이다. 이 문장에 붙은 링크는 Shopify의 마케팅 페이지 하나뿐이다. 표본 크기도, 관측 기간도, 반품의 조작적 정의도, 대조군도 없다. 더 결정적으로, 현재 Shopify의 AR 쇼핑 블로그에는 40% 감소 주장이 아예 존재하지 않는다. | 인용되는 주장 | 출처의 성격 | |---|---| | 반품 40% 감소 | Loop Returns가 Shopify 마케팅 페이지를 근거로 제시, 원 보고서 없음 | | SeekXR 25% 감소 | 2차 출처 재인용 | | Build.com 22% 덜 반품 | Loop 기사에 링크도 연구도 없음 | | Gunner Kennels 반품률 5% 감소 | Shopify 자사 사례 페이지 | | Rebecca Minkoff 장바구니 44%↑, 주문 27%↑, 구매 65%↑ | Shopify가 자사 고객으로 만든 케이스 스터디의 자기보고 |표 출처: [13] (본문 기준으로 재구성)
다섯 항목 모두 독립 검증이 없다. 동료심사도, 재현도 없다. 수치를 제공한 Loop Returns 자체가 해당 주장으로 이익을 얻는 당사자다. 그러면 동료심사 연구는 무엇을 말하는가. 가장 자주 호출되는 것은 Tan Yong-Chin과 Chandukala, Reddy의 'Augmented Reality in Retail and Its Impact on Sales'다. Journal of Marketing 86권 1호 48~66쪽에 실렸고, 온라인 선공개는 2021년 6월 16일, 게재 연도는 2022년이다. 국제 화장품 소매업체의 모바일 앱 거래 데이터를 분석해, AR 사용의 매출 효과가 인지도 낮은 브랜드와 수요층이 좁은 상품, 고가 상품에서 크고 신규 고객에서 가장 강하다는 결론을 냈다. Heller와 Chylinski, de Ruyter, Mahr, Keeling의 'Touching the Untouchable'(Journal of Retailing, 2019)은 다감각 AR의 심리적 효과를 다룬 실험 연구다. 두 논문 모두 반품률을 측정하지 않았다. 제목이 말하는 그대로 앞의 연구는 매출을 측정했고 뒤의 연구는 심리 효과를 측정했다. 따라서 '학술적으로 지지되는 범위는 불확실성이 큰 곳에서만 반품이 줄어든다는 것'이라는 정리는 이 두 논문으로 성립하지 않는다. 정확한 진술은 이쪽이다. 인용되는 어떤 동료심사 연구도 반품 감소 주장을 직접 검증한 바 없다. 학술적으로 말할 수 있는 것은 AR이 평균 전환율을 올리는 장치가 아니라 제품 불확실성이 클 때 작동하는 장치라는 점까지다. 어느 분야에서든 AR의 투자수익률을 인용할 때는 그 숫자를 누가 측정했는지를 먼저 확인해야 한다. [13] ### 광학과 전력이라는 벽 안경 쪽은 두 번, 세 번 시도됐고 매번 같은 벽에 부딪혔다. Snap Spectacles가 가장 긴 기록을 남겼다. | 세대 | 시점 | 특징 | |---|---|---| | 1세대 | 2016년 11월 10일 | AR 아닌 원형 영상 카메라 안경, Snapbot 자판기 희소성 마케팅 | | 2세대 | 2018년 4월 26일 | | | 3세대 | 2019년 11월 | 380달러 | | 4세대 | 2021년 5월 | 첫 AR 디스플레이, 대각 시야각 26.3도, Snapdragon XR1, 듀얼 3D 도파관, 개발자 배포 전환 | | 5세대 | 2024년 9월 17일 | 대각 시야각 46도, 37 PPD, 카메라 4개, 완전 독립 구동, Snap OS |표 출처: [14] (본문 기준으로 재구성)
초기에는 자판기 앞에 줄이 섰지만 수요는 곧 증발했다. 2017년 말 Snap은 미판매 재고와 미사용 부품 4,000만 달러를 상각했고, 2018년 5월까지 누적 판매는 22만 대에 그쳤다. 2017년 3월 2일 상장 당시 공모가 기준 밸류에이션 약 240억 달러, 상장 첫날 시가총액 거의 300억 달러였던 회사의 하드웨어 실적이 그 정도였다. 실패 원인은 수요 예측과 광학이다. 시야각이 26도에서 46도로 올라가는 동안에도 배터리와 발열은 소비자 제품 기준에 닿지 못했다. Magic Leap의 기업가치 곡선은 인용 사고가 특히 많은 사례다. 총 조달액은 35억 달러 이상이다. Forbes가 2016년 12월에 45억 달러로 추정한 값이 있고, 그와 별개로 The Information이 2020년 9월에 2019년 64억 달러에서 2020년 6월 4억 5,000만 달러로 6개월간 93% 하락했다고 보도했다. 이 둘을 한 문장으로 접합해 '2016년 45억에서 2020년 9월 4억 5,000만으로 6개월 만에 93% 하락'이라 쓰면 세 곳이 틀린다. 93%와 6개월의 기준은 64억 달러이고, 4억 5,000만 달러는 2020년 6월 값이며, 9월은 보도 시점이다. 45억에서 4.5억은 3년 반에 걸친 90% 하락이다. 그리고 이 회사의 이야기는 거기서 끝나지 않는다. 2020년 4월 22일 인력 50%를 감원하고 소비자 시장을 포기했지만, 2021년 10월 보도 기준 미상의 투자자로부터 5억 달러를 조달해 기업가치를 20억 달러로 회복했고 2022년 Magic Leap 2를 출시했다. 2,295달러였던 Magic Leap One(2018년 8월 8일)의 지원은 2024년 12월 31일 종료됐다. 붕괴 서사로 끝내면 사실과 다르다. 애플은 다시 시도했다. Vision Pro는 2023년 6월 5일 발표, 2024년 2월 2일 출시, 가격 3,499달러였다. 2024년 1월 19일 예약은 18분 만에 매진됐고 2주간 약 20만 대가 예약됐지만 초기 출하 추정치는 6만에서 8만 대 수준으로, 소비자 제품이라기보다 개발자 키트에 가까운 규모였다. 2026년 6월 25일에는 가격이 3,699달러로 인상됐다. 요지는 이것이다. 구글 글래스 이후 10년이 지나도 벽은 그대로였다. 소비자 AR 안경의 제약은 소프트웨어가 아니라 광학과 전력이다. [14] ### 산업은 접혔고 시도는 접히지 않았다 2024년과 2025년에 두 가지가 동시에 정리됐다. 플랫폼 기업은 서드파티 AR 저작 도구를 닫았다. 메타의 도구는 2017년 4월 F8에서 'AR Studio'로 공개돼 그해 12월 개방됐고, 2019년 'Spark AR'로 개명했으며, 2025년 1월 14일 종료됐다. AR 게임의 상징이던 회사는 게임 사업을 팔고 지리공간 데이터 회사로 남았다. Niantic은 2023년 6월 230명, 2025년 4월 68명을 감원했다. 이유는 기술 실패가 아니었다. 광고 예산이 인공지능으로 이동했고, 렌즈와 필터는 이미 각 플랫폼의 기본 기능으로 흡수되어 별도의 크리에이터 생태계를 유지할 경제적 이유가 사라졌다. 그래서 소비자 AR이 독립 산업에서 운영체제의 한 기능으로 격하됐다는 정리가 널리 통용된다. 기능의 편재화는 사실이다. 오늘날 AR은 별도의 앱이 아니라 카메라 앱과 지도 앱, 쇼핑 앱 안의 버튼 하나로 존재한다. 그러나 이를 종결 판정으로 쓰면 현재 사실과 충돌한다. Snap은 2025년 6월 소비자용 AR 안경 판매 계획을 공개했고, 2026년 1월 28일 전액출자 자회사 Specs Inc.를 설립해 2026년 가을 공개 출시를 준비 중이며 6세대 제품이 2026년 6월 출하됐다. Vision Pro도 단종되지 않았고 가격만 올랐다. 독립 소비자 AR 하드웨어 시도는 끝나지 않았다. 정확한 판정은 셋으로 갈라 써야 한다. 광고형 AR 산업은 접혔다. 기능으로서의 AR은 편재화됐다. 안경 형태의 시도는 계속되고 있다. [15] ### 이 장의 결론 25년의 기록이 반복해서 말하는 것은 하나다. 소비자 AR에서 규모를 낸 것은 현실을 가장 정확히 이해한 기술이 아니라 진입 단계가 가장 적고 사용자에게 이미 그것을 열 이유가 있던 쪽이었으며, 실패한 쪽은 대개 성능이 아니라 사람의 동작과 주변의 시선, 배터리와 원가구조에서 무너졌다. [8][9][11][13][15]본문의 번호를 누르면 출처로 이동합니다. 절 끝의 번호는 그 절의 사실 자료를, 표 아래의 번호는 표에 사용한 자료를 가리킵니다. 비교·계산·비유와 결론은 필자의 재구성입니다. 한 번호에 함께 사용한 문헌이 둘 이상이면 묶어서 적었습니다.
서지정보와 확인 메모는 옵시디언 조사 기록을 바탕으로 복원했습니다. 원 기록의 ‘전문 확인’·‘조회’ 표기는 당시 조사 상태이며 이번 웹판에서 모두 재검증했다는 뜻은 아닙니다. 불완전한 서지사항은 임의로 채우지 않았습니다.
표 출처: [2] (본문 기준으로 재구성)
Crossref는 2000년 이전 문헌의 인용을 심하게 과소집계한다. 같은 논문이 데이터베이스에 따라 세 배 차이가 난다. 이 장의 피인용수는 별도 표기가 없으면 Crossref 기준이고 조회 시점은 2026년 9월 말이다. 영향력을 논증할 때 어느 데이터베이스의 숫자인지 밝히지 않으면 세 배를 과소평가하거나 과대평가한다. [2] ### 문제에 이름을 붙인 문서 Azuma의 1997년 서베이는 6,839회 인용됐다. 증강현실 분야에서 가장 많이 인용된 문헌 중 하나다. 야외 난제를 다룬 1998년 발표와 1999년 확장판은 75회에 불과하다. 그런데 분야에 준 영향은 뒤쪽이 더 크다. 이 문서 이후 야외 증강현실 논문의 표준 서론이 '야외는 다르다'로 시작하게 됐다. Azuma의 결론은 단일 센서로는 불가능하다는 것이었다. 위치는 위성으로 잡고, 빠른 회전은 관성 센서로 메우고, 절대 기준은 영상으로 다시 맞추는 조합이 필수라는 주장이다. 하이브리드 추적이라는 말이 그렇게 표준 용어가 됐다. 그가 1999년에 적은 위성측위 정확도는 다음과 같다. | 방식 | Azuma 1999 기준 오차 | |---|---| | 일반 GPS | 약 30 m | | 차등 GPS | 약 3 m |표 출처: [3] (본문 기준으로 재구성)
이 숫자를 기억해 둘 필요가 있다. 이후 30년간 야외 증강현실의 모든 실패는 이 오차와 정합 요구 사이의 거리를 어떻게 메울지의 문제였다. 건물을 식별하는 데는 30 m도 못 쓸 정도는 아니다. 무너진 기둥 하나에 신전을 얹으려면 30 m는 재앙이다. 같은 기술이 어떤 용도에서는 충분하고 어떤 용도에서는 무용하다는 이 비대칭이 이 장 전체를 관통한다. 한 가지 덧붙인다. 야외 제약을 다섯 가지로 나열하는 요약을 자주 보는데, Azuma 본인이 나눈 문제 영역은 셋이다. 이 장 뒤쪽에서 제약을 여섯 층으로 정리하지만 그 번호는 이 책의 정리이고 Azuma의 분류가 아니다. [3] ### 장소에 서사를 묶다 1999년 같은 연구실이 Touring Machine을 이름표 띄우기에서 현장 기반 다큐멘터리로 확장했다. Höllerer, Feiner, 그리고 컬럼비아 저널리즘 스쿨의 John Pavlik이 함께 만든 Situated Documentaries다. 캠퍼스를 걸으면 그 자리에서 실제로 일어난 사건의 소리와 글과 이미지와 영상이 공간에 배치되어 재생된다. 실제로 제작된 편은 셋이었다. 1968년 컬럼비아 학생 시위, 캠퍼스 지하 터널 시스템, 캠퍼스 초기 역사다. 지하 터널 편이 중요하다. 보이지 않는 것을 보이게 한다는 발상, 즉 이 장 뒤쪽에서 다룰 지하 투시의 최초 사례가 여기다. 1999년에 이미 나왔고 27년이 지난 지금도 표준 실무가 아니다. 저널리즘 스쿨이 공동 저자로 들어간 사실이 이 작업의 성격을 말해 준다. 기술 연구실은 무엇을 보여줄 것인가에 스스로 답하지 못했다. 장소 기반 서사에 이미 전문성을 가진 분야가 필요했다. 문화유산 해설의 고유한 공백은 설명할 대상은 눈앞에 있는데 설명할 시간의 층위는 눈에 보이지 않는다는 것이고, 증강현실은 그 시간 축을 공간에 되돌려 놓는 도구로 채택됐다. 연구팀은 곧 MARS Authoring Tool을 만들어 프로그래머가 아닌 사람도 3차원 하이퍼미디어 서사를 저작할 수 있게 했다. 누가 콘텐츠를 만드는가라는 질문을 처음 건드린 작업이다. 선견지명이었지만 도구를 만든 것이 문제를 푼 것은 아니었다. 저작 비용은 이후 20년간 문화유산 증강현실을 계속 죽이는 원인이 된다. 피인용 63회다. 오늘날의 위치 기반 오디오 투어와 문화유산 앱 거의 전부의 개념적 원형이지만, 당시 시스템은 배낭 장비를 벗어나지 못해 실제 방문객에게 배포된 적이 없다. [4] ### 1만 달러짜리 야외 증강현실 남호주대학 웨어러블컴퓨터랩이 1998년부터 2006년까지 운영한 프로젝트가 야외 증강현실의 경제성을 처음 숫자로 노출했다. 대표작은 1인칭 슈팅게임 Quake를 실제 캠퍼스 위에 겹친 ARQuake다. Bruce Thomas와 Wayne Piekarski가 중심이고, 학부 우등생 5명, 지도교수 1명, 박사과정 1명의 소규모 팀이 만들었다. 장비 목록은 다음과 같았다. 반투명 증강현실 고글, 노트북, Trimble Ag132 GPS 수신기, InterSense IS-300 자기·자이로 방위 센서, 디지털 나침반과 경사계를 담은 커스텀 배낭이다. 같은 팀은 이 플랫폼을 게임에서 현장 3차원 모델링으로 돌려 2001년 Tinmith-Metro를 내놓았다. 걸어 다니며 건물 형상을 구성하는 시스템이고, 건축과 측량 영역을 겨냥한 첫 전용 사례다. 게임을 고른 이유가 이 프로젝트의 가치를 만들었다. 게임은 틀려도 아무도 다치지 않는 영역이다. 그래서 한계를 자유롭게 밀어붙이고 공개적으로 기록할 수 있었다. 실제로 이 프로젝트가 남긴 가장 큰 자산은 게임이 아니라 실패 목록이다. 연구팀은 가상과 실제의 정렬 불일치, 야외 조명 아래 콘텐츠 가독성, 자기 왜곡에 의한 센서 드리프트, 그리고 야외 보행자가 마우스를 쓰는 실내 플레이어보다 느려 게임 균형이 깨진다는 인간공학적 문제까지 적어 두었다. 마지막 항목이 특히 값지다. 정합이 완벽해도 사람의 이동 속도가 설계 전제를 무너뜨린다는 사실은 장비 사양표에 나오지 않는다. 결정적인 숫자는 비용이다. | 항목 | 정밀도·주기 | 가격 | |---|---|---| | 일반 GPS | 5 m, 1 Hz | 약 $200 | | 측량급 차등 GPS | 50 cm, 10 Hz | 약 $4,000 | | 주요 구성품 합계 | 해당 없음 | $10,000 초과 |표 출처: [5] (본문 기준으로 재구성)
이 숫자의 출처를 정확히 해 둔다. 프로젝트 홈페이지의 문답 페이지에서 나온 값이고, 그 페이지는 1998년부터 2006년까지를 포괄하며 2006년 최신 구성까지 함께 안내한다. 따라서 '2000년의 가격표'로 못 박기는 어렵다. 그래도 자릿수는 분명하다. 건물 모서리에 맞는 야외 증강현실은 2000년 전후에 기술적으로 가능했고 1인당 1만 달러였다. 이것이 야외 증강현실이 연구실을 벗어나지 못한 경제적 이유다. | 문헌 | 피인용 | |---|---| | ARQuake, ISWC 2000 | 114 | | ARQuake, Personal and Ubiquitous Computing 2002 | 109 | | Piekarski·Thomas, CACM 2002 | 223 | | Tinmith-Metro, 2001 | 67 |표 출처: [5] (본문 기준으로 재구성)
[5] ### 올림피아에 신전을 겹치다 유럽연합이 2000년 문화유산 증강현실에 처음 큰돈을 댔다. 제5차 프레임워크 정보사회기술 프로그램의 ARCHEOGUIDE, 과제번호 IST-1999-11306이다. 고대 올림피아 유적에서 방문객이 현장에 서면 폐허 위에 복원된 신전과 고대 경기 장면이 겹쳐 보이게 하는 것이 목표였다. | 항목 | 값 | |---|---| | 기간 | 2000-01-01 ~ 2002-06-30, 30개월 | | 총사업비 | €4,851,991 | | EU 분담 | €2,600,000 | | 참여 | 조정기관 INTRACOM S.A.(그리스)와 파트너 6곳, 합계 7개 기관 4개국 |표 출처: [6] (본문 기준으로 재구성)
파트너는 Fraunhofer IGD와 ZGDV(독일), CCG/ZGDV(포르투갈), A&C 2000 S.R.L.(이탈리아), 그리스 문화부, Post Reality S.A.(그리스)다. 주요 저자는 Vlahakis, Ioannidis, Karigiannis, Tsotros, Gounaris, Stricker, Gleue, Dähne다. 설계에서 배울 점이 둘 있다. 첫째는 기기를 3단으로 나눈 것이다. 배낭형 노트북에 HMD를 쓴 구성, 펜 컴퓨터, PDA를 함께 제공해 성능과 가격에 따라 누가 무엇을 볼 수 있는지를 등급화했다. 단일 기기를 전제하지 않은 문화유산 증강현실은 이때가 거의 마지막이다. 둘째는 정합 방식이다. 위치는 차등 GPS와 디지털 나침반으로 대략 잡고, 그 자세를 사전에 촬영해 둔 기준 영상들과 대조해 다듬는 하이브리드 방식을 썼다. 순수 위성측위로는 신전 기둥 하나에 정렬할 수 없다는 사실을 프로젝트 초기에 인정하고, 유적 전체를 미리 촬영해 시각적 기준점을 깔아 두는 쪽을 택한 것이다. 무거운 렌더링과 데이터베이스는 현장 서버에 두고 무선으로 보냈다. 문제를 우회하지 않고 비용으로 바꿔 치른 선택이다. 왜 고고 유적이었는지는 도메인의 성질에서 나온다. 유적의 고유 문제는 남아 있는 것이 전체의 극히 일부라는 점이다. 올림피아에서 관람객이 보는 것은 무너진 기둥 드럼들이고, 그것이 무엇이었는지는 안내판의 작은 복원 삽화로만 전달된다. 동시에 유적의 물리적 복원은 윤리적으로도 법적으로도 제한된다. 물리적으로 복원할 수 없는 것을 시각적으로만 복원한다는 증강현실의 성질이 보존 원칙과 정확히 맞물렸다. 유럽연합이 이용자 친화적 정보사회 프로그램에서 이 조합에 돈을 댄 이유다. 학술적 성과는 컸다. | 문헌 | 피인용 | |---|---| | IEEE Computer Graphics and Applications 2002 | 266 | | VAST 2001 | 163 | | 기기 설계 논문(Gleue·Dähne 2001) | 77 | | ISMAR 2002 시스템 아키텍처 | 40 |표 출처: [6] (본문 기준으로 재구성)
서비스로는 이어지지 않았다. 여기서 정직해야 한다. 흔히 프로젝트 종료와 함께 현장에서 사라졌다고 서술되지만, 확인되는 사실은 30개월 고정 기간의 과제가 기한대로 종료됐다는 것뿐이다. 기한 만료는 기술적 실패의 증거가 아니다. 2002년 이후 올림피아 현장 운영에 관한 기록을 찾지 못했다는 것은 부재의 증거이지 중단의 증거가 아니고, 후속 논문이 없다는 사실도 마찬가지다. 확인하지 못한 것이 더 있다. 현장 사용자 시험 참가자 수, 실제로 달성한 정합 정확도, 장비 무게, 배터리 지속시간이 모두 미확인이다. 정합 방식 서술도 논문 제목과 초록 수준의 정보에 기댄 것이고, 어떤 특징 기술자를 썼는지와 기준 영상을 몇 장 깔았는지는 모른다. 문화유산 증강현실의 표준 인용 문헌인데도 운영 지표가 남지 않았다는 사실 자체가 이 분야의 상태를 말해 준다. 학술적 기여는 재현 가능한 형태로 남았고 운영 경험은 남지 않았다. 구조적으로 남는 교훈은 두 개다. 기준 영상을 유적 전체에 깔고 계절과 시간과 날씨에 따라 갱신해야 하는 유지 부담이 하나다. 연구비가 끝나면 장비 대여와 정비와 콘텐츠 갱신 비용을 댈 주체가 없다는 것이 둘이다. 두 번째가 이후 20년간 반복되는 소멸 패턴의 원형이다. [6] ### 껍데기가 아니라 사람을 복원하려는 시도 ARCHEOGUIDE가 건물을 복원했다면 LIFEPLUS는 사람을 복원하려 했다. 폼페이의 실제 주택 유적에 옷 시뮬레이션과 피부 렌더링을 갖춘 가상 인물들이 걸어 다니고 대화하는 장면을 실시간으로 겹쳤다. | 항목 | 값 | |---|---| | 과제번호 | IST-2001-34545 | | 기간 | 2002-03-01 ~ 2004-10-31 | | 총사업비 | €3,250,140 | | EU 분담 | €1,452,000 | | 참여 | 조정기관 FORTH(그리스), 참여기관 10곳 |표 출처: [7] (본문 기준으로 재구성)
귀속을 바로잡아 둔다. 널리 인용되는 논문의 저자는 제네바대학 MIRALab의 George Papagiannakis와 Nadia Magnenat-Thalmann이지만, 과제 조정기관은 그리스 FORTH이고 MIRALab은 참여 파트너 중 하나다. 논문 저자의 소속을 과제 주관기관으로 옮겨 적는 오류는 연구 프로젝트를 인용할 때 자주 생긴다. 기술적 초점이 정합에서 실시간 가상 인물 렌더링으로 이동한 것이 이 프로젝트의 성격이다. 야외 정합 문제를 정면으로 풀기보다, 폼페이 주택처럼 벽으로 둘러싸여 상대적으로 통제 가능한 반실내 공간을 골라 정합 난이도를 낮추고 그 대신 콘텐츠 품질을 밀어붙였다. 마커 없는 실시간 카메라 추적과 사전 제작한 인물 애니메이션을 결합했다. 우회의 이유는 두 가지였다. 2000년대 초 현장의 자각은 건물 껍데기를 복원해도 관람객의 몰입이 얕다는 것이었다. 유적 해설의 진짜 공백은 형태가 아니라 생활이었다. 동시에 야외 정합이 풀리지 않자 연구 전선이 어디서나 정합에서 정합하기 쉬운 곳에서 최고 품질로 옮겨 갔다. 이 우회는 그 뒤로도 반복된다. 성과는 제한적이다. 2007년 International Journal of Architectural Computing 5권 2호 395~415쪽에 실린 논문이 22회 인용됐다. ARCHEOGUIDE에 크게 못 미친다. 상시 서비스로 전환됐다는 기록도, 명시적으로 중단됐다는 기록도 확인되지 않았다. 확인되는 한계는 경제적이다. 고증된 의상과 행위와 언어를 갖춘 가상 인물 한 장면의 제작비가 유적 한 곳의 연간 해설 예산을 넘었고, 재사용도 불가능했다. 폼페이용 인물은 올림피아에서 쓸 수 없다. 콘텐츠 단가가 정합 정확도보다 먼저 프로젝트를 죽인 사례다. [7] ### 정합을 풀지 않고 지도 제작으로 옮기기 2006년 케임브리지대학의 Gerhard Reitmayr와 Tom Drummond가 야외 추적의 기술적 전환점을 만들었다. 위성측위와 나침반을 보조로 밀어내고, 카메라가 보는 영상을 미리 준비된 도시의 3차원 텍스처 모델과 직접 맞춰 자세를 구하는 방식이다. 작동 원리는 셋으로 나뉜다. 건물 외곽선과 모서리 같은 기하 특징을 추적한다. 빠른 움직임은 관성 센서로 메운다. 프레임마다 모델과 다시 정합해 드리프트를 제거한다. 세 번째가 핵심이다. 방위 오차가 시간에 따라 누적되지 않는다. 야외 정합 정밀도를 건물 단위에서 건물 모서리 단위로 끌어올린 작업으로 평가되고, 237회 인용됐다. 같은 계보에 Behringer 외 2002년 연구가 14회, Jiang과 Neumann과 You의 2004년 하이브리드 추적이 50회 인용으로 함께 있다. 2000년대 중반이었던 이유도 도메인 쪽에 있다. 건축과 도시 분야에 사진측량과 항공 라이다로 만든 3차원 도시 모델이 쌓이기 시작했다. 미리 만들어진 환경 모델이라는 전제가 처음으로 현실적이 됐다. 동시에 요구 수준이 올라갔다. 건물이 어디 있는지 알려 달라에서, 설계한 벽이 실제 벽과 몇 센티미터 어긋나는지 보여 달라로 바뀌면 위성측위 정밀도로는 아무것도 할 수 없다. 그러나 전제가 병목으로 남았다. 최신 3차원 모델이 없으면 작동하지 않는다. 공사 중인 현장이나 계절에 따라 형상이 변하는 식생 많은 공간에서는 모델과 실제가 어긋난다. 이 계보의 성격을 한 줄로 쓰면 이렇다. 정합 문제를 해결하는 것이 아니라 정합 문제를 지도 제작 문제로 옮긴다. 이 장 뒤쪽의 시각측위 인프라도 같은 구조를 지구 규모로 확대한 것인데, 직접 계승 관계를 뒷받침하는 출처가 있는 것은 아니고 발상이 같다는 뜻이다. [8] ### 배낭에서 주머니로, 그리고 소멸 2008년과 2009년에 야외 증강현실이 처음 대중의 손에 들어왔다. 오스트리아 잘츠부르크의 Wikitude World Browser가 2008년에, 네덜란드 암스테르담의 Layar가 2009년 6월에 나왔다. Layar의 창업자는 Raimo van der Klein, Claire Boonstra, Maarten Lens-FitzGerald 세 사람이다. 작동 방식은 단순했다. 스마트폰 카메라 화면 위에 주변 정보를 위성측위와 나침반과 가속도계만으로 겹쳐 띄운다. 부동산 매물, 관광 명소, 지하철역, 도시계획 정보가 올라갔다. 누구나 자기 데이터를 레이어로 올릴 수 있는 개방형 구조여서, 문화유산 단체나 지자체가 코드를 몰라도 위치 콘텐츠를 발행할 수 있었다. iPhone 3GS와 초기 안드로이드가 위성측위와 디지털 나침반과 카메라를 한 몸에 담으면서, 1만 달러로 하던 일의 조악한 버전을 600달러 기기가 하게 됐다. 도시와 부동산과 관광 분야는 정보는 데이터베이스에 있고 사용자는 현장에 있다는 간극을 오래 안고 있었기에 정확도가 낮아도 즉시 채택했다. 실패의 기제는 두 층이다. 기술 쪽에서는 위성측위의 수평 오차가 도심에서 크게 벌어진다. 건물 사이에서 신호가 반사되어 도달하는 다중경로 때문이다. 자기 나침반은 철골 구조물과 차량 근처에서 크게 틀어진다. 겹쳐진 아이콘이 엉뚱한 건물 위에 떠 있었고, 사용자는 증강이 아니라 대충 맞는 목록을 보게 됐다. 이 대목에서 흔히 인용되는 구체적 오차 수치는 1차 출처로 확인하지 못했으므로 여기서는 기제만 적는다. 수치 없이도 결론은 바뀌지 않는다. 경제 쪽 기제가 더 결정적이다. 되먹임이 반대 방향으로 돌았다. 정확도가 낮으니 사용자가 안 쓰고, 사용자가 없으니 콘텐츠 제공자가 갱신을 멈추고, 죽은 레이어가 쌓이며 플랫폼 신뢰가 무너진다. 개방형 구조가 강점에서 약점으로 바뀐 것이다. 누구나 올릴 수 있다는 말은 아무도 책임지지 않는다는 말과 같아진다. 두 회사의 죽음은 원인이 다르다. 이 구분이 중요하다. | 회사 | 경로 | |---|---| | Layar | 2009-06 창업, 2010-09-01 세계경제포럼 2011 기술선도기업 선정, 2014-06 Blippar 인수(금액 미공개), 2016 암스테르담 사무소 폐쇄 | | Wikitude | 2008 출시, 2012 SDK 전환, 2017 SLAM 기반 마커리스 추적 도입, 2021-09 Qualcomm 인수, 2023-09-21 신규 구독 중단, 2024-09-21 전 서비스 종료 |표 출처: [9] (본문 기준으로 재구성)
Layar는 위에 적은 기제로 죽었다. Wikitude는 아니다. Wikitude는 2012년에 SDK로 전환하며 순수 지오브라우저 모델을 스스로 폐기했고, 2017년에 SLAM을 넣어 위성측위 의존을 줄였다. 2024년의 서비스 종료는 지오브라우징을 떠난 뒤 12년이 지난 인수 후 제품 정리다. 떠다니는 아이콘 탓에 소멸했다는 설명은 Layar에는 맞고 Wikitude에는 맞지 않는다. 같은 세대에 묶인 두 회사를 한 문장으로 묶으면 둘 중 하나의 교훈을 잃는다. 남는 사실은 하나다. 15년간 가장 널리 배포된 야외 증강현실 플랫폼 두 개가 모두 없어졌다. [9] ### 박물관으로의 후퇴 야외 정합이 풀리지 않는 동안 문화유산 증강현실의 무게중심이 실내 전시장으로 옮겨 갔다. 2010년대 초부터 본격화됐다. 실내가 쉬운 이유는 정합의 조건이 전부 뒤집히기 때문이다. 조명이 고정되어 있다. 작품 표면 자체가 자연 특징 마커가 된다. 비콘과 무선망으로 실내 측위를 보조할 수 있다. 그리고 결정적으로 유지 주체가 분명하고 예산이 연간 편성된다. ARCHEOGUIDE를 끝낸 두 조건, 즉 정합 불가와 운영 주체 부재가 실내에서는 동시에 완화된다. 이것이 후퇴의 구조적 이유다. 박물관 쪽에도 압박이 있었다. 관람객 체류 시간이 줄고 주의가 스마트폰으로 빠져나가고 있었다. 클리블랜드미술관의 ARTLENS 계열이 대표 사례다. | 항목 | 값 | |---|---| | iBeacon | 240개 이상 | | 작품 영상 | 1,500편 이상 | | 지원 | iOS 16.4 이상 / Android 15 이상, 무료 | | Gallery One 개관 | 2013년(널리 인용되는 연도, 미술관 현행 페이지에는 미기재) |표 출처: [10] (본문 기준으로 재구성)
스미스소니언 국립자연사박물관의 Skin and Bones는 2015년에 나왔고, 골격 표본에 살과 움직임을 겹쳐 보여준다. 표본은 있으나 생태는 보이지 않는다는 자연사 전시의 고유한 공백을 겨냥한 설계다. 다운로드 수와 현재 운영 여부는 확인하지 못했다. ARTLENS가 10년 넘게 유지·갱신된 비결은 증강현실이 아니다. 증강현실은 앱의 일부일 뿐이고, 소장품 검색과 길찾기와 작품 영상이라는 실용 기능이 본체다. 반대로 증강현실만 하는 단발성 전시 앱은 운영체제 갱신 한두 번에 작동을 멈추고 조용히 내려간다. 기술적 실패가 아니라 소프트웨어 유지보수 예산 구조의 실패다. 다만 이 관찰을 통계로 뒷받침하지는 못했다. 평가에 단서를 붙인다. 위 수치는 전부 운영기관 자신의 자료에서 나왔다. 독립적인 평가 근거가 되는 리뷰 문헌은 인용수가 낮아 지목할 만한 것이 없었다. 성공 사례를 소개할 때 근거가 운영자 자신뿐이라는 점은 밝혀 두어야 한다. 그리고 더 중요한 단서가 있다. 이 후퇴는 야외 난제를 해결한 것이 아니라 회피한 것이다. 유적과 도시 같은 야외 문화유산은 그대로 공백으로 남았다. [10] ### 설계와 현장 사이의 번역 손실 건설은 반대 방향으로 갔다. 이유는 돈이다. 건설의 고유 문제는 설계는 3차원인데 현장은 2차원 도면으로 지어진다는 번역 손실이다. 2010년대에 건물정보모델이 의무화 흐름을 타면서 정밀한 3차원 모델이 이미 존재하게 됐다. 영국이 2016년 공공공사에 BIM Level 2를 의무화한 것이 대표적이다. 그 모델을 현장에서 확인할 마지막 한 걸음만 비어 있었다. 그리고 설비 간섭을 시공 후에 발견하면 철거와 재시공이 필요하고, 그 비용이 헤드셋 몇 대 값을 즉시 넘는다. 문화유산과 달리 건설에서는 투자 회수 계산이 성립한다. Trimble은 처음부터 있었다. HoloLens 1세대가 나온 2016년에 Trimble SketchUp Viewer가 최초의 상용 HoloLens 애플리케이션이었다. 2019년의 XR10이 건설 증강현실의 시작이라는 서술은 3년 앞선 선행 상용화를 빠뜨린다. XR10의 존재 이유는 규제다. 건설 현장은 안전모 착용이 법적 의무이므로, 안전모를 벗고 별도 헤드셋을 쓰는 방식은 애초에 불가능하다. XR10은 HoloLens 2를 안전모에 통합해 이 제약을 하드웨어 설계로 흡수했다. 작업자는 Trimble Connect로 올린 모델을 현장 실공간에 1:1 축척으로 겹쳐 보며 배관과 덕트가 들어갈 자리, 슬리브 위치, 시공 오차를 눈으로 확인한다. 다만 XR10의 가격과 출하 일자는 1차 출처로 확인되지 않았다. 과거의 전용 제품 주소는 현재 일반 페이지로 넘어가고, 그 페이지에는 XR10 언급이 한 줄도 없다. 단종 정황과는 부합한다. 기기 쪽 사실관계는 다음과 같다. | 항목 | HoloLens 1 | HoloLens 2 | |---|---|---| | 공개·출시 | 2016-03-30 개발자판 | 발표 2019-02-24, 출시 2019-11-07 | | 가격 | $3,000 | $3,500(기업 구독 월 $125, 개발자 월 $99) | | 시야각 | 공식 사양 없음(참관자 추정 30°×17.5°, 대각 약 34.7°) | 대각 52° | | 무게·프로세서 | 미공개 | 566 g, Snapdragon 850 | | 상태 | 단종 | 단종, 소프트웨어 지원 2027-12-31까지 |표 출처: [11] (본문 기준으로 재구성)
시야각이 34도에서 52도로 넓어졌다는 서술을 자주 보는데, 1세대 숫자는 마이크로소프트가 공표한 적이 없는 참관자 한 사람의 추정치다. 개선 자체는 사실이지만 두 숫자를 같은 축에 올리는 것은 정확하지 않다. 제품 세대 간 개선을 논증할 때 한쪽만 비공식 수치이면 그 비교는 성립하지 않는다. 기기가 죽은 원인은 건설 쪽이 아니었다. 미 육군의 통합시각증강체계 계약이 무너진 것이 컸다. | 항목 | 값 | |---|---| | 계약 규모 | 2021-03, 최대 $21.88B, 12만 명분 | | 보고된 문제 | 착용자 두통·안구 피로·구토, 수백 미터 밖에서 보이는 발광, 좁은 주변시 | | 의회 삭감 | 2020년 12월, FY2021 요구액 약 $1.1B에서 $230M 삭감 | | 의회 보류 | 2022년 3월, 약 $400M | | 초기 인수 | 2022-09, 5,000대 | | 이관 | 2025-02, Anduril |표 출처: [11] (본문 기준으로 재구성)
현장 쪽 기술적 한계도 분명했다. 광학 시스루 디스플레이는 직사광 아래 대비가 무너진다. 현장의 반복적인 회색 벽면과 계속 바뀌는 형상은 SLAM 정합을 흔든다. 배터리 수명이 교대 근무 시간에 못 미친다. 결과적으로 현장 증강현실의 주류는 헤드셋에서 태블릿과 전화기로 옮겨 갔다. Trimble도 태블릿 기반 SiteVision을 두어, 위성측위 수신기와 결합하면 야외에서 측량급 정밀도로 모델을 현장에 놓는 경로를 따로 제공한다. 다만 건설사의 실제 상시 사용 비율 같은 채택률 통계는 확인하지 못했다. 주류가 이동했다는 판단은 제품 구성 변화와 문헌의 정성적 관찰에 기댄 해석이다. 이 분야의 연구 의제를 정리한 Davila Delgado 외 2020년 논문은 Crossref 370회, Semantic Scholar 416회 인용됐다. [11] ### 2억 7,500만 달러가 남긴 것 Daqri는 안전모를 증강현실 플랫폼으로 삼는다는 통찰에 Trimble의 XR10보다 3년 앞서 도달했고, 완전히 실패했다. | 항목 | 값 | |---|---| | 창업 | 2010년, 로스앤젤레스 | | 공동창업자 | Brian Mullins, Gaia Dempsey, Philip Tolk | | 시리즈 A | 2013-06, $15M | | 누적 조달 | $275M(2017-07 기준, 전사 기준) | | Smart Helmet 공개 | CES 2016, Intel 6세대 Core m7 | | 감원 | 2017년 약 25% | | 종료 | 2019-09-09, 자산 매각과 하드웨어 사업 종료 통보 |표 출처: [12] (본문 기준으로 재구성)
숫자를 오해하기 쉬운 지점이 있다. 2억 7,500만 달러는 건설용 헬멧에 들어간 돈이 아니다. 전사 조달액이고, 뇌파 헤드밴드 업체 Melon과 홀로그래픽 광학 업체 Two Trees Photonics, 1066 Labs, ARToolworks 인수를 포함한다. Daqri는 2010년에 QR 기반 증강현실 퍼블리싱 플랫폼으로 출발했고 2014년에야 하드웨어에 진입했으며, 2017년 말에는 스마트헬멧을 주력에서 제외하고 스마트글라스로 선회했다. 건설 증강현실의 가장 비싼 실패라는 표현은 편리하지만 정확하지 않다. 조달 총액을 특정 제품의 실패 규모로 읽는 것은 흔한 오독이다. 실패 원인은 양쪽이다. 기술적으로 헬멧이 무겁고 열이 나며 배터리가 교대 시간을 못 버텼다. 더 결정적으로 현장 정합 정밀도가 실제 시공 허용오차에 못 미쳤다. 시공 허용오차는 수 밀리미터에서 수 센티미터 수준이다. 그 밑으로 내려가지 못하면 증강현실 기기는 정보 표시기 이상이 되지 못한다. 경제적으로는 하드웨어와 운영체제와 개발도구와 콘텐츠를 모두 자체 구축하려다 비용이 폭증했고, 같은 기간 마이크로소프트가 플랫폼 층을 장악해 수직통합 전략의 근거가 사라졌다. 2017년 7월에 공동창업자 Mullins가 퇴진하고 두 달 뒤 Dempsey가 떠났다. 2019년 9월 9일 이메일 한 통으로 클라우드와 스마트글라스 하드웨어 사업 종료를 통보했다. 남긴 유산은 하나다. 2015년 5월 ARToolworks를 인수한 뒤 그 회사가 상용 배포하던 ARToolKit을 오픈소스로 재공개했다. 5월 13일의 v5.2다. 인수 대상이 라이브러리가 아니라 회사였다는 점은 짚어 둘 필요가 있다. [12] ### 지하를 투시한다는 약속 굴착 전에 삽을 넣을 자리에 무엇이 있는지 바로 보는 그림은 증강현실의 가장 직관적인 정당화다. 그래서 20년 넘게 킬러앱으로 지목됐다. 1999년 캠퍼스 지하 터널 다큐멘터리가 사실상 최초이고, 2009년 전후 미시간대학 Vineet Kamat 연구실이 본격적으로 체계화했으며, 2019년 이후 상용 제품이 나왔다. 그런데도 표준 실무가 아니다. 이유를 세 층으로 나눠 본다. 첫째는 정합이다. 지하 3미터의 관을 지표 좌표계에 몇 센티미터 오차로 놓아야 한다. 지표의 기준점과 지하의 대상 사이에 직접 관측이 없다는 점이 이 문제의 성질이다. 둘째는 지각이다. 이쪽이 덜 알려져 있고 더 흥미롭다. 벽 뒤나 땅속에 그린 물체는 사람의 시각계가 자동으로 표면 위에 떠 있다고 해석해 버린다. 폐색 단서가 없으면 깊이가 읽히지 않는다. Benjamin Avery와 Christian Sandor와 Bruce Thomas, 그리고 Mark Livingston 연구진이 2009년 IEEE VR에서 이 문제를 정면으로 다뤘다. 가장자리 보존, 격자 마스크, 터널처럼 파 들어가는 절개 같은 시각 단서를 넣어야 비로소 뒤에 있다고 읽힌다는 것을 실험으로 보였다. 즉 투시는 그냥 겹쳐 그리는 것이 아니라 별도로 설계해야 하는 표현이다. 설계자에게 이것은 실무 지침이다. 반투명하게 만들면 뒤에 있어 보인다는 직관은 틀렸다. | 문헌 | 피인용 | |---|---| | Avery·Sandor·Thomas 2009, IEEE VR | Crossref 94 / Semantic Scholar 149 | | Livingston 외 2009, IEEE VR | Crossref 66 / Semantic Scholar 70 | | Talmaki·Dong·Kamat 2010 | Semantic Scholar 59 | | Behzadan·Kamat 2009 | Semantic Scholar 42 / Crossref 14 | | Hansen·Wyke·Bodum 2025, 덴마크 사례 | Crossref 2 |표 출처: [13] (본문 기준으로 재구성)
셋째가 진짜 이유다. 도면이 틀린다. 굴착 사고의 원인은 작업자가 도면을 안 봐서가 아니다. 도면과 현실이 다르기 때문이다. 미국토목학회의 지하 매설물 조사 기준은 이 사실을 등급으로 제도화했다. | 등급 | 근거 | |---|---| | QL-D | 기존 기록이나 기억에 의존 | | QL-C | 지상 노출부를 측량해 기록과 대조 | | QL-B | 물리탐사로 수평 위치 확인 | | QL-A | 실제 굴착 노출로 위치·종류·크기·재질·상태 확인 |표 출처: [13] (본문 기준으로 재구성)
이 등급 체계가 존재한다는 사실 자체가 기록은 못 믿는다는 업계의 공식 자백이다. 그리고 현장의 압도적 다수는 QL-D 또는 QL-C다. 판본도 짚어 둔다. 널리 인용되는 ASCE 38-02는 2003년 발행이고, 2022년 ASCE 38-22가 이를 대체했다. 개정판은 정의를 새로 쓰고 조사 수행 지침 조항을 추가했다. > new and revised definitions, and new provisions for guidance in performing utility investigations 여기서 결론이 나온다. 증강현실은 표시 문제를 풀지 데이터 품질 문제를 풀지 못한다. QL-D 도면을 밀리미터 정밀도로 정합해 보여주면 정확해 보이는 틀린 그림이 된다. 이것은 종이 도면보다 위험하다. 종이 도면은 보는 사람이 스스로 못 믿지만, 현실에 딱 붙어 보이는 관 그림은 믿게 만든다. 표현의 정밀도가 데이터의 신뢰도를 위장하는 것이다. 그래서 작업자가 화면을 믿고 삽을 넣으면 책임 소재가 모호해지고, 어느 유틸리티 사업자도 증강현실 표시를 굴착 승인 근거로 인정하지 않는다. 장벽은 광학이 아니라 법적 책임과 데이터 등급이다. 상용 제품의 주장도 이 구분으로 읽어야 한다. 캐나다의 vGIS와 vSite는 자사 페이지에서 이렇게 말한다. > Survey-grade (up to 1cm) augmented reality > 10,000+ Utility and Infrastructure Projects Delivered 토론토시, 로스앤젤레스 수도전력국, AECOM, PCL 등을 고객으로 든다. 두 가지를 분리해야 한다. 1센티미터는 측위 정밀도이고, 필요한 것은 매설물 위치 정확도다. 기기가 자기 위치를 1센티미터로 알아도 도면에 적힌 관 위치가 1미터 틀렸으면 결과는 1미터 틀린다. 그리고 이 수치들은 업체 자체 주장이며 독립 검증이나 동료심사 근거가 붙어 있지 않다. 페이지에서 확인되는 외부 목소리는 임원 한 사람의 추천사뿐이다. 1만 건이라는 실적도 같은 성격의 자체 발표다. 2025년 Hansen과 Wyke와 Bodum의 덴마크 굴착 손상 방지 사례 연구가 같은 간극을 다시 확인했다. 결론적으로 지하 투시는 실패한 아이디어가 아니라 선행 조건이 충족되지 않은 아이디어다. 전제는 증강현실 기술이 아니라 QL-A와 QL-B 수준의 지하 데이터베이스이고, 그것은 도시 단위 공공 투자의 문제다. 기술 조달로 해결하려는 시도가 20년 동안 실패한 이유가 이것이다. 덧붙여, 굴착 손상의 연간 건수나 손실액을 인용하려면 별도 확인이 필요하다. 이 조사에서는 수치를 확보하지 못했다. [13] ### 정밀도가 문제가 아닌 영역 야외 증강현실의 난제가 치명적이지 않은 영역이 하나 있다. 도시계획 참여다. 이 영역의 고질적 문제는 정합이 아니라 표상이다. 평면도와 조감도를 읽을 수 있는 사람만 의견을 낼 수 있다. 기술 문제가 아니라 형평성 문제이고, 특히 청소년과 비전문가와 비모국어 화자를 체계적으로 배제한다. 증강현실은 표상 해독 능력 없이도 여기 이렇게 생긴 것이 선다는 사실을 즉각 전달한다. 결정적으로, 나무를 어디쯤 놓을지 논의하는 데는 밀리미터가 필요하지 않다. 오차가 수십 센티미터여도 목적이 달성된다. 계보는 2011년 오타고대학의 Mark Allen과 Holger Regenbrecht와 Matthew Abbott가 발표한 스마트폰 기반 공공참여 연구에서 시작한다. 55회 인용됐다. 2018년 찰머스공대의 Hesam Imottesjo와 Jaan-Henrik Kain이 Urban CoBuilder를 내놨고 50회 인용됐다. 실증 규모가 가장 큰 것은 2023년 Kai Reaver의 오슬로 사례다. | 항목 | 값 | |---|---| | 워크숍 | 각 1주일, 5회. 2020년 8월에 수행하고 2021년에 이어짐 | | 참여자 | 청소년 그룹 5개, 그룹당 9~18명(논문은 총원을 밝히지 않음) | | 대상 지역 | 오슬로 8개 구역 | | 도구 | iPad Pro, ARKit 기반 자체 소프트웨어 Udaru(Unity 제작) | | 배치 | 나무 약 8,000그루, 중복 제안 통합 시 고유 배치 약 5,000건 | | 피인용 | 19 |표 출처: [14] (본문 기준으로 재구성)
배치 숫자는 자주 잘못 인용된다. 원문은 이렇게 적는다. > we estimate that 8,000 trees were placed by AR during the workshops > approximately 5,000 original tree placements if overlapping design suggestions were consolidated 8,000은 전체 객체 수가 아니라 나무 수다. 5,000은 그중 나무만 센 부분집합이 아니라 같은 8,000에서 중복을 제거한 값이다. 총 8,000건 중 나무 5,000건이라는 서술은 존재하지 않는 비수목 배치 3,000건을 만들어낸다. 참여자 수도 마찬가지다. 약 50~70명이라는 숫자가 돌아다니지만 논문은 총원을 밝히지 않고, 그룹 규모로 계산하면 45명에서 90명 사이다. 참여 도구의 실증 규모를 평가하는 근거가 이런 오독으로 바뀐다. 평가는 Arnstein의 참여 사다리 틀로 이루어졌다. 참여자 거의 전원이 참여와 도시계획과 설계에 대한 이해가 늘었다고 보고했고, 일부 제안은 실제로 오슬로시가 채택했다. 한계가 두 개 기록됐고 둘 다 설계자에게 중요하다. 첫째, 지오로케이션 추적이 부정확해 증강현실에서 배치한 좌표를 지리정보시스템으로 직접 옮길 수 없었다. 워크숍 후 수작업 재배치가 필요했다. 의견 수렴 도구로는 작동했지만 설계 데이터 입력 도구로는 작동하지 않았다는 뜻이다. 오차 허용이 느슨한 용도라는 강점이 곧 데이터로 쓸 수 없다는 약점이기도 하다. 둘째, 청소년 참여자는 수종과 토양과 장기 환경 영향에 대한 지식이 없어 전문가 검증이 반드시 필요했다. 참여 도구는 판단을 대신하지 않는다. 한 가지 계보를 바로잡아 둔다. Regenbrecht를 Mark Billinghurst 계열로 분류하는 서술을 보는데, 2011년 논문의 저자는 세 사람이고 Billinghurst는 포함되지 않는다. Regenbrecht의 소속은 오타고대학이다. [14] ### 정합을 인프라로 옮기다 2022년 Google이 ARCore Geospatial API를 공개했다. 공개 월은 1차 출처로 확인하지 못했다. 이 기능이 야외 증강현실의 문제 설정을 바꿨다. 작동 방식은 다음과 같다. 15년 이상 축적된 스트리트뷰 영상에 심층신경망을 적용해, 오랜 기간 변하지 않을 특징들만 골라 기술한다. 수십억 장에서 전역 3차원 점군을 만든다. 사용자의 카메라 픽셀에서 같은 종류의 특징을 뽑아 이 모델과 대조해 자세를 구한다. 위성측위보다 훨씬 정밀하다. 스트리트뷰가 있는 거의 모든 국가에서 작동하고, WGS84 좌표와 지형과 옥상 세 종류의 앵커를 제공한다. 구조적 의미가 크다. 2020년대에 들어서면서 문화유산과 건축과 도시의 모든 시도가 같은 벽에 반복해 부딪혔다는 것이 분명해졌다. 개별 프로젝트가 자기 현장의 정합 기준을 매번 새로 만들어야 했다. ARCHEOGUIDE의 기준 영상이 그랬고 모델 기반 추적의 3차원 도시 모델이 그랬다. 그 비용이 프로젝트를 죽였다. 정합을 각 앱의 문제에서 공용 인프라로 끌어올리는 것만이 구조적 해법이었고, Google은 스트리트뷰라는 이미 지불된 자산을 갖고 있었기에 그 전환을 할 수 있었다. 문화유산 기관 하나가 감당할 수 없는 일을 이미 다른 이유로 지불된 자산이 대신 해 준 것이다. 같은 시기 Niantic의 궤적은 다른 교훈을 준다. | 항목 | 값 | |---|---| | Pokémon Go 출시 | 2016-07-06 | | 다운로드 | 2016-09까지 5억, 2019년 초 10억 돌파 | | 누적 매출 | 2020년까지 $6.46B | | Lightship SDK | 2021-11 공개 | | 투자와 가치 | Coatue $300M 유치 시 기업가치 $9B | | 게임 부문 매각 | Scopely에 $3.5B, 2025-03-12 확정, 2025-05-29 완료 | | 잔존 | 지리공간 부문을 Niantic Spatial로 분사 |표 출처: [15] (본문 기준으로 재구성)
여기서 눈여겨볼 것은 증강현실 모드가 선택 기능이고 많은 플레이어가 꺼 놓는다는 점이다. 정확한 비율은 출처를 찾지 못했으므로 단정하지 않는다. 그래도 방향은 분명하다. 이 대중적 성공은 증강현실 때문이 아니었다. 위치 기반 게임의 성공을 증강현실의 성공으로 읽는 것은 흔한 오류이고, 그 오류가 2016년 이후 여러 기관의 예산 결정을 왜곡했다. 현실 세계 메타버스라는 서사는 접혔고 남은 자산은 지도다. 판정은 유보해야 한다. 시각측위는 기술적으로 야외 30년 난제의 가장 유력한 해법이지만 셋이 남는다. 커버리지가 하나다. 스트리트뷰 차량이 다니지 않는 곳, 즉 유적 내부와 보행로 안쪽과 건설 현장 안쪽은 비어 있다. 변화가 둘이다. 계절에 따라 형상이 바뀌는 식생 많은 공간과 공사 중인 현장은 시각 지도와 어긋난다. 종속이 셋이다. 문화유산 기관이나 지자체가 정합을 특정 민간 플랫폼에 의존하게 된다. 세 번째는 기술 문제가 아니라 조달과 거버넌스의 문제다. [15] ### 30년 동안 바뀐 항목은 한 번에 하나씩이었다 야외 증강현실이 반복해 부딪힌 제약을 여섯 층으로 정리한다. 이 번호는 이 책의 정리이고 특정 문헌의 분류가 아니다. | 층 | 제약 | 2026년 시점의 상태 | |---|---|---| | 1 | 위치 정합 | 위성측위 단독으로 부족. 시각측위와 실시간 이동측위로 도심에서 실용 수준 | | 2 | 자세 정합 | 자기 나침반은 철골·차량·전력선 근처에서 틀어지고 자이로는 드리프트. SLAM과 모델 재정합으로 크게 개선 | | 3 | 지각 | 폐색 단서 없이는 뒤에 있다가 읽히지 않음. 20년의 연구로 설계 지침 확립 | | 4 | 광학 | 광학 시스루는 직사광 아래 대비 붕괴. 미해결 | | 5 | 사전 지식 | 3차원 모델이나 기준 영상의 제작·갱신 비용. 시각측위가 공용 인프라로 흡수하는 중 | | 6 | 운영 | 콘텐츠 단가, 앱 수명, 장비 대여·충전·정비 인력. 미해결 |표 출처: [2][5][6][8][11][15][1] (본문 기준으로 재구성)
두 번째 층의 산수를 기억해 둘 만하다. 위치가 1센티미터로 정확해도 방위가 1도 틀리면 100미터 앞의 대상은 약 1.7미터 어긋난다. 야외에서 자세가 위치보다 치명적인 이유가 이것이다. 나침반이 이 장에서 왜 그렇게 자주 언급되는지도 여기서 설명된다. 멀리 있는 것을 겹쳐 보여주는 용도일수록 방위 오차의 지렛대가 길어진다. 네 번째 층은 소프트웨어로 해결할 수 없다. 광학 시스루 디스플레이에서 가상 영상은 실제 빛에 더해질 뿐 뺄 수 없다. 밝은 배경 위에 어두운 물체를 그리는 것이 원리적으로 불가능하다. 밝은 야외에서의 해법은 광학 시스루를 포기하고 카메라 영상에 합성하는 비디오 시스루로 가거나 태블릿으로 가는 것이다. 산업 현장 증강현실이 헤드셋에서 태블릿으로 회귀한 진짜 이유가 이 물리다. 기기 선택의 문제가 아니라 빛의 덧셈 구조의 문제다. 이 목록이 중요한 까닭은 각 시대가 이번에는 다르다고 주장했으나 실제로 바뀐 항목이 한 번에 하나씩뿐이었다는 데 있다. | 세대 | 개선한 층 | 악화시키거나 방치한 층 | |---|---|---| | 스마트폰 지오브라우저 | 6의 장비 비용 | 1과 2를 오히려 악화 | | 헤드셋 SLAM | 2 | 4를 전혀 건드리지 못함 | | 시각측위 인프라 | 1·2·5를 동시에 | 4와 6은 그대로 |표 출처: [2][5][6][8][11][15][1] (본문 기준으로 재구성)
앞의 네 층은 기술 문제이고 뒤의 두 층은 경제 문제다. 그리고 이 장의 사례들을 죽인 것은 대부분 뒤의 두 개였다. 여섯 번째 층은 30년간 전혀 해결되지 않았고 사망 원인 1위다. [2][5][6][8][11][15][1] ### 설계자가 물어야 할 것 야외 증강현실을 검토하는 자리에서 물어야 할 질문은 기기 사양이 아니다. 네 개면 된다. 첫째, 이 용도의 허용 오차는 얼마인가. 수십 센티미터로 충분한 용도와 수 밀리미터가 필요한 용도는 같은 기술을 쓰지 않는다. 오슬로 사례가 작동하고 지하 투시가 작동하지 않는 차이가 여기서 갈린다. 둘째, 겹쳐 보여줄 데이터의 품질 등급은 무엇인가. 표시 정밀도를 데이터 정확도보다 높게 올리면 사용자를 속이게 된다. 지하 매설물 등급 체계는 다른 모든 분야가 빌려 쓸 만한 도구다. 셋째, 정합 기준을 누가 만들고 누가 갱신하는가. 기준 영상이든 3차원 모델이든 시각 지도든, 그것을 계절마다 갱신할 주체와 예산이 없으면 개관 1년 뒤에 멈춘다. ARCHEOGUIDE부터 단발성 전시 앱까지 같은 자리에서 끝났다. 넷째, 직사광 아래에서 쓰는가. 그렇다면 광학 시스루 헤드셋은 후보에서 빼는 편이 낫다. 이 네 질문 중 셋은 기술이 아니라 조달과 운영에 관한 것이다. 30년의 기록이 가리키는 방향도 같다. [11][13][14][1] ### 이 장의 한 문장 문화유산과 건축의 야외 증강현실은 30년 동안 같은 자리에서 실패했고, 기록을 모아 보면 사망 원인은 기술보다 운영과 데이터에 몰려 있다. 정합은 지도 인프라로 옮겨 가며 실제로 풀려 가는 중이지만, 콘텐츠를 갱신할 주체와 믿을 수 있는 원본 데이터는 여전히 비어 있다. 한 문장으로 못 박는다. 야외 증강현실에서 무너지는 것은 정합이 아니라 정합을 유지할 주체이며, 땅속을 투시하지 못하는 이유는 광학이 아니라 도면이 틀리기 때문이다. [1]본문의 번호를 누르면 출처로 이동합니다. 절 끝의 번호는 그 절의 사실 자료를, 표 아래의 번호는 표에 사용한 자료를 가리킵니다. 비교·계산·비유와 결론은 필자의 재구성입니다. 한 번호에 함께 사용한 문헌이 둘 이상이면 묶어서 적었습니다.
서지정보와 확인 메모는 옵시디언 조사 기록을 바탕으로 복원했습니다. 원 기록의 ‘전문 확인’·‘조회’ 표기는 당시 조사 상태이며 이번 웹판에서 모두 재검증했다는 뜻은 아닙니다. 불완전한 서지사항은 임의로 채우지 않았습니다.
표 출처: [1] (본문 기준으로 재구성)
[1] ### 22.3 좌표를 화음으로 바꾸다 좌표 세 개를 그대로 신경망에 넣으면 결과가 흐릿하게 나온다. 같은 신경망, 같은 데이터, 같은 학습 시간인데도 경계가 뭉개진다. 원인은 신경망 자체의 성질에 있다. 일반적인 신경망은 입력에 대해 완만하게 변하는 함수를 먼저, 훨씬 쉽게 학습한다. 급격히 변하는 함수는 훨씬 나중에, 훨씬 어렵게 배운다. 스펙트럴 바이어스라 부르는 편향이다. Tancik과 동료들이 2020년에 이 성질을 푸리에 특징이라는 틀로 정리했다. 문제를 좌표 쪽에서 보면 이렇다. 3.51미터와 3.52미터는 숫자로 거의 같다. 신경망 입장에서 두 입력은 거의 구별되지 않는다. 그런데 벽과 창틀의 경계는 그 1센티미터 사이에 있다. 입력이 구별되지 않으면 출력도 구별될 수 없다. NeRF의 해법은 좌표를 넣기 전에 사인과 코사인의 사다리를 통과시키는 것이다. 주파수를 두 배씩 올린 사인·코사인 값을 나란히 늘어놓아 저차원 좌표를 고차원 벡터로 부풀린다. 가장 낮은 주파수 항은 두 좌표를 거의 같게 본다. 가장 높은 주파수 항은 1센티미터 차이에도 값이 크게 달라진다. 결과적으로 공간적으로 아주 가까운 두 점이 인코딩 후에는 뚜렷이 다른 벡터가 된다. 신경망은 그 차이를 근거로 미세한 경계를 표현할 수 있다. 피아노 건반으로 위치를 말하는 것과 같다. 옥타브가 다른 열 개의 음을 동시에 눌러 좌표를 표현하면 3.51미터의 화음과 3.52미터의 화음은 확연히 다르게 울린다. 신경망은 숫자의 근접성이 아니라 화음의 차이를 듣고 경계를 그린다. 위치와 방향에 쓰는 주파수 개수가 다르다. 방향에 낮은 주파수를 쓰는 이유는 방향 의존 효과가 본래 완만하기 때문이다. 하이라이트는 시점을 조금 옮기면 조금 움직인다. 1도 차이로 색이 급변하는 물체는 드물다. | 구성 요소 | 값 | |---|---| | 신경망 | MLP 8층 × 256채널, 5층에 스킵 연결, 뒤에 128채널 1층 | | 입력 | 위치 3차원 + 시선 방향 단위벡터 3차원 | | 출력 | 밀도 1 + 색 RGB 3 | | 위치 인코딩 | L=10, 3차원이 60차원으로 | | 방향 인코딩 | L=4, 3차원이 24차원으로 | | 주파수 범위 | 2의 0제곱부터 2의 L-1제곱까지 옥타브 상승 |표 출처: [4] (본문 기준으로 재구성)
이 장치 하나의 유무가 결과 품질을 눈에 띄게 가른다. 그리고 뒤에 나오는 가속 기법들은 모두 같은 질문의 다른 답이다. 좌표를 어떤 형태로 표현해야 신경망이 적은 계산으로 많은 디테일을 담는가. [4] ### 22.4 계산 청구서 NeRF의 아름다움은 전부 반복 계산으로 지불된다. 픽셀 하나를 만들려면 신경망을 256번 호출해야 한다. 800×800 이미지는 광선이 64만 개다. 곱하면 1억 6,400만 회다. 논문 부록은 이미지 한 장당 1억 5천만에서 2억 회 사이의 질의가 필요하다고 적는다. 학습은 이 렌더링을 수십만 번 반복하는 일이다. 손으로 그린 극사실 초상화 같다. 완성작은 사진과 구분이 안 가지만 한 장에 이틀이 걸린다. 증강현실은 초당 60장을 요구하는 매체다. | 항목 | 값 | 측정 조건 | |---|---|---| | 학습 | 장면당 약 1~2일 | NVIDIA V100 1장 | | 렌더링 | 프레임당 약 30초 | V100, 800×800 | | 이미지 1장당 신경망 질의 | 1억 5천만~2억 회 | 800×800 | | 60 Hz 디스플레이 예산 | 프레임당 16.7 ms | 모든 계산 포함 | | 90 Hz 헤드셋 예산 | 프레임당 11.1 ms | 모든 계산 포함 |표 출처: [5] (본문 기준으로 재구성)
간극의 크기를 계산해 보면 문제의 성격이 드러난다. 30초를 16.7 ms로 나누면 약 1,800배다. 90 Hz 기준인 11.1 ms로 나누면 약 2,700배다. 그것도 렌더링만 그렇다. 장면을 처음 만드는 학습 비용까지 넣으면 간극은 더 벌어진다. 이 두 숫자가 이후 몇 년의 연구 방향을 정했다. 품질은 이미 증명됐다. 필요한 것은 세 자릿수 이상의 가속이다. 그리고 가속은 두 갈래로 갈렸다. 학습을 줄이는 쪽과 렌더링을 줄이는 쪽이다. 측정 조건을 기억해 둘 필요가 있다. 프레임당 30초는 V100에서 800×800 합성 장면을 그린 값이다. 뒤에 나올 가속 배수들은 다른 GPU, 다른 해상도, 다른 종류의 장면에서 측정된 것이므로 배수를 그대로 인과로 읽으면 안 된다. [5] ### 22.5 표를 붙여 가속하다 Müller와 동료들이 2022년에 낸 답은 역설적이다. 신경망이 느리면 신경망을 작게 만들고, 정보를 학습 가능한 조회표에 지게 한다. 공간을 여러 해상도의 격자로 동시에 덮는다. 거친 격자부터 촘촘한 격자까지 여러 겹이다. 어떤 좌표를 질의하면 각 해상도에서 주변 격자점 값을 보간해 가져온다. 모든 해상도의 결과를 이어 붙여 하나의 벡터로 만들고, 그 벡터를 아주 작은 신경망에 통과시킨다. 표현의 무게중심이 신경망에서 표로 옮겨 간 것이다. 문제는 촘촘한 격자의 격자점 수가 폭발한다는 것이다. 여기서 해시가 등장한다. 거친 레벨은 격자점 수가 표 크기보다 작으므로 격자점과 표의 칸이 일대일로 대응한다. 미세 레벨은 그렇지 않다. 격자점 좌표를 해시 함수로 고정 크기 표의 인덱스로 사상한다. 당연히 서로 다른 격자점이 같은 칸을 가리키는 충돌이 생긴다. 기묘한 선택은 여기다. 저자들은 충돌을 해결하지 않는다. 충돌한 칸의 값은 여러 격자점의 요구가 섞인 값이 된다. 그런데 장면의 대부분은 빈 공간이다. 밀도가 있는 지점에서 오는 그래디언트가 빈 공간에서 오는 그래디언트를 압도한다. 그래서 최적화가 진행되면 칸의 값은 중요한 쪽에 맞춰 자리를 잡는다. 여러 해상도가 겹쳐 있고 뒤에 작은 신경망이 붙어 있으므로, 한 레벨에서 섞인 정보는 다른 레벨의 정보로 분해된다. 전문가에게 전부 암기시키는 대신 작은 사전 여러 권을 쥐여 주고 찾아보게 하는 것과 같다. 대략적인 사전부터 세밀한 사전까지 있다. 페이지가 모자라 두 단어가 같은 칸을 쓰게 되어도, 실제로 자주 찾는 단어 쪽으로 칸의 내용이 저절로 맞춰진다. 이 구조에는 조건 분기가 없다. 어떤 좌표가 와도 정해진 횟수의 해시 계산과 보간을 한다. GPU에서 완전히 병렬화된다. 저자들은 여기에 더해 인코딩과 신경망과 렌더링을 하나의 CUDA 커널로 융합했다. 중간 결과가 메모리를 왕복하는 비용까지 없앴다. | 인코딩 구성 | 파라미터 | 11,000 스텝 학습 시간 | PSNR | |---|---|---|---| | 주파수 인코딩 | 신경망 438,000 | 12분 45초 | 자료에 없음 | | 해시 표 T=2의 14제곱 | 신경망 10,000 + 인코딩 494,000 | 1분 48초 | 22.61 | | 해시 표 T=2의 19제곱 | 신경망 10,000 + 인코딩 1,260만 | 1분 47초 | 24.58 |표 출처: [2] (본문 기준으로 재구성)
표를 읽을 때 조심할 지점이 셋 있다. 첫째, 이 시간들은 학습 완료까지의 시간이 아니라 11,000 스텝을 도는 데 걸린 시간이다. 그래서 표를 키운 효과는 시간이 아니라 품질로 나타난다. T를 2의 14제곱에서 2의 19제곱으로 키우면 시간은 1분 48초에서 1분 47초로 사실상 같고 PSNR이 22.61에서 24.58로 오른다. 표를 키우면 학습이 빨라진다는 서술은 비교 축을 잘못 짚은 것이다. 둘째, 논문 캡션은 주파수 인코딩보다 8배 이상 빠르다고 적지만 같은 캡션의 실측값으로는 765초 대 108초, 약 7.1배다. 셋째, 주파수 인코딩 쪽 438,000개는 전부 신경망 파라미터이고 해시 쪽은 신경망 1만에 인코딩 49만 4천이다. 파라미터 수가 같다는 말은 총량의 근사일 뿐 동종 비교가 아니다. 그래도 방향은 분명하다. 학습 시간이 수 일에서 수 초 단위로 내려갔다. 논문 자신의 표현도 몇 초 안에 학습한다는 것이다. 흔히 인용되는 5분 이내라는 수치는 논문의 성능 주장이 아니라 벤치마크 표의 학습 예산 열 이름이다. 남은 문제는 렌더링이다. 이쪽은 실시간이 되지 않았다. | 데이터셋 | Instant-NGP Base | Instant-NGP Big | |---|---|---| | Mip-NeRF 360 | 11.7 FPS, 약 85 ms | 9.43 FPS, 약 106 ms | | Tanks & Temples | 17.1 FPS, 약 58 ms | 14.4 FPS, 약 69 ms | | Deep Blending | 3.26 FPS, 약 307 ms | 2.79 FPS, 약 358 ms |표 출처: [2] (본문 기준으로 재구성)
장면에 따라 프레임당 58 ms에서 358 ms다. 90 Hz 예산인 11.1 ms와 비교하면 아직 다섯 배에서 서른두 배다. 수십 밀리초라는 요약은 가장 유리한 데이터셋만 본 것이다. 학습 병목은 이틀에서 커피 한 잔으로 바뀌었다. 렌더링 병목은 그대로 남았다. [2] ### 22.6 신경망을 버리고 알갱이를 뿌리다 Kerbl과 동료들이 2023년에 낸 답은 방향을 완전히 바꾼다. 장면을 함수로 두고 광선마다 샘플링하는 구조 자체를 버린다. 대신 반투명한 3차원 타원체 수백만 개를 공간에 배치한다. 각 타원체는 가우시안이다. 중심에서 멀어질수록 불투명도가 부드럽게 떨어진다. 모양은 이방성이다. 방향에 따라 늘어난 타원이므로 평평한 벽은 납작한 타원으로, 가늘고 긴 구조는 길쭉한 타원으로 맞출 수 있다. 색은 하나의 RGB 값이 아니라 구면조화 계수로 표현한다. 보는 방향에 따라 색이 달라지는 성질이 여기에 담긴다. 공분산 행렬을 그대로 최적화하면 물리적으로 성립하지 않는 값이 나오기 쉽다. 그래서 회전 쿼터니언과 축별 크기 벡터로 분해해 최적화한다. 어떤 값이 와도 유효한 타원이 된다. 렌더링이 핵심이다. 레이 마칭이 아니라 래스터화다. 각 가우시안을 화면에 투영하면 2차원 타원이 된다. 이것이 splat이다. 투영된 타원들을 깊이 순으로 알파 합성하면 그림이 완성된다. 광선을 따라 전진하며 반복 질의하는 과정이 통째로 사라진다. 그리고 래스터화는 그래픽 카드가 30년간 최적화해 온 바로 그 연산이다. 속도의 차원이 다르다. 안개 지도를 한 장 한 장 더듬어 읽는 대신 색색의 반투명 젤리 알갱이 수백만 개를 공간에 흩뿌려 놓는 것과 같다. 보는 쪽에서는 그 알갱이들을 유리창에 눌러 붙이듯 겹쳐 놓기만 하면 그림이 된다. 속도의 차이가 구조에서 오는 것임을 짚어 둘 필요가 있다. 레이 마칭은 픽셀 하나마다 광선을 따라 전진하며 정해진 횟수만큼 질의한다. 화면 픽셀 수와 광선당 질의 수가 곱해진다. 래스터화는 반대 방향이다. 프리미티브 하나를 화면에 투영하고 그것이 덮는 픽셀에만 값을 더한다. 계산량이 프리미티브 수와 화면상 면적의 곱에 비례한다. 가우시안 대부분은 화면에서 작은 타원이고 많은 가우시안이 화면 밖으로 나가 아예 계산되지 않는다. 빈 공간을 지나며 질의를 낭비하는 일도 없다. 알갱이는 실제로 무언가 있는 자리에만 놓이기 때문이다. 결정적으로 이 투영과 합성 과정도 전부 미분 가능하다. 그래서 학습의 형태는 NeRF와 같다. 렌더링 결과와 사진의 차이를 역전파해 수백만 개 가우시안의 위치와 모양과 색을 동시에 조정한다. 신경망이 사라졌을 뿐 학습의 원리는 유지된다. 시작점은 SfM이 부산물로 내놓는 성긴 점군이다. | 가우시안 1개의 성분 | 파라미터 수 | |---|---| | 위치 | 3 | | 축별 크기 | 3 | | 회전 쿼터니언 | 4 | | 불투명도 | 1 | | 색, 구면조화 3차 | 48 | | 합계 | 59 |표 출처: [3] (본문 기준으로 재구성)
전형적인 장면이 가우시안 100만에서 500만 개를 쓴다. 500만 개면 실수가 2억 9,500만 개다. 이 숫자가 뒤에서 용량 문제로 돌아온다. [3] ### 22.7 스스로 개수를 정하고 타일로 그린다 알갱이를 뿌린다는 발상만으로는 작동하지 않는다. 몇 개를 어디에 둘지 사람이 정할 수 없기 때문이다. 장면마다 복잡한 부위와 밋밋한 부위가 다르다. 3DGS는 최적화 도중 개수를 스스로 조절한다. 먼저 위치 그래디언트가 큰 가우시안을 찾는다. 이것은 자기가 맡은 영역을 제대로 못 그리고 있다는 신호다. 그 가우시안이 작으면 복제해 빈 곳을 메운다. 지나치게 크면 둘로 쪼개 세부를 담게 한다. 반대로 불투명도가 임계값 아래로 떨어진 가우시안은 제거한다. 주기적으로 모든 불투명도를 0 근처로 리셋하는 장치도 있다. 카메라 근처에 쓸모없이 떠 있는 얼룩을 걸러내기 위한 것이다. 점묘화를 그리는 화가와 같다. 그리다가 점이 성기다 싶으면 하나 더 찍고, 점이 너무 뭉툭하다 싶으면 반으로 쪼개고, 거의 안 보이는 점은 지운다. 붓질 계획을 미리 세우지 않고 그리면서 정한다. 렌더링 쪽 장치는 타일 기반 래스터라이저다. 화면을 16×16 픽셀 타일로 나눈다. 가우시안 하나가 여러 타일에 걸치면 걸친 타일 수만큼 복제해 각각에 타일 번호와 깊이를 키로 붙인다. 그리고 프레임마다 이 키 전체를 GPU 기수 정렬로 한 번에 정렬한다. 정렬 횟수의 단위를 정확히 잡아야 한다. 정렬은 프레임당 한 번이다. 타일마다 한 번씩 돌리는 것이 아니다. 전역으로 한 번 정렬하면 각 타일이 자기 구간을 얻고, 그 결과 순서의 단위가 타일이 된다. 그러면 픽셀마다 추가로 정렬할 일이 없어진다. 픽셀당 정렬이 없다는 것이 속도의 실질이다. 역전파도 같은 타일 구간을 거꾸로 훑어 가우시안 개수에 제한 없이 그래디언트를 얻는다. | 최적화 항목 | 값 | |---|---| | 밀도 제어 주기 | 100 반복마다 | | 불투명도 리셋 주기 | 3,000 반복마다 | | 타일 크기 | 16×16 픽셀 | | 전체 학습 | 30,000 반복 | | 실용 품질 도달 | 7,000 반복 | | 깊이 정렬 | 프레임당 전역 1회, 순서 단위는 타일 |표 출처: [6] (본문 기준으로 재구성)
7,000 반복으로 이미 실용 품질이 나온다는 점이 실무에서 중요하다. 완전 학습의 6분의 1 정도 시간으로 결과를 먼저 확인하고, 쓸 만하다고 판단한 촬영만 끝까지 돌릴 수 있다. [6] ### 22.8 숫자로 보는 전환점 기술 세대의 전환은 같은 데이터에서 잰 숫자로 확인해야 한다. 표준 시험대는 Barron과 동료들이 2022년에 제시한 Mip-NeRF 360 데이터셋이다. 카메라가 대상 주위를 360도 도는 실내·실외 장면들이고, 배경이 무한히 멀고 중심 대상은 가깝다. 이 규모 불일치가 초기 NeRF가 가장 취약했던 조건이다. Mip-NeRF 360 자체는 비선형 장면 파라미터화와 왜곡 정칙화로 이 문제를 풀어 품질 기준선을 세웠다. 이전 세대인 mip-NeRF 대비 평균제곱오차를 57% 줄였다. 대가는 학습 시간이었다. 같은 코스에서 잰 랩타임 표를 읽는 일과 같다. 한 대는 완주에 며칠이 걸리지만 짐이 가볍다. 한 대는 40분에 끝내고 초당 130바퀴를 돌지만 트렁크가 0.7기가바이트다. | 방식 | 학습 시간 | 렌더링 | 모델 용량 | |---|---|---|---| | Mip-NeRF 360 | 48 GPU·시간 환산 | 0.06 FPS | 8.6 MB | | Plenoxels | 25분 49초 | 자료에 없음 | 2.1~2.7 GB | | Instant-NGP Base | 5분 37초 | 11.7 FPS | 13 MB | | Instant-NGP Big | 자료에 없음 | 9.43 FPS | 48 MB | | 3DGS 7,000 반복 | 6분 25초 | 160 FPS | 523 MB | | 3DGS 30,000 반복 | 41분 33초 | 134 FPS | 734 MB |표 출처: [7] (본문 기준으로 재구성)
학습 시간과 렌더링과 용량은 Mip-NeRF 360 데이터셋 기준이다. Plenoxels 용량만 세 데이터셋의 범위다. 표를 읽을 때 조건을 세 가지 붙여야 한다. 첫째, 이 측정은 A6000 한 장 기준이되 Mip-NeRF 360 방식만 예외다. 48시간은 A6000의 벽시계 시간이 아니다. A100 4장으로 12시간 돌린 것을 한 장 기준으로 환산한 GPU·시간이다. A100이 A6000보다 빠르다는 단서까지 논문이 붙여 놓았다. 시간과 GPU·시간은 다른 단위다. 둘째, Mip-NeRF 360 원 논문 자신이 보고하는 학습 비용은 이와 다르다. 32코어 TPU v2에서 250,000 반복을 돌려 장면당 6.2시간에서 8.8시간이다. 48시간을 Mip-NeRF 360의 학습 시간으로 쓰면 하드웨어와 단위가 함께 바뀐다. 셋째, FPS는 데이터셋별 원본 해상도에서 측정했다. 3DGS 논문 초록의 1080p 기준 30 FPS 이상, 저자 프로젝트 페이지의 1080p 기준 100 FPS 이상과 같은 축에 놓고 비교할 수 없다. 세 값의 불일치 사유도 공개 자료로는 확인되지 않는다. 세 데이터셋으로 넓혀 보면 실제 범위가 드러난다. | 데이터셋 | 7K 학습 | 30K 학습 | 7K FPS | 30K FPS | 7K 용량 | 30K 용량 | |---|---|---|---|---|---|---| | Mip-NeRF 360 | 6분 25초 | 41분 33초 | 160 | 134 | 523 MB | 734 MB | | Tanks & Temples | 6분 55초 | 26분 54초 | 197 | 154 | 270 MB | 411 MB | | Deep Blending | 4분 35초 | 36분 2초 | 172 | 137 | 386 MB | 676 MB |표 출처: [7] (본문 기준으로 재구성)
30,000 반복 모델은 27분에서 42분 사이에 학습되고 134에서 154 FPS로 렌더링된다. 7,000 반복 모델은 4분 35초에서 6분 55초에 학습되고 160에서 197 FPS로 렌더링된다. 실촬영 장면의 최고값은 197 FPS다. 합성 장면에서는 180에서 300 FPS까지 나온다. 두 학습 길이의 값을 하나의 범위로 묶으면 안 된다. 41분에서 45분이라는 서술이 돌아다니지만 45분에 해당하는 측정값은 어느 데이터셋에도 없다. 트레이드오프의 구조는 이렇게 정리된다. Mip-NeRF 360은 최고 품질, 최악 속도, 최소 용량이다. Instant-NGP는 최고 학습속도, 중간 품질, 소용량이다. 3DGS는 최고 속도, 최고급 품질, 최악 용량이다. 3DGS가 지불한 대가는 계산이 아니라 저장 공간이다. [7] ### 22.9 용량이라는 대가 빠른 이유가 곧 무거운 이유다. 장면 하나가 수백만 개의 독립적인 가우시안이고 각각이 실수 59개를 들고 있다. 압축 없는 모델은 7,000 반복에서 270 MB에서 523 MB, 30,000 반복에서 411 MB에서 734 MB다. 참고로 같은 표에서 복셀 기반인 Plenoxels는 2.1 GB에서 2.7 GB다. 3DGS는 기가바이트급은 아니다. 다만 8.6 MB인 Mip-NeRF 360이나 13 MB인 Instant-NGP와 비교하면 두 자릿수 차이다. 배포 경로를 생각하면 이 차이가 곧 이탈률이다. 휴대폰이나 헤드셋에 내려받아 쓰는 형태라면 500 MB짜리 장면은 아무도 받지 않는다. 클라우드에서 스트리밍한다면 용량은 대역폭 비용으로 바뀐다. 어느 쪽이든 압축은 학술적 곁가지가 아니라 제품이 되기 위한 마지막 관문이다. 압축은 세 방향에서 이뤄진다. Fan, Wang, Wen, Zhu, Xu, Wang이 2024년에 제시한 LightGaussian이 세 방향을 한꺼번에 보여 준다. 첫째 가지치기다. 각 가우시안이 최종 화면에 실제로 얼마나 기여했는지를 잰다. 얼마나 자주 보이는지, 투영 면적이 얼마인지, 불투명도가 얼마인지를 종합해 전역 중요도를 매긴다. 하위를 제거하고 남은 것들을 짧게 재학습해 품질을 회복한다. 둘째 구면조화 차수 낮추기다. 색의 방향 의존성을 담는 48개 계수가 파라미터의 대부분이다. 고차 계수를 지식 증류로 저차에 흡수시킨다. 원본 모델이 만든 가짜 시점 영상을 교사로 삼는 방식이다. 셋째 벡터 양자화다. 중요도가 낮은 가우시안일수록 더 거친 코드북으로 표현해 비트 폭을 줄인다. 핵심 통찰은 가우시안들의 기여도가 극도로 불균등하다는 것이다. 그래서 균일하게 줄이는 것이 아니라 중요도에 비례해 차등 압축하는 것이 정답이 된다. 사진첩을 정리하는 일과 같다. 거의 보지 않는 사진은 버리고, 자주 보는 사진만 고화질로 남기고, 나머지는 해상도를 낮춘다. | LightGaussian 보고값 | 값 | |---|---| | 평균 압축률 | 15배 | | 렌더링 속도 | 144 FPS에서 237 FPS로 | | 속도 향상폭 | 약 64% | | 평가 데이터셋 | Mip-NeRF 360, Tanks & Temples |표 출처: [8] (본문 기준으로 재구성)
압축이 렌더링 속도까지 올린다는 점이 흥미롭다. 가우시안 수가 줄면 투영과 정렬과 합성의 양이 함께 줄기 때문이다. 다만 논문이 보고하는 것은 평균 압축률과 FPS 변화다. 원본 용량을 15로 나누어 압축 후 절대 용량을 짐작하는 계산은 논문이 제시한 값이 아니다. [8] ### 22.10 지도와 위치를 동시에 SLAM은 카메라가 두 가지를 동시에 푸는 문제다. 내가 지금 어디 있는가, 그리고 주변이 어떻게 생겼는가. 전자를 추적, 후자를 지도작성이라 한다. 둘은 서로를 필요로 한다. 위치를 알아야 관측을 지도에 올릴 수 있고, 지도가 있어야 위치를 맞출 수 있다. 전통적 SLAM의 지도는 두 종류였다. 성긴 특징점, 또는 부호거리장 복셀이다. 특징점 지도는 너무 듬성하다. 위치추정에는 충분하지만 보고 쓸 수 있는 장면이 아니다. 복셀 지도는 메모리를 많이 먹으면서도 관측하지 않은 영역을 빈 채로 남긴다. 신경 표현은 여기에 두 가지를 준다. 첫째 완결성이다. 학습된 사전 지식이 관측되지 않은 빈틈을 자연스럽게 메운다. 둘째 사진 수준의 렌더링이다. 지도가 곧 볼 수 있는 장면이 된다. 지도와 최종 결과물이 같은 물건이 되면 파이프라인 하나가 사라진다. 낯선 건물 안을 걸으며 지도를 그리는 사람을 생각하면 된다. 그 지도가 선 몇 개짜리 약도가 아니라 실제 사진으로 된 파노라마다. 그리고 자기 위치를 확인할 때 나침반을 보는 것이 아니라 자기가 그린 파노라마를 눈앞 풍경과 겹쳐 맞춰 본다. 전환점은 가우시안이었다. SplaTAM은 명시적 가우시안을 지도로 삼는다. 그러면 렌더링이 빠르다는 성질을 추적에도 그대로 쓸 수 있다. 현재 추정 자세로 지도를 렌더링해 실제 프레임과 비교하고, 그 오차를 자세 파라미터로 역전파해 자세를 직접 최적화한다. 별도의 특징점 매칭이 필요 없다. 여기에 실루엣 마스크를 두어 이 픽셀은 아직 관측된 적이 없다는 사실을 명시적으로 구분한다. 미탐색 영역에는 가우시안을 새로 추가해 지도를 구조적으로 확장한다. | 계보 | 지도 표현 | 입력 | 보고된 성능 | |---|---|---|---| | iMAP, Sucar 등 2021 | 단일 MLP | RGB-D | 실시간 학습 첫 시도 | | NICE-SLAM, Zhu 등 2022 | 계층적 특징 격자 | RGB-D | 대형 실내로 확장 | | SplaTAM, Keetha 등 2024 | 명시적 3D 가우시안 | 자세 없는 RGB-D | 기존 방식 대비 최대 2배 | | MonoGS, Matsuki 등 2024 | 3D 가우시안 단일 표현 | 단안 RGB | 3 FPS, SfM 초기화 불필요 |표 출처: [9] (본문 기준으로 재구성)
MonoGS는 깊이 센서 없이 단안 RGB만으로 같은 일을 해낸다. 3DGS를 유일한 표현으로 쓰고 SfM 초기화도 요구하지 않으며, 투명 물체와 미세 구조까지 복원한다. 다만 3 FPS다. 프레임당 약 333 ms다. 90 Hz 예산인 11.1 ms의 서른 배다. 지도가 사진 품질이 되는 방향은 분명하지만, 이 수치는 아직 제품이 아니다. 그 간극이 현재 이 분야의 최전선이다. [9] ### 22.11 카메라를 모르고도 지금까지의 모든 재구성에는 숨은 전제가 있었다. 각 사진을 어디서 어떤 렌즈로 찍었는지를 먼저 알아야 한다는 것이다. 카메라의 위치와 방향, 그리고 초점거리 같은 내부 파라미터다. 보통 COLMAP 같은 SfM 도구로 얻는다. 그런데 이 단계는 느리고 잘 실패한다. 사진 수가 적으면 안 된다. 시점 차이가 크면 안 된다. 질감 없는 흰 벽이 많으면 대응점을 찾을 수 없어 안 된다. 유리와 반사면이 많으면 잘못된 대응을 만들어 더 나쁘다. 그리고 SfM이 실패하면 그 촬영은 통째로 버려진다. 현장에 다시 가야 한다. Wang과 동료들이 2024년에 발표한 DUSt3R는 이 전제 자체를 없앤다. 사진 두 장을 입력받아 각 픽셀에 대응하는 3차원 좌표를 담은 포인트맵을 곧바로 회귀한다. 방정식을 세워 풀지 않는다. 신경망이 좌표를 직접 출력한다. 핵심 설계는 출력 좌표계다. 두 포인트맵을 모두 첫 번째 카메라의 좌표계로 내놓게 한다. 그러면 두 사진 사이의 상대 자세가 두 포인트맵의 대응에서 자동으로 따라 나온다. 투영 기하학의 제약을 방정식으로 푸는 대신 학습으로 흡수한 것이다. 사진이 세 장 이상이면 쌍별 결과를 전역 정렬로 묶는다. 지도 제작자에게 사진 두 장을 건네며 이걸 어디서 찍었는지는 나도 모른다고 말하는 것과 같다. 그런데 이 제작자는 사진만 보고 두 촬영 지점의 관계를 알아맞히고 입체 지도를 내놓는다. 삼각측량을 배운 것이 아니라 수많은 장면을 봐서 감이 생긴 것이다. 논문이 성능을 주장하는 과제는 셋이다. 단안 깊이 추정, 다시점 깊이 추정, 상대 자세 추정이다. 그 외에 픽셀 대응, 카메라 내부 파라미터 복원, 절대 자세 추정은 본문에서 파생 활용으로 소개된다. 하나의 네트워크가 다섯 개 이상의 고전 기하 과제를 통합한다는 식의 집계는 논문에 없다. 벤치마크 수와 응용 수를 섞은 계산이다. 구조는 특별하지 않다. 표준 트랜스포머다. ViT 인코더와 교차 주의 디코더를 쓰고 사전학습 가중치를 그대로 활용한다. 새로운 기하 연산을 발명한 것이 아니라, 기하 문제를 회귀 문제로 재정의한 것이 기여다. 입력 2장부터 동작하고 카메라 파라미터 사전 지식이 필요 없다는 것이 실무적 의미다. 촬영을 잘해야 한다는 진입장벽이 낮아진다. [10] ### 22.12 한 장의 사진에서 깊이를 사람은 한 눈을 감아도 어느 것이 가까운지 안다. 단안 깊이 추정은 그 능력을 학습으로 재현한다. 문제는 원리가 아니라 데이터다. 깊이 정답은 출처마다 성격이 다르다. 실내 RGB-D 스캔, 실외 라이다, 스테레오 영화, 웹 사진에서 SfM으로 뽑은 깊이가 모두 후보다. 그런데 단위가 다르다. 어떤 것은 미터이고 어떤 것은 상대값이다. 원점도 다르다. 어떤 것은 깊이이고 어떤 것은 역깊이다. 정확도도 다르다. 그냥 합쳐 학습시키면 서로 충돌해 망가진다. Ranftl과 동료들이 제시한 MiDaS의 해법은 손실 함수 쪽에 있다. 예측과 정답을 각각 정규화해 배율과 오프셋을 제거한 뒤 비교한다. 그러면 전체가 두 배 멀다는 차이나 전체가 1미터씩 밀렸다는 차이는 벌점을 받지 않는다. 오직 상대적인 앞뒤 관계만 학습된다. 호환되지 않던 데이터셋들이 이 손실 아래에서는 함께 쓸 수 있게 된다. 여기에 데이터셋별 가중치를 다루는 다목적 학습과 관련 과제로 인코더를 사전학습하는 전략이 더해진다. 검증은 학습에 쓰지 않은 데이터셋으로만 평가하는 제로샷 교차 데이터셋 전이로 한다. 여러 나라 사람이 각자 다른 단위로 적어 온 키 기록을 합치는 일과 같다. 센티미터, 인치, 반장보다 큼 같은 표기가 섞여 있다. 절대 수치를 맞추려 들면 싸움이 나지만 누가 누구보다 큰가의 순서만 맞추기로 하면 모든 기록을 함께 쓸 수 있다. 남는 한계가 결정적이다. 결과가 상대 깊이다. 무엇이 앞인지는 알지만 몇 미터인지는 모른다. Yang과 동료들의 Depth Anything은 다른 병목을 공격한다. 라벨된 깊이 데이터의 절대량이다. 답은 라벨 없는 일반 사진을 대규모로 끌어들이는 데이터 엔진이다. 먼저 라벨된 데이터로 교사 모델을 학습시킨다. 그 교사로 6,200만 장의 라벨 없는 사진에 의사 라벨을 붙인다. 그 의사 라벨로 학생 모델을 학습시킨다. 그냥 따라 하게만 하면 학생은 교사를 넘지 못한다. 그래서 두 장치를 넣는다. 첫째, 학생에게 강한 데이터 증강을 걸어 훨씬 어려운 조건에서 교사의 답을 맞히게 한다. 색을 왜곡하고 이미지를 잘라 붙인다. 쉬운 지름길을 막아 더 견고한 표현을 강제하는 것이다. 둘째, DINOv2 같은 사전학습 인코더의 특징을 따라가도록 보조 손실을 걸어 의미론적 사전지식을 물려받게 한다. V2에서는 한 걸음 더 나간다. 라벨된 실사진을 전부 합성 이미지로 교체했다. 실사 깊이 라벨에는 센서 노이즈와 경계 번짐이 있어 오히려 디테일을 망친다. 합성 데이터는 완벽하게 날카로운 정답을 준다. 합성으로 강한 교사를 만들고 그 교사가 대규모 실사진에 의사 라벨을 붙여 도메인 격차를 메우는 구조다. 그래도 미터는 나오지 않는다. 마지막 조각이 Bochkovskii와 동료들의 Depth Pro다. 사진 한 장에서 절대 거리를 추정하려면 원리적으로 초점거리를 알아야 한다. 같은 사진이 가까운 작은 물체일 수도 있고 먼 큰 물체일 수도 있는 모호성이 초점거리로만 해소되기 때문이다. 그런데 웹에서 구한 사진의 EXIF는 없거나 틀린 경우가 태반이다. Depth Pro는 초점거리 자체를 이미지에서 추정하는 별도 헤드를 둔다. 렌즈가 세상을 얼마나 넓게 담았는지를 사진에서 읽어 내어 거리로 환산하는 목수다. 해상도 문제도 정면으로 다룬다. 고해상도 트랜스포머는 계산량이 폭발한다. 그래서 입력을 여러 스케일로 나누어 겹치는 패치로 자르고, 같은 ViT 백본을 패치들에 병렬로 적용한 뒤 합친다. 덕분에 머리카락이나 잎맥 같은 경계가 살아난다. 평가 지표도 바꿨다. 평균 오차 대신 경계 정확도를 따로 측정하는 지표를 도입했다. 무엇을 재느냐가 무엇이 좋아지느냐를 결정하기 때문이다. | 모델 | 출력 | 핵심 데이터 | 조건 | |---|---|---|---| | MiDaS | 스케일·시프트 불변 상대 역깊이 | 상보적 데이터셋 5개 혼합 | 제로샷 교차 데이터셋 평가 | | Depth Anything V1 | 상대 깊이 | 라벨 없는 사진 약 6,200만 장 | 공개 데이터셋 6개 제로샷 | | Depth Anything V2 | 상대 깊이, 메트릭 버전 별도 | 합성 라벨 교사 + 대규모 의사 라벨 | 파라미터 2,500만~13억 | | Depth Pro | 미터 단위 절대 깊이 | 실사와 합성 혼합 | 1536×1536, V100에서 0.3초 |표 출처: [11][12][13] (본문 기준으로 재구성)
해상도 표기에 단위 함정이 하나 있다. 1536×1536은 2,359,296화소, 약 236만 화소다. 논문의 2.25 메가픽셀이라는 표현은 1 메가픽셀을 2의 20제곱으로 세는 이진 기준이다. 이를 십진으로 옮겨 225만 화소라고 쓰면 실제보다 약 5% 낮아진다. 시간 표기에도 조건이 붙는다. 0.3초는 V100 기준이다. NeRF의 1~2일과 프레임당 30초도 같은 V100에서 잰 값이다. 두 결과를 세대 차이로 대비시킬 때 하드웨어가 같다는 사실을 빼면 안 된다. 바뀐 것은 GPU가 아니라 방법이다. [11][12][13] ### 22.13 가상이 현실 뒤로 숨는 법 증강현실이 합성이 아니라 현실로 보이는 결정적 단서는 가림이다. 가상 캐릭터가 실제 기둥 뒤로 사라져야 한다. 손을 뻗으면 손가락이 가상 버튼 앞에 와야 한다. 사용자는 조명이 조금 틀린 것은 넘어간다. 가상 물체가 벽을 뚫고 떠 있으면 즉시 몰입이 깨진다. 첫 번째 갈래는 깊이다. ARCore의 깊이 API는 전용 센서 없이 움직임으로부터의 깊이를 쓴다. 사용자가 기기를 움직이는 동안 서로 다른 각도에서 찍힌 프레임들을 비교해 픽셀마다 시차를 재고 거리로 환산한다. 스테레오 카메라 두 대를 시간으로 대체한 셈이다. 그래서 이 경로는 사용자가 움직이기 전에는 깊이를 내놓지 못한다. 특징이 없는 흰 벽에서도 부정확하다. 다만 이 조건은 움직임 기반 경로에 한정된다. ToF 센서가 있는 기기에서는 가용한 모든 소스를 자동으로 병합하므로 카메라가 정지해 있어도 깊이가 나온다. | ARCore 깊이 API | 값 | |---|---| | 깊이 추정 범위 | 0~65 m | | 가장 정확한 구간 | 기기로부터 0.5~5 m | | 움직임 기반 경로 | 기기를 움직인 뒤 유효 | | ToF 탑재 기기 | 가용 소스 자동 병합, 정지 상태에서도 깊이 제공 |표 출처: [14] (본문 기준으로 재구성)
두 번째 갈래는 의미분할이다. 깊이맵만으로는 경계가 흐려 머리카락 같은 미세 구조에서 반드시 실패한다. 이 픽셀은 사람이다라는 의미 정보는 깊이와 독립적인 단서를 준다. Kirillov와 동료들의 Segment Anything 같은 프롬프트 기반 분할 기초 모델은 이미지 1,100만 장에 붙인 10억 개 이상의 마스크로 학습했고, 제로샷 성능이 지도학습 기법과 대등하거나 우수하다. 학습 때 보지 못한 물체까지 잘라 내므로 임의의 장면에서 마스크를 즉석에서 얻을 수 있다. 두 갈래가 왜 서로를 필요로 하는지는 해상도에서도 드러난다. 깊이맵은 보통 컬러 영상보다 낮은 해상도로 계산된다. 계산량을 줄이기 위한 선택이다. 그래서 깊이맵을 그대로 확대해 쓰면 경계에 계단이 생기고, 가상 물체의 윤곽이 실제 물체의 윤곽과 한두 픽셀씩 어긋난다. 정지 화면에서는 눈에 잘 안 띈다. 움직이면 그 어긋남이 떨린다. 사람의 시각은 정지한 오차보다 움직이는 오차에 훨씬 민감하다. 무대에서 배우와 영사된 배경이 자연스럽게 겹치게 하는 일과 같다. 하나는 누가 앞에 서 있나를 거리로 재는 방식이다. 다른 하나는 이 실루엣은 사람이다를 알아보고 오려 내는 방식이다. 거리만 재면 머리카락 끝에서 티가 난다. 오려 내기만 하면 앞뒤가 뒤바뀐다. 그래서 실무에서는 둘을 결합한다. 깊이로 대략의 앞뒤를 정하고 의미 마스크로 경계를 다듬는다. 그래도 남는 문제가 있다. 반투명한 것이다. 유리컵이나 얇은 커튼은 앞에 있으면서 뒤를 보여 준다. 앞이냐 뒤냐의 이진 판정으로는 표현되지 않는다. 가림은 가장 먼저 눈에 띄고 가장 늦게까지 안 풀린 문제다. [14] ### 22.14 촬영하지 않은 것을 만들어 내다 재구성이 있는 것을 옮기는 일이라면 생성은 없는 것을 만드는 일이다. 3차원 생성의 근본 난점은 데이터다. 텍스트와 이미지를 짝지은 데이터는 수십억 쌍이 있다. 라벨된 3차원 데이터는 그 근처에도 못 간다. 세 세대의 답이 있었다. 1세대인 DreamFusion은 3차원 데이터를 아예 포기한다. 대신 이미 학습된 2차원 확산 모델을 심판으로 쓴다. 무작위로 초기화한 NeRF를 임의 각도에서 렌더링하고, 이 그림이 해당 텍스트의 그럴듯한 이미지인가를 2차원 모델에게 묻는다. 그 판단을 점수 증류 손실로 NeRF에 역전파한다. 3차원 데이터 없이 3차원이 나온다. 비용 구조를 정확히 봐야 한다. 물체 하나마다 15,000회의 최적화 스텝을 돈다. 한 건 생성에 TPUv4 4칩으로 약 1.5시간이 걸린다. 그 시간의 절반은 NeRF 렌더링, 절반은 확산 모델 평가에 쓰인다. 그리고 최적화 중 NeRF 렌더 해상도는 64×64이고 확산 모델도 64×64 기반 모델만 쓴다. 저해상도에서 1.5시간이라는 점이 이 방식의 실질적 한계다. 수천 회 최적화라는 요약은 실제의 절반 이하로 비용을 축소한다. 2세대인 LRM은 발상을 뒤집는다. 대규모 3차원 및 다시점 데이터로 트랜스포머를 한 번 크게 학습시켜 두고, 추론은 한 번의 전방 통과로 끝낸다. 사진 한 장을 넣으면 약 5초에 3차원이 나온다. 최적화 루프가 사라진 것이 차이의 전부다. 1세대는 조각가에게 눈을 가리고 조각하게 하면서 옆에서 비평가가 지금 각도에서 보니 아직 사자 같지 않다고 수천 번 지적해 주는 방식이다. 2세대는 수백만 개의 조각을 이미 본 장인이 사진 한 장을 보고 5초 만에 깎아 내는 방식이다. 3세대인 TRELLIS는 출력 표현의 문제를 푼다. 구조화된 잠재표현을 하나 만들고 거기서 래디언스 필드, 3차원 가우시안, 메시를 모두 디코딩할 수 있게 했다. 같은 자산을 용도에 따라 다른 형식으로 꺼내 쓸 수 있고 국소 편집도 가능하다. | 세대 | 모델 | 규모 | 생성 비용 | 출력 | |---|---|---|---|---| | 1세대 | DreamFusion, 2023 | 3차원 학습 데이터 0 | 물체당 15,000 스텝, TPUv4 4칩 약 1.5시간 | NeRF | | 2세대 | LRM, 2024 | 파라미터 5억, 학습 객체 약 100만 | 단일 이미지에서 약 5초 | 3차원 형상 | | 3세대 | TRELLIS, 2024 | 파라미터 20억, 3차원 객체 50만 | 자료에 없음 | 래디언스 필드, 가우시안, 메시 |표 출처: [15] (본문 기준으로 재구성)
생성이 재구성의 빈틈을 메운다. 재구성은 현실에 존재하는 것만 다룰 수 있다. 생성은 존재하지 않는 물체, 설명만 있는 물체를 채운다. 다만 생성물이 그대로 쓸 수 있는 자산인지는 별개 문제다. 위상이 깨끗한가, UV가 붙어 있는가, 스케일이 맞는가, 물리 속성이 정의되어 있는가. 이 질문들은 생성 품질과 무관하게 남는다. 압축의 한계도 분명하다. 가지치기와 양자화는 이미 만들어진 장면을 줄인다. 처음부터 작게 만드는 것이 아니다. 그래서 학습에 필요한 메모리는 줄지 않는다. 대용량 장면을 다루려면 표현을 바꾸거나 장면을 나누어야 한다. [15] ### 22.15 그래서 무엇이 얼마나 싸졌나 비용 변화를 감상이 아니라 숫자로 정리하면 네 축이 보인다. 계산 시간, 렌더링 속도, 입력 조건, 자산 생산이다. | 축 | 2020년 | 이후 | 붙여야 할 조건 | |---|---|---|---| | 재구성 시간 | 장면당 1~2일, V100 | 11,000 스텝 1분 47초, Instant-NGP / 실용 품질 4분 35초~6분 55초, 완전 학습 26분 54초~41분 33초, 3DGS, A6000 | GPU 세대와 장면 종류가 함께 바뀜 | | 렌더링 | 프레임당 30초, 즉 0.033 FPS, V100, 800×800 | 134~197 FPS, A6000, 원본 해상도 | 해상도·장면·GPU가 동시에 바뀐 값의 비 | | 카메라 전제 | 캘리브레이션과 SfM 성공 필수 | 사진 2장에서 포인트맵 직접 회귀, DUSt3R | 전제 제거이며 속도 비교 아님 | | 깊이 센서 | 필요 | 카메라 정보 없이 미터 단위 깊이, V100에서 0.3초, Depth Pro | NeRF와 동일 세대 GPU | | 자산 생산 | 수작업 모델링 | 단일 이미지에서 약 5초, LRM | 사용 가능한 자산인지는 별도 판단 | | 배포 용량 | 해당 없음 | 270~734 MB, 평균 15배 압축 가능 | 압축 후 절대 용량은 미보고 |표 출처: [16] (본문 기준으로 재구성)
배수를 계산할 수는 있다. 재구성은 24시간을 6분 55초로 나누면 약 208배, 48시간을 4분 35초로 나누면 약 628배다. 렌더링은 0.033 FPS를 134 FPS와 비교하면 약 4,020배, 197 FPS와 비교하면 약 5,900배다. 다만 두 배수 모두 동일 조건 비교가 아니다. 분모는 V100에서 800×800 합성 장면이고 분자는 A6000에서 데이터셋 원본 해상도의 실촬영 장면이다. 배수의 크기는 방법의 개선과 하드웨어 세대와 측정 조건이 뒤섞인 결과다. 방향은 신뢰할 수 있고 자릿수는 참고치로만 읽어야 한다. 인쇄술이 필사를 대체했을 때와 비슷하다. 책 한 권을 만드는 비용은 수백 배 떨어졌다. 무엇을 쓸지 정하고 교정을 보는 일의 비용은 그대로였다. 바뀌지 않은 것도 정직하게 적어야 한다. 첫째 편집 가능성이다. 3DGS 장면에서 이 물체만 옮기기는 메시에서만큼 자명하지 않다. 수백만 개의 알갱이 중 어디부터 어디까지가 그 물체인지가 표현 안에 정의되어 있지 않다. 둘째 재조명이다. 원본 촬영의 그림자와 반사가 표현에 구워져 있다. 새 조명 아래로 옮기면 어색해진다. 셋째 물리다. 충돌 판정과 시뮬레이션은 면과 부피를 전제하는데 반투명 알갱이 집합은 그 전제를 만족하지 않는다. 넷째 품질 검수와 촬영 자체의 인건비다. 이것은 알고리즘이 손댈 수 있는 항목이 아니다. 그리고 실시간이라는 기준선은 아직 걸쳐 있다. 장면을 다 만들어 둔 뒤의 렌더링은 예산 안으로 들어왔다. 매 프레임 추론이 필요한 작업은 그렇지 않다. | 결과 | 1회 처리 시간 | 16.7 ms 예산 대비 | 11.1 ms 예산 대비 | |---|---|---|---| | Depth Pro | 약 300 ms | 약 18배 | 약 27배 | | MonoGS | 약 333 ms, 3 FPS | 약 20배 | 약 30배 |표 출처: [16] (본문 기준으로 재구성)
두 결과는 각자의 문제에서 중요한 성취다. 그러나 가림 처리나 실시간 재구성의 완성된 해답으로 배치하려면 예산 초과 배수를 함께 적어야 한다. 한 자릿수가 아니라 스무 배 안팎이다. 경량화와 지연 은닉과 프레임 간 재사용이 그 간극을 메우는 다음 작업이다. 증강현실이 2020년에 기술 시연이었다가 지금 제품이 될 수 있는 이유는 개별 알고리즘의 우아함이 아니다. 재구성과 렌더링과 자산 생성의 단가가 동시에 수백 배에서 수천 배 떨어졌기 때문이다. 싸진 것은 계산이고, 여전히 비싼 것은 사람이 판단해야 하는 부분이다. [16]본문의 번호를 누르면 출처로 이동합니다. 절 끝의 번호는 그 절의 사실 자료를, 표 아래의 번호는 표에 사용한 자료를 가리킵니다. 비교·계산·비유와 결론은 필자의 재구성입니다. 한 번호에 함께 사용한 문헌이 둘 이상이면 묶어서 적었습니다.
서지정보와 확인 메모는 옵시디언 조사 기록을 바탕으로 복원했습니다. 원 기록의 ‘전문 확인’·‘조회’ 표기는 당시 조사 상태이며 이번 웹판에서 모두 재검증했다는 뜻은 아닙니다. 불완전한 서지사항은 임의로 채우지 않았습니다.
표 출처: [1] (본문 기준으로 재구성)
엔진 쪽 지원 시점도 정리해 둘 만하다. Unreal은 4.24부터, Unity는 2020.2부터, Godot은 4.0부터, Blender는 2.83 LTS부터 OpenXR을 다룬다. SteamVR의 정식 지원은 v1.16, 2021년 2월이며 그 이전에는 베타 경로가 있었다. 주의할 점이 있다. Unity의 2020.2는 최초 지원 버전이고, 현행 OpenXR 플러그인은 에디터 2021.3 LTS 이상을 요구한다. 같은 항목의 두 숫자는 기준이 다르다. 적합 런타임의 수를 세는 일도 함정이 있다. Khronos의 적합 제품 목록에 제출한 회사는 15곳이고, Khronos의 OpenXR 소개 본문이 인용하는 수는 XREAL을 포함해 14곳이다. 더 중요한 것은 목록의 행 단위가 회사가 아니라 제품이라는 점이다. Meta만 Quest 2와 3, 3S, Pro, XR Simulator로 다섯 건이고 Varjo는 XR-3와 VR-3, Aero, XR-4로 여러 건이다. 런타임이 열몇 개라는 서술은 회사 수와 제품 수를 섞은 결과다. 또 목록에 오른 Sony의 제품은 Spatial Reality Display 계열이고 Acer는 Spatial Display 시리즈, Canon은 MREAL 플랫폼이다. 모두 데스크톱형 입체 디스플레이나 산업용 기기이며, PlayStation VR2용 OpenXR 런타임은 존재하지 않는다. 소니가 목록에 있다는 사실을 가정용 기기의 표준 채택으로 읽으면 안 된다. [1] ### 확장에서 코어로 — 승격이라는 신호 OpenXR은 코어 스펙을 작게 유지하고 새 기능을 확장으로 먼저 내보낸다. 흔히 확장 이름의 접두사를 신뢰도 등급으로 설명하지만 그것은 오해다. 접두사는 저자와 승인 경로를 나타낸다. 벤더 이름이 붙은 확장을 다른 회사의 런타임이 구현하는 것은 규약상 허용되고 실제로도 흔하다. XR_EXT_가 붙었다는 사실도 복수 벤더의 저작을 뜻할 뿐이며, 구현한 런타임이 하나뿐인 EXT 확장도 많다. 그렇다면 실무에서 진짜로 달라지는 것은 무엇인가. 앱 코드의 모양이다. 확장은 있으면 쓰고 없으면 대체 경로로 빠지는 분기를 강제한다. 코어 기능은 분기 없이 호출하면 된다. 그 버전을 지원하는 모든 런타임이 반드시 제공하기 때문이다. 어떤 기능이 아직 확장이면 그 기능을 전제로 제품을 설계하는 일은 도박에 가깝고, 코어에 들어왔다면 가정해도 된다. 사투리가 널리 쓰이다가 사전에 표준어로 등재되는 과정과 같다. 등재 전에는 통할지 모르는 말이고, 등재 후에는 모두가 알아야 하는 말이 된다. | 코어로 승격된 기능 | 이전 확장 이름 | |---|---| | Stereo with Foveated Inset | XR_VARJO_quad_views | | Local Floor | XR_EXT_local_floor | | Grip Surface | XR_EXT_palm_pose | | xrLocateSpaces | XR_KHR_locate_spaces | | XrUuid | XR_EXT_uuid |표 출처: [2] (본문 기준으로 재구성)
1.1은 이 승격이 실제로 작동함을 보여준 첫 사례다. 눈동자를 추적해 보고 있는 곳만 고해상도로 그리는 최적화가 한 회사의 확장에서 표준 기능으로 옮겨 갔다. 이름은 출처에 따라 갈린다. Khronos 스펙의 명칭은 Stereo with Foveated Inset이고, 2024년 4월 15일 UploadVR의 보도는 Stereo with Foveated Rendering으로 적었다. 같은 개정에서 인터랙션 프로파일 13종이 새로 추가됐고 스타일러스, 트리거 컬 감지, 근접 감지 관련 항목이 들어왔다. Local Floor의 승격은 소박하지만 실용적이다. 그전까지는 바닥 높이를 아는 공간과 세션 시작점을 원점으로 삼는 공간 둘뿐이었다. 바닥은 알되 원점은 지금 사용자가 선 자리로 하자는 흔한 요구가 표준에 없었다. 지지 표명 명단은 출처마다 다르다. Khronos 페이지의 회원사 인용문에는 Collabora, Meta, PICO, Qualcomm, Valve, HTC가 있고 UploadVR의 기사에는 Meta, Pico, HTC, Valve, Varjo, Unity가 나온다. 두 출처가 공통으로 확인하는 사실은 하나 더 있다. Apple은 이 워킹그룹에 참여하지 않는다. 1.1 이후의 개정 여부는 이 자료로 확인되지 않는다. [2] ### 설치 없이 도달하기 — WebXR WebXR Device API는 웹 페이지가 헤드셋과 카메라의 자세 정보를 받아 3차원 화면을 그리게 하는 브라우저 표준이다. 세션은 세 모드로 나뉜다. inline은 일반 페이지 안에 놓인 3차원 뷰, immersive-vr은 헤드셋 전체 화면, immersive-ar은 현실 영상 위에 겹치는 모드다. 웹 페이지가 카메라를 빌려 쓰는 일과 비슷하지만 성격이 다르다. 카메라는 사진 한 장을 주고 끝나는데, 이쪽은 매 프레임 지금 사용자의 머리가 어디를 향하는지를 계속 넘긴다. 핵심 개념은 참조 공간이다. 무엇을 흔들리지 않는 원점으로 삼을지 고르는 일이며, 이 선택이 곧 누적 오차를 어디로 밀어낼지의 선택이다. | 참조 공간 | 원점 | 쓰이는 곳 | |---|---|---| | viewer | 머리 자체 | 늘 눈앞에 붙는 표시 | | local | 세션 시작 지점 | 앉은 자리 중심의 콘텐츠 | | local-floor | 바닥 높이 0 | 바닥에 놓이는 물체 | | bounded-floor | 경계 다각형이 정의된 방 | 걸어 다니는 실내 체험 | | unbounded | 넓은 이동 허용 | 좌표계 재조정을 감수하는 경우 |표 출처: [3] (본문 기준으로 재구성)
렌더링 루프도 일반 웹과 다르다. 브라우저의 requestAnimationFrame이 아니라 XRSession의 requestAnimationFrame을 써야 한다. 브라우저 화면의 초당 60프레임이 아니라 헤드셋 디스플레이의 실제 프레임 타이밍에 정확히 물려야 하기 때문이다. 표준의 상태는 W3C 후보 권고 초안이며 문서 일자는 2026년 6월 9일이다. 편집자는 Google의 Brandon Jones와 Manish Goregaokar, Meta의 Rik Cabanier다. 히트 테스트, 앵커, 깊이 감지, 조명 추정, DOM 오버레이, 손 입력은 본 스펙이 아니라 별도 모듈로 분리해 관리한다. [3] ### 브라우저 지원의 비대칭과 그 뒤의 논리 표준이 존재하는 것과 쓸 수 있는 것은 다르다. caniuse의 집계에서 WebXR의 완전 지원은 0퍼센트이고 부분 지원이 77.15퍼센트다. 합계 77.15퍼센트 전부가 부분 지원이라는 뜻이며, 일부만 부분 지원인 상태로 읽으면 실제보다 낙관적으로 보인다. | 브라우저 | 상태 | |---|---| | Chrome 79 이상 | 2019-12-10 안정판과 함께 출하, 부분 지원 | | Edge 79 이상 | 2020-01-15, 부분 지원 | | Samsung Internet 12.0 이상 | 부분 지원 | | Firefox | 전 구간 미지원 또는 기본 비활성, 기여분 0퍼센트 | | 데스크톱 Safari | 3.1~12.1 미지원, 13 이후 기본 비활성 | | iOS Safari | 전 구간 미지원 |표 출처: [4] (본문 기준으로 재구성)
Chrome과 Edge를 한 괄호에 묶어 2020년 1월로 적은 인용이 널리 돌지만, Chrome 79의 출하는 2019년 12월 10일이다. Firefox에서 77이라는 분기점을 특정하는 서술도 근거가 확인되지 않는다. caniuse의 Firefox 행은 전 구간이 미지원이거나 기본 비활성이다. Opera는 출처가 충돌한다. caniuse는 Opera Mobile 80만 부분 지원으로 적고 위키백과의 WebXR 문서는 Opera 66 이상, Opera Mobile 64 이상으로 적는다. 두 수치가 맞지 않으므로 어느 한쪽을 단정하면 안 된다. 데스크톱 Opera와 Meta Quest Browser가 지원 목록에서 빠지는 일도 흔하다. 이 비대칭에는 기술 외의 이유가 있다. immersive-ar 세션은 페이지에 사실상 방의 형태와 사용자의 움직임을 넘긴다. 지문 채취와 감시의 새로운 표면이 열리는 것이다. Apple이 Vision Pro에서 웹의 공간 기능을 열 때 새 입력 모델을 발명한 것이 그 태도를 잘 보여준다. 기존 입력은 컨트롤러나 화면 터치를 가정했는데, 이 기기의 조작은 눈으로 보고 손가락을 맞대는 방식이다. 시선을 그대로 넘기면 사용자가 무엇에 관심을 두는지가 페이지로 새어 나간다. 그래서 핀치하는 순간에만 잠깐 존재하는 transient-pointer라는 입력 소스를 만들었다. WebKit의 2024년 3월 19일 설명에 따르면 이 광선은 사용자의 두 눈 사이에서 출발한다. 방향은 핀치를 시작한 시점의 시선을 가리키고, 그 뒤로는 눈이 아니라 손의 움직임에 따라 갱신된다. 손을 왼쪽으로 옮기면 광선도 왼쪽으로 움직인다. 페이지가 아는 것은 사용자가 어디를 보고 있었는지가 아니라 방금 무엇을 골랐는지다. 식당에서 메뉴판을 훑는 시선까지 알려 주는 대신 최종 주문만 말하는 셈이다. 주문은 정확히 전달되고 고민의 흔적은 남지 않는다. 핀치한 손가락의 위치는 gripSpace로 주어지고, 손 추적은 선택적으로 요청해야 하는 기능이다. 시점도 확인이 필요하다. 플래그 뒤에 제공되던 단계는 Safari 17.4와 visionOS 1.1의 이야기이며, WebKit은 visionOS 2용 Safari 18.0에서 immersive-vr 세션 지원을 정식으로 발표했다. 여기서 주의할 것이 있다. 정식 출하가 확인된 것은 immersive-vr이고, 이 기기의 Safari에서 immersive-ar 세션이 되는지는 확인되지 않는다. 설치 없는 증강현실의 사례로 이 기기를 들 수는 없다. 배포 대상에 iPhone이 포함된다면 웹만으로 겹쳐 보이는 체험을 만드는 경로는 아직 성립하지 않으며, 모델 뷰어 수준의 대체 표시나 네이티브 앱을 함께 준비해야 한다. [4] ### 평면에서 지구까지 — ARKit이 넓혀 온 근사 ARKit의 역사는 세상을 무엇으로 근사하는가의 확장사로 읽힌다. 처음에는 방을 바닥이라는 큰 종이 한 장으로 알았다. 그다음 벽을 알게 되고, 방 안의 사람을 알게 되고, 마침내 방 전체의 울퉁불퉁한 형상까지 알게 됐다. 눈을 뜬 순서가 아니라 이해의 해상도가 올라간 순서다. 자기 위치는 카메라 영상의 특징점과 관성 센서를 융합해 푼다. 같은 높이에 모인 특징점을 묶어 평면으로 추정하는 방식이 1세대다. 이때의 평면 추정이 무한히 뻗은 면이었다는 설명은 정확하지 않다. 초기부터 중심과 크기를 가진 유한한 사각형 추정이었고, 임의의 경계 폴리곤은 iOS 11.3에서 추가됐다. 무한 평면은 광선을 쏠 때 고르는 옵션의 이름이다. 질적 도약은 사람을 인식한 시점에 왔다. 매 프레임 신경망으로 사람 형태의 마스크와 사람까지의 대략적 깊이를 추정해, 사람이 가상 물체보다 앞에 있으면 그 픽셀을 지운다. 가상 물체가 진짜로 그 공간에 있다는 느낌의 상당 부분이 여기서 나온다. 다만 이 기능과 골격 추적은 iOS 13의 모든 기기에서 되지 않았다. A12 Bionic 이상이라는 조건이 붙는다. 라이다는 접근 방식을 바꿨다. 두 시점의 시차를 계산하는 대신 빛의 비행시간을 직접 재기 때문에, 특징점이 없는 흰 벽이나 어두운 방에서도 깊이가 나온다. 위치 기반 앵커는 위성 항법이 못 하는 일을 한다. 도심에서는 건물에 반사된 전파 때문에 수평 오차가 수십 미터까지 벌어지지만, 카메라가 본 건물 파사드를 지도 서비스의 거리 영상과 대조하면 훨씬 좁게 수렴한다. | 버전 / OS | 주요 추가 | |---|---| | ARKit 1 / iOS 11(2017-09) | 월드 트래킹, 수평 평면, 광 추정 | | 1.5 / iOS 11.3(2018-03) | 수직 평면, 이미지 인식, 경계 폴리곤 | | 2 / iOS 12(2018) | 지도 영속·공유, 3D 객체 인식, 환경 텍스처링, USDZ 미리보기 | | 3 / iOS 13(2019) | 사람 가림, 골격 추적, 전후면 동시 사용, 협업 세션 | | 3.5 / iPadOS 13.4(2020-03) | 씬 지오메트리(라이다) | | 4 / iOS 14(2020) | 위치 앵커, 깊이 API | | 6 / iOS 16(2022) | 고해상도 비디오 캡처, HDR |표 출처: [5] (본문 기준으로 재구성)
이 표는 조심해서 써야 한다. Apple의 ARKit 문서는 API 단위로 구성되어 있고 버전과 기능을 대응시킨 표를 제공하지 않는다. 위 계보는 1차 출처에 없는 2차 재구성이며, 위치 앵커가 ARKit 4에 속하는지 5에 속하는지, 방 스캔 기능과 사진 기반 모델 생성의 정확한 도입 시점은 확인되지 않았다. 해상도 수치는 조건을 반드시 함께 적어야 한다. 3840×2160의 16 대 9 캡처는 초당 30프레임 고정이고 HD는 60프레임이다. iPhone 11 이상과 M1 계열 iPad Pro로 한정되며, HDR은 화소 병합을 쓰지 않는 포맷에서만 가능하고 성능 비용이 따른다. 방 스캔 기능은 라이다를 요구하는 별도 프레임워크다. [5] ### 카메라를 주지 않는 방식 — 헤드셋의 권한 모델 visionOS의 ARKit은 이름만 같을 뿐 휴대폰의 그것과 권한 모델이 근본적으로 다르다. 시스템이 먼저 세상을 해석하고, 앱에는 해석 결과만 넘긴다. 평면과 재구성된 메시, 손 관절 좌표, 월드 앵커가 그 결과다. 통역사를 통해서만 대화하는 것과 같다. 상대가 실제로 어떤 표정을 지었는지는 볼 수 없지만 의미는 정확히 전달되고, 하지 말아야 할 말은 통역사가 걸러 준다. 이유는 상시 착용 기기의 특성에 있다. 이런 기기를 쓴 사람이 방에 들어가면 카메라 원본에는 그 방의 모든 얼굴과 책상 위 서류가 담긴다. 이걸 앱에 그대로 주면 사용자가 아니라 주변 사람들의 사생활이 앱 개발자에게 위임된다. 그래서 공간 사용 모드에 따라 제공 데이터가 달라진다. 여러 앱이 창처럼 떠 있는 공유 공간에서는 제공이 제한되고, 앱 하나가 시야를 독점하는 전용 공간에서 명시적 허가를 받아야 전체 데이터가 나온다. 여기서 설계 원리와 구현 사실을 분리해야 한다. 시스템이 먼저 해석한다는 것은 이 플랫폼의 설계 원리다. 일반 앱이 패스스루 카메라의 원본 프레임을 받지 못한다는 것은 visionOS 1의 기본 권한 상태다. visionOS 2 이후 Apple은 기업용 엔타이틀먼트로 메인 카메라 접근을 제공했고 이후 배포 조건도 완화됐다. 카메라를 영구히 주지 않는 아키텍처라고 일반화하면 시점을 놓친다. | 버전 | 제공 기능 | |---|---| | visionOS 1(2024-02-02 미국 출시) | 평면 감지, 씬 재구성, 손 추적, 이미지 추적, 월드 앵커 | | visionOS 2(2024) | 객체 추적, 룸 앵커, 전 방향 평면 감지 |표 출처: [6] (본문 기준으로 재구성)
개발자에게 이는 제약이면서 동시에 선물이다. 손 추적의 품질을 직접 손볼 수 없지만, 직접 만들지 않아도 된다. 실무에 주는 함의는 분명하다. 독자적인 인식 기술로 차별화하려는 계획은 플랫폼 정책 하나로 불가능해질 수 있으므로, 설계 초기에 어떤 데이터가 실제로 앱까지 도달하는지 확인해야 한다. Apple은 표준 런타임 워킹그룹에 참여하지 않고 ARKit과 RealityKit의 독자 스택을 유지한다. [6] ### 화이트리스트로 파편화를 푸는 법 — ARCore ARCore가 푸는 문제는 성격이 다르다. Apple은 자기가 만든 열몇 종의 기기만 상대하므로 카메라의 초점거리와 왜곡 계수, 관성 센서의 시간 지연을 공장 단계에서 안다. Google은 수백 종을 상대해야 한다. 시각과 관성을 융합하는 위치 추정은 이 값들이 정확해야 성립한다. 카메라의 노출 시각과 관성 센서의 샘플 시각이 몇 밀리초만 어긋나도 추정이 발산한다. 그래서 Google은 화이트리스트를 택했다. 제조사가 기기를 제출하면 Google이 카메라 품질과 모션 센서, 하드웨어 설계와 통합된 충분한 연산 성능을 검증하고 캘리브레이션 프로파일을 만든다. 그 과정을 통과한 모델만 지원 기기가 된다. 여기에 Google Play 탑재라는 조건이 붙어 중국 내수 기기는 별도 목록으로 관리된다. 깊이 API의 설계도 같은 제약의 산물이다. 전용 센서를 요구할 수 없으므로 사용자가 기기를 조금 움직일 때 생기는 프레임 사이의 시차로 깊이를 추정한다. 한쪽 눈을 감고 고개를 좌우로 흔들면 가까운 물건이 멀리 있는 것보다 훨씬 크게 움직인다. 정확히 그 원리이고, 그래서 사용자가 가만히 서 있으면 깊이가 채워지지 않는다. | 항목 | 값 | |---|---| | 첫 정식 출시 | 2018-02-23 | | 기본 OS 요건 | Android 7.0(API 24) 이상 | | 상향 요건이 붙는 기기 | Android 8.0 또는 10.0 이상 | | AR 필수 앱 | minSdkVersion 24 이상 | | AR 선택 앱 | API 19로 빌드 가능, AR 기능 실행은 24 이상 필요 | | 깊이 API 지원 활성 기기 | 88퍼센트 이상(2026-05) | | iOS 쪽 지원 | iOS 12.0 이상 ARKit 호환 기기에서 클라우드 앵커와 얼굴 증강 |표 출처: [7] (본문 기준으로 재구성)
두 가지를 덧붙여야 한다. Android 13 이상을 요구하는 기기가 있다는 서술은 공식 문서에서 확인되지 않는다. 그리고 2024년 8월의 1.45를 안정 버전으로 인용하는 자료가 많지만 이는 백과사전 정보상자에 굳어 있는 값이므로 현행 버전으로 읽으면 안 된다. 실무에서 더 중요한 함의는 도달 범위의 계산법이다. 앱이 닿는 기기의 수는 운영체제 점유율이 아니라 인증 기기 목록이 정한다. 기획 단계에서 대상 시장의 실제 기기 구성을 확인하지 않으면 출시 후에 되는 기기가 없다는 상황이 온다. [7] ### 지구를 좌표계로 — VPS와 지오스페이셜 위성 항법은 전파의 도달 시간을 재는 방식이라 도심 협곡에서 치명적으로 흔들린다. 건물에 반사된 신호가 직진 신호보다 늦게 도착하는 다중 경로 때문에 오차가 수십 미터까지 벌어진다. 방향은 자기 나침반에 의존하므로 철골 구조물 옆에서는 더 나쁘다. 시각 위치 확인 서비스는 반대 방향으로 접근한다. 카메라가 지금 보는 픽셀에서 특징점을 뽑아, 15년 넘게 수집한 거리 영상으로 만든 전 지구 규모의 3차원 점군에 신경망으로 정합한다. 건물 파사드의 모양은 반사되지도 흔들리지도 않으므로 훨씬 안정적이다. 처음 가 본 도시에서 주소를 몰라도 주변 건물 실루엣을 사진첩과 대조해 위치를 짚는 일과 같다. 기계가 그 대조를 지구 규모로 한다. 문제는 데이터 크기다. 전 세계 점군을 기기에 넣을 수 없으니 먼저 위성 항법으로 후보 지역을 좁힌다. 수십 미터 오차면 후보를 좁히는 데는 충분하다. 그다음 그 지역의 국소 모델만 받아 정합한다. 커버리지는 거의 모든 국가로 서술되지만 기기별 지원 편차가 있고, 일부 기기는 지오스페이셜 기능을 지원하지 않는다고 명시된다. | 앵커 종류 | 고도 지정 방식 | |---|---| | WGS84 앵커 | 타원체 기준의 절대 고도 | | Terrain 앵커 | 지면 기준의 상대 고도 | | Rooftop 앵커 | 건물 옥상 기준의 상대 고도 |표 출처: [8] (본문 기준으로 재구성)
앵커가 세 종류인 것에는 실무적 이유가 있다. 콘텐츠를 놓을 지점의 정확한 해발고도를 아는 기획자는 드물다. 그래서 절대 고도 외에 땅 위에 놓으라는 지정과 옥상에 놓으라는 지정이 필요하다. 정확도 수치는 이 자료로 단정할 수 없다. 수평 오차 몇 미터, 방향 몇 도라는 공개 수치는 공식 문서에서 확인되지 않으므로, 실제 값은 런타임이 돌려주는 자세 정확도 필드로 측정해야 한다. 그래도 판단 기준은 분명하다. 커버리지 안이면 배포가 좌표 입력으로 끝나고, 밖이면 현장마다 스캔과 앵커 등록이라는 물리적 작업이 붙는다. [8] ### 좌표가 아니라 약속 — 앵커 앵커를 저장된 좌표로 이해하면 왜 앵커가 따로 필요한지 설명되지 않는다. 증강현실의 좌표계는 세션마다 원점이 다르고 시간이 지나면 누적 오차로 흘러간다. 어제 특정 숫자 위치에 놓은 물건을 오늘 같은 숫자로 불러오면 엉뚱한 데 나타난다. 앵커는 숫자가 아니라 이 특징점 뭉치 옆이라는 상대적 약속이다. 시스템은 매 프레임 그 약속을 다시 풀어 현재 좌표계상의 위치를 갱신한다. 기준이 물리적 세계 쪽이므로 좌표계의 흐름이 물건을 끌고 다니지 않는다. 친구에게 위치를 알려 줄 때 위경도를 부르지 않고 우리 집 앞 은행나무 밑이라고 말하는 것과 같다. 좌표는 오차가 있지만 은행나무는 제자리에 있다. 다만 그러려면 친구도 그 은행나무를 알아야 한다. 그 알게 하는 데이터가 점군이다. 클라우드 앵커는 이 약속을 남에게 전달하는 기능이고, 전달되는 것이 좌표가 아니라 특징 지도라는 점이 결정적이다. 앵커를 올리려면 기기가 주변을 여러 각도에서 촬영해 3차원 특징 맵을 만들어 서버로 보내야 한다. 다른 기기가 같은 장소를 비추면 서버가 특징을 대조해 상대 자세를 복원한다. 그러므로 공유 앵커는 본질적으로 남의 집 거실 구조를 서버에 올리는 일이다. 저장 비용과 사생활, 수익화 문제가 동시에 발생하는 지점이며, 앵커 서비스들이 줄줄이 문을 닫은 이유도 여기에 있다. | 서비스 | 조건 | |---|---| | ARCore 클라우드 앵커 | Android와 iOS 교차 지원, 인터넷 필수, 방 규모 권장 | | 구 클라우드 앵커 엔드포인트 | 2023-08-31 지원 종료 | | Meta 공유 공간 앵커 | Quest 2·Pro·3·3S, XR Core SDK v71 이상 | | v71 이상의 공유 방식 | 개별 사용자 식별자 대신 임의의 그룹 UUID 기반 권장 |표 출처: [9] (본문 기준으로 재구성)
Meta의 방식은 저장과 공유, 불러오기를 비동기 호출로 나눈다. 앵커를 저장하고, 공유하고, 받은 식별자를 다른 기기에 알리고, 그 기기가 묶이지 않은 공유 앵커를 불러오는 순서다. 향상된 공간 서비스를 켜야 동작하고, 저장 앵커가 많아지면 설정에서 물리 공간 기록을 지우라는 안내가 붙는다. 이 기능은 여러 사람이 같은 가상 물체를 같은 자리에서 보는 다중 사용자 체험의 유일한 기반이다. 동시에 공간 데이터가 외부로 나간다는 뜻이므로, 기업과 공공 현장에서는 보안 검토의 첫 번째 항목이 된다. [9] ### 전송을 위한 형식 — glTF glTF의 설계 목표는 하나다. 그래픽 처리 장치가 바로 쓸 수 있는 상태로 저장한다. 정점 데이터를 세 층으로 나눈 것이 핵심이다. 원시 바이트 덩어리인 buffer, 그 안의 구간을 가리키는 bufferView, 구간을 어떤 타입으로 읽을지 정하는 accessor다. 이 구조 덕분에 파일에서 읽은 바이트를 변환 없이 장치 버퍼로 복사할 수 있다. 웹과 모바일에서는 파싱 시간이 곧 로딩 시간이므로 이 차이가 체감을 가른다. 두 번째 설계 결정은 재질 모델의 고정이다. 1.0은 WebGL 셰이더 코드를 파일에 담았고, 그 결과 다른 렌더러로는 이식되지 않는 실패를 낳았다. 2.0은 이를 버리고 물리 기반의 금속성과 거칠기 모델 하나로 통일했다. 두 숫자로 재질을 기술하니 어느 렌더러에서 열어도 비슷한 그림이 나온다. 압축은 코어가 아니라 확장으로 뺐다. 여기서 정직하게 짚어야 할 긴장이 있다. Draco와 meshopt는 메시를, KTX 2.0과 Basis Universal은 텍스처를 담당하는데, 이들은 모두 런타임 디코드나 트랜스코드 단계를 요구한다. 즉 변환 없이 곧바로 업로드한다는 성질을 전송량과 맞바꾸는 선택이다. 비압축 경로에서도 희소 accessor나 정규화 정수 타입은 직접 업로드의 예외에 해당한다. 텍스처 압축이 특히 까다로운 이유는 장치마다 지원 포맷이 다르기 때문이다. Basis Universal은 중간 형태로 저장했다가 기기에서 그 기기가 지원하는 포맷으로 빠르게 옮긴다. | 시점 | 사건 | |---|---| | 2012 | COLLADA 워킹그룹에서 착안 | | 2015-10-19 | 1.0 | | 2017-06 | 2.0 | | 2017-03-03 | Microsoft 채택(Paint 3D, 3D Viewer, Babylon.js, Office) | | 2021-10-11 | 2.0.1 | | 2022-07 | ISO/IEC 12113:2022 국제표준 |표 출처: [10] (본문 기준으로 재구성)
확장자는 JSON 기반의 .gltf와 바이너리인 .glb로 나뉘고, 후자는 2.0부터 본 스펙에 포함됐다. 채택 사례로 자주 인용되는 스미스소니언의 2020년 2월 공개는 숫자를 조심해야 한다. 약 280만 건은 2차원 이미지와 3차원 모델을 합친 공개 레코드 총수이고 절대다수가 2차원 이미지다. 그중 3차원 모델에 glTF를 썼다는 것이 사실이며, 280만을 3차원 자산의 수로 읽으면 규모가 여러 자리 과장된다. 형식 선택이 체감 성능인 이유는 단순하다. 증강현실 콘텐츠는 대부분 네트워크 너머에서 즉시 열려야 한다. 모델 하나를 띄우는 데 3초가 걸리면 사용자는 카메라를 내린다. 편집 정보를 다 품은 원본 파일과 어디서나 즉시 열리는 배포 파일의 관계를 떠올리면 위치가 분명해진다. glTF는 후자의 자리를 노리고 만들어졌다. [10] ### 합성을 위한 형식 — USD와 USDZ USD의 본체는 파일 포맷이 아니라 합성 규칙이다. 한 장면이 여러 레이어로 쪼개져 있고, 각 레이어는 같은 객체에 대해 의견을 낸다. 어떤 의견이 이기는지를 정하는 강한 우선순위 체계가 있어서, 조명 담당과 모델링 담당이 같은 장면을 동시에 편집해도 서로의 파일을 건드리지 않고 결과가 결정론적으로 합쳐진다. 여러 장의 트레이싱지를 겹쳐 놓은 도면과 같다. 각자 자기 종이에만 선을 긋고, 겹쳐 보면 완성된 그림이 된다. 이 설계는 수백 명이 한 장면을 만드는 영화 제작 파이프라인의 요구에서 나왔다. 우선순위 체계는 서브레이어, 상속, 배리언트 세트, 참조, 페이로드, 특수화의 순서로 정리된다. 그중 페이로드가 특히 중요하다. 참조만 걸어 두고 실제 데이터는 필요할 때 읽는 지연 로딩이라, 도시 한 채 규모의 장면도 열 수 있다. USDZ는 이 형식을 배포용으로 묶은 것이며, 무압축 zip이라는 선택이 이상해 보이지만 이유가 있다. 압축하면 파일 하나를 꺼내려고 전체를 풀어야 한다. 압축하지 않고 각 파일의 시작 위치를 정렬해 두면 메모리 매핑으로 필요한 텍스처만 직접 읽을 수 있다. 다운로드가 끝나기 전에 보이는 부분부터 표시하는 일이 가능해진다. | 항목 | 내용 | |---|---| | 오픈소스 공개 | Pixar, 2016, 수정 Apache 라이선스 | | 표준화 단체 | Alliance for OpenUSD 창립 2023-08-01 | | 창립 회원 | Pixar, Adobe, Apple, Autodesk, NVIDIA | | 확장자 | .usd, .usda(텍스트), .usdc(바이너리), .usdz(패키지) | | USDZ 구성 | 무압축·무암호 zip, 내부에 USD와 PNG/JPEG, M4A/MP3/WAV |표 출처: [11] (본문 기준으로 재구성)
실무 콘텐츠는 여러 사람이 여러 도구로 만든다. 변경이 잦은 프로젝트에서 합성 가능한 원본이 없으면 모델 하나를 고칠 때마다 전체를 다시 내보내야 한다. USD는 그 반복 비용을 줄이려는 형식이다. [11] ### 두 형식은 왜 공존하지 못하는가 이론적으로 두 형식은 층이 다르다. USD는 저작과 합성, 협업에 최적화된 쓰기 쪽 형식이고 glTF는 전송과 런타임에 최적화된 읽기 쪽 형식이다. USD로 만들고 glTF로 내보내면 될 일이다. 원고 파일과 인쇄본의 관계처럼 각자의 자리가 있다. 실제로 충돌이 생기는 이유는 세 가지다. 첫째, 재질 모델이 일대일로 대응하지 않는다. USD 쪽은 미리보기 표면 셰이더와 MaterialX 노드 그래프를 쓰고 glTF는 금속성·거칠기 코어에 확장을 얹는다. 두 체계의 파라미터가 정확히 겹치지 않아 왕복 변환에서 재질이 깨진다. 실무자가 가장 자주 겪는 손실 지점이 여기다. 둘째, 정치적 요인이 있다. Apple이 2018년 iOS 12에서 자사 미리보기 기능의 형식을 USDZ로 못 박으면서, 그 운영체제에 콘텐츠를 올리려면 다른 선택지가 없어졌다. Khronos 진영은 그 사이 glTF를 웹과 Android 쪽에 정착시켰다. glTF는 2022년 7월 국제표준이 됐고, 같은 해 이후 두 진영은 각자의 영역을 굳혔다. 셋째, 구현 규모가 다르다. OpenUSD의 참조 구현은 수십 메가바이트 규모의 C++ 코드라 웹 페이지가 통째로 싣기 어렵다. glTF 로더는 수십 킬로바이트로도 만들어진다. 형식의 표현력과 배포 가능성이 반대 방향으로 작동하는 것이다. 두 단체가 상호운용을 위해 협력한다는 이야기가 돌지만 이 자료로는 출처를 확인하지 못했다. 결국 현장은 두 형식을 모두 유지하고 변환 파이프라인을 관리하는 쪽으로 수렴했다. 그러므로 자산 파이프라인 설계에서 가장 먼저 결정할 항목은 어느 쪽을 정본으로 삼을지다. 이 결정을 미루면 수정할 때마다 두 형식을 각각 손보다가 둘이 어긋난 상태로 굳는다. [12] ### 엔진의 두 전략 — Unity와 Unreal Unity는 아래쪽에 제공자 플러그인을 둔다. OpenXR 플러그인과 ARCore, ARKit용 플러그인이 그것이고, 어느 제공자를 활성화할지는 XR Plugin Management가 고른다. 여기서 흔한 오해를 바로잡아야 한다. 이 스택은 위로 갈수록 좁아지는 단일 피라미드가 아니다. AR Foundation은 평면과 앵커, 메시, 이미지 추적 같은 증강현실 서브시스템의 상위 API이고, 머리 착용 기기의 컨트롤러와 햅틱, 포즈는 AR Foundation을 거치지 않는다. 입력과 상호작용은 XR Interaction Toolkit과 Input System이 담당하며 OpenXR 자체가 행위 기반 입력을 쓴다. 또 하나. AR Foundation은 스스로 인식을 하지 않는다. 평면 관리자 컴포넌트는 평면을 달라는 주문서일 뿐이고 실제 검출은 아래쪽 서브시스템이 수행한다. 그러므로 제공되는 기능은 두 플랫폼의 교집합에 가깝다. 만능 리모컨과 같다. 어느 텔레비전에서나 전원과 볼륨은 통하지만 그 기기에만 있는 버튼은 따로 배워야 한다. 실무의 결론은 한 번 작성하면 어디서나 돈다가 아니라, 한 번 작성하되 기능 가용성을 매번 질의해야 한다는 것이다. 각 기능마다 지원 여부를 묻는 서술자가 제공되며, 이 질의를 생략한 코드가 다른 기기에서 조용히 아무것도 하지 않는 것이 가장 흔한 버그다. | Unity OpenXR 플러그인 지원 대상 | 플랫폼·그래픽 | |---|---| | Meta Quest | Android arm64, Vulkan | | Oculus PC + Link | Windows 64비트, DX11 | | Magic Leap 2 | Android x64, Vulkan | | HoloLens 2 | UWP arm64, DX11 | | SteamVR 및 기타 적합 런타임 | Windows 64비트, DX11 | | Windows Mixed Reality | 표에는 남아 있으나 Windows 11에서 제거된 플랫폼 | Unreal은 다른 그림이다. OpenXR 지원은 4.24에서 도입됐고 문서는 이 경로가 머리 착용 기기만 지원한다고 명시한다. 이 문장은 전략적 단일화의 선언이 아니라 커버리지의 한계를 알리는 고지다. 같은 문서가 휴대형 증강현실을 근본적으로 다른 별도 경로로 따로 다룬다. 실무에서도 Quest는 Meta의 전용 플러그인, PSVR2는 플랫폼 개발도구 경로를 쓰고, 얼굴 캡처 같은 기능은 ARKit 기반의 벤더 종속 경로로 들어온다. 이 엔진이 추상층을 한 겹 덜 쓴다는 정리도 정확하지 않다. 자체 추적 시스템 인터페이스와 헤드 마운트 디스플레이 모듈, 확장 입력 체계라는 고유 추상층을 유지한다. 그러므로 엔진 선택은 벤더 확장에 얼마나 직접 접근할 것인가의 선택으로 정리된다. 공통 API에 기대면 이식이 쉽고 기능이 좁다. 벤더 확장에 직접 붙으면 최신 기능을 먼저 쓰지만 분기 관리가 앱의 몫이 된다. 어느 쪽도 공짜가 아니다. [13][14] ### 12밀리초라는 벽 패스스루 방식에서는 사용자가 보는 현실조차 카메라를 거친 영상이다. 카메라 노출에서 판독, 처리, 합성을 지나 디스플레이가 빛을 내기까지의 전 구간 지연이 크면 고개를 돌릴 때 세상이 한 박자 늦게 따라온다. 생방송 중계의 딜레이와 같은데, 훨씬 예민하다. 중계되는 것이 남의 움직임이 아니라 사용자 자신의 움직임이기 때문이다. 안쪽 귀의 균형 기관은 머리 움직임을 즉시 감지한다. 눈이 보는 움직임이 그와 어긋나면 뇌는 이를 이상 신호로 해석해 멀미와 두통을 만든다. 여기서 자주 인용되는 20밀리초는 생리학적 상수가 아니다. 프레즌스 확보를 위한 공학 목표치로 자리 잡은 경험칙이며, 지연을 알아채는 역치는 과제와 시야, 움직임 속도에 따라 한 자릿수 밀리초에서 수십 밀리초까지 보고된다. 안구를 보상 회전시키는 반사의 반응 시간이 10밀리초 수준이라는 사실은 별개의 이야기다. 그러니 20밀리초는 업계가 합의한 예산선으로 이해하는 것이 정확하다. Apple이 내건 12밀리초도 정의역을 정확히 알아야 한다. 공식 서술은 R1 칩이 새 이미지를 12밀리초 안에 디스플레이로 스트리밍한다는 것이다. 센서 입력에서 디스플레이 전달까지의 칩 파이프라인 구간이며, 센서의 노출과 판독 시간, 디스플레이의 주사와 발광 지속은 포함되지 않는다. 눈 깜빡임보다 8배 빠르다는 표현도 깜빡임을 100밀리초쯤으로 잡은 환산이다. 이 수치를 카메라의 광자에서 눈의 광자까지의 전 구간 지연으로 읽으면 실제를 과소평가한다. | 항목 | 값 | 출처 등급 | |---|---|---| | Vision Pro 발표·출시 | 2023-06-05 발표, 2024-02-02 미국 출시 | 공표 | | 가격 | $3,499, 2026-06-25 $3,699로 인상 | 공표 | | R1 처리 입력 | 카메라 12개, 센서 5개, 마이크 6개 | 공표 | | 디스플레이 | 두 화면 합계 2,300만 화소 | 공표 | | 주사율 | 90/96/100 Hz, M5 탑재판 최대 120 Hz | 공표 | | 눈당 해상도 약 3660×3200 | 제3자 측정 추정 | 비공표 | | 시야각 약 100°×73° | 제3자 측정 추정 | 비공표 |표 출처: [15] (본문 기준으로 재구성)
경쟁 기기의 구성을 나란히 두면 설계 예산이 더 잘 보인다. Quest 3는 2023년 10월 10일 출시됐고 눈당 2064×2208의 RGB 스트라이프 LCD를 90에서 120헤르츠로 구동한다. 컬러 패스스루에 400만 화소 카메라 두 개, 깊이에는 적외선 패턴 투사 방식, 추적에는 400×400 적외선 카메라 네 개를 쓰고 Snapdragon XR2 Gen 2를 얹었다. 가격은 시점을 함께 적어야 한다. 출시가는 128기가바이트 $499.99, 512기가바이트 $649.99였으나 2024년 9월까지 128기가바이트 모델이 $429.99로 내려간 뒤 단종되고 512기가바이트가 $499.99가 됐다. 지연 예산은 다른 모든 사양을 위에서 누른다. 패스스루 카메라의 해상도를 디스플레이보다 낮게 잡는 이유가 그것이다. 화소를 늘리면 읽고 옮기고 처리하는 시간이 같이 늘어난다. 패스스루 영상이 실제보다 뿌옇게 보이는 것은 기술이 모자라서가 아니라 예산을 지키려 치른 대가다. 사양표에서 실제로 중요한 숫자는 해상도가 아니라 지연이며, 이 숫자를 모르면 제조사들이 왜 더 좋게 만들 수 있는데도 만들지 않는지 설명할 수 없다. [15] ### 플랫폼은 어떻게 죽는가 플랫폼의 죽음에는 반복되는 패턴이 있다. 첫 번째는 3단계 소멸이다. 판매 중단, 클라우드 서비스 종료, 기기 무력화의 순서로 진행된다. 치명적인 것은 두 번째 단계다. 기기의 핵심 기능이 클라우드에 의존하면 회사의 결정 하나로 사용자 손에 있는 하드웨어가 벽돌이 된다. Magic Leap 1이 정확히 이 경로로 죽었다. 두 번째는 운영체제 업데이트에 묻히는 소멸이다. Windows Mixed Reality는 별도의 종료 공지 없이 컴포넌트가 제거되면서, 사용자가 업데이트를 받는 순간 헤드셋이 인식되지 않게 됐다. 세 번째는 조용한 사업부 해체다. 공식 발표보다 인력 감축이 먼저 온다. Microsoft는 2023년 1월 관련 개발팀을 해체했다. | 플랫폼 | 주요 일자 | |---|---| | Google Glass | 개발자 사전주문 2012-06-27, 개발자 배포 2013-04-16, $1,500 | | Google Glass | 1일 한정 일반 판매 2014-04-15, 2차 판매 2014-05-14 | | Google Glass | Explorer 종료 발표 2015-01-15, 판매 중단 2015-01-19 | | Google Glass 기업용 | EE1 2017-07, EE2 2019-05, 판매 중단 2023-03-15, 지원 종료 2023-09-15 | | Windows Mixed Reality | 2017-10 출시, 2023-12-21 사용 중단 발표, 빌드 26052(2024-02-08) 이후 제거 | | HoloLens 2 | 2019-02-24 발표, $3,500, 대각 시야 52°(1세대 34°), 지원 종료 2027-12-31 | | Magic Leap 1 | 2018-08-08 출시, $2,295, 2024-12-31 클라우드 종료와 함께 핵심 기능 종료 | | Magic Leap 2 | 2022-09-30 출시 | | Niantic | 8th Wall 인수 2022, 게임 사업 2025-05-29 매각, 지리공간 사업 분사 |표 출처: [16] (본문 기준으로 재구성)
인용이 자주 어긋나는 대목을 짚어 둔다. Google Glass의 2013년 2월은 일반인 공모가 열린 시점이고 개발자 배포일이 아니다. HoloLens 2의 해상도로 돌아다니는 1440×936과 도당 약 20화소는 제조사 스펙이 아니다. Microsoft의 공식 하드웨어 문서는 2K 3 대 2 광학 엔진과 라디안당 2,500 광점 초과로 적으며 이는 도당 44화소 수준이다. 도당 20화소 미만은 디스플레이 분석가 Karl Guttag의 비판적 추정이고, Microsoft 측 주장으로는 47화소가 병기된다. 세 숫자는 출처 등급이 다르므로 한 문장에 섞으면 안 된다. Magic Leap의 누적 조달 35억 달러 이상과 사우디 국부펀드의 7억 5천만 달러도 2024년 8월 기준 회사 전체 수치이며, 특정 제품 한 종의 개발 투자로 읽으면 오해가 생긴다. 단일 투자로 확인되는 것은 2018년 3월 7일의 시리즈 D 참여분이다. 여기서 도출되는 실무 원칙은 단순하다. 전용 단자를 쓰는 가전은 제조사가 사라지면 충전기를 구할 수 없어 못 쓰게 되고, 표준 단자를 쓰는 가전은 아무 충전기나 꽂아 계속 쓴다. 표준에 붙은 자산은 벤더가 사라져도 살아남고, 벤더 개발도구와 벤더 클라우드에 붙은 자산은 같이 죽는다. 클라우드 앵커의 구 엔드포인트가 2023년 8월 31일 종료된 사례가 작은 예다. 조직이 가장 자주 묻는 질문은 이걸 몇 년이나 쓸 수 있는가다. 그 답의 근거는 하드웨어 사양표가 아니라 지원 종료 이력과 표준 준수 여부다. 플랫폼과 표준을 읽는 일은 결국 의존성 그래프에서 어느 노드가 남의 사업 판단에 달려 있는지를 세는 일이다. 기능이 멋진가는 그다음 질문이다. [16]본문의 번호를 누르면 출처로 이동합니다. 절 끝의 번호는 그 절의 사실 자료를, 표 아래의 번호는 표에 사용한 자료를 가리킵니다. 비교·계산·비유와 결론은 필자의 재구성입니다. 한 번호에 함께 사용한 문헌이 둘 이상이면 묶어서 적었습니다.
서지정보와 확인 메모는 옵시디언 조사 기록을 바탕으로 복원했습니다. 원 기록의 ‘전문 확인’·‘조회’ 표기는 당시 조사 상태이며 이번 웹판에서 모두 재검증했다는 뜻은 아닙니다. 불완전한 서지사항은 임의로 채우지 않았습니다.
표 출처: [5] (본문 기준으로 재구성)
팔 길이 60 cm에서 1도는 약 1 cm의 어긋남이다. 빠른 머리 회전은 300°/s를 넘기도 하므로, 같은 지연에서 오차가 여섯 배로 늘어난다. 업계 관행상 모션에서 포톤까지의 지연 20 ms 이하가 최소 기준이고, 증강현실 정합에는 한 자릿수 밀리초가 요구된다. 결정적인 차이는 비교 대상의 존재다. 가상현실에서는 전체 장면이 함께 늦으므로 사용자는 세계가 늦다고 느낀다. 증강현실에서는 진짜 책상이 지연 없이 보이고 가상 물체만 늦는다. 오차가 직접 눈에 보인다. 영화 더빙이 입 모양과 조금 어긋나면 금방 알아채지만 화면 전체가 0.1초 늦으면 아무도 모르는 것과 같은 구조다. 이 지연을 줄이는 대표적 기법이 후기 재투영이다. 기제의 순서를 정확히 잡아야 한다. 렌더가 끝난 뒤, 화면으로 스캔아웃되기 직전에 이미 렌더된 프레임을 최신 자세로 워프한다. 렌더 직전에 최신 자세를 집어넣는 것은 재투영이 아니라 자세 예측이다. 렌더 이후 단계라는 점이 이 기법이 지연을 줄이는 원리 자체다. 정합 오차의 정식 분석을 찾는다면 출처를 바르게 잡아야 한다. Azuma가 1997년에 쓴 것은 개관 논문이다. 같은 해 같은 학술지에 실린 Holloway의 증강현실 정합 오차 분석이 이 주제의 정식 분석이다. 시야각도 멀미와 무관하지 않다. 좁은 시야각은 흔히 몰입감 부족으로만 이야기되지만, 실제로는 가상 물체가 시야 가장자리에서 잘려 나가는 프레임 효과를 만들어 정합 오차를 더 도드라지게 한다. 세계에 고정해 둔 콘텐츠가 머리를 돌릴 때마다 조금씩 미끄러지는 헤엄침 현상도 렌즈 왜곡 보정이 어긋날 때 커진다. Cercenelli 등이 2023년에 정리한 기기 비교를 보면 이 값들이 기기 세대마다 크게 다르다. | 기기 | 시야각 | |---|---| | HoloLens 2 | 대각 약 52° | | Magic Leap 1 | 대각 50° (수평 40°×수직 30°) | | Magic Leap 2 | 약 70° |표 출처: [5] (본문 기준으로 재구성)
1세대와 2세대를 섞으면 안 된다. 70도는 Magic Leap 2의 값이고, Magic Leap 1은 대각 50도다. 증강현실 하드웨어 사양을 읽을 때 프레임률보다 모션에서 포톤까지의 지연이 더 중요한 숫자인 이유가 이 절 전체에 걸쳐 있다. [5] ### 눈이 먼저 지친다, 폭주와 조절의 분리 사람이 가까운 물체를 볼 때 눈은 두 가지를 동시에 한다. 양쪽 눈을 안쪽으로 모으고, 수정체를 두껍게 해 초점을 당긴다. 앞의 것이 폭주이고 뒤의 것이 조절이다. 이 둘은 신경학적으로 강하게 연결된 반사쌍이다. 하나만 따로 하기 어렵게 배선되어 있다. 스테레오 디스플레이는 이 쌍을 강제로 분리한다. 좌우 눈에 다른 이미지를 보여 물체가 50 cm 앞에 있는 것처럼 폭주하게 만들면서, 실제 빛은 언제나 고정된 초점면에서 나온다. 뇌는 서로 다른 거리를 요구하는 두 명령을 동시에 처리해야 하고, 이 갈등이 눈피로와 두통과 복시와 초점 곤란으로 나타난다. 손가락을 코앞에 대고 눈을 모으면서 동시에 창밖 산에 초점을 맞추라고 시키는 것과 같다. 충돌의 크기는 거리가 아니라 디옵터로 재야 한다. 디옵터는 거리의 역수다. 3 m와 5 m의 차이는 0.13디옵터로 사소하다. 25 cm와 50 cm의 차이는 2디옵터로 심각하다. 같은 거리 차이라도 가까울수록 훨씬 나쁘다. 여기서 업계에 널리 퍼진 오인용을 바로잡아야 한다. 편안한 영역이 0.4디옵터 이내라는 진술이 Shibata 등의 2011년 논문에 근거한 것처럼 인용되는 일이 많다. 그 논문에 그런 수치는 없다. 저자들은 단일 임계값을 제시하지 않았다. 편안한 영역의 상대폭을 최대 0.8디옵터, 최소 0.3디옵터로 가정한 뒤 회귀로 경계선을 추정했다. 최소값 0.3디옵터는 Campbell이 1957년에 보고한 눈의 초점심도에서 왔다. 저자들 스스로 그렇게 얻은 추정이 논쟁적이라고 명기했다. 더 중요한 것은 그 논문의 실제 발견이다. 같은 디옵터의 충돌이라도 원거리에서 약간 더 불편했다. 그리고 초점면 뒤에 놓인 콘텐츠는 원거리에서 더 불편하고, 초점면 앞에 놓인 콘텐츠는 근거리에서 더 불편했다. 즉 편안한 영역의 경계는 시청 거리와 충돌의 부호에 따라 비대칭적으로 움직인다. 이를 거리 무관, 부호 대칭의 상수 하나로 환산하면 원 논문의 핵심 주장을 뒤집는 셈이 된다. 실무에 쓸 숫자가 필요하다면 초점면을 정하고 그 논문의 회귀식을 대입하는 편이 정직하다. 2 m 초점면, 즉 0.5디옵터를 기준으로 계산한 결과와 제조사 지침을 나란히 놓으면 이렇게 된다. | 기준 | 허용 배치 | |---|---| | Shibata 등 2011 회귀식, 근거리측 허용 불일치 | 0.59 D | | 같은 식, 원거리측 허용 불일치 | 0.45 D | | 같은 식이 허용하는 거리 구간 | 약 0.92~19.5 m | | 마이크로소프트 공식 지침의 최적 구간 | 1.25~5 m (0.8~0.2 D) | | 같은 지침의 페이드아웃 경계 | 40 cm | | 같은 지침의 렌더 클리핑 | 30 cm |표 출처: [6] (본문 기준으로 재구성)
마이크로소프트의 권고 구간은 초점면을 기준으로 정확히 0.3디옵터 대칭이다. 통념처럼 떠도는 0.4디옵터를 굳이 쓰면 0.5디옵터 초점면에서 허용 구간은 0.1디옵터에서 0.9디옵터, 즉 약 1.11 m에서 10 m가 된다. 상한을 무한대로 적은 자료를 종종 보는데 이는 자체 모순이다. 무한대는 0디옵터이므로 불일치가 0.5디옵터가 되어 스스로 세운 기준을 넘는다. 산수와 제조사 지침 양쪽에 어긋난다. 가까운 배치가 왜 위험한지도 숫자로 확인된다. 40 cm는 2.5디옵터다. 2 m 초점면과의 불일치는 2.0디옵터다. 근거리측 허용치 0.59디옵터에 견주면 약 3.4배다. 0.4디옵터 통념에 견주면 정확히 5배이고, 초과분은 한계의 4배다. 5배를 초과한다고 적으면 실제보다 부풀려진 진술이 된다. 어느 기준을 쓰든 결론은 같다. 40 cm는 제조사가 페이드아웃을 시작하라고 정한 경계선이다. 해결책은 세 갈래다. 초점면을 여러 개 두거나, 빛의 방향까지 재현하거나, 콘텐츠를 편안한 영역 안에 묶어 두는 것이다. 앞의 둘이 배리포컬과 라이트필드가 풀려는 문제다. 실제로 초점면을 두 개 둔 제품도 있었다. Cercenelli 등의 2023년 비교표가 그 값을 직접 제시한다. | 기기 | 초점면 | 디옵터 | |---|---|---| | HoloLens 2 | 2 m 단일 고정 | 0.5 D | | Magic Leap 1 | 0.5 m와 1.5 m 이중 고정 | 2.0 D와 0.67 D |표 출처: [6] (본문 기준으로 재구성)
Magic Leap 1의 초점면을 0.75 m와 2 m로 적은 자료가 돌아다니는데 단위 오류다. 0.75는 미터가 아니라 디옵터로 보고된 값이고, 0.75디옵터는 1.33 m에 해당한다. 읽기 쉽게 텍스트를 가까이 띄우자는 직관이 정확히 반대 방향의 결정인 이유가 여기 있다. 손으로 조작하는 대상은 팔 길이인 60 cm 부근에 두고 싶은데 초점면은 2 m에 있다. 이 구조적 모순이 손 상호작용 증강현실 기기 대부분의 미해결 과제로 남아 있다. [6] ### 시각 피로의 나머지 갈래 폭주와 조절의 분리는 시각 피로의 가장 유명한 원인이지만 유일한 원인이 아니다. 최소 다섯 갈래가 더 있고 각각 다른 처방을 요구한다. 신발이 맞지 않아 생기는 물집을 재질 탓으로만 돌릴 수 없는 것과 같다. 길이와 볼과 발등 높이가 따로 안 맞을 수 있다. 첫째는 눈깜빡임 감소다. 집중해서 화면을 볼 때 깜빡임이 줄고 눈물막이 마르면서 따가움과 흐릿함이 온다. 이는 기기 문제가 아니라 과제 몰입의 부산물이라 광학으로 못 고친다. 감소폭을 정확히 옮기려면 출처와 조건을 함께 봐야 한다. | 출처와 조건 | 분당 깜빡임 | |---|---| | Tsubota와 Nakamori 1993, 이완 | 약 22회 | | 같은 문헌, 독서 | 약 10회 | | 같은 문헌, 화면 작업 | 약 7회 | | Bentivoglio 등 1997, 대화 | 약 26회 | | 같은 문헌, 화면 작업 | 약 14.5회 |표 출처: [7] (본문 기준으로 재구성)
두 문헌의 조건이 다르므로 섞으면 안 된다. 1993년 서신에는 대화 조건이 없다. 문헌 표준으로 쓰이는 대화 대비 화면 작업 비교는 1997년 연구의 26회에서 14.5회, 약 45퍼센트 감소다. 3분의 1 수준으로 떨어진다는 서술은 화면이 아니라 독서 조건에서 나온 값에 가깝다. 제2저자 이름이 Nakamura로 적힌 인용을 종종 보는데 Nakamori가 맞다. 둘째는 양안 정렬 오차다. 좌우 렌즈의 광축이 미세하게 어긋나면 눈이 매 순간 이를 보정하느라 융합 근육을 쓴다. 특히 수직 방향 어긋남은 사람이 거의 보정하지 못해 소량으로도 두통을 만든다. 셋째는 동공간거리 미스핏이다. 기기의 렌즈 중심 간격이 내 눈 간격과 다르면 렌즈 주변부로 보게 되어 왜곡과 색수차가 늘고 상이 뒤틀린다. 여기서 흔한 실수가 낡은 사양으로 결론을 내리는 것이다. | 항목 | 값 | |---|---| | ANSUR II 2012, 여성 평균 | 61.7 mm (표준편차 3.6, 범위 51.0~74.5) | | ANSUR II 2012, 남성 평균 | 64.0 mm (표준편차 3.4, 범위 53.0~77.0) | | Quest 2 세대 조절 | 58·63·68 mm 3단 고정 | | Quest 3 조절 | 약 53~75 mm 연속 | | Apple Vision Pro 조절 | 약 51~75 mm |표 출처: [7] (본문 기준으로 재구성)
상용 기기의 조절 범위가 58에서 72 mm 수준이라 분포의 양 끝을 못 담는다는 서술은 3단 고정 슬라이더 세대의 이야기다. 연속 조절 세대는 인체측정 분포의 1백분위에서 99백분위 구간, 즉 여성 53.5에서 70.5 mm와 남성 56.0에서 72.5 mm를 상당 부분 포괄한다. 남은 것은 남성 상단의 77 mm 부근이다. 이는 양쪽 끝이 아니라 한쪽 끝이다. 기기 세대와 모델을 명시하지 않고 못 담는다고 결론 내리면 현황과 어긋난다. 넷째는 아이릴리프다. 렌즈에서 눈까지의 거리가 부족하면 안경을 쓸 수 없고, 억지로 쓰면 시야가 잘리거나 렌즈가 긁힌다. 안경 착용을 허용하려면 통상 18에서 20 mm 이상이 필요하다. 다섯째는 휘도와 대비다. 광학 투시형은 밝은 실외에서 가상 영상이 묻히므로 휘도를 올려야 하는데, 이는 눈부심과 피로를 동시에 키운다. 야외 주광 조도는 1만에서 10만 lux에 달한다. 이 조건에서 대비를 확보하려면 매우 높은 디스플레이 휘도가 요구된다. 관련 규범도 정확히 불러야 한다. 디스플레이 시각 피로 요구사항은 ISO 9241-303에 있다. 입체 영상의 시각 피로 저감 권고는 ISO 9241-392가 아니라 ISO/TR 9241-392:2015이다. 규격이 아니라 기술보고서다. 휴식 지침으로는 20분마다 6 m 밖을 20초 보라는 미국안과학회의 권고가 널리 쓰인다. 눈이 아프다는 사용자 불만을 하나의 원인으로 묶으면 해결이 안 된다. 동공간거리를 못 맞춘 사용자, 안경 때문에 눈에서 멀어진 사용자, 초점면과 콘텐츠 거리가 어긋난 사용자는 완전히 다른 문제를 겪고 있다. 제품 관점에서는 동공간거리 조절 범위와 아이릴리프가 접근성 사양이라는 인식이 필요하다. [7] ### 주의라는 유한 자원 증강현실의 약속은 정보를 보던 곳에 그대로 얹어 준다는 것이다. 스마트폰을 꺼내 고개를 숙이는 전환 비용을 없애 준다는 논리다. 절반은 맞다. Wickens가 2008년에 정리한 다중 자원 이론이 말하는 바는, 주의가 하나의 통짜 자원이 아니라 채널별로 나뉜 자원 풀이라는 것이다. 시각과 청각은 어느 정도 병렬 처리된다. 그러나 같은 시각 채널 안에서 두 과제를 하면 자원을 직접 나눠 쓴다. 증강현실은 정보를 바로 그 시각 채널에 밀어 넣는다. 운전자가 앞을 보면서 속도를 읽는 것은 물리적 시선 이동을 줄이지만, 속도를 읽는 인지 처리 자체는 도로를 해석하는 처리와 같은 자원을 놓고 경쟁한다. 시선 이동 시간이 줄었다는 측정치가 곧 안전 개선을 뜻하지 않는다. 책상을 넓게 쓰면 서류를 더 많이 펼칠 수 있다. 하지만 읽는 사람은 여전히 한 명이다. 증강현실은 책상을 넓혀 줄 뿐 읽는 사람을 늘려 주지 않는다. 인지 부하는 시각 처리와 무관해 보이는 활동으로도 올라간다. 대화, 계산, 음성 명령 구성 같은 것들이다. 부하가 올라가면 유효시야가 좁아지고 주변부 사건 탐지가 떨어진다. 여기서 용어를 정확히 써야 한다. 부하로 줄어드는 유효시야는 주의적 개념이고, 이 현상은 통상 인지적 협소화라고 부른다. 터널 시야는 주변 시야의 물리적 결손을 가리키는 임상 용어로 따로 있다. 더 중요한 것은 기제다. 관련 연구들이 반복해 보여준 것은 응시점 위에 있는 물체도 놓친다는 사실이다. 보고 있으면서 보지 못한다. 동심원이 좁아지는 시야 축소 모델로 환원할 수 없다. 부하를 재는 표준 도구는 Hart와 Staveland가 1988년에 발표한 NASA-TLX다. 정신적 요구, 신체적 요구, 시간적 요구, 수행, 노력, 좌절의 여섯 차원을 0에서 100으로 평정하고 쌍대비교로 가중치를 곱한다. 부하의 결과를 보여주는 고전적 실측으로는 Strayer와 Drews와 Crouch가 2006년에 보고한 비교가 있다. 휴대전화 통화 중 운전자의 제동 반응이 유의하게 지연되었고, 그 성능 저하가 혈중알코올농도 0.08퍼센트 수준의 손상과 견줄 만하다는 결론이었다. 제품 평가에서 시선 이탈 시간만 측정하고 인지 부하를 재지 않으면 위험을 과소평가한다. 정보를 시야에 겹쳐 놓는 설계는 물리적 전환 비용을 줄이는 대가로 인지적 경쟁을 늘린다. 이 교환이 순이득인지는 과제마다 실증해야 한다. [8] ### 겹쳐 놓는 것과 보이게 하는 것 부주의 맹시는 시야 한가운데 있고 눈이 향해 있는데도 보지 못하는 현상이다. Simons와 Chabris가 1999년에 발표한 실험이 이를 대중에 각인시켰다. 농구 패스 횟수를 세라는 과제를 주고, 그 사이 고릴라 옷을 입은 사람이 화면을 가로질러 걸어가게 한다. 숫자를 옮길 때 두 실험을 섞지 않아야 한다. 본실험은 관찰자 192명을 대상으로 했고 예상치 못한 사건의 지속 시간은 5초였다. | 조건 | 탐지율 | |---|---| | 전체 예상 외 사건, 192명 | 54% | | 고릴라 조건만 | 44% | | 검은 팀에 주의 | 58% | | 흰 팀에 주의 | 27% | | 반투명 표시·고릴라·흰 팀 주의 | 8% | | 가슴 두드림 추가 조건, 12명 | 50% |표 출처: [9] (본문 기준으로 재구성)
절반이 못 봤다는 진술은 정확하지 않다. 전체 미탐지율은 46퍼센트이고, 고릴라 조건만 보면 미탐지 56퍼센트다. 정확히 50퍼센트가 나오는 것은 관찰자 12명만 참여한 별도 조건이다. 35초 지점에서 시작해 9초간 이어지는 가슴 두드림 장면은 그 별도 조건의 설계이고, 전체 자극은 62초 길이였다. 9초와 가슴 두드림과 50퍼센트를 한 문장에 묶으면 서로 다른 두 실험의 숫자를 합치는 셈이 된다. 탐지율 8퍼센트가 나온 칸도 해석에 주의가 필요하다. 그 칸은 반투명 중첩 표시 방식에 고릴라, 그리고 흰 팀에 주의를 준 조건이다. 쉬운 과제와 어려운 과제 모두 8퍼센트였다. 결정 변수는 과제 난도가 아니다. 주의 대상 팀의 색과 고릴라의 색이 어긋난 것이 원인이다. 검은 팀에 주의를 주면 58퍼센트가 검은 고릴라를 봤고, 흰 팀에 주의를 주면 27퍼센트만 봤다. 핵심 기제는 주의 집합이다. 뇌는 과제에 맞는 특징으로 필터를 설정하고, 그 필터에 걸리지 않는 것은 망막에 맺혀도 의식에 도달하지 않는다. 사람 많은 카페에서 자기 이름은 저쪽 테이블에서도 들리는데 바로 옆 사람의 대화는 하나도 안 들어오는 것과 같다. 귀는 다 받아들이고 있지만 뇌가 필터를 정해 놓았다. Most 등이 2001년에 발표한 실험이 이 기제를 정밀하게 갈라 놓았다. 논문 제목 자체가 유사성과 능동적 무시의 기여를 다룬다는 선언이다. 흔히 대비되는 색이면 안 보인다고 요약되는데 이는 기제를 뒤집은 서술이다. | 예상치 못한 자극의 휘도 | 탐지율 | |---|---| | 주의 대상 집합과 같음 | 94% | | 주의 집합과도 무시 집합과도 다름 | 81% | | 무시하도록 지시받은 집합과 같음 | 6% | | 배치를 뒤집은 조건 | 0% |표 출처: [9] (본문 기준으로 재구성)
탐지가 붕괴하는 조건은 대비가 큰 자극이 아니다. 무시하도록 지시받은 집합과 닮은 자극이다. 어느 집합과도 다른 제3의 휘도는 81퍼센트가 탐지했다. 논문이 정리한 원리는 예상치 못한 물체가 주의 대상과 닮을수록, 그리고 무시 대상과 다를수록 눈에 띈다는 것이다. 같은 논문의 세 번째 실험은 더 결정적이다. 색과 휘도와 형상과 운동 궤적이 모두 유일한 밝은 적색 십자가가 5초간 화면을 가로질렀는데도 약 30퍼센트가 알아채지 못했다. 최대 대비 자극조차 70퍼센트만 탐지된다. 대비되는 색이면 6퍼센트만 보인다는 요약은 인용 논문이 직접 기각한 가설이다. 설계 함의가 여기서 갈린다. 경고는 단순히 눈에 띄는 색으로 만드는 것이 문제가 아니다. 사용자가 지금 무시하도록 분류해 둔 색을 경고에 쓰면 안 된다. 인터페이스가 특정 색을 배경 장식으로 훈련시켜 놓았다면, 그 색으로 띄운 경고는 안 보인다. 항공 분야는 반대 방향의 위험을 인지적 포획이라고 부른다. 증강 콘텐츠가 주의 집합을 장악해 실세계의 예기치 못한 사건을 가린다. Fischer와 Haines와 Price가 1980년에 NASA 기술보고서로 낸 연구가 이를 처음 기록했다. 조종사 8명이 고정형 727 시뮬레이터에서 헤드업 디스플레이 조건 18회, 통상 계기 조건 13회의 접근을 수행했다. | 항목 | 값 | |---|---| | 참가 조종사 | 8명 | | 활주로 장애물 평균 반응 시간, HUD | 약 4.1초 | | 같은 항목, HUD 없음 | 1.75초 | | 장애물을 전혀 보지 못한 조종사 | 8명 중 2명 |표 출처: [9] (본문 기준으로 재구성)
미탐지 조종사가 다수 발생했다는 서술은 과장이다. 8명 중 2명, 25퍼센트다. 두 사례 모두 헤드업 디스플레이 조건이었고 해당 조종사의 첫 노출이었다는 조건이 붙는다. 저자들도 표본이 작다는 한계를 명기했다. 이 연구의 대표 수치는 미탐지 인원이 아니라 반응 시간이다. 활주로 장애물에 대한 평균 반응이 두 배 이상 늦어졌다. 안전 경고 설계의 원칙이 여기서 나온다. 경고는 사용자의 현재 주의 집합에 걸리는 특징을 써야 한다. 시각 채널이 이미 포화된 상황에서는 청각이나 촉각으로 채널을 바꾸는 편이 안전하다. 겹쳐 놓으면 본다는 가정은 실증되지 않은 설계 신화다. [9] ### 움직이는 사람에게 정보를 얹는다는 것 차량용 헤드업 디스플레이는 상용화된 증강현실 중 가장 오래된 축이고, 따라서 실증 데이터가 가장 두텁다. 그림은 양면적이다. 이득 쪽은 명확하다. 속도나 내비게이션 지시를 앞유리에 띄우면 계기판을 보려고 고개와 시선을 내리는 시간이 줄고, 눈이 먼 곳에서 가까운 곳으로 다시 초점 맞추는 재조절 시간도 아낀다. 항공용 헤드업 디스플레이를 광학적으로 무한대에 맺히도록 만드는 이유가 이것이다. 대가 쪽도 명확하다. 인지적 포획으로 예기치 못한 사건 탐지가 떨어지고, 정보를 더 얹을수록 시각 채널 경쟁이 심해진다. 여기에 증강현실 특유의 문제가 더해진다. 단순 속도 표시는 위치가 틀려도 무방하다. 앞차에 테두리를 그리거나 차선 위에 화살표를 깔려면 정합이 맞아야 한다. Gabbard와 Fitch와 Kim이 2014년에 정리한 차량 증강현실의 과제 목록이 이 지점을 집중적으로 다룬다. | 항목 | 값 | |---|---| | 일반 차량 HUD 가상 영상 거리 | 약 2~3 m (0.33~0.5 D) | | 증강현실형 HUD 설계 추세 | 7~15 m | | 시속 100 km의 속도 | 약 27.8 m/s | | 지연 100 ms당 종방향 오차 | 2.8 m | 가상 영상은 유한한 거리에 맺히는데 실제 대상은 수십 미터 밖에 있다. 시차가 생기고, 운전자 머리 위치가 조금만 달라져도 어긋난다. 시속 100 km에서 100 ms의 지연은 2.8 m의 위치 오차를 만든다. 앞유리에 화살표를 그려 길을 알려주는 것은 옆자리 사람이 손가락으로 가리켜 주는 것과 같다. 정확히 가리키면 큰 도움이고, 반 박자 늦게 엉뚱한 골목을 가리키면 없는 편이 낫다. 잘못 정합된 강조 표시는 없느니만 못하다. 엉뚱한 곳을 보게 만들기 때문이다. Kim과 Dey가 2009년에 고령 운전자를 대상으로 한 실험처럼, 같은 표시가 집단에 따라 다르게 작동한다는 결과도 쌓여 있다. 보행 쪽으로 오면 2016년 7월 6일 출시된 위치 기반 증강현실 게임이 인간요인 연구자들에게 뜻밖의 자료를 안겼다. 수억 명이 같은 날짜에 같은 종류의 행동을 시작했다. 첫 달 다운로드가 1억 건을 넘었다. 개입 시점이 날카롭게 정의된 준실험 설계가 저절로 만들어진 것이다. 여기서 인용의 방향을 정확히 잡아야 한다. Faccio와 McConnell이 2020년에 발표한 연구는 제목과 설계 모두 운전 중 앱 사용을 다룬다. 보행자 부상 기록을 분석한 연구가 아니다. 미국 한 카운티의 경찰 사고 조서를 기반으로 포켓스톱 인근의 차량 사고 증가를 추정했다. | 항목 | 추정값 | |---|---| | 해당 카운티 사회적 비용 | 520만~2,550만 달러 | | 전국 외삽, 출시 후 148일 | 20억~73억 달러 | | 추가 충돌 | 145,632건 | | 추가 부상 | 29,370명 | | 추가 사망 | 256명 | 추정치의 폭이 매우 넓다는 점을 함께 옮겨야 한다. 전국 단위 비용 외삽은 가정에 민감하다. 방향은 위험 증가로 수렴하지만 크기는 확정값이 아니다. 게임사의 대응도 정확히 기록할 만하다. 일정 속도를 넘으면 너무 빠르게 이동하고 있으며 운전 중에는 플레이하지 말라는 경고가 떴고, 확인 버튼은 자신이 동승자임을 확인하는 문구였다. 운전자임을 확인하게 하는 절차가 아니다. 이 차이가 중요한 것은 그 설계가 책임의 소재를 사용자 진술로 옮기는 장치였기 때문이다. 보행 중 위험 자체에 대한 근거는 따로 있다. Nasar와 Troyer가 2013년에 보고한 공공장소에서의 휴대기기 관련 보행자 부상 추세가 그런 자료다. 기제는 이 장의 다른 항목들의 조합이다. 보행자가 화면을 볼 때 걷기라는 자세 제어 과제는 시각 자원을 빼앗긴다. 유효시야가 좁아진다. 주의 집합이 게임 요소에 맞춰지면서 연석과 자전거와 차량이 부주의 맹시의 대상이 된다. 증강현실 특유의 문제도 있다. 위치 기반 서비스는 본질적으로 사용자를 물리적 장소로 이동시키는데, 그 장소의 안전성은 서비스가 통제하지 못한다. 선로, 절벽, 군사 시설, 사유지에 좌표가 찍힐 수 있다. 소프트웨어가 물리 공간의 위험을 소환하는 새로운 형태의 안전 문제다. 좌표를 배치하는 행위가 곧 사람의 동선을 설계하는 행위이므로, 위험 지역 배제와 속도 기반 잠금과 야간 제한은 부가 기능이 아니라 설계 의무로 논의되어야 한다. 설계 원칙 하나가 이 절 전체를 관통한다. 안전 임계 상황에서 증강은 더하는 방향이 아니라 빼는 방향으로 작동해야 한다. 안전 기술로 홍보하려면 시선 이탈 감소가 아니라 예기치 못한 위험의 탐지율과 정합 오차 분포를 보여야 한다. 앞유리는 무한한 캔버스가 아니다. 이미 사용 중인 작업 공간이다. [10][11] ### 사회적 수용은 착용자만의 문제가 아니다 얼굴에 카메라를 달고 걷는 사람 앞에서, 상대는 자신이 촬영되고 있는지 알 수 없다. 스마트폰은 촬영할 때 팔을 들어 화면을 상대에게 향하는 명백한 신체 신호를 낸다. 이 신호가 사회적 계약의 핵심이었는데 안경형 기기는 그것을 지웠다. 식당에서 녹음기를 테이블에 올려놓고 켜는 것과 주머니 속에서 몰래 켜는 것의 차이다. 기계 성능은 같지만 사회적 의미는 정반대다. 반응은 빨랐다. 술집과 카지노, 병원, 영화관, 탈의실이 착용을 금지했다. 멸칭이 만들어졌다. 제조사가 착용자 에티켓 가이드를 발표해야 했다. 회사가 사용자에게 무례하게 굴지 말라고 공지하는 상황 자체가 수용 실패의 증거다. | 시점 | 사건 | |---|---| | 2013년 3월 | 시애틀의 한 술집이 착용 금지를 공표 | | 2013년 4월 16일 | Explorer 프로그램 배포 개시, 가격 1,500달러 | | 2014년 4월 15일 | 일반 판매, 하루 만에 재고 소진 | | 2015년 1월 15일 | Explorer 프로그램 종료 | | 2023년 3월 15일 | Enterprise Edition 판매 종료 | | 2023년 9월 15일 | 지원 종료 |표 출처: [12] (본문 기준으로 재구성)
여기서 뽑아야 할 원칙은 세 가지다. 첫째, 착용형 기기의 수용은 착용자 효용이 아니라 방관자 비용으로 결정된다. Denning과 Dehlawi와 Kohno가 2014년에 방관자를 직접 인터뷰한 연구, Koelle와 Kranz와 Möller가 2015년에 데이터 안경에 대한 사용자 태도를 조사한 연구가 이 축의 실증이다. 둘째, 무엇을 하는 중인지 밖에서 보이는가라는 사회적 신호는 부가 기능이 아니라 핵심 설계 요구다. 셋째, 용도가 수용을 바꾼다. Profita 등이 2016년에 보인 바에 따르면 같은 형태의 기기라도 장애 보조 맥락에서는 사회적 수용도가 달라진다. 명확한 직무 맥락에서도 마찬가지이고, 실제로 그 기기는 산업과 의료용 판본으로 살아남았다. 상업적 성패를 예측할 때 봐야 할 지표는 화소 수나 시야각이 아니다. 주변 사람이 이 기기 앞에서 편안한가다. [12] ### 동의하지 않은 사람의 권리 프라이버시 논의는 대개 사용자 데이터를 어떻게 보호할 것인가로 흐른다. 구조적으로 더 어려운 문제는 사용자가 아닌 사람 쪽에 있다. 방관자는 계약을 맺지 않았다. 이용 약관에 동의한 적이 없다. 기기를 끌 수도 없다. 애초에 기기가 켜져 있는지 알 방법이 제한적이다. 게다가 요즘 기기는 녹화만 하지 않는다. 공간 이해를 위해 상시 카메라와 깊이 센서로 주변을 스캔하고, 평면과 사물을 인식하며, 그 결과를 지도로 저장한다. 명시적 촬영 버튼을 누르지 않아도 방관자의 신체와 행동과 공간이 센서를 통과한다. 이웃이 자기 집 대문에 카메라를 다는 것과 모자에 달고 동네를 돌아다니는 것의 차이다. 앞의 것은 위치가 고정되어 사람들이 피할 수 있지만 뒤의 것은 피할 수가 없다. 얼굴 인식이 결합되면 문제의 성격이 달라진다. 길에서 마주친 사람의 신원이 자동으로 뜨는 상황은 기술적으로 오래전부터 가능했다. 억제해 온 것은 기술 한계가 아니라 기업의 자제와 법적 위험이었다. 현재의 방어선은 세 겹이다. 하드웨어 신호, 플랫폼 정책, 법제다. 하드웨어 신호는 카메라 동작 시 점등되는 표시등과 물리 셔터다. 끌 수 없도록 설계하고 녹화 시작 시 음성과 시각으로 알리는 방식이 쓰인다. 플랫폼 정책은 얼굴 인식 응용프로그래밍 인터페이스를 막는 쪽이다. 법제는 생체정보의 사전 동의를 요구하는 쪽이다. 법제를 인용할 때 결정적인 차이 하나를 지워서는 안 된다. | 법제 | 집행 구조 | |---|---| | 일리노이주 BIPA (740 ILCS 14, 2008) | 사전 서면 동의 요구, 사인의 소권 인정 | | 텍사스주 CUBI (Tex. Bus. & Com. Code §503.001) | 주 법무장관 전속 집행 | | 워싱턴주법 (RCW 19.375) | 주 법무장관 전속 집행 | | EU GDPR 제9조 | 신원 확인 목적 생체정보를 특별 범주로 분류, 원칙적 처리 금지 후 예외 열거 |표 출처: [13] (본문 기준으로 재구성)
사인의 소권은 일리노이주에만 있다. 텍사스와 워싱턴의 법은 개인이 직접 소를 제기할 수 없고 주 법무장관이 전속 집행한다. 미국의 생체정보 소송이 일리노이에 집중된 이유가 바로 이 차이다. 세 주의 법을 유사하다고 묶으면 대규모 배상 사례가 왜 특정 관할에서만 나왔는지 설명할 수 없게 된다. 세 겹의 방어선은 모두 취약하다. 표시등은 가릴 수 있다. 정책은 바뀐다. 법은 관할권마다 다르다. 대중화 여부는 방관자 설계를 얼마나 진지하게 하느냐에 달려 있다. 착용자에게 유용한 기능일수록 방관자 비용이 크다는 역설이 있어, 이 축의 절충은 기술이 아니라 규범으로 정해질 수밖에 없다. [13] ### 눈은 거짓말을 못 한다 시선 추적은 증강현실 기기의 핵심 기술이 되었다. 시선이 향한 곳만 고해상도로 렌더링해 연산을 아끼고, 시선으로 대상을 선택하며, 동공간거리를 자동 보정한다. 그런데 이 신호는 성능 데이터가 아니다. 심층적인 개인 정보다. 이유는 두 가지다. 첫째, 시선은 대부분 수의적 통제 밖이다. 자극에 이끌린 순간적 응시, 동공 크기 변화, 미세 떨림, 자발적 눈깜빡임은 의도로 조절할 수 없다. 프라이버시 보호의 표준 수단인 동의와 자제가 여기서는 작동하지 않는다. 필적은 숨기려면 숨길 수 있다. 동공이 커지는 것은 숨길 수 없다. 둘째, 추론되는 것의 폭이 대단히 넓다. Kröger와 Lutz와 Müller가 2020년에 정리한 목록에 따르면, 기계학습 분석으로 나이와 성별과 인종적 배경, 성격 특성, 현재의 인지 부하와 피로, 전문성 수준과 언어 능력, 흥미와 욕구, 약물과 알코올의 영향까지 추정할 수 있다고 보고된다. 자폐 스펙트럼과 주의력결핍 과잉행동장애, 조현병, 파킨슨병, 알츠하이머 같은 신경 및 정신 질환의 단서도 포함된다. 여기에 시선 운동 패턴 자체가 개인 식별자로 작동한다. Eberz 등이 2016년에 보인 바가 그것이다. 익명화된 시선 로그가 재식별의 통로가 된다. 데이터의 밀도가 이 위험의 크기를 결정한다. | 항목 | 값 | |---|---| | 연구용 추적기 표본율 | 30 Hz에서 2000 Hz까지 | | 상용 연구 장비 상한 예 | EyeLink 1000 Plus 및 Portable Duo 단안 2000 Hz | | 증강현실·가상현실 내장 추적기 | 통상 수십~120 Hz | | 안구 도약 최대 각속도 | 수백 °/s | | 평균 응시 지속 | 수백 ms | | 1시간 사용, 양안 120 Hz | 864,000 표본 |표 출처: [14] (본문 기준으로 재구성)
상한을 1000에서 1250 Hz로 적은 자료를 종종 보는데, 이는 실제 상한의 절반을 천장으로 제시하는 것이다. 표본 밀도가 프라이버시 논거의 핵심이므로 이 축소는 논증 자체를 약화시킨다. 대응은 두 갈래다. 아키텍처적으로 시선 원신호를 앱에 아예 노출하지 않고 시스템 프로세스 안에 가두는 방식이 하나다. 사용자가 확정 입력을 한 순간의 결과만 앱에 전달한다. 수학적으로 시선 시계열에 차등 프라이버시 잡음을 넣는 방식이 둘이다. Steil 등이 2019년에 제안한 접근이 그 예다. 상업적 압력이 매우 크다는 점을 직시해야 한다. 광고 산업은 실제로 본 시간을 과금 단위로 삼고 싶어 한다. 플랫폼이 시선을 앱에 줄 것인가 말 것인가는 단순한 인터페이스 설계 결정이 아니다. 그 생태계가 어떤 종류의 경제를 만들 것인가를 결정하는 갈림길이다. [14] ### 모두를 위한 증강현실 일반 화면의 접근성 지침은 배경을 설계자가 통제한다는 전제 위에 서 있다. W3C의 WCAG 2.1이 일반 텍스트에 4.5 대 1, 큰 텍스트와 그래픽 구성요소에 3 대 1의 명도 대비를 요구할 수 있는 것은 배경색을 설계자가 정하기 때문이다. 광학 투시형 증강현실은 이 전제를 깨뜨린다. 배경은 사용자가 지금 바라보고 있는 실제 세계다. 흰 벽일 수도 대낮의 아스팔트일 수도 나뭇잎 그늘일 수도 있다. 더 근본적인 제약이 있다. 대부분의 광학 투시 디스플레이는 빛을 더하기만 할 수 있어 검은색을 표현하지 못한다. 검게 지정한 픽셀은 그냥 투명해진다. 따라서 밝은 배경 위에 어두운 글씨라는 가장 읽기 좋은 조합을 원리적으로 쓸 수 없다. 유리창에 글씨를 쓰는 것과 같다. 벽에 쓴 글씨는 벽 색을 내가 칠할 수 있지만, 유리창 글씨는 뒤에 무엇이 지나가느냐에 따라 읽히기도 하고 사라지기도 한다. 여기에 통상적 접근성 문제가 겹친다. | 항목 | 값 | |---|---| | 적록색각이상, 북유럽계 남성 | 약 8% | | 적록색각이상, 여성 | 약 0.5% | | 서울 19세 남성 징병검사 표본의 근시 | 96.5% | | 안경 착용 수용에 필요한 아이릴리프 | 약 18~20 mm 이상 | | 야외 최대 조도 | 약 100,000 lux | 색으로만 정보를 구분하면 색각이상 사용자가 놓친다. Birch가 2012년에 정리한 세계 유병률이 그 규모를 보여준다. 저시력 사용자는 확대가 필요한데 증강 콘텐츠는 실세계와 크기가 연동되어 있어 단순 확대가 정합을 깨뜨린다. 안경 착용자는 기기가 아이릴리프를 충분히 확보하지 않으면 아예 쓸 수 없거나 도수 인서트라는 별도 비용을 치른다. Jung 등이 2012년에 보고한 서울 19세 남성 표본의 96.5퍼센트 근시율을 보면, 동아시아 시장에서 이것은 소수 사용자의 문제가 아니다. 역방향의 기회도 있다. 증강현실은 저시력 보조 도구로서 실세계를 확대하고 대비를 강화하고 윤곽을 강조해 보여줄 수 있다. 청각 장애인에게 화자 위에 실시간 자막을 띄울 수 있다. 같은 기술이 접근성의 장벽이면서 도구다. 실무적 결론은 분명하다. 배경 휘도를 카메라로 읽어 글자 밝기와 외곽선을 실시간 조절하는 기능은 접근성 기능이 아니라 기본 기능이어야 한다. 색과 모양과 위치와 소리 중 둘 이상으로 같은 정보를 중복 부호화하는 원칙은 여기서 선택이 아니라 필수가 된다. 아동 사용은 별도의 층이다. 제조사들은 머리 착용 디스플레이에 연령 하한을 붙여 왔다. | 제조사 지침 | 연령 하한 | |---|---| | Meta Quest | 2023년 이후 10세 이상 (이전 13세) | | Apple Vision Pro | 13세 이상 | | PlayStation VR2 | 12세 이상 | 이 숫자들의 과학적 근거는 흔히 생각하는 것보다 얇다. 우려의 근거로 제시되는 것은 네 가지다. 첫째, 아동의 양안시와 조절 기능은 발달 중이며 폭주와 조절의 충돌에 장기간 노출되는 것이 발달에 어떤 영향을 주는지에 대한 장기 추적 연구가 사실상 없다. 둘째, 물리적 미스핏은 확실하다. 아동의 동공간거리는 성인 기기의 조절 하한을 밑돌아, 아이가 쓰면 렌즈 중심이 눈 바깥쪽에 놓이고 상이 왜곡되며 부적절한 폭주 요구가 생긴다. 이는 추정이 아니라 측정 가능한 사실이다. 셋째, 무게와 목 부담이다. 아동의 머리 대비 목 근력 비율은 성인과 다르다. 넷째, 광과민성 발작 위험이다. 눈에서 몇 센티미터 떨어진 화면이 시야 대부분을 채우면 플래시 자극의 망막 면적 비율이 텔레비전보다 훨씬 커진다. 광과민성 수치는 인용 사고가 잦은 영역이다. 연령 한정 수치를 전체 인구로 옮기는 오류가 특히 많다. Fisher 등이 2005년에 미국뇌전증재단 워킹그룹 명의로 낸 리뷰가 정본이다. | 항목 | 값 | |---|---| | 광자극 발작 유병률, 전 연령 | 약 1만 명당 1명 | | 같은 항목, 5~24세 | 약 4,000명당 1명 | | 뇌전증 환자가 빛·패턴으로 발작할 가능성 | 2~14% | | 인구 중 광과민성 EEG 반응 | 0.3~3% | 4,000명당 1명은 5세에서 24세 구간의 값이다. 전 연령으로는 1만 명당 1명이다. 뇌전증 환자의 약 5퍼센트가 광과민성이라는 점추정도 출처에 없는 값이다. 원문은 2에서 14퍼센트라는 구간으로 적는다. 같은 호에 실린 Harding 등의 합의문은 유병률이 아니라 플래시 위험 기준을 규정한 문서다. 두 문헌을 혼동하지 않아야 한다. | Harding 등 2005의 플래시 위험 기준 | 값 | |---|---| | 휘도 | 20 cd/m² 이상 | | 주파수 | 3 Hz 이상 | | 시각 입체각 | 0.006 sr 이상 | | 색 | 포화 적색 전환을 별도 위험으로 지정 | 콘텐츠 규범 쪽에서는 WCAG 2.1이 1초에 3회를 초과하는 번쩍임을 금지하고, ITU-R BT.1702가 방송 영상의 광과민성 위험 저감을 권고한다. 1997년 일본 애니메이션 방영 사건에서 수백 명이 병원으로 이송되고 만 명 이상이 증상을 호소한 사례가 이 규범들의 출발점이다. 정직한 결론은 이렇다. 단기 안전 문제, 즉 미스핏과 발작과 낙상은 충분히 근거가 있고 대응책도 명확하다. 장기 시각 발달 영향은 아직 데이터가 없다. 연령 하한은 예방 원칙에 따른 보수적 설정이지 실증된 임계값이 아니다. 아이에게 어른 신발을 신기고 뛰라고 하는 것과 같다. 발목을 접질릴 위험은 지금 계산할 수 있지만, 그렇게 몇 년을 자란 발이 어떻게 될지는 아무도 추적해 본 적이 없다. 교육 시장으로 들어갈 때 가장 먼저 부딪히는 벽이 이것이다. 학교 단위 도입을 검토한다면 기기의 동공간거리 조절 범위가 해당 연령대 분포를 담는지 확인하고, 노출 시간 상한과 휴식 주기를 규정하며, 광과민성 스크리닝과 보호자 고지 절차를 두어야 한다. 장기 영향에 대해서는 안전하다가 아니라 아직 모른다고 말하는 것이 정확하다. [15][16] ### 벗은 다음에도 끝나지 않는다 멀미 논의는 대개 착용 중의 증상에서 멈춘다. 그러나 시뮬레이터 인간요인 연구가 수십 년 전에 확립한 사실은, 증상의 상당 부분이 기기를 벗은 뒤에 나타나거나 지속된다는 것이다. 잔여 효과라고 부른다. 기제는 순응의 뒷면이다. 착용 중 뇌는 새로운 시각과 전정의 관계에 맞춰 내부 모델을 조정한다. 벗는 순간 세계는 원래대로 돌아왔는데 내부 모델은 조정된 상태로 남아 있다. 이제는 정상 세계가 어긋나 보인다. 배에서 내린 뒤에도 한동안 땅이 흔들리는 것처럼 느껴지는 현상과 같다. 몸이 파도에 맞춰 놓은 보정을 아직 되돌리지 못한 것이다. 나타나는 증상은 자세 불안정과 균형 저하, 손과 눈의 협응 오차, 시각 흐림과 잔상, 방향감각 혼란이다. 여기에 예고 없이 찾아오는 어지럼의 재발이 더해진다. 마지막 것이 특히 문제인데, 본인은 이미 회복했다고 믿고 운전대를 잡은 뒤에 일어나기 때문이다. | 항목 | 값 | |---|---| | 군용 시뮬레이터 노출 후 조종 금지 시간 | 통상 12~24시간 (기관·기종별 상이) | | 프리즘 적응과 그 해제 | 수십 초에서 수 분 | | 카메라 투시형의 시점 오프셋 | 카메라가 눈보다 앞·위로 놓인 수 cm |표 출처: [17] (본문 기준으로 재구성)
군용 시뮬레이터 운용 규정이 훈련 후 일정 시간 비행과 운전을 금지해 온 이유가 여기 있다. 단일 표준 수치는 없고 기관과 기종에 따라 다르다. Kennedy와 Stanney와 Dunlap이 2000년에 노출 시간에 따른 증상 곡선을 정리하고, Stanney 등이 2003년에 성별과 체질량지수와 과거 경험의 영향을 분석한 연구들이 이 영역의 기본 문헌이다. 증강현실도 예외가 아니다. 특히 시야를 광학적으로 변형하는 기기는 벗은 뒤 손 뻗기 오차를 남긴다. 배율이 있는 경우, 또는 카메라 투시형이라 영상의 시점이 실제 눈 위치와 다른 경우가 그렇다. 카메라가 눈보다 수 센티미터 앞이나 위에 있으면 그만큼의 오프셋이 손 뻗기 오차로 나타난다. 프리즘 적응 실험이 보여준 대로 적응과 해제는 수십 초에서 수 분 단위로 일어나지만, 강한 노출일수록 잔여가 길어진다. 산업 훈련이나 의료 시술 보조에 쓸 때, 착용 중 안전만 평가하고 벗은 직후 안전을 평가하지 않으면 위험을 놓친다. 프로토콜에 노출 후 대기 시간과 균형 및 협응 회복 확인 절차를 넣어야 한다. 이는 현재 대부분의 증강현실 운용 지침에서 빠져 있다. 훈련 직후 실제 장비를 조작하게 하는 운용 설계는 그 자체로 안전 문제다. 증강현실의 진짜 병목은 화소와 연산이 아니라 사람의 몸과 주의와 사회 규범이며, 이 세 가지는 성능 개선으로 뚫리지 않고 설계 제약으로 받아들여야만 통과할 수 있다. [17]본문의 번호를 누르면 출처로 이동합니다. 절 끝의 번호는 그 절의 사실 자료를, 표 아래의 번호는 표에 사용한 자료를 가리킵니다. 비교·계산·비유와 결론은 필자의 재구성입니다. 한 번호에 함께 사용한 문헌이 둘 이상이면 묶어서 적었습니다.
서지정보와 확인 메모는 옵시디언 조사 기록을 바탕으로 복원했습니다. 원 기록의 ‘전문 확인’·‘조회’ 표기는 당시 조사 상태이며 이번 웹판에서 모두 재검증했다는 뜻은 아닙니다. 불완전한 서지사항은 임의로 채우지 않았습니다.
표 출처: [1] (본문 기준으로 재구성)
무게 36g은 조심해서 읽어야 한다. 구글은 글래스의 무게를 공식 제원으로 공표한 적이 없고, 실물을 계측한 리뷰들은 대체로 42~50g대를 보고했다. 36g은 위키백과 제원표의 기재값이다. 프로젝트를 이끈 인물로 흔히 거론되는 Babak Parviz와 Thad Starner의 이름도 위키백과 글래스 문서에는 나오지 않는다. 그 문서가 이름을 드는 사람은 초판 단종 이후 재설계를 맡은 Tony Fadell이다. 그렇다면 이 기기의 도약은 무엇인가. 기술이 아니라 사회였다. 안경 수준 무게로 하루 종일 착용을 전제한 최초의 대량생산 착용형 디스플레이였고, 바로 그 때문에 이후 모든 기기가 반드시 풀어야 하는 문제를 처음 드러냈다. 카메라가 늘 켜져 있다는 인상이 만든 거부감, 'Glasshole'이라는 조롱, 공공장소 착용 금지 사례. 배터리 570mAh로는 영상을 찍으며 한 시간을 버티기 어려웠다는 한계는 오히려 부차적이었다. 소비자판이 접힌 뒤 이 기기는 Glass Enterprise Edition(2017, 2019)으로 산업 현장에서만 살아남았다. 메타가 2024년 오라이언 발표에서 "다른 사람의 눈과 표정이 보여야 한다"를 설계 원칙으로 못 박은 것은 이 실패의 직접적 상속이다. 12년 뒤의 설계 문서가 12년 전의 조롱에 답하고 있다. [1] ### 2016 · HoloLens 1세대, 인프라 없이 방을 이해하다 마이크로소프트가 2015년 1월 21일 발표하고, Development Edition을 2016년 3월 30일 출하했다. 수석 발명가는 Alex Kipman이다. Commercial Suite의 가용 개시 시점은 2016년 8월로 널리 적히지만, 이 날짜를 뒷받침하는 1차 출처를 확인하지 못했다. 마이크로소프트의 1세대 공식 제원 문서는 현재 HTTP 404로 사라졌다. 투명한 회절 도파관(diffractive waveguide) 렌즈에 상을 실어 보내는 동시에, 4대의 환경 인식 카메라와 ToF 깊이 카메라로 방을 실시간 삼각측량해 메시를 만든다. 케이블도, 외부 마커도, 베이스 스테이션도 없는 완전 독립형이다. 핵심은 HPU(Holographic Processing Unit)라는 전용 보조 칩이다. 다수의 Tensilica DSP 코어가 센서 융합과 SLAM만을 전담해 CPU를 거치지 않고 머리 위치를 추정한다. 그래서 홀로그램이 앱의 CPU 부하와 무관하게 방의 좌표계에 고정된다. 이것이 공간 앵커(spatial anchor)다. 사용자가 걸어 다녀도 홀로그램은 제자리에 남는다. DSP 코어 수는 유보해 두어야 한다. 위키백과는 "28 custom DSPs from Tensilica"로 적는데, 마이크로소프트가 Hot Chips 2016에서 직접 공개한 값으로 널리 인용되는 것은 24코어다. 28은 TSMC 28nm 공정 노드와 혼동된 수치일 가능성이 있다. 1차 자료 확인에 실패했으므로 '24 또는 28'로 둔다. | 항목 | 값 | 성격 | |---|---|---| | 시야각 | 약 30°×17.5°(대각 약 34°) | 제3자 실측 추정, MS 비공개 | | 홀로그래픽 해상도 | 2.3M 광점(light points) | MS 공식(문서 현재 404) | | 홀로그래픽 밀도 | >2.5k radiants = 라디안당 광점 | MS 공식(문서 현재 404) | | 각해상도 | 약 43.6 PPD | 2,500÷57.3 환산, 필자 계산 | | CPU | Intel Atom x5-Z8100 1GHz(Cherry Trail) | 위키백과 | | HPU | 1세대, Tensilica DSP 24 또는 28코어 | 출처 충돌, 재확인 필요 | | 메모리·저장 | RAM 2GB + HPU 1GB, 저장 64GB | 위키백과 | | 깊이 카메라 화각 | 120°×120° | 위키백과 | | 무게 | 579g | 위키백과 | | 배터리 | 사용 2~3시간, 대기 2주 | 위키백과 | | 가격 | $3,000 개발자판 / $5,000 Commercial Suite | 판매 당시 |표 출처: [2] (본문 기준으로 재구성)
마이크로소프트는 1세대 시야각을 공식 발표한 적이 없다. 그 대신 낯선 단위를 내놓았다. > Holographic density: >2.5k radiants (light points per radian) > > 홀로그래픽 밀도: 2.5k 라디안 초과(라디안당 광점 수) 라디안을 도로 환산하려면 57.3으로 나눈다. 2,500÷57.3은 약 43.6이므로 약 43.6 PPD가 된다. 이 환산은 필자의 계산이고 마이크로소프트의 서술이 아니다. 교차 검증은 가능하다. 1세대의 화면을 1268×720으로 보면 대각 화소 수는 약 1457px이고, 대각 시야 34.7°로 나누면 약 42 PPD가 나온다. 두 경로가 대략 맞아떨어진다. 한계는 두 가지였다. 시야각 30°×17.5°는 '우편함 구멍'이라 불릴 만큼 좁아 실물 규모의 구조물을 한 화면에 담을 수 없었다. 그리고 도파관의 초점면이 약 2m에 고정되어 있었다. 눈은 가까운 홀로그램을 볼 때 두 눈을 모으면서(vergence) 동시에 수정체 초점을 당겨야(accommodation) 하는데, 광학계가 초점을 2m에 붙여 두면 이 둘이 어긋난다. 이것이 VAC(vergence-accommodation conflict)이고, 가까운 거리의 홀로그램에서 눈이 피로해지는 이유다. 입력은 시선과 에어탭 제스처뿐이었고, 579g의 무게 배분과 2~3시간 배터리로는 장시간 현장 작업이 불가능했다. 그럼에도 이 기기는 계보의 분기점이다. 그 이전의 증강현실은 예외 없이 외부 인프라에 매달려 있었다. 마커, 외부 트래커, PC 테더. 안에서 밖을 보는 inside-out 6자유도 추적으로 스스로 방을 이해하고 그 위에 세계 고정형 상을 얹은 최초의 상용 기기가 여기서 나왔고, 이후 모든 기기가 이 구조를 물려받았다. [2] ### 2018 · 매직리프 원, 초점면을 둘로 쪼개다 Magic Leap One Creator Edition은 2018년 8월 8일 미국에서 AT&T 독점으로 출시되었다. 창업자는 Rony Abovitz이고 회사는 2010년 설립되었다. 투자 규모는 시점을 붙여 읽어야 한다. 흔히 인용되는 누적 조달액 약 35억 달러는 사우디 국부펀드의 7억 5천만 달러를 포함한 2024년 8월 기준 누계다. 매직리프 원이 나온 2018년 8월 시점의 누적 조달액은 약 23억 달러 수준이었다. 설계의 핵심은 여섯 층으로 적층한 도파관이다. LCoS 프로젝터의 상을 이 층들에 실어 보내되, 층들이 서로 다른 두 개의 초점면(dual focal planes)을 만든다. 눈이 가까운 물체를 볼 때는 가까운 초점면으로, 먼 물체를 볼 때는 먼 초점면으로 전환해 VAC를 완화하려는 시도였다. 두 초점면의 정확한 디옵터 값은 흔히 회자되지만 1차 출처로 확인되지 않아 여기서는 적지 않는다. 두 번째 선택은 구조 분리다. 연산부를 헤드셋에서 떼어 허리에 차는 'Lightpack'에 넣었다. 발열과 배터리 무게를 머리에서 내려놓는 방식이다. 시선 추적 카메라와 6자유도 컨트롤러가 기본으로 들어갔다. > The Magic Leap 1 uses a liquid crystal on silicon (LCOS) display for each eye. > > 매직리프 1은 각 눈마다 LCoS(실리콘 액정) 디스플레이를 사용한다. | 항목 | 값 | 성격 | |---|---|---| | 눈당 해상도 | 1280×960 | 커뮤니티 위키(2차 출처) | | 시야각 | 대각 50°(수평 40°×수직 30°) | 커뮤니티 위키(2차 출처) | | 초점면 | 2개 | 커뮤니티 위키(2차 출처) | | 디스플레이 | LCoS + 6층 도파관 | LCoS는 위키백과 확인 | | SoC | NVIDIA Tegra X2(Parker, Pascal GPU) | 위키백과는 TX2만 확인 | | 메모리·저장 | RAM 8GB(앱 가용 약 4GB), 저장 128GB(가용 95GB) | 커뮤니티 위키(2차 출처) | | 무게 | 헤드셋 316g + Lightpack 415g = 약 731g | 커뮤니티 위키(2차 출처) | | 가격 | $2,295 | 출시가 |표 출처: [5] (본문 기준으로 재구성)
이 표는 거의 전부가 2차 출처다. 매직리프 공식 개발자 문서 주소는 현재 리다이렉트 후 403을 반환해 원문 확인이 불가능하고, 위키백과 매직리프 문서에는 해상도·시야각·메모리·저장·무게가 하나도 실려 있지 않다. 이 수치들과 일치하는 것은 커뮤니티 위키 한 곳뿐이다. 값 자체는 그 위키와 전부 일치하므로 여기에 옮기되, 1차 출처가 없다는 사실을 함께 적는다. 한계는 약속과 결과의 격차였다. 초점면이 두 개뿐이라 연속적인 깊이 조절은 불가능했고, 대각 50°도 1세대 HoloLens보다 넓을 뿐 여전히 좁았다. 광계(light field)를 약속하며 20억 달러 넘게 모았지만 실제로 나온 것은 초점면 두 개짜리 도파관 기기였다. 소비자 시장 진입에 실패한 뒤 2022년 Magic Leap 2로 기업 전용 전환했다. 2세대는 대각 70°와 세그먼트 동적 디밍을 갖췄다. 계보에서 이 기기가 남긴 것은 두 가지다. 초점 거리를 디스플레이 변수로 처음 끌어들였다는 점, 그리고 헤드셋과 연산부를 물리적으로 분리하는 설계다. 후자는 이후 메타 오라이언의 컴퓨트 퍽과 Magic Leap 2의 컴퓨트 팩으로 이어졌다. [5] ### 2019 · HoloLens 2, 손가락이 좌표를 갖다 2019년 2월 24일 MWC 바르셀로나에서 발표되고 11월 7일 출하되었다. 현재 단종 상태이며 소프트웨어 지원은 2027년 12월 31일까지다. 광학 방식이 바뀌었다. MEMS 미러로 레이저를 주사(laser beam scanning)해 상을 그린 뒤 나비형 도파관으로 보내는 구조다. 시야각은 1세대의 대각 34°에서 52°로 넓어졌다. 다만 이 52°는 마이크로소프트 공식 하드웨어 문서에 없다. 그 페이지에는 시야각 항목 자체가 없고, 해상도도 "2k 3:2 light engines"까지만 적혀 있다. 52°와 눈당 1440×936은 모두 위키백과와 커뮤니티 쪽 수치다. 두 대의 적외선 카메라가 동공을 실시간 추적해 두 가지 일을 한다. 사용자의 3차원 눈 위치에 맞춰 렌더링을 보정하고, 홍채로 사용자를 식별한다. 1MP ToF 깊이 센서와 2세대 HPU가 손을 25관절 완전 관절 모델로 추적한다. 그 결과 입력의 문법이 바뀌었다. > Hand tracking: Two-handed fully articulated model, direct manipulation. Eye tracking: Real-time tracking. Eye-based rendering: Display optimization for 3D eye position. > > 손 추적: 양손 완전 관절 모델, 직접 조작. 시선 추적: 실시간 추적. 시선 기반 렌더링: 3차원 눈 위치에 맞춘 디스플레이 최적화. 이전까지 손은 탭을 보내는 클릭커였다. 여기서 처음으로 손가락 마디 하나하나가 공간 좌표를 갖고 가상 버튼을 실제로 누를 수 있게 됐다. 핀치, 그랩, 프레스라는 상호작용 문법이 이 기기에서 정리되어 이후 퀘스트와 비전 프로와 스펙터클스의 표준이 됐다. 완전 관절형 양손 추적과 시선 추적을 동시에 기본 탑재한 최초의 상용 기기다. | 항목 | 값 | 성격 | |---|---|---| | 시야각 | 대각 52° | 위키백과, MS 공식 문서에 없음 | | 광학엔진 | 2k 3:2 | MS 공식 | | 눈당 화소 | 1440×936 | 2차 출처 추산 | | 홀로그래픽 밀도 | >2.5k radiants | MS 공식 | | SoC | Snapdragon 850 + Adreno 630 | MS 공식 | | HPU 2.0 | 트랜지스터 20억, 다이 79mm², SRAM 125Mb(약 15.6MB), >1 TOPS | 위키백과·Hot Chips | | 메모리·저장 | 4GB LPDDR4x, 64GB UFS 2.1 | MS 공식 | | 헤드 트래킹 카메라 | 4대, 초점거리 1.08mm, 대각 96.1°, 베이스라인 98.6mm | MS 공식 | | 시선 추적 | IR 카메라 2대 | MS 공식 | | 깊이 | 1MP ToF | MS 공식 | | 카메라·마이크 | 8MP 스틸 / 1080p30, 마이크 5채널 | MS 공식 | | 무게 | 566g | MS 공식 | | 배터리·전원 | 2~3시간, 18W(9V 2A) | MS 공식 | | 가격 | $3,500 | 판매 당시 |표 출처: [6] (본문 기준으로 재구성)
HPU 2.0의 SRAM은 자주 잘못 인용된다. 출처 원문은 125 Mb, 즉 125 메가비트다. 바이트로 환산하면 약 15.6MB다. 이것을 125MB로 옮기면 여덟 배 과장이 된다. 같은 문단의 트랜지스터 20억 개, 다이 79mm², 초당 1조 연산 이상은 출처와 일치한다. 각해상도는 내부 산술이 맞지 않는다. 1세대에서 쓰던 43.6 PPD를 2세대에 그대로 옮겨 적는 자료가 많은데, 눈당 1440×936의 대각 화소 수는 약 1717px이고 이를 대각 52°로 나누면 약 33 PPD다. 43.6 PPD는 2048px급 광학엔진을 가정해야 나오는 값이다. 위키백과 HoloLens 2 문서는 실측 각해상도가 20 PPD에 미치지 않는다는 반론까지 함께 싣고 있다. 넓힌 시야각의 대가를 화소 밀도로 치렀다는 뜻이다. 52°로 넓어져도 실물 규모의 공간을 덮기엔 좁았고, 초점면은 여전히 하나였다. 566g과 2~3시간 배터리, $3,500의 가격 탓에 기업과 군수용에 머물렀다. 레이저 주사 특유의 색 균일도 편차와 도파관 무지개 현상도 지적됐다. [6] ### 2021 · 바르요 XR-3, 눈의 해상도 한계를 넘다 핀란드 Varjo Technologies가 2020년 12월 발표하고 2021년 출하했다. 현재 XR-4로 대체되어 단종 상태다. 출발점은 생리학이다. 사람의 눈은 중심와(fovea) 약 2~3° 범위에서만 최고 해상도로 보고 주변으로 갈수록 급격히 흐려진다. 대부분의 기기는 이 사실을 렌더링 소프트웨어로 이용한다. 바르요는 광학 하드웨어로 구현했다. 한 눈에 두 개의 패널을 광학적으로 겹쳐, 시야 중앙에는 초고밀도 마이크로 OLED를, 그 바깥에는 넓은 LCD를 배치한 바이오닉 디스플레이다. > Focus area (27° x 27°): 1920 x 1920 px per eye at 70 PPD uOLED; peripheral area: 2880 x 2720 px per eye at over 30 PPD LCD. Eye tracking: 200 Hz with sub-degree accuracy; 1-dot calibration for foveated rendering. > > 포커스 영역(27°×27°): 눈당 1920×1920 픽셀, 70 PPD 마이크로 OLED. 주변 영역: 눈당 2880×2720 픽셀, 30 PPD 이상 LCD. 시선 추적: 200Hz, 1도 미만 정확도, 포비티드 렌더링용 1점 캘리브레이션. | 항목 | 값 | 성격 | |---|---|---| | 포커스 영역 | 27°×27°, 눈당 1920×1920 μOLED, 70 PPD | 바르요 공식 | | 주변 영역 | 눈당 2880×2720 LCD, 30 PPD 이상 | 바르요 공식 | | 수평 시야각 | 115° | 바르요 공식 | | 색역 | 99% sRGB / 93% DCI-P3 | 바르요 공식 | | 시선 추적 | 200Hz, 1° 미만 정확도, 1점 캘리브레이션 | 바르요 공식 | | 깊이 | LiDAR + RGB 융합, 40cm~5m | 바르요 공식 | | 패스스루 | 듀얼 12MP, 90Hz | 바르요 공식 | | 무게 | 헤드셋 594g + 헤드밴드 386g | 바르요 공식 |표 출처: [7] (본문 기준으로 재구성)
70 PPD는 앞서 세운 기준선 60 PPD를 넘는다. 사람 눈의 해상도 한계인 1아크분보다 촘촘하다는 뜻이고, 중앙 시야에서는 화소가 원리적으로 보이지 않는다. 도면의 작은 글자와 재질 질감을 판독해야 하는 검토 작업에서 이 차이는 결정적이다. 200Hz 시선 추적이 눈이 향한 곳을 읽어 GPU가 그 지점만 고해상도로 그린다. 실사 합성은 12MP 패스스루 카메라 두 대를 90Hz로 돌리고 LiDAR와 RGB를 융합해 40cm에서 5m 구간의 깊이를 얻어, 실물이 가상 물체를 가리는 처리를 한다. 한계는 무게와 사슬이다. PC 테더가 필수라 독립 구동이 불가능하고, 헤드셋과 헤드밴드를 합치면 약 980g으로 장시간 착용이 어렵다. 포커스 패널과 주변 패널의 경계선이 시야를 움직일 때 인지된다. 가격과 정확한 출하 시점은 현행 공식 페이지에서 확인되지 않는다. 통상 $5,495에 연간 구독이 붙는 구조로 알려져 있으나 이는 확인하지 못했고, 위키백과는 2020년 12월 출시만 기재한다. 어느 쪽이든 개인이 접근할 가격대가 아니었다. [7] ### 2022 · 퀘스트 프로, 시선 추적이 대중 가격대로 메타 리얼리티 랩스가 2022년 10월 11일 공개하고 10월 25일 출시했다. 2024년 9월 단종, 2025년 1월 판매 종료. 메타 제품 최초로 팬케이크(pancake) 광학계를 채택했다. 편광을 이용해 빛을 반투과 거울과 반사 편광판 사이에서 세 번 접어 왕복시키는 방식이다. 광학 경로 길이는 유지하면서 패널과 렌즈의 물리 거리를 크게 줄일 수 있어, 본체 두께가 Quest 2 대비 약 40% 얇아졌다. > Technology: 2x MiniLED LCD w/ Quantum Dot layer + >500 zone FALD. Pancake lenses enabling a 40% thinner enclosure versus Quest 2. > > 디스플레이 방식: 퀀텀닷 층을 얹은 미니LED LCD 2장 + 500존 이상 전면 로컬 디밍. 팬케이크 렌즈로 Quest 2 대비 본체 두께 40% 감소. 안쪽을 향한 카메라가 시선 추적과 얼굴 표정 추적을 동시에 수행한다. 시선 기반 포비티드 렌더링과 아바타의 눈맞춤이 여기서 대중 브랜드에 들어왔다. | 항목 | 값 | |---|---| | 눈당 해상도 | 1800×1920 | | 주사율 | 72~90Hz | | 디스플레이 | 미니LED LCD + 퀀텀닷 + 500존 이상 FALD | | 광학 | 팬케이크 렌즈, 본체 40% 박형화 | | SoC | Snapdragon XR2+ Gen 1 | | 메모리·저장 | 12GB LPDDR5, 256GB | | 무게 | 722g | | 배터리 | 1~2시간 | | 가격 | $1,499.99 → 2023년 3월 $999.99 |표 출처: [8] (본문 기준으로 재구성)
이 표의 값은 모두 공개 제원과 일치한다. HoloLens 2가 $3,500 기업용 기기에서 보여준 시선 추적을, 절반 이하 가격대의 소비자 생태계로 끌어내린 것이 이 제품의 몫이다. 1년 뒤 비전 프로의 '보고 집는' 입력이 시장에서 낯설지 않았던 이유가 여기에 있다. 상업적으로는 실패했다. 컬러 패스스루가 노이즈가 많고 해상도가 낮아 실물 판독에 쓸 수 없었다. 722g에 배터리 1~2시간, $1,499라는 조합이 받아들여지지 않아 2년 만에 단종됐다. 얼굴 추적은 이를 쓰는 콘텐츠가 부족해 끝까지 활용되지 못했다. [8] ### 2023 · 퀘스트 3, 깊이 센서가 500달러에 들어오다 2023년 6월 1일 공개, 10월 10일 출시. 눈당 2064×2208 LCD와 2매 구성 팬케이크 렌즈를 쓰고, 전면에 4MP RGB 카메라 두 대와 적외선 구조광 깊이 센서를 달았다. 깊이 센서가 핵심이다. 방의 3차원 메시를 자동으로 만들어, 가상 물체가 실제 소파나 벽 뒤로 자연스럽게 가려지게 한다. 퀘스트 3에서 패스스루는 배경 영상이 아니라 기하학적으로 이해된 공간이 됐다. 다만 이것은 광학 투과가 아니라 영상 투과다. 사용자가 보는 현실은 끝까지 카메라가 재구성한 화면이다. > 2× 2064×2208p RGB-stripe LCD+ panels, one per eye > > 눈당 1장씩, 2064×2208p RGB 스트라이프 LCD+ 패널 2장 | 항목 | 값 | |---|---| | 눈당 해상도 | 2064×2208 RGB 스트라이프 LCD | | 주사율 | 90~120Hz | | 광학 | 팬케이크 2매 구성, IPD 53~75mm 무단 조절 | | 패스스루 | 4MP RGB 카메라 2대 | | 트래킹 | IR 카메라 4대, 각 400×400px | | 깊이 | IR 구조광 센서 1개 | | SoC | Snapdragon XR2 Gen 2 + Adreno 740 @640MHz | | 메모리 | 8GB LPDDR5 | | 무게 | 515g | | 무선 | Wi-Fi 6E, Bluetooth 5.2 | | 가격 | $499.99(128GB) / $649.99(512GB) |표 출처: [9] (본문 기준으로 재구성)
화소 수 증가분은 산술로 확인된다. Quest 2는 1832×1920으로 약 352만 화소, Quest 3은 2064×2208로 약 456만 화소다. 증가율은 약 29.5%이므로 '약 30% 증가'라는 표현이 맞다. 시야각과 각해상도는 흔히 수평 110°·수직 96°, 약 25 PPD로 인용되지만 공식 페이지 접근이 막혀 확인하지 못했으므로 여기에 적지 않는다. 이 기기의 의미는 가격이다. HoloLens 2의 7분의 1 가격에 더 높은 화소 수를 제공했고, 깊이 센서를 소비자 헤드셋에 처음 넣어 '스캔 절차 없이 방을 이해하는' 경험을 표준으로 만들었다. 설계 실무에서 여러 대를 동시에 대여하거나 보급하는 것이 현실적으로 가능해진 최초의 기기이기도 하다. 한계는 형태에서 온다. 영상 투과이므로 현실은 카메라 지연과 왜곡, 저조도 노이즈를 거친 상태로 보인다. 515g이 전면에 실리고 배터리는 두 시간 남짓이다. 눈을 완전히 가리는 형태라 실외 답사에서는 안전상 제약이 크다. 깊이 센서의 유효 거리도 실내 규모에 맞춰져 있어 넓은 옥외 공간 인식에는 맞지 않는다. [9] ### 2024 · 비전 프로, 12밀리초 애플이 2023년 6월 5일 WWDC에서 발표하고 2024년 2월 2일 미국에서 출시했다. M5 개정판은 2025년 10월 15일 발표되고 10월 22일 선별 지역에서 판매를 시작했다. 발표일과 출시일은 구분해 적는 편이 정확하다. 뼈대는 칩의 분업이다. M2가 앱과 OS를 돌리는 동안, 센서 융합만 담당하는 R1 칩이 카메라 12대와 센서 5개, 마이크 6개의 입력을 받아 12밀리초 안에 디스플레이로 새 영상을 밀어낸다. > R1 streams new images to the displays within 12 milliseconds — 8x faster than the blink of an eye. > > R1은 새 영상을 12밀리초 안에 디스플레이로 전송한다. 눈 깜빡임보다 여덟 배 빠르다. 이 수치가 도약의 본질이다. 카메라로 찍은 현실을 눈에 되돌려 주기까지의 지연을 멀미 임계 아래로 낮췄고, 우표 크기 실리콘 웨이퍼에 7.5마이크로미터 화소 피치로 만든 마이크로 OLED와 결합되어, 패스스루 화면을 통해 종이의 글씨를 읽을 수 있는 수준에 처음 도달했다. 적외선 카메라 4대와 LED 링이 동공에 보이지 않는 패턴을 쏘아 시선을 읽고, 그 시선이 커서가 되어 손가락 핀치가 클릭을 대신하므로 컨트롤러가 없다. 시선과 손만으로 OS 전체를 조작하는 최초의 주류 제품이다. 바깥쪽 곡면 OLED에 렌티큘러 렌즈를 덮어 착용자의 눈을 외부에 재현하는 EyeSight는, 구글 글래스가 남긴 사회적 고립 문제에 대한 하드웨어적 응답으로 읽힌다. 세대별 수치는 반드시 분리해야 한다. 두 세대를 섞어 적는 자료가 많고, 그것이 오독의 주된 원인이다. | 항목 | M2 초판(2024) | M5 개정판(현행 공식) | |---|---|---| | 총 화소 | 2,300만(애플 공식) | 2,300만 | | 눈당 해상도 | 약 3,660×3,200(iFixit 실측, 애플 미공개) | 동일 계열 | | 화소 피치 | 7.5μm(애플 공식) | 7.5μm | | 색역 | 92% DCI-P3 | 92% DCI-P3 | | 주사율 | 90 / 96 / 100Hz | 90 / 96 / 100 / 120Hz | | 메인 SoC | M2, 8코어 CPU(성능 4 + 효율 4), 10코어 GPU, 16코어 Neural Engine, 통합메모리 16GB, 대역폭 100GB/s | M5, 10코어 CPU(super 4 + efficiency 6), 10코어 GPU, 대역폭 153GB/s | | 보조 SoC | R1, 메모리 대역폭 256GB/s, 광자 대 광자 지연 12ms | R1 동일 | | 무게 | 600~650g(구성에 따라 변동) + 외장 배터리 353g | 750~800g(26.4~28.2온스) | | 배터리 | 일반 2시간 / 영상 2.5시간 | 일반 최대 2.5시간 / 영상 최대 3시간 | | 가격 | 출시가 $3,499 | 2026년 6월 $3,699(256GB)로 인상 |표 출처: [3] (본문 기준으로 재구성)
대역폭 256GB/s는 자주 M칩에 잘못 붙는다. 애플 공식 제원 페이지는 이 값을 R1 항목에 적는다. 비전 프로에 들어간 M2의 대역폭은 128비트 버스 기준 100GB/s이고, 현행 M5 페이지는 153GB/s로 적는다. 즉 256GB/s는 센서 융합 전용 칩의 값이다. 무게 차이도 조심해야 한다. 2024년 1월 공식 아카이브판은 600~650g, 2026년 9월 현행 페이지는 750~800g을 표시하는데, 이 차이가 밴드 포함 여부 때문인지 실제 증량인지는 확인하지 못했다. 눈당 약 3,660×3,200은 애플의 수치가 아니다. iFixit이 2024년 2월 7일 분해 영상에서 실측한 값이고, 애플이 공식으로 말하는 것은 2,300만 화소와 7.5마이크로미터 화소 피치뿐이다. 시야각도 애플이 발표한 적 없다. 약 100°×73°라는 값이 널리 돌지만 출처의 신뢰도가 낮아 제3자 추정으로만 표기한다. 한계는 무게와 사슬과 밝기다. 얼굴에 얹히는 수백 그램, 케이블로 연결된 353g 외장 배터리, 두 시간 남짓한 사용 시간이 현장 활용을 막는다. EyeSight는 렌티큘러로 화면을 분할하는 구조상 어둡고 해상도가 낮다고 iFixit이 지적했다. 광학 투과가 아니므로 밝은 옥외에서는 카메라의 노출 한계가 그대로 드러난다. [3] ### 2024 · 스펙터클스 5세대, 226그램의 독립 구동 스냅이 2024년 9월 17일 Snap Partner Summit에서 공개하고 같은 날 개발자에게 배포를 시작했다. 같은 해 오라이언보다 여드레 앞선다. 스냅이 자체 설계한 옵티컬 엔진은 아주 작은 LCoS 마이크로 프로젝터의 상을, 수십억 개의 나노 구조가 새겨진 도파관을 통해 눈으로 밀어 넣는다. 이 나노 구조 덕분에 사용자마다 별도의 광학 캘리브레이션이나 맞춤 피팅 없이 바로 쓸 수 있다. 연산은 칩 하나가 아니라 스냅드래곤 두 개를 병렬로 두어 분산시키고, 티타늄 증기챔버로 열을 뺀다. 주변 밝기에 따라 렌즈 틴트가 자동으로 짙어져 직사광선 아래에서도 상이 보인다. > The Optical Engine delivers a 46 degree diagonal field of view with a 37 pixel-per-degree resolution – similar to a 100 inch display just 10 feet away. ... Spectacles deliver up to 45 minutes of continuous standalone runtime. ... An astounding 13 millisecond motion-to-photon latency renders Lenses with incredible accuracy. > > 옵티컬 엔진은 대각 46도의 시야각과 도당 37픽셀의 해상도를 제공한다. 10피트(약 3m) 거리에 100인치 화면을 둔 것과 비슷하다. … 스펙터클스는 최대 45분간 독립 연속 구동한다. … 놀라운 13밀리초의 모션-투-포톤 지연으로 렌즈를 대단히 정확하게 렌더링한다. | 항목 | 값 | |---|---| | 무게 | 226g | | 시야각 | 대각 46° | | 각해상도 | 37 PPD, 10피트 거리 100인치 화면 상당 | | 디스플레이 | LCoS 마이크로 프로젝터 + 나노구조 도파관 | | 카메라 | 4대, 공간 인식과 손 추적 | | SoC | 듀얼 스냅드래곤 구조 | | 방열 | 티타늄 증기챔버 | | 독립 구동 | 연속 45분 | | 모션-투-포톤 | 13ms | | 배포 조건 | 개발자 프로그램 월 $99, 1년 약정 |표 출처: [10] (본문 기준으로 재구성)
이 값들은 스냅 공식 발표와 일치한다. 의미는 세 겹이다. VR 헤드셋의 절반 이하 무게로 완전 독립 구동하는 양안 광학 투과 안경을, 연구실 프로토타입이 아니라 공개 프로그램으로 실제 배포한 최초 사례다. 37 PPD는 HoloLens 2의 공표 밀도에 근접하는 값을 안경 형태에서 냈다는 뜻이고, 13ms 모션-투-포톤은 비전 프로의 12ms와 같은 급이다. 한계는 시간이다. 연속 구동 45분은 현장 작업에서 결정적 제약이다. 대각 46°의 시야각, 그리고 개발자 전용 월 $99 구독에 1년 약정이라는 구조 때문에 일반 소비자는 구매할 수 없었다. 밝기 수치는 스냅이 공개하지 않았다. [10] ### 2024 · 오라이언, 탄화규소와 근전도 메타가 2024년 9월 25일 Meta Connect에서 공개했다. 구 코드명은 Project Nazare다. 판매되지 않았고 사내와 선별된 외부 대상의 개발 키트로만 존재한다. 핵심 발명은 재료다. 도파관 기판을 유리가 아닌 광학급 탄화규소(silicon carbide)로 바꿨다. 도파관이 전반사로 가둘 수 있는 각도 범위는 굴절률에 비례하는데, 탄화규소의 굴절률은 약 2.6으로 일반 광학유리보다 훨씬 높다. 같은 두께에서 더 넓은 시야각을 만들 수 있고, 고굴절 유리에서 흔한 무지개 산란도 줄어든다. > Our breakthrough refinement of silicon carbide has enabled an approximately 70 degree field of view, the widest FOV in an AR glasses form factor to date, while enabling an optical stack which minimizes stray light effects such as rainbows. > > 우리가 이룬 탄화규소 정제 기술의 돌파구는 약 70도의 시야각을 가능하게 했다. 이는 지금까지 안경 형태의 AR 기기 중 가장 넓은 시야각이며, 동시에 무지개 같은 미광 현상을 최소화하는 광학 구조를 구현했다. 광원은 관자놀이 안에 들어갈 만큼 작고 효율 높은 마이크로LED 프로젝터이고, 프레임은 마그네슘이다. 무거운 연산은 무선 컴퓨트 퍽으로 내보낸다. 입력은 음성과 시선과 손 추적에 더해 손목에 차는 EMG 밴드가 담당한다. 이 밴드 덕분에 손이 카메라 시야 밖에 있거나 어두워도 손가락의 미세 동작이 읽힌다. | 항목 | 값 | 성격 | |---|---|---| | 시야각 | 약 70°, 축 미명시 | 메타 공식 | | 도파관 재료 | 광학급 탄화규소 | 메타 공식 | | 광원 | 마이크로LED 프로젝터 | 메타 공식 | | 프레임 | 마그네슘 | 메타 공식 | | 입력 | 음성 + 시선 + 손 추적 + EMG 손목밴드 | 메타 공식 | | 연산 | 무선 컴퓨트 퍽 별도 | 메타 공식 | | 시야각 축 | 수평 70° × 수직 52° | 2차 출처 추정 | | 무게 | 98g | 보도·2차 출처, 메타 미공개 | | 각해상도 | 약 13 PPD | 2차 출처, 메타 미공개 | | 배터리 | 2~3시간 | 2차 출처, 메타 미공개 | | 제조원가 | 약 $10,000/대 | 보도, 메타 미공개 |표 출처: [4] (본문 기준으로 재구성)
이 표의 위아래를 나누는 선이 이 장에서 가장 중요한 선이다. 메타 공식 페이지가 직접 말하는 것은 약 70도 시야각, 광학급 탄화규소 렌즈, 마이크로LED 프로젝터, 마그네슘 프레임, 컴퓨트 퍽, EMG 손목밴드까지다. 무게와 PPD와 원가와 배터리는 메타가 일절 공개하지 않았고, 밝기와 해상도 화소 수도 공개한 바 없다. 심지어 메타 뉴스룸의 발표문에는 정량 수치가 하나도 없다. 시야각조차 '지금까지 가장 작은 AR 안경 형태에서 가장 넓은 시야각'이라는 정성 표현으로만 서술된다. 70°와 탄화규소와 마그네슘은 제품 페이지 쪽에만 실재한다. 비교는 그래서 조심스럽다. 2차 출처 기준 98g을 받아들이면 HoloLens 2(대각 52°, 566g)보다 시야는 넓고 무게는 약 6분의 1이다. 이 대비가 오라이언을 유명하게 만들었지만, 98g은 메타의 값이 아니다. 한계는 메타 자신이 말했다. 제조 공정이 너무 복잡하고 비싸서 소비자 판매를 포기했다고 밝혔다. 그리고 2차 출처 기준 약 13 PPD는 60 PPD 기준선의 5분의 1 수준이다. 세밀한 도면이나 작은 글자는 읽기 어렵다는 뜻이다. 무선 퍽이 반드시 따라와야 한다는 제약도 남았다. 그럼에도 계보에서 오라이언의 자리는 분명하다. 안경 형태를 유지한 채 약 70°의 시야각을 낸 최초의 광학 투과 안경이고, sEMG 손목밴드라는 신경 입력을 제품 수준으로 시연해 카메라가 손을 봐야만 하는 제스처 입력의 근본 제약을 깼다. [4] ### 2025 · 레이밴 디스플레이, 신경 입력이 매장에 들어오다 메타와 EssilorLuxottica가 2025년 9월 17일 Meta Connect에서 발표하고 9월 30일 미국에서 판매를 시작했다. 캐나다, 프랑스, 이탈리아, 영국으로는 2026년 초 확대가 예고됐다. 이 제품은 오라이언에서 상용화 가능한 두 조각만 떼어낸 것이다. 작은 디스플레이와 EMG 입력. 오른쪽 렌즈 안에 단안 컬러 디스플레이가 들어가며, 필요할 때만 켜지고 평소에는 사라진다. 조작은 안경을 만지지 않고 손목의 Meta Neural Band가 담당한다. 이 밴드는 근육이 수축할 때 피부 표면에 나타나는 전위, 즉 표면 근전도(sEMG)를 읽어 손가락의 미세한 움직임을 명령으로 번역한다. 주머니 속이나 책상 아래에서도 조작이 된다. > Meta Neural Band is the product of years of surface electromyography (EMG) research with nearly 200,000 research participants. > > 메타 뉴럴 밴드는 20만 명에 가까운 연구 참가자와 함께한 수년간의 표면 근전도(EMG) 연구의 산물이다. 원문은 nearly 200,000이다. 20만 명에 근접하는, 즉 20만 미만이라는 뜻이므로 '약 20만 명'이라고 쓰면 방향이 반대로 읽힐 수 있다. | 항목 | 값 | 성격 | |---|---|---| | 가격 | $799(안경 + Neural Band 포함) | 메타 공식 | | 안경 배터리 | 혼합 사용 최대 6시간, 충전 케이스 포함 총 30시간 | 메타 공식 | | Neural Band | 최대 18시간, IPX7 방수 | 메타 공식 | | 렌즈 | Transitions 변색 | 메타 공식 | | sEMG 연구 참가자 | 20만 명에 근접 | 메타 공식 | | 미국 오프라인 판매처 | Best Buy, LensCrafters, Sunglass Hut, Ray-Ban Store, Verizon(예정) | 메타 공식 | | 디스플레이 | LCoS 600×600, 5,000니트, OmniVision 패널, Lumus 도파관 | 산업 매체 보도, 2차 출처 | | 시야각 | 20도, 축 한정 없음 | 산업 매체 보도, 2차 출처 |표 출처: [11] (본문 기준으로 재구성)
각해상도를 둘러싼 주의가 하나 필요하다. 이 제품의 각해상도를 42 PPD로 적는 자료가 돌지만, 원 기사는 42 PPI(인치당 화소)로 쓰고 있고 시야각도 '20도'라고만 하며 대각인지 수평인지를 밝히지 않는다. 600×600 정사각 패널의 대각 화소 수 848px을 20°로 나누면 42.4가 나와 숫자가 정확히 맞아떨어지므로 PPI가 PPD의 오기일 가능성이 높다. 그러나 이 환산은 계산에 의한 추론이고 출처의 서술이 아니다. 한계는 명확하다. 단안이고 시야각이 20도에 불과해 공간에 고정되는 상을 표시하지 못한다. Azuma(1997)의 3차원 정합 조건을 충족하지 않는, 헤드업 디스플레이에 가까운 기기다. 디스플레이 해상도와 밝기, 도파관 공급사는 메타 공식 자료가 아니라 산업 매체 보도에 근거한다. 그런데도 이 제품은 입력 방식의 역사에서 한 칸을 차지한다. 연구 단계였던 sEMG 입력이 처음으로 소매점 진열대에 올라왔다. 스마트폰 액세서리 가격대에서 디스플레이와 신경 입력을 한 묶음으로 일반 소비자에게 판매한 최초의 제품이며, 그 점에서 마우스와 터치스크린과 같은 층위의 사건으로 볼 만하다. [11] ### 2026 · 스냅 SPECS, 132그램 연혁을 순서대로 적어야 오독이 없다. 스냅은 2025년 6월 AWE에서 2026년에 소비자용 AR 안경을 판매하겠다고 처음 공표했다. 2026년 1월 28일 자회사 Specs Inc.를 설립했다. 2026년 6월 제품을 공개하고 선주문을 열었다. 6월 며칠인지는 1차 출처로 확인되지 않는다. 2026년 9월 현재 미국, 영국, 프랑스에서 선주문 단계이고 배송은 시작되지 않았다. 예상 배송은 2026년 가을이다. 2024년 개발자판과 같은 나노구조 광학 투과 도파관을 유지하면서 시야각을 넓히고 무게를 줄였다. > A see-through waveguide with billions of nanostructures provides a large, vibrant 51° field of view, equivalent to a 115-inch cinema screen placed about ten feet away. > > 수십억 개의 나노 구조를 지닌 시스루 도파관이 크고 선명한 51도의 시야각을 제공한다. 약 10피트(3m) 거리에 115인치 극장 화면을 둔 것과 같다. | 항목 | 값 | |---|---| | 시야각 | 51°, 약 3m 거리 115인치 스크린 상당 | | 무게 | 132g(47mm Narrow Fit) / 136g(52mm Wide Fit) | | 프레임 | 스위스산 TR90 폴리머, 코받침 교체 방식 | | 음향 | 고SNR MEMS 마이크 6개 + 관자놀이 내장 스테레오 스피커 | | 색 표현 | 1,600만 색 | | 선주문 지역 | 미국, 영국, 프랑스 | | 반품·보증 | 반품 14일, 보증 1년 |표 출처: [12] (본문 기준으로 재구성)
두 해 사이의 변화가 이 기기의 논점이다. 무게는 226g에서 132g으로 약 42% 줄었고, 시야각은 46°에서 51°로 넓어졌다. 보통 이 둘은 반대로 움직인다. 132g은 오라이언의 2차 출처 기재값 98g과 일반 선글라스 30~50g 사이에 놓이므로, 광학 투과 안경이 개발자 장비에서 일상 착용물로 넘어가는 구간에 들어섰다고 읽을 수 있다. 한계는 정보의 공백이다. 2026년 9월 말 현재 스냅은 가격, 배송 일정, 각해상도, 밝기, 프로세서, 배터리 지속시간을 하나도 공개하지 않았다. 선주문은 환불 가능한 보증금 단계이며 주문 확정이 아니다. 실제 성능은 아직 검증할 수 없다. 앞선 세대에서 45분에 그쳤던 독립 구동 시간이 얼마나 늘었는지가 특히 확인되지 않았고, 그 값 없이는 현장 사용 가능성을 판단할 수 없다. [12] ### 공식값과 추정치, 이 선을 왜 긋는가 한 대의 기기를 설명하는 숫자들은 성격이 서로 다르다. 제조사가 공식 제원으로 공표한 값, 제조사가 정성 표현으로만 말한 값, 제3자가 실측한 값, 커뮤니티 위키가 모은 값, 기자가 취재원에게 들은 값. 이것을 한 표에 섞으면 표는 읽기 좋아지고 신뢰도는 사라진다. | 유형 | 예 | 어디까지 믿을 수 있나 | |---|---|---| | 제조사 공식 제원 | HoloLens 2 566g, 18W / 비전 프로 2,300만 화소 / 스펙터클스 37 PPD·13ms | 값 자체는 신뢰. 단 세대와 시점 확인 필요 | | 제조사 정성 표현 | 오라이언 '가장 작은 형태에서 가장 넓은 시야각' | 비교 근거로 쓸 수 없음 | | 제조사 비공개 항목 | HoloLens 1 시야각 / 비전 프로 시야각 / 오라이언 무게·PPD | 공식값이 존재하지 않음 | | 제3자 실측 | 비전 프로 눈당 약 3,660×3,200(iFixit) | 조건과 방법이 명시되면 신뢰 가능 | | 커뮤니티 위키 | 매직리프 원 제원 대부분 | 1차 출처 없음을 병기해야 함 | | 언론 보도 | 오라이언 98g·$10,000 / 레이밴 디스플레이 패널 제원 | 2차 출처로만 표기 | | 필자 환산값 | HoloLens 1의 43.6 PPD / 레이밴 디스플레이의 42 PPD | 계산 근거를 함께 적어야 함 |표 출처: [2][5][7][3][4][10][11][12] (본문 기준으로 재구성)
이 장에서 실제로 걸러낸 오류만 모아 보면 선을 그어야 하는 이유가 드러난다. 256GB/s를 메인 칩의 대역폭으로 적으면 센서 융합 전용 칩의 성능을 앱 성능으로 착각하게 된다. 125 Mb를 125MB로 옮기면 여덟 배가 부풀고, 그 값으로 다른 칩과 비교하면 결론이 뒤집힌다. 2024년 기준 누적 투자액을 2018년 제품 옆에 적으면 그 제품이 실제로 쓴 돈을 50% 이상 과장한다. 43.6 PPD를 1세대에서 2세대로 그대로 옮기면, 시야각을 넓히는 대가로 화소 밀도를 내놓았다는 가장 중요한 사실이 지워진다. 어느 것도 악의가 필요한 실수가 아니다. 출처를 잃은 숫자는 반드시 이런 방식으로 미끄러진다. 문서가 사라지는 문제도 있다. HoloLens 1세대의 공식 제원 페이지는 지금 404를 반환한다. 2.3M 광점과 2.5k radiants는 현재 검증 가능한 1차 출처가 없는 상태이고, 남은 것은 아카이브와 2차 인용뿐이다. 10년 전 제품의 공식값이 이미 이 상태다. 한 가지 더. 이 장의 수치 가운데 일부는 확인에 실패한 채 남았다. HPU 1세대의 DSP 코어 수가 24인지 28인지, HoloLens 1의 Commercial Suite가 정확히 언제 열렸는지, 구글 글래스의 실제 무게가 몇 그램인지, 매직리프 원의 두 초점면이 몇 디옵터였는지, 바르요 XR-3의 정가가 얼마였는지, 스냅 SPECS의 발표 날짜가 6월 며칠인지. 확인하지 못한 것을 확인한 것처럼 적지 않는 편이, 빈칸을 남기는 쪽보다 낫다. [2][5][7][3][4][10][11][12] ### 무엇이 남고 무엇이 사라졌는가 열두 대를 다섯 축으로 겹쳐 보면 흐름이 보인다. | 축 | 계보의 방향 | |---|---| | 공간 이해 | 없음(2012) → inside-out 6자유도 SLAM(2016) → 깊이 센서로 자동 메시(2023) | | 시야각 | 단안 고정 화면 → 대각 34°(2016) → 52°(2019) → 광학 투과 안경 51~70°(2024~2026) | | 각해상도 | 43.6 PPD 환산(2016) → 70 PPD 중심와(2021) → 안경 형태에서는 13~37 PPD로 후퇴 | | 투과 방식 | 광학 투과 → 영상 투과(2022~2024, 화질 확보) → 광학 투과로 회귀(2024~) | | 입력 | 터치·음성 → 시선 + 에어탭 → 양손 완전 관절 + 시선 → 시선 + 핀치 → 신경(sEMG) |표 출처: [1][2][5][6][7][8][9][3][4][10][11][12] (본문 기준으로 재구성)
이어진 것은 다섯 가지다. inside-out 6자유도 추적, 센서 융합 전용 보조 칩, 팬케이크와 도파관으로 광학 경로를 접는 설계, 연산부를 몸에서 분리하는 구조, 손과 눈으로 직접 조작하는 문법. 오늘 나오는 기기 어디에도 이 다섯 가지가 빠져 있지 않다. 끊긴 것도 있다. 매직리프가 시도한 복수 초점면은 두 개에서 더 늘지 않았고, 이후 주류 기기는 VAC를 해결하는 대신 초점을 하나로 고정하고 그 피로를 감수하는 길을 택했다. 퀘스트 프로의 얼굴 표정 추적은 이를 쓰는 콘텐츠가 없어 단종과 함께 사라졌다. 구글 글래스의 단안 상시 화면은 10년 뒤 레이밴 디스플레이로 돌아왔지만, 돌아온 것은 화면이 아니라 화면을 켜고 끄는 절제와 손목의 신경 입력이었다. 가장 정직한 관찰은 무게와 시간에 있다. 2016년의 579g에서 2026년의 132g까지 무게는 확실히 줄었다. 그러나 독립 구동 시간은 2016년 2~3시간에서 2024년 스펙터클스 45분으로 오히려 짧아졌고, 2026년 모델의 값은 아직 공개되지 않았다. 계보가 열 해 동안 해결하지 못한 것은 시야각도 해상도도 아니라 전원이다. [1][2][5][6][7][8][9][3][4][10][11][12] ### 한 문장 착용형 표시 장치의 계보는 성능이 좋아진 기록이 아니라, 공간 이해와 시야각과 각해상도와 투과 방식과 입력이라는 다섯 축 사이에서 매 세대가 무엇을 포기했는지를 남긴 기록이며, 그 포기의 목록은 제조사 공식값과 제3자 추정치를 갈라 놓고 볼 때에만 제대로 읽힌다. [1][3][4][11][12]본문의 번호를 누르면 출처로 이동합니다. 절 끝의 번호는 그 절의 사실 자료를, 표 아래의 번호는 표에 사용한 자료를 가리킵니다. 비교·계산·비유와 결론은 필자의 재구성입니다. 한 번호에 함께 사용한 문헌이 둘 이상이면 묶어서 적었습니다.
서지정보와 확인 메모는 옵시디언 조사 기록을 바탕으로 복원했습니다. 원 기록의 ‘전문 확인’·‘조회’ 표기는 당시 조사 상태이며 이번 웹판에서 모두 재검증했다는 뜻은 아닙니다. 불완전한 서지사항은 임의로 채우지 않았습니다.
단안·고정 위치 화면이라 공간 정합이 불가능하다. 배터리 570mAh로 영상 촬영 시 1시간을 넘기기 어려웠고, 카메라가 늘 켜져 있다는 인상이 주는 프라이버시 거부감 때문에 공공장소 착용 금지 사례가 잇따랐다. 2015년 소비자판이 중단되고 Glass Enterprise Edition(2017·2019)으로 산업용으로만 살아남았다.
시야각 30°×17.5°는 '우편함 구멍(letterbox)'이라 불릴 만큼 좁아, 실물 크기 나무나 건물을 한 화면에 담을 수 없었다. 초점면이 약 2m에 고정되어 가까운 거리의 홀로그램은 눈이 피로하다. 입력은 시선(gaze) + 에어탭 제스처뿐이고, 579g의 무게 배분과 2~3시간 배터리로 장시간 현장 작업에는 부적합했다.
$3,499의 가격, 얼굴에 얹히는 600~650g, 케이블로 연결된 353g 외장 배터리와 2시간 사용 시간이 현장 활용을 제한한다. 시야각은 애플이 공식 발표하지 않았고(제3자 추정 약 100°×73°), EyeSight 외부 디스플레이는 렌티큘러로 화면을 분할하는 구조상 어둡고 해상도가 낮다고 iFixit이 지적했다. 광학 투과가 아니므로 밝은 옥외에서는 카메라 노출 한계가 그대로 드러난다.
제품이 아니다. 메타 스스로 '제조 공정이 너무 복잡하고 비싸서' 소비자 판매를 포기했다고 밝혔다. 약 13 PPD로 각해상도가 매우 낮아 세밀한 도면이나 작은 글자는 읽기 어렵고, 무선 퍽이 반드시 필요하며, 밝기·명암비 수치는 메타가 공개하지 않았다.
초점면이 2개뿐이라 연속적인 깊이 조절은 불가능했고, 50° 대각 시야각도 HoloLens 1보다 넓을 뿐 여전히 좁았다. 26억 달러 이상을 모으며 '광계(light field)'를 약속했지만 실제 결과물은 도파관 기기였다는 점에서 기대와 결과의 격차가 컸다. 소비자 시장 진입에 실패하고 2022년 Magic Leap 2(대각 70°, 세그먼트 동적 디밍)로 기업 전용 전환.
52°로 넓어졌어도 실물 규모 조경 공간을 덮기엔 여전히 좁고, 초점면은 여전히 단일이다. 566g과 2~3시간 배터리, $3,500이라는 가격 탓에 기업·군수용에 머물렀다. 레이저 주사 방식 특유의 색 균일도(color uniformity) 편차와 도파관 무지개 현상도 지적됐다.
PC 테더 필수(독립 구동 불가)이고 헤드셋+헤드밴드 합계 약 980g으로 장시간 착용이 어렵다. 포커스 패널과 주변 패널의 경계선(seam)이 시야 이동 시 인지되며, 가격이 기업용 수준이라 개인 설계자가 접근할 수 없다.
컬러 패스스루가 여전히 노이즈가 많고 해상도가 낮아 실물 판독에 부적합했다. 722g에 배터리 1~2시간, $1,499라는 조합으로 상업적으로 실패했고 2년 만에 단종됐다. 얼굴 추적도 실사용 콘텐츠가 부족해 활용되지 못했다.
광학 투과가 아니라 영상 투과라서 현실은 카메라 지연·왜곡·저조도 노이즈를 거친 상태로 보인다. 515g의 전면 하중, 2시간 남짓한 배터리, 그리고 완전히 눈을 가리는 형태라 현장 답사용으로는 안전상 제약이 크다. 깊이 센서의 유효 거리도 실내 규모에 맞춰져 있어 넓은 옥외 공간 인식에는 한계가 있다.
연속 구동 45분은 현장 작업에 결정적 제약이다. 대각 46° 시야각, 개발자 전용 월 $99 구독(1년 약정) 구조라 일반 소비자가 구매할 수 없었다. 밝기(니트) 수치는 스냅이 공개하지 않았다.
단안이고 시야각이 대각 20°에 불과해 공간에 고정되는 홀로그램을 표시하지 못한다. 즉 Azuma(1997)의 3차원 정합 조건을 충족하지 않는 헤드업 디스플레이에 가깝다. 디스플레이 해상도·밝기·도파관 공급사는 메타 공식 자료가 아니라 산업 매체(microLED-Info)의 보도에 근거하므로 검증이 필요하다.
2026년 9월 29일 현재 스냅이 가격, 배송 일정, 해상도(PPD), 밝기, 프로세서, 배터리 지속시간을 공개하지 않았다. 선주문은 환불 가능한 보증금 단계이며 주문 확정이 아니다. 따라서 실제 성능은 아직 검증 불가.
표 출처: [1][2][3][4][5] (본문 기준으로 재구성)
표의 마지막 두 칸을 '0건'이 아니라 '미입증'으로 적은 이유는 뒤에서 따로 다룬다. 조사가 쓴 근거 URL이 실제로는 아무것도 입증하지 못한 경우가 있었다. [1][2][3][4][5] ### 지워진 글 하나 여덟 곳 가운데 증강현실 기기를 자기 이름으로 언급한 기록은 단 하나 나왔다. 그리고 그 하나는 지워진 글이다. West 8은 로테르담에 본부를 둔 도시설계·조경설계사무소다. 자사 뉴스에 네덜란드어 제목의 글이 하나 있었다. 'Kijken door een Microsoft's HoloLens', 마이크로소프트 홀로렌즈로 들여다보기. URL 경로에 박힌 날짜는 2016년 1월 28일이다. 마이크로소프트가 홀로렌즈 개발자 에디션을 발표하기 두 달 전이다. 조경사무소가 광학투과형 헤드마운트 디스플레이를 공개적으로 언급한 기록으로는 대단히 이르다. 본문은 복구되지 않았다. 현재 West 8 웹사이트에서 'HoloLens'로 검색하면 0건이다. 'Microsoft'도, 'augmented'도 0건이다. Wayback Machine이 이 URL에 대해 보유한 스냅샷은 2020년 7월 7일과 9월 19일의 두 건뿐이고, 용량은 각각 2,030바이트와 2,037바이트다. 내비게이션만 남은 껍데기다. 2016년 시점의 캡처는 아예 없다. 즉 2016년 1월 28일이라는 날짜조차 1차로 확인된 사실이 아니다. 워드프레스 퍼머링크 슬러그에서 읽어낸 값이다. 확인된 것은 URL 문자열 하나와 제목 하나다. 실제로 프로젝트 대상지에 모델을 정합해 본 것인지, 사무실에서 기기를 써 보고 적은 체험기인지 판단할 근거가 없다. 삭제 시점도 사유도 모른다. 이 장에서 이 항목이 중요한 이유는 내용이 아니라 형태다. 여덟 곳 중 증강현실 하드웨어에 손을 댄 유일한 자체 기록이, 하필 회사가 스스로 지운 글이다. 그 뒤로 West 8 사이트에는 증강현실 관련 게시물이 단 한 건도 올라오지 않았다. [1] ### 'augmented'가 없는 회사 Sasaki는 여덟 곳 중 디지털 도구 담론이 가장 두꺼운 곳이다. 사내에 기술 연구 조직 TRG를 두었고, 도구 개발 조직 'Sasaki Strategies'를 따로 굴렸다. 그런 회사의 웹사이트 전체에서 'augmented'는 0건이다. 'HoloLens'도 0건, 'XR'도 0건이다. 남아 있는 것은 가상현실 글 두 편이다. 2017년 8월 21일 글의 제목은 'Q&A: Better Design through Virtual Reality'다. TRG와 Sasaki Strategies의 공동 작업이며, 당시 Sasaki Strategies 공동디렉터이자 프린시펄이던 Ken Goulding과 R&D 프로젝트 매니저 Colin Booth를 인터뷰했다. 그 시점 활동의 실체는 소박하다. 가상현실 헤드셋 여러 대를 구입했고, 가상현실 전담 인턴 한 명을 뽑았다. 그것이 공개된 규모의 전부다. 2018년 글 'Getting Real About Virtual Reality'는 사례를 두 개 든다. 퍼듀대학교 신앙기반 기숙사의 채플, 콜비칼리지 아이스하키 경기장. 둘 다 실내 건축이다. 조경사무소가 가상현실을 설명하면서 고른 사례에 옥외 공간이 없다. 이 글은 'VR이든 AR이든'이라는 표현으로 두 기술을 병렬로 언급한다. 그러나 증강현실 적용 사례는 제시하지 않는다. 개념으로만 나오고 실물로는 나오지 않는다. 오히려 값진 것은 이 글에 기록된 경계심이다. 기술의 낭만이 아니라 설계자의 직관을 확인하기 위해 가상현실을 쓴다고 적었다. 그리고 두 가지 마찰을 문제로 꼽았다. 하나는 가상현실이 설계 업무에 덧붙는 시간 낭비로 인식된다는 점이다. 다른 하나는 모델을 몰입 환경에 넣으면 노출 덕트 같은 설비가 그대로 드러나 고객이 불편해한다는 점이다. 두 번째 마찰은 생각할 값이 있다. 몰입 도구는 설계자가 아직 결정하지 않은 것까지 결정된 것처럼 보여준다. 도면은 침묵할 수 있지만 3차원 렌더는 침묵하지 못한다. 조경에서 이 문제는 더 크다. 수목의 수형, 초본의 계절 상태, 포장의 마감은 도면 단계에서 확정되지 않는 경우가 많다. Sasaki Strategies라는 조직의 뒷이야기도 기록해 둘 만하다. 별도 도메인 sasakistrategies.com은 2011년에 개설되어 파노라마 투어를 호스팅했다. 2024년 아카이브 기록에서는 무관한 외부 도메인 파라미터가 붙은 스팸 URL이 대량으로 관측된다. 도메인이 방치되었거나 탈취된 상태로 보인다. 2026년 9월 30일 현재 sasakistrategies.com과 strategies.sasaki.com은 모두 응답하지 않는다. 도구 조직의 기능은 sasaki.com 안의 'Data and Design Tools'로 흡수된 것으로 보인다. 한 가지 방법론 고백을 덧붙인다. 이 조사가 근거로 제시한 Sasaki 검색 API 호출은 실제로는 0건을 반환하지 않았다. Cloudflare 차단 페이지를 반환했다. 취득 실패를 0건으로 읽은 것이다. 결론 자체는 다른 경로로 지지된다. Wayback CDX에서 sasaki.com 도메인의 'augmented' 슬러그는 0건이고, 몰입 관련 글 네 편은 모두 가상현실이다. 그러나 근거 URL 하나는 무효였다. 이 책이 증거 수준을 본문에 드러내겠다고 했으니 이런 것도 적는다. [2] ### 180도 스크린 앞의 서른 명 2017년 가을, Sasaki 팀은 버지니아공대 캠퍼스에서 향후 30년 캠퍼스 계획을 발표했다. 형식이 특이했다. 곡면 스크린으로 둘러싸인 방 안에 대학 관리자 서른 명을 한꺼번에 들여놓고, 미래의 캠퍼스를 함께 걸어보게 했다. 나머지 구성원에게는 라이브 스트리밍으로 열었다. | 항목 | 값 | |---|---| | 스크린 크기 | 16피트 × 40피트 | | 스크린 곡률 | 180도 | | 렌더링 포맷 | 360도 | | 현장 참여 인원 | 관리자 30명 | | 계획 기간 | 30년 | | 제작 뷰 | 외부 파트너 Design Distill이 7개 뷰 제작 |표 출처: [6] (본문 기준으로 재구성)
수치를 표로 옮긴 이유가 있다. 이 사례에 관한 기록에는 '360도 랩어라운드 스크린'이라는 표현과 '180도 Cyclorama 스크린을 위해 맞춤 제작'이라는 표현이 함께 나온다. 같은 기사 안에서 앞뒤가 다르다. 뒷문장이 구체적이므로 스크린은 180도로, 360도는 렌더링 형식으로 읽어야 한다. 기술 능력을 크게 보이는 쪽 숫자만 골라 적으면 안 된다. 프린시펄 Greg Havens는 1992년과 1993년에 같은 대학의 계획을 컬러 레이저 프린터 출력물로 발표했던 경험을 이번과 대비시켰다. 25년 사이에 종이에서 곡면 스크린으로 옮겨간 것이다. 핵심은 Ken Goulding의 진단이다. 그는 오늘날 가상현실의 한계가 그것이 거의 언제나 혼자 하는 경험이라는 점이라고 말했다. 당신만 보고 당신만 상호작용한다. Cyclorama에서는 서른 명을 한 공간에 들여놓고 실시간 대화에 참여하게 하는 공유 몰입을 시뮬레이션할 수 있었다고 적었다. 이 문장은 이 장에서 가장 중요한 실무 관찰에 속한다. 설계 협의는 집단 행위다. 조경 협의는 특히 그렇다. 발주처, 시공사, 주민, 관리 부서가 같은 그림을 보고 같은 자리에서 말을 주고받아야 한다. 헤드마운트 디스플레이는 원리적으로 1인 1기기다. 기기를 돌려쓰면 회의가 아니라 줄서기가 된다. 두 가지를 분명히 해 둔다. 첫째, 이것은 증강현실이 아니다. 실세계에 겹친 것이 없다. 실내 곡면 스크린에 가상 환경을 투사한 공유 몰입 환경이며, 통상 CAVE 계열로 분류된다. 둘째, 그럼에도 이 사례의 증거 수준은 이 장에서 가장 높은 축에 든다. 실제 발주처의 의사결정 자리에 투입된 도구이고, 대상은 캠퍼스라는 옥외 공간이었다. 자사 기록은 이 접근을 일회성을 위한 하이퍼 커스텀이라고 규정했다. 다만 같은 기사의 마지막 문단에 Havens가 바로 지난주 대학 이사회에 같은 몰입 발표를 한 번 더 했다고 적혀 있다. 최소 두 번 쓰였다. 상시 도구로 제품화된 기록은 없다. [6] ### 평가하고 덮다 SWA Group의 연구·혁신 조직 XL Lab은 몰입기술을 정면으로 다룬 연구를 하나 남겼다. 제목은 'Immersive Environments'다. 자사 설명은 네 가지 기술을 나열한다. 가상현실, 혼합현실, 구면 파노라마, 360도 영상. 그리고 접근 방식을 스스로 규정한다. 비판적이고 평가적이었다고 적었다. 이 새 도구들이 지금 가장 잘 쓰일 곳은 어디이며 가까운 미래에 건설·엔지니어링·건축 산업에서 어떤 역할을 맡을지 이해하려는 의도였다고 썼다. 수행 내용은 네 갈래다. 하드웨어와 소프트웨어 테스트, 설계자와 계획가를 위한 데모 데이 개최, 고객과 이해관계자를 위한 외부 행사 개최, 업계 전문가와 제품 엔지니어 인터뷰. 결과는 조경설계와 인접 분야의 실험을 가속하기 위해 오픈소스 자원으로 공유했다고 밝혔다. 공동연구책임자는 Anya Domlesky와 Emily Schlickman이다. 자금은 SWA의 Patrick T. Curran Fellowship에서 나왔다. 공식 펠로십 목록에 'Immersive Environments'라는 제목은 없지만, 2016년 항목에 두 사람의 'XL: Experiments in Landscape and Urbanism'이 있다. XL Lab이라는 이름의 출처이자 같은 연구자 조합이다. 산출물은 논문이 아니라 잡지 기고였다. 게재 기록 네 건이 명시된다. Planning Magazine의 'Using Your Illusion', Mark Magazine 68호, Landscape Architecture Magazine의 'Thinking Ahead', Landscape Architecture Frontiers. 외부 협력자 명단도 길다. 샌프란시스코 도시계획국, Autodesk, 산타클라라 카운티, IrisVR, ESRI, Google, Municipal Art Society의 Maker Park, Golden Triangle BID. 여기서 두 가지를 짚는다. 첫째, 이것은 설계 납품이 아니다. 대상지도 프로젝트도 고객도 특정되지 않는다. 도구를 평가한 연구다. 증거 수준은 사내 펠로십 연구다. 둘째, 나열된 네 기술 중 증강현실은 독립 항목으로 등장하지 않는다. '혼합현실'이 들어갔을 뿐이다. 어떤 기기로 실세계에 어떻게 정합했는지에 관한 서술은 한 줄도 없다. 나머지 세 기술은 증강현실이 아니다. 그 뒤가 더 말해준다. SWA 웹사이트에서 'augmented'는 딱 한 건 걸린다. 2024년 펠로십 행사 기록에 나오는 '디지털 트윈과 증강된 경험'이라는 수사적 표현이다. 기술 내용이 아니다. XL Lab의 이후 공개 연구는 산불, 열, 탄소, 생물다양성, 감각도시, 생성형 인공지능 식재계획 도구로 옮겨갔다. 증강현실에는 후속이 없다. 한 조경사무소가 몰입기술을 정직하게 평가했고, 평가한 뒤 그쪽으로 가지 않았다. 이것도 결과다. [3] ### 부재를 증명하는 일의 어려움 나머지 다섯 곳에서는 아무것도 나오지 않았다. James Corner Field Operations, Michael Van Valkenburgh Associates, Gustafson Porter+Bowman, Turenscape, 그리고 조경을 함께 다루는 건축사무소 MVRDV. 그런데 이 '나오지 않았다'를 그대로 받아들이면 안 된다. 조사가 쓴 근거를 하나씩 뜯어보면 입증력이 서로 다르다. Snøhetta의 경우를 보자. 조사는 세 경로 모두 0건이라고 적었다. 자사 사이트 검색, 사이트맵 전수 조회, Wayback CDX. 그런데 첫 경로가 무효다. snohetta.com의 검색은 결과를 자바스크립트로 불러온다. 원시 HTTP 응답에는 어떤 질의에도 결과가 없다. 통제 질의로 확인했다. 오슬로 오페라하우스를 설계한 회사에 'opera'를 물어도 'augmented'와 똑같이 빈 컨테이너가 돌아온다. 이 0건은 부재의 증거가 아니라 방법의 산물이다. 독립 경로는 셋이 아니라 둘이다. Gustafson Porter+Bowman도 마찬가지다. 근거로 제시된 URL은 Squarespace 검색에 JSON 형식을 요청한 것인데, 돌아오는 것은 HTML 페이지다. 통제 질의로 'garden'을 물어도 같은 껍데기가 온다. 조경사무소에 'garden'이 0건일 수는 없다. 이 인용은 아무것도 입증하지 못한다. Turenscape의 근거는 사이트맵 한 건이다. 500개 URL이 담겼고, 슬러그는 listByYear.html이나 projectsDetailArticleEn 같은 불투명한 형식이다. 사이트맵은 URL 문자열만 담고 본문을 담지 않는다. 그러므로 이 조사가 입증한 것은 'URL에 augmented라는 낱말이 없다'는 사실뿐이다. 중국어 원문 사이트는 조사되지 않았다. 국내 매체와 학회 자료에 기록이 남아 있을 가능성은 열려 있다. MVRDV에서는 부재 판정이 실제로 깨졌다. 수집된 사이트맵 파일은 사이트맵이 아니라 Angular 애플리케이션의 HTML 껍데기였고 URL 항목이 0개였다. 그리고 Wayback CDX를 증강현실·홀로렌즈·몰입·메타버스 조건으로 조회하면 0건이 아니라 1건이 나온다. 회사 매체에 실린 데이터와 인공지능과 메타버스를 다룬 글이다. '다섯 곳 모두 미확인'이라는 문장은 MVRDV에 대해 성립하지 않는다. Field Operations와 MVVA의 0건은 Wayback CDX라는 단일 경로에서 나왔다. 앞에서 적었듯 이 색인은 Gensler의 실재하는 증강현실 글 두 편을 놓쳤다. 같은 한계가 여기에도 적용된다. 부재를 다루는 방법에 관한 원칙을 여기서 못 박아 둔다. 사이트맵 검색은 URL에 낱말이 없음을 입증한다. 자사 검색 API는 그 API가 실제로 결과를 반환하는지 통제 질의로 먼저 확인해야 한다. 아카이브 색인은 해당 URL이 색인되었을 때만 무엇을 말한다. 세 경로가 모두 한계를 가진 상태에서 겹쳐 나온 0건은 '찾지 못했다'까지만 말하고 멈춰야 한다. 그럼에도 관찰 하나는 흔들리지 않는다. 대상 여덟 곳 어디에서도 증강현실을 쓴 프로젝트 페이지, 사례 기록, 기기 이름, 정합 방식이 나오지 않았다. 마케팅에 능한 업종에서 자랑할 것이 있으면 자랑한다. 자랑이 없다. [4][5] ### 건축으로 넓혀도 얇다 조경에서 나오지 않으니 범위를 넓혔다. 건축과 도시설계, 엔지니어링 컨설팅까지 포함하면 사정이 조금 낫다. 다만 '조금'이다. 가장 이른 사례에 속하는 것이 Perkins+Will의 증강현실 앱 'AX'다. 설계사무소가 자기 이름으로 앱스토어에 증강현실 앱을 올린 것이다. | 시점 | 사건 | |---|---| | 2017-10-16 | 증강현실 앱 AX 출시 보도자료 | | 2017-12-21 | 가상현실 앱 VX 출시 보도자료, AX를 '두 달 전 베타 출시'로 회고 | | 2026-09-30 | 앱스토어에 AX·VX 모두 없음. AX 보도자료 페이지도 자사 사이트에서 소멸. VX 보도자료는 생존 | 회사는 AX를 초기 프로토타입이라고 못박았다. 궁극적으로는 설계자가 실세계와 가상이 섞인 환경에서 자기 모델과 상호작용하게 할 것이라고 썼다. 베타 단계 기능은 그보다 훨씬 소박하다. Perkins+Will이 설계한 공간을 3차원 증강현실로 둘러보는 것이다. 상하이자연사박물관이나 River Beech Tower의 축소 모형을 자기 거실이나 사무실이나 동네에 놓고 보고, 소셜미디어로 공유한다. 후속 베타에서 매싱과 유리와 개구부 같은 설계 특성을 바꿔보는 도구를 넣겠다고 예고했다. 기술 서술은 정확히 옮겨야 한다. 보도자료 원문은 애플 최신 운영체제의 증강현실 기능을 썼다고 적고, 증강현실 지원 아이패드나 아이폰에서 iOS 11로 구동된다고 적는다. ARKit이라는 프레임워크 명칭은 원문에 없다. 시점상 그 프레임워크일 것이 거의 확실하지만, 출처에 없는 이름을 본문에 쓰면 그것은 추정이 사실로 승격된 것이다. 디지털 실무 책임자 Nick Cameron의 말이 이 사례의 성격을 가장 잘 말해준다. 그는 이 새 기술의 가능성을 탐색하면서 재미도 보고 싶었다고 했다. 그리고 증강현실을 둘러싼 지금의 흥분에 빨리 편승하고 싶어서 이번 첫 배포는 가능한 것의 표면만 긁었다고 했다. 두 가지를 짚는다. 첫째, 대상은 건물이고 형식은 탁상형 축소 모형이다. 옥외 공간을 실제 대상지에 1대 1로 정합한 것이 아니다. 조경에서 필요한 종류의 증강현실이 아니다. 둘째, 소멸의 방식이 특이하다. 2026년 9월 30일 애플 앱스토어 검색 API로 확인한 결과 Perkins&Will 명의의 AX도 VX도 존재하지 않는다. 여기까지는 흔한 일이다. 그런데 AX 출시 보도자료 페이지 자체가 자사 웹사이트에서 사라졌다. Wayback에만 남아 있다. 두 달 뒤에 나온 가상현실 앱 VX의 보도자료는 지금도 살아 있다. 증강현실 쪽만 선택적으로 지워진 것이다. 회사가 종료 사유를 밝힌 기록은 찾지 못했다. 다운로드 수, 개발비, 투입 인원, 서비스 종료 시점도 모두 미공개다. 앱스토어 부재로 소멸을 추정한 것이다. 이후 회사의 공개 관심은 메타버스로 옮겨갔다. [7][8] ### 유일한 확인 사례, 그리고 충돌하는 두 출처 실제 프로젝트 소통에 증강현실을 쓴 확인 사례는 하나다. Gensler다. 2023년 5월 10일 구글은 Geospatial Creator를 발표했다. 출범 파트너 명단에 Gap, Mattel, Global Street Art, 싱가포르관광청, TAITO와 함께 Gensler가 들어갔다. 설계 분야에서 이름을 올린 것은 Gensler 하나다. 구글 발표문은 Gensler가 Adobe Aero의 Geospatial Creator를 써서 주민들이 노숙인을 위한 새 도시 프로젝트가 어떤 모습일지 쉽게 상상하게 도왔다고 적었다. 3개월 뒤인 2023년 8월 14일, Gensler 자사 블로그가 같은 일을 다르게 적었다. Greg Gallimore와 Collin Peters가 공동집필한 이 글은 DignityMoves가 폭넓은 이해관계자 집단에 제안 설계안을 공유하기 위해 증강현실을 쓴다고 서술했다. 대표 이미지 캡션은 샌프란시스코 DignityMoves를 위한 시각화다. 두 출처가 충돌한다. 이것을 그냥 넘길 수 없다. 구글 발표문에는 DignityMoves라는 이름이 한 번도 나오지 않는다. 증강현실을 쓴 주체를 Gensler로 명시한다. Gensler 블로그는 주체를 DignityMoves로 적고, Adobe Aero를 한 번도 언급하지 않는다. 즉 Aero는 구글 쪽 서술에만 있다. 두 자료는 서로를 뒷받침하지 않는다. 누가 증강현실을 운용했는지에서 정면으로 엇갈린다. 이 충돌을 보고할 때 정직한 진술은 이렇다. 어느 설계안을 실물 크기로 대상지 좌표에 겹쳐 주민에게 보여준 일이 있었다. 그것을 만든 주체가 설계사무소인지 발주 비영리인지는 두 1차 자료가 다르게 적는다. DignityMoves는 캘리포니아의 501(c)(3) 비영리다. 노숙인을 위한 임시지원주거를 공급한다. Gensler가 이 조직의 설계자라는 사실은 별도로 확인된다. 산호세 체리애비뉴 프로젝트는 DignityMoves가 Gensler를 고용해 트라우마를 고려한 타이니홈 빌리지를 설계했고 1년이 안 되어 준공했다고 기록되어 있다. 개인실 136개 규모다. 샌프란시스코 건은 Gensler가 설계한 170만 달러 규모의 프리팹 타이니홈 빌리지로 기재된다. 설계 납품은 실재한다. 증강현실이 적용된 지구는 특정되지 않는다. Gensler 블로그 캡션이 샌프란시스코를 두 번 적고, Gensler 프로젝트 기록에 샌프란시스코의 옛 주차장 부지 타이니캐빈 커뮤니티가 명기된다. 이 정도가 근거의 전부다. 기술 구성은 분명하다. ARCore Geospatial API로 실세계 위치를 실시간 측위하고, 구글 지도 플랫폼의 사실적 3차원 타일을 바탕에 놓고, 그 좌표에 3차원 모델을 정합해 겹친다. 구글은 이를 세계 좌표에 고정된 방식이라고 규정한다. 이것은 증강현실이다. 가장 중요한 구조적 특징은 배포 방식이다. Adobe Aero로 만든 체험은 QR 코드 스캔이나 링크로 공유된다. 전용 앱을 내려받을 필요가 없다. 안드로이드와 iOS를 함께 지원한다. 건축 도면과 평면도에 익숙하지 않은 참여자에게 복잡한 문서 대신 전신 스케일의 체험을 주는 것이 목적이었다. 그러나 이 사례에서 알 수 없는 것이 알 수 있는 것보다 많다. 대상지 규모, 참여 인원, 적용 횟수, 기간, 예산이 모두 미공개다. 이 증강현실 때문에 설계 결정이 바뀐 적이 있는지도 공개되지 않았다. 그리고 2026년 9월 확인 시점에 DignityMoves 공식 웹사이트에는 증강현실이나 Gensler 협업에 관한 언급이 없다. 정리하면 이렇다. 특정 시점의 소통 수단이었고, 조직의 상시 도구로 정착한 흔적은 확인되지 않는다. 이것이 조사 전체에서 확인된 가장 강한 사례다. 강한 사례가 이 정도다. [9] ### 촬영으로 끝난 것들 Gensler에는 증강현실 관련 공개 기록이 더 있다. 둘 다 납품물에 이르지 못했다. 첫째는 로스앤젤레스 대중교통 사례다. 2020년 11월 17일 Stephanie Truong이 쓴 'Mixed Reality Futures for Connected Transit'이 원문이다. 진행 방식은 성실하다. 먼저 로스앤젤레스시, LADOT, FAST, Metro OEI, 복합시설 The Bloc, CivicConnect와 브레인스토밍·비저닝 세션을 열어 이용자 유형과 현재 여정과 통점과 기회를 수집했다. 그 다음 The Bloc과 7번가 지하철역에 통합되는 증강현실 플랫폼의 사용자 인터페이스를 설계했다. 기능 여섯 개를 뽑았다. 여정계획과 발권과 교통정보, 이용자를 맞이하고 앱 기능을 안내하는 증강현실 컨시어지, 길찾기와 행사 알림, 실시간 번역, 탑승 포인트를 저장하는 가상 아바타, 승객 간 소셜 플랫폼. 그리고 결정적인 문장이 나온다. 기능을 다듬은 뒤 개념을 더 잘 보여주기 위해 The Bloc에서 증강현실 인터페이스의 시각화를 촬영했다는 것이다. 산출물은 작동하는 증강현실 시스템이 아니다. 현장에서 찍은 영상 위에 인터페이스를 합성한 시각화다. 글은 연구 보고서 다운로드도 함께 내걸었으므로 인터페이스 설계와 보고서는 실제 산출물로 보아야 한다. 그러나 실세계 정합이 작동한 증거는 없다. 증거 수준은 개념영상이다. 발주처도 없다. Gensler가 주도한 자체 기획이고, 나열된 기관들은 의견을 제공했다. 글은 공공과 민간 기관이 늘어나는 증강현실 통합 수요에 대응할 준비를 해야 한다는 권고로 끝난다. 그 뒤는 조용하다. LA Metro가 이 플랫폼을 채택했다는 기록은 찾지 못했다. 2026년 9월 30일 확인 기준으로 Gensler 명의로 앱스토어에 있는 앱은 'Gensler Meetings' 하나다. 글이 인용한 증강현실 시장 전망치도 당시 업계 낙관을 그대로 옮긴 수치다. 둘째는 산호세 기후데이터 사례다. 이 축에서 조경에 가장 가까운 구상이면서, 검증 수준은 가장 낮다. Gensler 기고문은 Knight Foundation이 Gensler와 협력해 Urban Periscope와 함께 증강현실 체험을 만들었다고 적는다. 시민이 형평성과 회복력을 높이는 데이터를 이해하고 공유하도록 돕는다는 것이다. 산호세를 시범 도시로 삼아, 증강현실 렌즈 도구가 실행 가능한 기후 데이터를 사람 눈높이 스케일로 도시 시설물 위에 겹친다고 설명한다. 문제의식은 조경의 문제의식이다. 자전거 공유, 도시 정원, 보행로 같은 자원의 데이터가 접근하기 어려운 데이터베이스나 웹사이트에 갇혀 있어 시민이 알지 못한다는 것이다. 공원과 녹지 자원을 현장에서 드러낸다는 발상은 조경이 증강현실을 쓸 수 있는 가장 그럴듯한 자리에 해당한다. 확인 가능한 정보는 이 단락 하나다. urbanperiscope.com과 urbanperiscope.org는 2026년 9월 30일 현재 DNS 응답이 없다. Knight Foundation 사이트 검색에서도 관련 게시물을 찾지 못했다. 보조금 액수와 연도도 불명이다. Urban Periscope가 어떤 조직인지 확인하지 못했다. 기기와 정합 방식은 한 줄도 공개되지 않았다. 출처가 설계사무소 자사 서술 하나뿐이다. 증거 수준은 연구 프로토타입 이하로 보아야 한다. 결과물이 지금 접근 가능하다는 증거는 없다. [10][11] ### 용어가 만든 착시 이 조사에서 가장 위험한 오류는 기술이 없는 데서 오지 않는다. 낱말에서 온다. 설계사무소 홈페이지의 '혼합현실'을 증강현실로 읽으면 책이 틀린다. 두 사례를 나란히 놓는다. Arup은 2022년 3월 30일 런던에 ExperienceLab을 열었다. 설계자와 고객과 이해관계자가 계획안의 가상 재현 안으로 들어가 돌아다니며, 자기 결정이 환경과 공간과 건물의 경험에 어떤 영향을 줄지 실행 전에 이해하게 하는 시설이다. 구성은 스피커 26대에 둘러싸이고 6미터 곡면 스크린을 마주하는 방이다. 헤드트래킹 스테레오 투사가 시야를 채우고 이용자 움직임에 반응한다. 피사계심도와 원근을 정확히 재현하고, 콘서트홀 실내음향부터 교통 소음까지 재현하는 캘리브레이션된 몰입 음향을 결합한다. 데이터 시각화 기능도 있어 차량 통행 변화를 지도화하는 식으로 프로젝트가 주변 지역에 미칠 영향을 보여준다. 결정적 문장은 이것이다. 이런 종류의 협업형 몰입 시설은 건조환경 및 여타 전문서비스 부문에서 유일하며, 고립시키는 가상현실 헤드셋의 필요를 없애고 집단이 공간 안에서 함께 작업하며 해법과 변경을 논의하게 한다고 적었다. 증강현실이 아니다. 실세계에 겹치는 것이 없다. 실내 곡면 스크린 투사형 공유 몰입 시설이며 CAVE 계열이다. 더 중요한 것은 방향이다. 헤드셋 착용 자체를 단점으로 규정하고 반대쪽으로 갔다. 버지니아공대 Cyclorama에서 나온 진단과 같은 방향이다. Zaha Hadid Architects의 사례는 함정이 더 노골적이다. 2022년 6월 16일 ZHA는 '혼합현실 체험 NEW WORLDS'를 발표했다. 장소는 서울 동대문디자인플라자 디자인뮤지엄이고, ZHA가 DDP와 협력해 열었다고 밝힌 전시 'Meta-Horizons: The Future Now' 안의 콘텐츠다. 원래는 ZHVR 그룹이 'LOOP 몰입형 사운드 라운지' 제품 테스트와 개발을 위해 만든 설계 시뮬레이션이었고, 이 전시를 위해 L-Acoustics Creations와 아티스트 Halina Rice와 함께 다듬고 확장했다. 그런데 자사 설명의 다음 문장이 전부를 결정한다. 관람객은 HTC의 VIVE Pro 2 헤드셋으로 가상 공간에 옮겨져 사운드스케이프를 경험한다고 적었다. VIVE Pro 2는 시야 차단형 가상현실 헤드셋이다. 실세계에 아무것도 겹치지 않는다. 자사 서술도 가상 공간으로 옮겨진다고 명시한다. 제목의 '혼합현실'은 마케팅 용어다. LOOP 자체는 2019년 8월 발표된 1인용 개인 오디토리엄이다. 24개 독립 채널로 공간음향을 재생한다. ZHVR이 곡면 기하를 설계했고 디자이너 Jakob Macdonald가 시각 요소에 참여했다. 다만 ZHA에 증강현실 활동이 전무했다고 적으면 그것도 부정확하다. 같은 회사 뉴스 목록에 2019년 8월 28일 항목이 있다. 애플 매장 프로그램 'Today at Apple'의 디자인 랩으로, 제목이 '증강현실 속의 건축'이다. 요약 원문은 애플의 도시의 미래 시리즈의 일부로 ZHA와 함께 설계 과정에서 증강현실을 탐색하고, 만든 것을 증강현실로 본다고 적는다. 워크숍이고 대중 프로그램이지만 증강현실은 증강현실이다. 두 사례를 함께 놓으면 판정 규칙이 나온다. 기기 이름과 실세계 정합 여부를 확인하기 전에는 어떤 발표도 증강현실로 분류하지 않는다. 헤드셋 모델명 하나가 분류를 뒤집는다. [12][13] ### 주장과 실적 사이 세 조직은 증강현실을 말하지만 보여주지 않는다. 각각 성격이 다르다. HOK는 언론 기고에서 사용을 주장한다. 2022년 3월 29일 AEC Magazine 기고에서, 경기장이든 병원이든 사무실이든 연구소든 제안된 공간에 고객을 몰입시키기 위해 가상현실과 증강현실 도구를 오래 써 왔다고 적었다. 이어 이 도구들이 건물 성능을 시뮬레이션하고 여러 시나리오를 재생할 수 있다고 했다. 든 예시는 두 개다. 뉴욕시를 모델링해 인구가 1천만 명 늘고 해수면이 6피트 상승하면 어떤 모습이 될지 보여주는 것, 그리고 경기장 위를 떠다니는 디지털 전용 경기장이다. 계획 디렉터 Brian Jencek의 발언도 실려 있다. 건물이든 캠퍼스든 도시든 자신들이 설계하는 모든 것은 메타 공간으로 태어나며 그것을 그냥 3차원 모델이라 부른다고 했다. 게임 디자이너가 쓰는 도구를 이미 쓴다고 했다. Blender, Unreal Engine, Unity, Twinmotion을 이름으로 들었다. 그런데 자사 웹사이트 검색에서 증강현실 프로젝트는 한 건도 나오지 않는다. 사이트맵에 남은 몰입 관련 항목은 모두 가상현실이거나 메타버스 담론이다. 가상현실이 인테리어 디자인을 바꾸는 방식을 다룬 2020년 5월 기사, 2023년 6월의 관람 환경 관련 기사, 인류와 메타버스를 다룬 행사, 2023년 2월의 오피스 디자인 기사. Wayback CDX에서도 hok.com 도메인에 'augmented'를 포함하는 URL이 0건이다. 정확히 적으면 이렇다. 어느 프로젝트에서 어떤 기기로 무엇에 정합했는지 회사가 밝히지 않는다. 제시된 예시는 모두 화면이나 헤드셋 기반 가상 시각화로 읽힌다. 증거 수준은 사내 홍보와 언론 기고이며 납품물 증거가 없다. Foster + Partners는 사내 도구를 공개했다. Applied Research + Development 그룹이 개발한 'Glaucon'이다. 회사 설명은 이렇다. 여러 사용자가 사실적 가상 환경에서 함께 작업하게 하는 협업 디지털 설계 도구이며, 가상현실이나 증강현실이나 모바일 또는 웹으로 경험할 수 있다. 설계와 시각화 워크플로에 통합되어 어디에 있든 팀이 공유된 3차원 환경에 들어가 설계 검토, 고객 프레젠테이션, 실제 설계 작업 협업을 할 수 있다고 적었다. 이 서술을 읽는 법이 중요하다. 원문이 '사실적 가상 환경'이라고 쓴다. 증강현실은 네 가지 출력 모드 중 하나로 나열될 뿐이다. 실세계 정합 방식, 사용 기기, 적용 프로젝트, 연도는 어디에도 없다. 그러므로 증강현실 판정은 낮춰 잡아야 한다. 같은 카테고리에 놓인 'Sandbox VR'은 명확히 가상현실이며, 헤드마운트 디스플레이 전용 제스처로 모델을 잡고 손을 벌려 스케일을 바꾸는 방식이다. 다른 가상현실 이동 기법에서 흔한 멀미를 거의 완전히 피했다고 적어놓았다. 아카이브 기록도 짚어둔다. 이 페이지의 Wayback 보존은 2021년 7월 29일에 시작해 2022년 5월 22일이 마지막이다. 2024년 스냅샷은 존재하지 않는다. 라이브 페이지 취득이 실패하는 이유는 자바스크립트 렌더링이 아니라 봇 차단이다. 최근 이 그룹이 공개적으로 내세우는 도구는 증강현실이 아니라 2025년의 환경분석 도구와 인공지능 쪽이다. KPF Urban Interface는 애초에 증강현실 조직이 아니다. 2016년 3월 23일 Kohn Pedersen Fox가 출범시킨 도시 데이터 분석 자원이다. 39년의 경험과 도시 데이터 분석의 최근 발전을 결합해 건물과 도시 설계에서 정보에 기반한 의사결정을 위한 자원을 만든다고 밝혔다. 수단으로 든 것은 도시 데이터 수집, 시나리오 분석, 3차원 시각화다. 대학과 정부기관 연구 협업도 언급했다. 2019년에는 건축·도시설계 시뮬레이션 학회 SimAUD에 참가했다. 성격은 시뮬레이션과 분석이다. 실세계 정합 중첩과는 계보가 다르다. 이 조직을 증강현실 사례로 세면 분류가 틀린다. 여기서도 조사 자체를 정정한다. 이 조직이 접혔다고 적은 것은 틀렸다. 출범 보도자료 마지막 줄이 명시한 실제 주소는 ui.kpf.com이며, 2026년 9월 30일 현재 정상 응답한다. 도구와 연구와 사례연구와 블로그 메뉴가 살아 있고 2024년 3월 채용 공고까지 올라와 있다. 앞선 조사는 보도자료에 없는 경로와 무관한 주차 도메인만 확인하고 소멸을 선고했다. 출범 보도자료에는 사람 이름이 아예 실리지 않는데 특정 인물을 귀속시킨 것도 출처가 어긋난 서술이었다. [14] ### 랩 발표와 납품물 사이의 거리 여기까지가 확인된 사실이다. 이제 왜 그런지를 다룬다. 자료는 이유를 말하지 않는다. 아래는 확인된 사실에서 끌어낸 추론이며, 그 점을 밝혀둔다. 접힌 이유를 네 갈래로 나눌 수 있다. 첫째, 기술이다. 조경이 필요한 증강현실은 옥외에서 대상지 좌표에 실규모로 정합하는 것이다. 이 정합이 제품으로 존재하게 된 시점은 2023년이다. Perkins+Will이 2017년에 낸 것은 실내 평면 위에 놓는 탁상형 축소 모형이었다. 그 사이에 있던 시도들은 정합 방식을 아예 공개하지 않거나, 촬영 영상 위 합성으로 대체했다. 도구가 없었으므로 납품물이 없었다. 둘째, 비용이다. 자체 앱 개발은 배포 이후가 더 비싸다. 운영체제가 올라갈 때마다 손을 봐야 하고, 손보지 않으면 앱스토어에서 사라진다. 2017년의 증강현실 앱이 2026년에 남아 있지 않은 것은 사고가 아니라 구조다. 대안으로 채택된 것이 전용 시설이다. 곡면 스크린과 스피커 26대를 갖춘 방을 짓거나, 대학이 보유한 시설을 빌려 일회성 맞춤 소프트웨어를 만들었다. 시설은 운영체제 업데이트로 사라지지 않지만 대상지로 들고 나갈 수 없다. 셋째, 데이터다. 조경의 모델은 무겁고 확정이 늦다. 지형은 측량 정확도에 묶이고, 식생은 수형과 계절 상태가 도면 단계에서 확정되지 않는다. 몰입 도구는 확정되지 않은 것을 확정된 것처럼 보여준다. 그래서 Sasaki의 기록에 노출 덕트가 드러나 고객이 불편해한다는 문장이 남았다. 건축에서 설비가 그랬다면 조경에서는 수목이 그렇게 된다. 넷째, 업무흐름이다. 이것이 가장 깊다. 설계 협의는 여러 사람이 같은 자리에서 같은 그림을 보고 말을 주고받는 일이다. 헤드마운트 디스플레이는 1인 1기기다. Sasaki와 Arup은 이 문제를 각각 독립적으로 진단하고 같은 결론을 내렸다. 혼자 보는 몰입보다 함께 보는 화면이 협의에 낫다는 것이다. 한쪽은 대학 캠퍼스 계획 발표에서, 다른 쪽은 상시 시설을 지으면서 그렇게 했다. 그러면 성공한 쪽은 무엇이 달랐는가. 확인된 유일한 사례에서 증강현실은 설계 도구가 아니었다. 설계자가 자기 모델을 검토하는 데 쓰지 않았다. 도면을 읽을 수 없는 사람에게 제안을 보여주는 데 썼다. 기기는 참여자가 이미 손에 들고 있는 스마트폰이었고, 앱 설치가 필요 없었으며, 링크와 QR로 전달되었다. 여기서 관찰 하나를 꺼낼 수 있다. 증강현실은 설계 도구로서는 여덟 곳 전부에서 실패했고, 대외 소통 도구로만 한 건 살아남았다. 그리고 전용 앱 설치를 요구한 시도는 예외 없이 접혔다. 이 두 문장이 이 장에서 실무가 가져갈 것의 거의 전부다. [15] ### 학술 쪽에도 같은 구멍이 있다 실무에 없으면 연구에는 있을 것이라고 기대할 수 있다. 조경 관련 증강현실 문헌 140편을 유형별로 갈라보면 그 기대가 어디서 무너지는지 보인다. | 유형 | 편수 | 옥외 대상 | 연도 범위 | |---|---|---|---| | 기술기반 | 51 | 29 | 2012–2026 | | 지형·수문 | 32 | 16 | 2016–2026 | | 문화경관·관광 | 18 | 16 | 2014–2026 | | 참여설계·주민소통 | 10 | 7 | 2015–2026 | | 교육·훈련 | 9 | 4 | 2018–2025 | | 시공·측량 | 7 | 5 | 2020–2026 | | 분석·모니터링 | 7 | 6 | 2016–2025 | | 설계·계획 시각화 | 3 | 2 | 2021–2025 | | 식생·수목 | 2 | 2 | 2022 | | 시각화 | 1 | 1 | 2022 |표 출처: [16] (본문 기준으로 재구성)
합이 140이다. 그리고 설계를 정면으로 다룬 칸이 가장 얇다. 설계·계획 시각화 3편, 시각화 1편, 식생·수목 2편. 여섯 편이다. 전체의 4퍼센트를 조금 넘는다. 그 여섯 편의 내용도 확인해 둘 값이 있다. 2025년 터키 학술지에 실린 조경설계 방법 제안은 초기 설계 평가에서 공간 인식과 상호작용과 소통을 개선할 수 있다고 보고했고, 피인용 0회다. 2024년 공원 계획 논문은 피인용 1회다. 가장 많이 읽힌 것은 2021년 커뮤니티 계획의 현장 설계 경험을 다룬 혼합현실 논문으로 17회다. 실시간 반사를 구현한 2022년 조경 시각화 증강현실 시스템은 0회다. 식생 쪽 두 편은 건설정보모델링과 혼합현실을 결합해 식생 모델의 계절 변화를 추적하는 연구이며 각각 7회와 4회다. 반면 무거운 칸은 기술기반 51편과 지형·수문 32편이다. 앞쪽은 정합과 측위와 렌더링과 스캔 같은 기반 기술이고, 뒤쪽은 홍수와 지형 시뮬레이션이다. 문화경관·관광 18편은 완성된 장소를 해설하는 쪽이다. 즉 연구는 기술을 다지고, 재난을 다루고, 완성된 경관을 해설한다. 아직 만들어지지 않은 옥외 공간의 설계를 현장에서 검토하는 일은 거의 다루지 않는다. 주의 사항도 문헌에 그대로 적혀 있다. 시민 참여를 다룬 2024년 논문은 피인용 49회로 이 묶음에서 가장 많이 읽혔지만, 실제 외부 환경에서의 적용 검증이 부족하다고 스스로 적었다. 드론과 증강현실을 결합한 2021년 조경 시각화 연구도 실제 도시 환경에서 중첩 오류가 발생할 수 있어 정확한 위치 정보가 필요하다고 경고했다. 실무와 연구가 같은 자리에 구멍을 갖고 있다. 우연으로 보기 어렵다. [16][17][18][19][20][21][22][23][24] ### 2023년에 무너진 문턱 하나 이 장이 다룬 실패의 대부분은 2016년에서 2022년 사이에 일어났다. 그 구간에서 조경설계사무소가 옥외 증강현실을 쓰려면 스스로 만들어야 했다. 만들면 유지해야 했고, 유지하지 않으면 사라졌다. 2023년 5월 10일에 조건이 바뀌었다. 구글이 Geospatial Creator를 발표했다. Unity 또는 Adobe Aero 안에서, 실세계 어디에 디지털 콘텐츠를 놓을지 구글 어스나 스트리트뷰처럼 눈으로 보며 배치한다. 기반은 ARCore와 구글 지도 플랫폼의 사실적 3차원 타일이고, 건물 지붕에 콘텐츠를 고정하는 기능도 들어갔다. 수치는 정확히 옮겨야 한다. 이 발표문의 숫자를 잘못 인용한 문헌이 적지 않다. | 항목 | 값 | 출처 시점 | |---|---|---| | ARCore Geospatial API 지원 국가 | 87개국에서 100개국 이상으로 확장 | 2023-05-10 발표문 | | 사실적 3차원 타일 제공 국가 | 49개국 | 구글 현행 문서 | | 대상 안드로이드 기기 | 14억 대 | 2023-05-10 발표문 |표 출처: [25] (본문 기준으로 재구성)
87이라는 숫자는 발표 시점에 이미 지나간 이전 값이다. 이것을 현재 값으로 옮겨 적으면 틀린다. 그리고 두 숫자는 서로 다른 것을 센다. 앞쪽은 측위가 되는 범위이고, 뒤쪽은 그 위에 얹을 바탕 지형과 건물이 있는 범위다. 실무에서 결정적인 변화는 국가 수가 아니다. Adobe Aero로 만든 체험이 QR 코드 스캔이나 링크로 공유되고, 앱 전체를 내려받을 필요가 없다는 점이다. 공공 영역 증강현실에서 전용 앱 설치는 반복된 실패 원인이었다. 국내에서도 같은 학습이 확인된다. 2018년 대우건설이 반포 단지 정원에 넣은 'AR 가든' 앱은 지금 구글플레이에서 검색되지 않고, 2026년 서울국제정원박람회는 앱 설치가 필요 없는 웹 방식으로 돌아섰다. Perkins+Will이 2017년에 자체 앱으로 시도해 사라진 것과, Gensler가 2023년에 플랫폼 위에 올려 한 건을 남긴 것의 차이가 여기에 있다. 다만 과장하지 않는다. 문턱이 낮아진 뒤 3년이 지났다. 그 3년 동안 여덟 곳의 조경설계사무소 중 이 플랫폼을 쓴 곳은 확인되지 않았다. 도구가 없어서 안 쓴 것이라면 도구가 생긴 뒤에는 쓰여야 한다. 그렇게 되지 않았다면 이유가 도구에만 있지 않았다는 뜻이다. [25] ### 그 안에 남아 있는 것 부재의 목록을 다시 읽어본다. 그러면 없는 것 말고 있는 것이 보인다. 증강현실 자체는 조경에서 검증된 적이 없다. 검증할 만큼 쓰이지 않았다. 그러나 이 조사가 우연히 확인한 것이 몇 가지 있다. 하나, 도면을 읽을 수 없는 사람에게 제안을 실물 크기로 보여주는 일에는 수요가 있었다. 유일하게 살아남은 사례가 그 일을 했다. 노숙인 임시주거라는, 주민 반대가 가장 거센 종류의 사업에서 그랬다. 둘, 협의는 집단 행위라는 제약이 실무에서 두 번 독립적으로 발견되었다. 한쪽은 대학 캠퍼스 계획 발표장에서, 다른 쪽은 런던의 상시 시설에서. 두 곳 모두 헤드셋을 벗기는 쪽으로 갔다. 이 제약은 아직 해결되지 않았다. 스마트폰 기반 증강현실은 기기가 이미 참여자 손에 있으므로 이 제약을 우회할 가능성을 가진 유일한 경로다. 셋, 조경이 증강현실에 가장 그럴듯하게 접근한 구상은 새 설계안을 보여주는 것이 아니라 이미 있는 것을 드러내는 쪽이었다. 도시 정원과 보행로와 자전거 공유 데이터를 현장에서 눈높이에 겹치는 발상이다. 그 구상은 자사 블로그 한 단락만 남기고 사라졌지만, 발상 자체는 반박되지 않았다. 땅 밑을 보려고 증강현실을 쓰는 일이 실제로 굴러가고 있다면, 땅 위의 보이지 않는 것을 보려는 일도 같은 구조를 가진다. 넷, 학술 쪽의 얇은 칸 여섯 편은 피인용이 거의 없다. 읽히지 않았다는 뜻이고, 동시에 선점되지 않았다는 뜻이다. 이 장이 팔 수 있는 희망은 없다. 여덟 곳에 물어 여덟 곳에서 나오지 않았고, 건축까지 넓혀 확인된 것은 한 건이며, 그 한 건조차 두 1차 자료가 운용 주체를 다르게 적는다. 삭제된 글, 사라진 앱, 응답하지 않는 도메인, 본문 없는 아카이브가 목록의 대부분을 차지한다. 그러나 이것은 기술이 부정된 기록이 아니다. 시도되지 않은 기록이다. 부정과 미시도는 다르다. 부정된 것에는 돌아갈 이유가 없고, 미시도된 것에는 아직 값이 매겨지지 않았다. 조경과 증강현실 사이에 지금 있는 것은 실패의 축적이 아니라 공백이다. 이 장은 그 공백의 크기를 쟀을 뿐이며, 공백을 메울 것인지는 다음 사람의 몫이다. [1][2][3][4][5][26]본문의 번호를 누르면 출처로 이동합니다. 절 끝의 번호는 그 절의 사실 자료를, 표 아래의 번호는 표에 사용한 자료를 가리킵니다. 비교·계산·비유와 결론은 필자의 재구성입니다. 한 번호에 함께 사용한 문헌이 둘 이상이면 묶어서 적었습니다.
서지정보와 확인 메모는 옵시디언 조사 기록을 바탕으로 복원했습니다. 원 기록의 ‘전문 확인’·‘조회’ 표기는 당시 조사 상태이며 이번 웹판에서 모두 재검증했다는 뜻은 아닙니다. 불완전한 서지사항은 임의로 채우지 않았습니다.
판정 불가 — 본문 소멸. 확인된 것은 URL과 발행일뿐이다.
사내 연구·홍보. 프로젝트 적용은 VR 설계검토 수준.
연구 프로토타입(사내 펠로십 연구). 오픈소스로 공개했다고 밝힘.
부재의 확인. 자사 사이트 검색 + 사이트맵 전수 + Wayback 색인 세 경로 모두 0건.
부재의 확인. 확인 경로를 사무소별로 명시했다.
실제 납품(클라이언트 발표에 투입). 자사 기록.
실제 납품(무료 배포 앱) — 그러나 회사 스스로 '초기 프로토타입/베타'로 규정했다.
사내 연구·도구(자사 기술). 납품물 아님. 외부 검증 자료 없음.
실제 납품 — 단, 납품물은 '조경·건축 설계'가 아니라 '주민 소통용 AR 콘텐츠'다. 구글의 1차 발표문과 Gensler 자사 기술이 서로를 뒷받침한다.
개념영상. 자사 블로그가 촬영 사실을 직접 서술한다.
설계사무소 자사 서술 1건뿐. 1차 자료(재단 보조금 문서, 프로젝트 문서, 학회 발표) 확인 실패. 증거 수준을 '연구 프로토타입' 이하로 보아야 한다.
전시·시연. 공공 미술관 전시에 실제로 설치되었으나 설계 납품물이 아니다.
실제 납품(상시 운영 시설). 자사 발표.
실제 납품(설계 의사결정 지원 도구, 학회 발표 있음) — 다만 AR 사례가 아니다.
표의 편수·주제 분류·당시 인용 수는 이 조사 목록의 집계다. 전 세계 연구의 총수 또는 현재 인용 수가 아니다.
↩1 ↩2실제 납품(상용 플랫폼). 구글 개발자 블로그 1차 자료.
표 출처: [1] (본문 기준으로 재구성)
Urp의 피인용은 자주 인용되는 숫자다. 세만틱스칼라는 625회, 크로스레프는 308회를 준다. 어느 데이터베이스를 쓰느냐로 두 배가 갈린다. 이 계보가 탠저블 인터페이스 분야의 고전이라는 평가 자체는 흔들리지 않지만, 정량 근거를 하나의 숫자로 제시하면 정밀도가 과장된다. [1] ### 점토와 모래 조경에 직접 닿는 조상은 Urp가 아니다. 2002년 같은 연구실에서 나온 Illuminating Clay다. 사용자가 점토 지형모형을 손으로 깎으면 천장에 설치한 레이저 스캐너가 변형된 형상을 실시간으로 포착한다. 그 깊이 영상이 지형분석 함수에 입력되고, 결과가 다시 점토 표면에 정합되어 투영된다. 계산 항목이 무엇이었는지가 결정적이다. 그림자 투사, 토양 침식, 가시권, 이동시간. 네 가지 모두 조경과 토목 설계의 판단 변수다. 논문 제목도 '경관 분석을 위한 3차원 탠저블 인터페이스'였고, 벤 파이퍼의 석사논문 제목 또한 같은 문구를 담았다. 이 장치는 처음부터 경관을 겨냥해 만들어졌다. 물리 모형의 즉각성과 계산 시뮬레이션의 동역학을 한자리에서 결합한다는 것이 저자들의 주장이었다. 실제 대상지를 가진 프로젝트에 적용된 기록은 논문에 없다. 자매 프로젝트가 SandScape다. 점토를 모래로 바꿨다. 사용자가 모래로 지형을 만들면 그 표면에 표고, 경사, 등고선, 그림자, 배수, 향이 투영된다. 조경 지형 분석의 기본 항목을 거의 그대로 담았다. 센싱 방식은 뒤의 저비용 재구현들과 완전히 다르다. 반투명 표면 아래에 적외선 발광다이오드 배열을 깔고 적외선 카메라로 모래 두께에 따른 광 감쇠를 읽는 투과조명 방식이다. 깊이 카메라는 쓰지 않았다. 이 점이 중요한데, 마이크로소프트 키넥트는 2010년 11월에 출시되었으므로 2002년 장치에 키넥트를 귀속시키는 서술은 시대착오다. SandScape에는 이 계보에서 일반 대중이 실제로 손을 댄 첫 기록이 붙는다. 2002년 9월부터 오스트리아 린츠의 아르스 일렉트로니카 센터 'Get in Touch' 전시에 출품됐다. MIT 프로젝트 페이지의 표현은 그 기획전 이름을 명시하며 '2002년 9월부터'라고만 적는다. 상설 설치라는 말은 없다. 전시가 언제 끝났고 장비가 어디로 갔는지도 확인되지 않는다. 종료 시점을 모르는 상태에서 상설이라고 쓰면 근거 없는 격상이 된다. 같은 종류의 격상이 이 계보 전체에 하나 더 있다. 10년 뒤 미국 UC 데이비스가 만든 AR Sandbox를 MIT SandScape의 저비용 후계로 설명하는 서술이 널리 퍼져 있다. 그런데 UC 데이비스 자신의 프로젝트 페이지는 착상의 출처를 다르게 적는다. 체코 연구자 그룹이 만든 영상 하나와, 그보다 앞선 'Project Mimicry'라는 프로젝트다. AR Sandbox 관련 페이지군 전체에서 SandScape나 Illuminating Clay, MIT 탠저블미디어그룹, 이시이를 언급한 곳은 한 군데도 없다. 1차 출처가 부인하는 계보를 책이 이어 붙일 수는 없다. 모래와 프로젝터라는 발상이 두 곳에서 독립적으로 나타났다고 적는 것이 정확하다. [2][3] ### GIS에 연결되는 순간 예술적 프로토타입이 분석 도구로 넘어가는 지점은 2006년이다. 국제전기전자공학회의 컴퓨터그래픽스응용 학술지에 실린 논문이 그 전환점이다. 저자는 노스캐롤라이나주립대(NCSU)의 헬레나 미타소바와 루보시 미타스, MIT의 카를로 라티와 이시이 히로시다. 이들은 MIT의 탠저블 지형 장치를 오픈소스 지리정보시스템인 GRASS에 붙였다. 미술관의 장치가 지형 해석 엔진을 얻은 것이다. 2010년 NCSU가 이를 TanGeoMS로 정식화했다. 레이저 스캐너, 프로젝터, 변형 가능한 물리 3차원 모형을 표준 GIS에 결합한 시스템이다. 사용자가 점토 표면을 고치거나 모형 위에 물체를 놓으면 천장 스캐너가 포착해 GIS로 불러오고, 실제 프로세스를 시뮬레이션해 결과를 모형 표면으로 되돌려 보낸다. 논문이 시연한 적용은 세 가지다. 유역 내 유출 관리, 해안 사주에 대한 폭풍해일 영향 평가, 군 훈련장의 경관 복원. 여기서 처음으로 조경·토목 실무의 과제가 대상이 된다. 다만 증거 수준은 여전히 연구 프로토타입이다. 논문은 적용을 시연했다고 서술하며, 발주처의 설계 결정에 쓰였다고 주장하지 않는다. 이 구분이 이 계보를 읽는 내내 필요하다. 유역과 해안 사주와 훈련장이라는 세 대상은 모두 실재하는 장소지만, 그 장소의 관리 주체가 이 장치를 써서 무엇을 결정했다는 기록은 논문에 없다. 대상지가 실재하는 것과 결정이 실재하는 것은 다른 일이다. TanGeoMS의 병목은 돈이었다. 천장 레이저 스캐너가 비쌌다. 2013년 이후 이 부품이 저가 깊이 카메라로 교체되면서 시스템이 이름을 바꾸고 다시 만들어졌다. 그 결과가 Tangible Landscape다. TanGeoMS는 폐기된 것이 아니라 값이 내려가면서 계승됐다. [4] ### 부품표가 공개된 시스템 조경 분야에서 실물모형과 투영을 결합한 시스템의 사실상 표준은 Tangible Landscape다. NCSU 지리공간분석센터의 GeoForAll 연구실이 만들고 유지한다. 구조는 단순하다. 키네틱 샌드나 폴리머로 만든 물리 지형모형을 손으로 조각하면 깊이 센서가 스캔하고, 포인트클라우드 처리를 거쳐 GRASS GIS가 공간연산을 수행하고, 프로젝터가 결과를 모형 표면에 투영하고, 블렌더가 3차원 장면을 함께 렌더링한다. 이 고리가 실시간으로 돈다. 지형을 깎으면 물길이 옮겨가고 없던 호수가 생긴다. 기능 목록에는 협업 모델링, 자유형상 조형, 객체 탐지와 분류, 실시간 지리공간 분석, 시계열 분석, 가상현실 연동이 있다. 적용 분야로 열거된 것은 정지와 절성토, 우수관리, 침식 제어, 산책로 계획, 가시권, 태양광 잠재량, 지하 가시화, 도시성장, 병해와 외래종 관리, 홍수·산불·해안 변화 대응, 공간 교육이다. 조경 설계의 지형 관련 업무가 거의 전부 들어 있다. 이 시스템의 가장 특별한 점은 기능이 아니라 공개 수준이다. 완전 오픈소스이고, 부품 목록과 가격이 위키에 적혀 있다. 누구나 복제할 수 있다. | 항목 | 위키 기재 기종 | 가격 | |---|---|---| | 깊이 센서 | Xbox One Kinect | 위키 가격표에 없음 | | 프로젝터 | Optoma ML750 / Epson PowerLite 1795F / Optoma EH460ST | 500 / 950 / 1,000달러 | | 거치 | Kupo C-스탠드 키트 + 베이비 월플레이트 | 120~200달러 | | 컴퓨터 | System76 Oryx Pro | 1,500달러 | | 모형재 | Waba Fun 키네틱샌드 11파운드 | 50달러 |표 출처: [5] (본문 기준으로 재구성)
이 표를 읽는 방식에 주의가 필요하다. 위키는 총액을 제시하지 않고, 프로젝터와 거치대를 상호 배타적인 대안으로 나열한다. 나열된 모든 가격을 단순히 더하면 4,700달러가 넘는데 그것은 아무도 살 필요가 없는 조합의 값이다. 구성요소별로 하나씩 고르면 대략 2,300달러에서 3,400달러 사이가 된다. 흔히 인용되는 '2천~4천 달러'의 상한은 부품표가 지지하지 않는다. 더 결정적인 문제는 깊이 센서 가격이 표에 없다는 것이다. 위키 자신이 Xbox One Kinect에 대해 '마이크로소프트가 더 이상 생산하지 않는다'고 적어놓았다. 단종된 부품에 의존하는 시스템의 구축비를 현행 가격으로 인용할 수 없다. 센서 교체는 실제로 진행 중이다. 2026년 5월과 6월 커밋에 오브벡 펨토 센서 탐지와 화이트밸런스 제어가 들어갔다. 다만 펨토의 가격은 부품표에 반영되지 않았다. 유지보수 상태는 조심해서 적어야 한다. 이 저장소가 지금도 움직인다는 서술이 흔한데, 근거로 쓰이는 날짜가 오독되는 일이 잦다. 2026년 9월 21일의 푸시는 기본 브랜치가 아니라 격리거리 관련 기능 브랜치를 대상으로 한 것이다. 기본 브랜치의 마지막 커밋은 2026년 6월 3일이고 그것이 1.3.0 릴리스다. 커밋 이력에는 2024년 8월부터 2026년 2월까지 약 18개월의 공백이 있다. 공식 사이트 푸터의 연도 표기는 2016년에 멈춰 있고, 출판 목록은 2022년까지만 갱신됐다. 커뮤니티 위키의 마지막 등재는 2024년 5월이다. 스타 34개 규모의 소규모 연구 프로젝트다. 살아 있다고 말할 수는 있다. 활발하다고 말하면 과장이다. 같은 기간에 단행본은 두 권 나왔다. 2015년 초판과 2018년 2판이다. [5] ### 조경가를 앉혀놓고 측정한 것 이 계보에서 '조경 설계 도구로서의 효과'를 정면으로 측정한 연구는 하나다. NCSU 연구진이 2018년 국제건축컴퓨팅저널(IJAC) 16권 1호에 실은 논문이다. 실험 설계가 정직하다. 조경학과 학생, 학계 연구자, 실무 조경가 세 집단에게 조경 설계의 기본 과제 세 가지를 냈다. 지형 모델링, 절성토 분석, 물 흐름 모델링이다. 같은 과제를 세 가지 방식으로 풀게 했다. 손으로 만지는 탠저블 방식, 화면과 마우스를 쓰는 디지털 방식, 아날로그 수작업 모형 방식이다. 평가도 두 갈래로 했다. 인터뷰로 정성 자료를 모으고, 래스터 통계와 형태계측 분석과 지리공간 시뮬레이션으로 정량 자료를 만들었다. 결과는 탠저블 방식의 승리였다. 참가자들은 더 정확한 지형모형을 만들었고, 능선과 계곡 같은 지형의 형태적 특징을 더 잘 재현했다. 실시간 분석 피드백 덕분에 빠른 반복으로 작업했고, 복잡한 지형 변화의 결과를 즉시 이해하고 조작했다. 이 결과가 조경 실무의 도구 채택으로 이어졌는가. 그 흔적은 찾을 수 없다. 다만 그 결론을 피인용 수로 받치려는 시도는 근거가 약하다. 세만틱스칼라는 이 논문의 피인용을 13회로, 오픈알렉스는 20회로 집계한다. 같은 논문에 대한 두 값의 차이가 50퍼센트를 넘는다. 낮은 숫자를 골라 '학계도 주목하지 않았다'고 쓰면 데이터베이스를 고른 사람의 결론이 된다. 참가자 수와 집단별 구성비는 확인하지 못했다. 논문이 유료이고 초록에 그 숫자가 없다. '학생, 학계, 실무자'라는 세 집단 구성만 확정된 사실이다. [6] ### 열두 명 Tangible Landscape가 연구실 밖의 실제 이해관계자를 모형 앞에 앉힌 기록은 두 건이다. 둘 다 나무를 죽이는 병에 관한 것이다. 2017년 환경모델링·소프트웨어 학술지 논문은 미국 캘리포니아의 급성참나무죽음 관리 문제를 다뤘다. 병원체는 파이토프토라 라모룸이다. 목표가 서로 충돌하는 이해관계자 대표들이 지리적으로 사실적인 3차원 가시화 앞에 둘러서서, 손 제스처로 모델 시뮬레이션을 직접 조작하고 출력 대시보드로 대안 전략을 비교했다. 저자들의 결론은 조심스럽다. 정보를 갖게 된 개인들이 상충을 스스로 다루기 시작했고 그것이 해법 구성으로 이어졌다는 것이다. 방제 정책에 구속력 있게 반영됐다고는 쓰지 않았다. 2019년 영국왕립학회 철학회보 B에 실린 후속 논문은 이를 미국 오리건주 남서부로 옮겼다. 새로운 계통이 유입되어 실질적 우려가 커진 지역이었다. 지역 이해관계자와 함께 경관 규모 방제 전략을 평가하는 대화형 예측 도구를 공동개발했다. 이 논문의 규모가 이 축 전체에 대해 무엇인가를 말해준다. 완전 오픈액세스 전문에 숫자가 적혀 있다. 워크숍은 2017년 10월에 한 번 열렸다. 참가자 상한을 20명으로 정했고, 실제로는 미국 산림청과 오리건주 산림부, 오리건주립대에서 온 이해관계자 12명이 참여했다. 한 번, 열두 명이다. 경관 규모의 병해 방제 전략을 다룬 연구의 참여 규모가 그렇다. 이것은 이 방식의 결함이 아니라 성격이다. 뒤에서 이 성격이 왜 공공 행정과 충돌하는지 다시 나온다. [7] ### 조감의 감옥 이 계보의 한계를 가장 정확히 지적한 사람들은 이 계보를 만든 사람들이다. NCSU 연구진이 2016년 미국컴퓨터학회 SIGSPATIAL 논문에서 밝힌 문제의식은 한 문장이다. Tangible Landscape는 조감만 제공한다. 탁자를 내려다보는 시점에서는 공간의 크기가 몸으로 읽히지 않는다. 그래서 연구진은 몰입형 가상환경을 결합했다. 사용자가 방금 만든 경관 안을 걸어다니며 사람 눈높이로 볼 수 있게 했다. 지형을 조형하고 수목을 심고 시점을 정하고 산책 경로를 배치하면, 그 결과를 투영된 실물모형 위에서, 화면에서, 머리에 쓴 디스플레이에서 동시에 볼 수 있다. 2017년에는 ACADIA 학술대회에서 생태 설계 맥락으로 이를 확장했다. 여기서 드러나는 대비가 이 장의 핵심 중 하나다. 탁자의 강점은 공유와 협업이고 약점은 시점이다. 헤드셋의 강점은 시점이고 약점은 공유다. 여러 사람이 머리에 무언가를 쓰면 각자 다른 것을 본다. 같은 장비 안에서 두 방식을 붙여본 결과, 어느 쪽도 다른 쪽을 대체하지 못했다. 이 확장 기능은 Tangible Landscape의 공식 기능 목록에 '가상현실'이라는 한 줄로 남아 있고, 별도 제품이나 실무 납품으로 분리되지는 않았다. 증거 수준을 정확히 적어둔다. 헤드셋으로 보는 부분은 증강현실이 아니다. 스캔한 모형 지형을 가상공간으로 옮겨 렌더링해 그 안을 걷는 방식이므로 몰입형 가상현실이다. 다만 논문이 스스로 그 용어를 썼는지는 1차 확인에 실패했다. 발행사가 초록을 비공개 처리했고 원문 접근이 막혔다. 제목이 '몰입형 탠저블 지리공간 모델링'이고 공식 기능 목록이 가상현실을 별항으로 세워둔 정황은 이 판단을 뒷받침하지만, 따옴표로 묶을 인용은 확보하지 못했다. [8] ### 열여섯 곳 이 계보가 얼마나 퍼졌는지 세려면 공식 커뮤니티 위키를 보면 된다. 좌표와 날짜와 용도가 붙은 설치 기록이 정리돼 있다. 흔히 '19개 기관'이라는 숫자가 인용되는데, 2026년 9월 기준 위키가 문서화한 최상위 기관은 16곳이다. 하위 프로젝트 항목까지 세면 스물세 건이 된다. 19라는 숫자는 어느 집계와도 맞지 않는다. | 기관 | 국가 | |---|---| | NCSU GeoForAll Lab, NCSU GAPS, 국가지리정보국(NGA), 루이지애나주립대(LSU), 조지아대(UGA), USDA-ARS | 미국 | | 마사릭대 지리학과, 팔라츠키대 올로모우츠 | 체코 | | 세인트존스칼리지+Kartoza, Macroscopia | 남아프리카공화국 | | 수자원·에너지청(NVE) | 노르웨이 | | Centro Regional de Geomática | 아르헨티나 | | 샤파리크대(코시체) | 슬로바키아 | | 브라위자야대 | 인도네시아 | | 우한 Tangible GIS Lab | 중국 | | NUST | 파키스탄 |표 출처: [9] (본문 기준으로 재구성)
정확히 아홉 개 나라다. 최초 기록은 2013년 11월 NCSU이고 마지막은 2024년 5월 파키스탄 NUST다. 조경에 직접 닿는 것은 루이지애나주립대 로버트 라이시 조경대학원의 오픈소스 지리공간 연구실이다. 2017년 12월에 설치해 우수관리 설계 게임과 제방 축조 시뮬레이션에 썼다. 공공기관 사례로는 노르웨이 수자원·에너지청이 2017년 봄에 '디지털 지형모델의 동적 설계를 위한 물리적 사용자 인터페이스' 사업으로 알타 댐 전시 디스플레이에 넣은 것이 있다. 환경교육 쪽에서는 미국 볼드헤드섬 보전협회의 2016년 5월 설치가 구체적이다. 2014년 실측 지형을 표고 10배로 과장해 모래로 재현하고 폭풍해일 침수를 투영했다. 참가자가 방호사구를 쌓아 '침수 건물 수'를 줄이는 방식이었다. 스캐너와 소프트웨어는 라즈베리파이로 돌렸다. 확산의 성격을 정직하게 요약해야 한다. 열여섯 곳의 대부분이 대학 교육과 연구실 실습, 박물관 전시 데모였다. 유료 설계 용역에 납품되어 도면이 된 사례는 목록에 없다. 다만 '전부 대학과 공공기관이었다'고 쓰면 그것도 사실이 아니다. 목록에는 민간이 있다. 남아공 요하네스버그의 Macroscopia는 2017년 8월에 개인이 구축한 것이고, 세인트존스칼리지 건에는 민간 지리공간 기업 Kartoza가 붙어 있다. 현재 가동 여부는 아무도 모른다. 위키에 갱신 기록이 없다. 볼드헤드섬 페이지는 2018년 9월 이후 수정되지 않았다. 등재 간격이 2020년에서 2024년으로 벌어진 것은 확산 둔화를 시사하지만, 몇 곳이 지금도 돌아가는지는 확인할 방법이 없었다. [9] ### 오슬로의 개천 조경적으로 가장 구체적인 사례는 노르웨이 오슬로에 있다. 메라달 계곡을 흐르는 개천의 복개를 해체하고 물길을 되살리는 일이었다. 오슬로 시가 그린인프라 대안 3안을 제시했고, 그 3안을 대상으로 Tangible Landscape를 써서 설계하고 수문학적 성능을 평가한 연구가 2022년 학술지 카르트 오 플란 115권 4호 382~399쪽에 실렸다. 논지는 실무의 언어로 되어 있다. 밀집 시가지에 스웨일과 레인가든과 저류지를 놓으려면 도시 표면유출의 동역학과 복잡성을 잘 이해해야 한다. 도시 조직이 시간에 따라 바뀔 때 유출 패턴이 어떻게 달라지는지 다루려면 높은 유연성이 필요하다. 탠저블 방식은 GIS 지원 아래 여러 시나리오를 준실시간으로 시뮬레이션하고 비교하게 해주므로 두 요구를 동시에 충족한다는 것이다. Tangible Landscape의 공식 출판목록에서 유일하게 사례연구로 분류되는 항목이다. 누가 했는지가 이 사례의 성격을 결정한다. 발행사가 크로스레프에 예치한 저자 소속은 이렇게 적혀 있다. 렌히포 오르테가는 'TLO Ortega의 석사이자 대표', 엔리코 자누소는 '프리랜서 조경가'다. 둘 다 대학 소속이 아니다. 민간 회사 대표와 프리랜서 조경가의 조합이다. 그러므로 이 사례를 '지자체가 낸 대안을 대학이 검증했다'고 쓰면 틀린다. 한 가지 더 붙는다. 같은 인물이 커뮤니티 위키의 노르웨이 항목에 노르웨이 수자원·에너지청 수문부 지리정보과 소속으로, 2017년 봄 그곳의 Tangible Landscape 구축자로 기록돼 있다. 정부기관 실무자로 시스템을 세우고, 5년 뒤 민간에서 실제 도시의 실제 대안을 다룬 사람이라는 궤적이 읽힌다. 이 궤적은 앞의 판단을 뒤집지는 않지만 수정한다. 민간 실무자가 시의 실제 대안에 이 시스템을 적용한 사례는 존재한다. 그것이 유료 용역 납품이었는지, 결과가 오슬로 시의 최종 설계 결정에 반영됐는지는 확인하지 못했다. 논문은 유료이고 초록은 '시가 제안한 3안을 평가했다'고만 적는다. 조경 실무의 유료 용역에 실물모형과 투영이 납품된 사례를 이번 조사에서 한 건도 확정하지 못했다. 없다고 단정할 근거는 없다. 있다고 쓸 근거도 없다. [10] ### 모래상자는 교실로 갔다 이 계보에서 압도적으로 가장 많이 실제 설치된 시스템은 조경 설계 도구가 아니다. 미국 UC 데이비스의 AR Sandbox다. 컴퓨터과학자 올리버 크레일로스가 지구과학 능동가시화 센터에서 만들었고, 미국 국립과학재단의 비형식 과학교육 사업으로 UC 데이비스 타호환경연구센터, 로렌스 과학관, 샴플레인호 ECHO 리히센터와 협력해 개발했다. 구성은 세 가지뿐이다. 실제 모래, 마이크로소프트 키넥트, 데이터 프로젝터. 사용자가 모래를 빚으면 표고 색상지도와 등고선, 시뮬레이션된 물이나 용암이 실시간으로 그 위에 겹쳐진다. 물 흐름은 그래픽 처리장치에서 생브낭 천수방정식을 풀어 계산한다. 소프트웨어와 조립 설명서는 무료로 배포하고 건축 재료만 각자 조달한다. 이름 자체가 증강현실 모래상자다. 이 계보에서 스스로를 증강현실이라 부른 거의 유일한 시스템이다. 규모는 자주 부풀려진다. UC 데이비스 홍보문은 '전 세계 수천 곳'이라고 적는다. 그런데 근거로 제시된 공개 설치 지도가 그 숫자를 부정한다. | 항목 | 값 | |---|---| | 지도 페이지 자체 표기 | 857곳 | | 원본 데이터 계수 | 860건 | | 고유 기관명 | 854곳 | | 지도 최종 갱신 | 2022년 7월 31일 |표 출처: [11] (본문 기준으로 재구성)
900곳 미만이다. '수천 곳'은 감사되지 않은 자체 주장이다. 그 지도가 4년 넘게 갱신되지 않은 상태라는 점도 함께 적어야 한다. 동결된 등록부를 운영 중이라고 쓰는 것은 성과 과대다. 유지보수 상태도 갈래가 여러 개다. UC 데이비스 프로젝트 페이지의 상태 라벨은 'Active'다. 그러나 그것은 라벨이고 코드가 아니다. 정본 구현 저장소의 마지막 푸시는 2019년 6월 17일이다. 소프트웨어 페이지의 프레임 하단 표기는 2012년 5월이지만, 실제 내용 페이지는 2022년 3월에 사용자 지원 포럼 개설을 알리고 다가오는 2.0 릴리스를 언급한다. 2012년 표기를 최종 갱신으로 인용하면 실제보다 10년 정체된 인상을 주고, 2022년 문구만 인용하면 코드가 3년 넘게 멈춰 있다는 사실을 가린다. 둘 다 적는 것이 정확하다. 가장 중요한 사실은 목적이다. 이 시스템은 처음부터 지형도 읽기와 유역 개념을 가르치기 위해 만들어졌고, 설계 의사결정 도구로 진화하지 않았다. 문헌의 분포가 그것을 그대로 보여준다. | 연구 | 발표 | 결과 | 피인용 | |---|---|---|---| | 지질학 개론 실험실 파일럿 | Journal of Geoscience Education 2016 | 공간사고 향상 | 93 | | 대규모 비전공 강의, 교수자 주도 | Journal of Geoscience Education 2017 | 실험군·대조군 차이 없음 | 31 | | 토양학 체험학습 | Natural Sciences Education 2017 | 이해 심화 | 38 | | 지오디자인 적용 실험 | ISPRS Annals 2018 | 협업 설계 이해에 긍정, 실외 적용 한계 | 23 | | Tangible Landscape 물길 설계 교육도구 | SESMO 2021 | 교육 도구로 제안 | 1 | | AR 샌드박스 + 다목적 최적화 | 코펜하겐대 2024 | 유로 길이·침식 정량 최적화 | 0 | | 3D 프린팅 + AR 홍수 가시화 | Int. J. of Digital Earth 2020 | 기존 AR보다 효율적 | 41 |표 출처: [11] (본문 기준으로 재구성)
이 표에서 빠진 것도 있다. 모래상자를 설계 쪽으로 밀어보려는 시도가 아주 없지는 않았다. 덴마크 코펜하겐대에서 2020년에 나온 연구는 증강현실 장치와 계산 설계 방법을 통합한 오픈소스 소프트웨어를 만들어 터치테이블의 유연성을 높였고, 2024년에는 같은 곳에서 모래상자에 다목적 최적화 알고리즘을 붙여 유로 길이를 최대화하고 침식을 최소화하는 지형 대안을 자동으로 찾게 했다. 슬로바키아 공과대에서 2022년에 나온 연구는 증강현실과 탠저블 인터페이스를 계산 설계 도구의 확장으로 놓고, 설계자와 관찰자가 실시간으로 소통하게 만들었다. 발상은 모두 설계를 향한다. 그러나 이 세 편의 피인용은 각각 0회, 0회, 2회다. 학계 안에서조차 이 방향은 아직 대화를 만들지 못했다. 읽는 법이 두 가지다. 첫째, 피인용이 두 자리 이상인 연구는 거의 전부 교육 효과 연구다. 설계 적용을 다룬 연구는 0회에서 23회 사이에 머문다. 이 계보에서 학계의 관심이 몰린 쪽은 설계가 아니라 교실이다. 둘째, 교육 효과조차 일관되지 않다. 2016년 파일럿은 공간사고 향상을 보고했지만, 이듬해 대규모 비전공자 강의에 교수자 주도로 통합한 연구는 제목에 결론을 박아넣었다. '향상 없음'이다. 실험군과 대조군의 성적 차이가 없었다. 이 논문이 31회 인용됐다는 사실이 중요하다. 부정 결과가 무시되지 않았다. [11] ### 함부르크, 3개월 실물모형과 투영이 실제 행정 절차 안으로 들어간 사례는 하나다. 2016년 독일 함부르크의 FindingPlaces다. 이 축에서 가장 중요하고 가장 상세히 기록된 사례이므로 숫자를 그대로 적는다. 배경이 급했다. 2015년 유럽에 난민 신청 120만 건이 들어왔고 독일이 그중 3분의 1을 넘는 44만 2천 건을 받았다. 함부르크는 특정 지구에만 수용시설이 몰려 시민 항의가 일었다. 2015년 6월 올라프 숄츠 제1시장과 MIT 미디어랩 소장이 장기 연구협약을 맺어 하펜시티대(HCU)에 시티사이언스랩을 세웠다. 2016년 2월 시장이 그 연구실에 시민참여 절차 개발을 직접 지시했다. 연말까지 약 7만 9천 명 유입이 예측되는 상황에서 시민의 지식으로 입지를 찾자는 것이었다. 개발 기간으로 준 것은 3개월이다. 워크숍은 세 스테이션으로 구성됐다. 첫째 스테이션에는 함부르크 전역 지도와 목표 2만 명 실시간 카운트다운이 있었다. 둘째 스테이션의 탁자에는 위성영상을 투영하고 적합도를 3색으로 분류해 보여줬다. 빨강은 부적합 지표가 높은 곳, 주황은 중간, 노랑은 적합 가능성이 있는 곳이다. 참가자가 이 색을 보고 관심 구역을 골랐다. 셋째 스테이션의 탁자에서는 필지 위에 마커 블록을 놓으면 면적과 계획규제, 용도지정, 자연보전, 비오톱, 고압선 제약과 산정 수용력이 화면에 떴다. 적합하다는 판단이 서면 40명에서 1,500명 범위의 수용인원 블록을 올려 시에 제안했다. 행정과의 연결이 이 사례를 시범사업 이상으로 만든다. 각 워크숍이 끝나면 제안 목록이 중앙난민조정본부로 바로 넘어가 타당성 심사를 받고, 결과와 사유가 2주 안에 온라인에 공개됐다. 시민의 제안이 행정 절차 안에서 실제로 심사됐고 그 판단 근거가 되돌아왔다. 규모도 작지 않았다. 34회, 회당 2시간, 총 참여자 약 400명이다. 회당 평균 11명, 정원 20명이었고 월요일부터 토요일까지 다양한 시간대에 열었다. 대상은 7개 구였고 중복 참여는 구별 1회만 허용했다. 장소는 하펜시티대 1층의 약 150제곱미터 갤러리다. 운영팀은 6명에서 8명이었다. 모더레이터 한 명, 기록 한 명, 연구자 한 명, 기술 담당 한 명, 조정본부와 구청 대표 한두 명이다. 진행은 함부르크 도시재생공사가 맡았다. 홍보 브로셔 약 4만 부를 뿌려 약 500만 시민에게 도달했다고 보고했다. 개발과 운영 예산은 공개된 적이 없다. 기술 구성은 기록이 상세하다. 2미터×2미터로 맞춤 제작한 탁자 2대를 각각 프로젝터 2대가 절반씩 조명했다. 투명한 탁자 아래에서 카메라 4대가 사분면씩 촬영해 레고 블록 밑면의 정사각 색상코드를 판독했다. 단일보드 컴퓨터 2대가 영상을 스트리밍하고 오픈CV로 처리했다. 통신은 웹소켓 발행·구독 구조였고, 백엔드는 파이썬, 지리정보는 지오서버와 포스트GIS, 지도는 오픈레이어스였다. 축척은 약 1대 750이다. 시유지 여부와 현황용도, 자연보전 같은 여러 레이어를 교차하고 가중해 3등급 적합도를 미리 산출했다. 그리고 결과다. | 단계 | 입지 수 | 수용 규모 | |---|---|---| | 시민 제안 | 161곳 | 약 2만 4천 명 | | 초기 심사 통과 | 44곳 | 기록 없음 | | 상세검토 탈락 | 24곳 | 해당 없음 | | 실행 권고 | 6곳 | 약 750명 | | 장래 계획 검토 | 10곳 | 기록 없음 | 이 표의 산수가 딱 맞지 않는다는 점을 먼저 적어둔다. 44곳에서 24곳이 탈락하면 20곳이 남지만, 실행 권고 6곳과 장래 검토 10곳을 더하면 16곳이다. 네 곳의 처분이 공개 기록에 드러나지 않는다. 1차 논문의 서술을 그대로 옮기면 이렇게 되고, 빈 칸을 메우려고 추정을 넣는 것보다 비어 있다고 적는 편이 낫다. 목표는 2만 명이었다. 시민 제안 단계에서는 목표를 넘겼다. 그러나 실제로 실행 권고를 받은 것은 여섯 곳, 약 750명분이다. 목표의 약 4퍼센트다. 왜 그렇게 줄었는지도 기록돼 있다. 제안된 필지의 절반 이상이 자연보전과 경관보전 대상인 공원과 도심 녹지와 농경지였고, 15퍼센트가 운동장과 놀이터였다. 시민은 빈 땅을 찾았고 행정은 그 빈 땅이 왜 비어 있었는지 알고 있었다. 저자들이 직접 적은 약점 목록이 이 사례의 가치를 만든다. 3개월이라는 일정이 촉박했다. 탁자가 커서 옮길 수 없었고, 그래서 모든 워크숍을 하펜시티대에서 열었고, 그 결과 참여자 선택편향이 생겼다. 도시 데이터가 부족했다. 비전문가가 계획 용어를 이해하지 못했고 투영된 지도와 위성영상의 방향조차 잡기 어려워했다. 일부 참여자는 이 절차를 가짜 참여라고 비판했다. 저자들은 사전 데이터 가공이 결과를 조작할 여지, 즉 암시적 색상 코딩이 논의 방향을 유도할 위험과 정치세력에 의한 도구화 위험도 명시했다. 이 사례를 실패로만 적으면 그것도 한쪽만 보는 일이다. 제3자의 인정이 여러 건 있다. 2017년 유럽연합 집행위원회의 URBACT 상, 2018년 경제협력개발기구 공공혁신관측소와 아랍에미리트 정부혁신센터가 540건의 응모 중에서 선정한 사례, 2019년 두바이 'Edge of Government' 전시다. 행정의 관점에서 이 절차는 성공한 혁신으로 평가받았다. 다만 프로젝트 결과 공개 사이트는 지금 열리지 않는다. 도메인 이름 서버 기록은 남아 있으나 서버가 응답하지 않고, 인터넷 아카이브의 마지막 캡처는 2022년 7월 15일이다. MIT 쪽 프로젝트 소개 페이지는 정상 작동한다. 함부르크 시티사이언스랩의 현재 상태와 그 탁자 두 대의 물리적 행방은 확인하지 못했다. 대학 쪽 해당 페이지는 없어졌고 연구실 자체 도메인은 이름 기록이 남아 있지 않다. [12][13] ### 여럿이 동시에 만진다 함부르크가 왜 이 방식을 골랐는지는 그 앞의 두 실증에 답이 있다. 2015년 미국 보스턴에서 MIT 미디어랩이 도시계획과의 연구 협의체와 함께 간선급행버스 도입의 영향을 전달하는 도구를 만들고 그해 10월에 워크숍 6회를 열었다. 회당 약 2시간, 등록과 오리엔테이션과 도구 탐색과 사후 설문의 동일 구성이었다. 세 축척을 동시에 썼다. 권역은 대형 수직 터치스크린의 웹 도구로, 근린과 가로는 탁자 2대로 다뤘다. 진행은 지역 커뮤니티 퍼실리테이터가 맡았는데, 참여자가 기술과 분석의 통제권이 개발자에게 있다고 느끼지 않게 하려는 의도였다. 자체 평가는 양면적이었다. 참여자는 사후 설문에서 아주 많이 배웠다고 답했고 다축척 표현이 학습과 공동창작을 도왔다. 그러나 저자들이 적은 약점이 더 무겁다. 탠저블 모형은 조작 가능한 조각이 몇 개뿐이어서 창의적 탐색이 제약됐다. 그리고 세 축척 어디에서도 사용자가 만든 결과물이 문서화되지 않았다. 선호하는 노선 유형, 버스 우선권과 주차면의 상충을 어디까지 수용할지 같은 것이 남지 않았다. 워크숍이 산출물을 남기지 못했다는 뜻이다. 함부르크가 제안 목록을 곧바로 행정에 넘기는 구조를 설계한 이유가 여기 있다. 같은 해 MIT 켄들 스퀘어의 재개발을 소재로 한 통제 실험은 이 방식의 효과를 직접 측정했다. 참여자를 두 집단으로 나눠 한쪽은 통상적인 펜과 종이 토론으로, 다른 쪽은 탠저블 모형으로 같은 계획 과제를 풀게 했다. 두 세션을 영상으로 녹화하고 코딩 스킴으로 행동과 발화와 제스처를 계량해 비교했다. 사우디 국립과학기술원과 MIT의 공동연구센터 소속 연구자들이 주저자였다. 결과는 탠저블 방식이 참여자를 더 능동적으로 만들고 공통 이해를 더 빠르게 형성한다는 것이었다. 참여자 수는 확인하지 못했다. 왜 통하는가. 답은 장비가 아니라 자세에 있다. 화면 앞에서는 한 사람이 마우스를 쥐고 나머지가 그 화면을 본다. 통제권이 한 명에게 있고 나머지는 관객이다. 탁자를 둘러서면 여러 사람이 동시에 같은 대상을 보고, 동시에 손을 뻗을 수 있다. 손으로 무언가를 옮기는 행위는 발언권을 필요로 하지 않는다. 지형을 깎는 행위 자체가 제안이 된다. 계획 용어를 모르는 사람도 블록을 놓을 수 있다. 여럿이 동시에 보고 손으로 만진다는 조건이 공공 참여에서 이 방식이 화면을 이긴 이유다. 그리고 바로 그 조건이 이 방식의 상한이기도 하다. 탁자를 둘러설 수 있는 사람은 열 명 안팎이다. [14] ### 그리고 화면으로 돌아갔다 함부르크 이후를 적지 않으면 이 장은 거짓이 된다. FindingPlaces가 성공 서사로 회자되는 동안, 함부르크가 실제로 제도화한 것은 레고 탁자가 아니었다. 함부르크가 남긴 제도는 DIPAS다. 도시개발주택청이 주정부 지리정보측량청과 하펜시티대 시티사이언스랩과 함께 개발해 2021년 GPL 라이선스로 공개했다. 150개 이상의 절차에서 검증됐고, 독일 행정 클라우드를 통해 다른 지자체가 별도 조달 절차 없이 쓸 수 있다. 구성은 온라인 참여와 현장의 인터랙티브 터치테이블이다. 인터랙티브 지도와 항공영상, 3차원 모델, 지리데이터를 통합한다. 레고 블록도 없고 상부 투영도 없고 하부 카메라도 없다. 평면 화면이다. 2019년 함부르크가 새 주거·업무지구 입찰에 같은 계보의 도구를 적용했을 때도 그것은 온라인 도구였다. 설계자와 심사위원이 소음 전파와 보행 접근성 같은 목표 지표에 대해 즉시 평가를 받는 방식이다. 2021년 국제전자정부연구저널에 실린 논문이 이를 기록했다. 저자 구성이 흥미롭다. 하펜시티대 소속 다섯 명과 개발 주체인 하펜시티함부르크 유한회사 소속 두 명, MIT 한 명이다. 대학과 개발 주체가 한 논문에 들어와 있다. 다만 그 지구의 이름은 논문 초록에 없다. 초록은 '함부르크의 새 주거·업무지구'라고만 적는다. 공동저자 구성으로 추정할 수는 있으나 1차 자료로 확인되지 않으므로 이 책은 지구명을 쓰지 않는다. 2020년 파리의 ChampScope는 다른 종류의 사례다. 샹젤리제 개편을 다루는 물리 설치물로 파비용 드 라르스날 전시에 나갈 예정이었고, 실제 발주된 전시였다. 그것이 온라인 플랫폼으로 바뀐 원인은 프로젝트 페이지에 명시돼 있다. 코로나19와 그로 인한 전시 강제 폐관이다. 팀 소개문이 그 시기를 요약한다. 세 개 대륙, 다섯 개 도시, 여섯 개 집에서 작업했고 그중 파리는 없었다. 이것을 설계철학의 후퇴로 읽으면 인과를 잘못 붙이는 것이다. 팬데믹으로 전시장이 닫혔다. 2023년 이후의 우크라이나 하르키우 마스터플랜 도구는 웹 기반이다. 지표는 자연 접근성과 보행성, 입도다. 협력 주체는 노먼포스터재단과 하르키우 시의회, 유엔유럽경제위원회, Arup이다. MIT 프로젝트 페이지는 연도를 적지 않는다. 2026년 9월에 공개된 광산 지역 커뮤니티 워크숍 도구도 웹 지도다. 칠레 라 이게라의 광산 프로젝트를 다루고 정부 데이터 서비스와 연동하며 워크숍 노트를 지리정보 파일로 내보낸다. 여기서 흔히 인용되는 코드 증거 하나를 정정해야 한다. 탠저블 모듈 라이브러리의 푸시가 2022년 8월에 멈췄다는 사실을 퇴각의 증거로 드는 서술이 있다. 그 저장소의 자체 설명은 모듈 간 통신을 처리하는 파이썬 라이브러리이고, 탠저블 전용이 아니다. 실제 탠저블 관련 저장소들은 훨씬 뒤까지 손질됐다. | 저장소 성격 | 최종 푸시 | |---|---| | 통신 라이브러리 | 2022년 8월 9일 | | 탠저블 탁자 스캐너 | 2024년 5월 21일 | | 탠저블 인터페이스 투영 매핑 도구 | 2025년 3월 6일 | | 키스톤 보정 도구 | 2025년 1월 12일 | | 산세바스티안 모빌리티 테이블 | 2025년 6월 19일 |표 출처: [15] (본문 기준으로 재구성)
단일 저장소의 날짜로는 퇴각을 논증할 수 없다. 2026년 9월에 공개된 광산 워크숍 도구를 근거로 쓰는 것도 마찬가지다. 그 저장소는 조사 시점에 생성 후 열이틀 된 것이고 별 표시가 하나도 없다. 기관 차원의 경향을 입증할 이력이 없다. 게다가 그 설명 문서에는 유니티 3차원 장면 연동을 시사하는 문구가 남아 있어 순수한 웹 도구라고 단정하기도 어렵다. 그러니 퇴각의 근거는 저장소 날짜가 아니라 무게중심으로 잡아야 한다. 2025년과 2026년에 이 조직에서 활발한 코드는 대중교통과 접근성과 인구 분석용 파이썬 도구들이다. 함부르크가 운영하는 것은 터치테이블과 웹이다. 같은 도시의 대형 공모에 쓰인 것도 온라인 도구였다. 하르키우와 칠레의 최신 사례도 웹 지도다. 레고 탁자는 제도화되지 못했다. 이 결론은 단일 저장소가 아니라 다섯 개 도시의 선택이 받친다. [15] ### 크기와 사실성 이 축의 본격 비판 문헌은 한 편이다. 슬로베니아에서 발행되는 학술지 우르바니 이즈지프 29권 보충호 63~78쪽에 실린 2018년 논문이다. 저자는 탠저블 계획지원시스템 두 종류를 비교했다. 카드를 쓰는 수동형과, 레고 블록에 알고리즘 시뮬레이션이 붙은 능동형이다. 후자의 사례가 함부르크다. 비판은 세 층이다. 첫째는 크기다. 업계 표준 인터랙티브 테이블이 약 1.6미터×1미터인데 함부르크의 탁자는 2미터×2미터 맞춤 제작이었다. 좋은 인터넷 회선과 전용 컴퓨터, 화면, 프로젝터까지 필요해 운반과 설치에 상당한 시간과 노력이 든다. 그래서 모든 워크숍을 대학에서 열었고 참여자들이 그것을 불편하게 느꼈다. 공공 참여는 민감한 일이므로 그런 이유가 참여자 수와 분위기, 편향, 유의미한 피드백을 낼 의지에 영향을 준다. 둘째는 규모의 상한이다. 워크숍은 회당 최대 20명이었고, 설계사고 방식으로 진행하려면 퍼실리테이터 한 명당 4명에서 8명이 적정이다. 참여자를 늘리려면 워크숍 조를 늘려야 하고 그것은 장비를 늘리는 일이다. 대규모 여론 수집 포맷으로는 부적합하다는 결론이 나온다. 셋째가 가장 무겁다. 능동형 시스템은 미리 구현해둔 알고리즘으로 새 공간데이터를 실시간 생성하므로, 결과가 프로그래머의 분석 역량과 기술에 크게 좌우된다. 저자는 브뤼노 라투르를 끌어와 이렇게 비판한다. 시뮬레이션의 해답이 단 하나의 제시로 반박 불가한 진리처럼 렌더링되어, '관심의 문제'를 우회해 '사실의 문제'로 칠해진다. 그리고 그 사실성이 행정에는 유용하다. 답이 없던 자리에 구체적인 답을 주고, 해답이 기적처럼 나타나 관료와 과학자 양쪽을 책임에서 면제하면서, 절차를 객관적이고 투명하고 설득적으로 보이게 만든다. 저자의 결론은 타협적이다. 촉각적 계기는 사람에게 통제권과 권위를 주므로 설계사고형 공공 참여에 매우 중요하다. 그러나 크기와 기술적 복잡성은 탠저블 인터랙티브 계획지원시스템의 극복하기 어려운 한계다. 온라인 도구는 큰 표본을 덮되 개인의 기여도가 낮고, 탠저블은 구체적 제안을 내는 포커스 그룹은 되지만 더 큰 대중의 대표성은 없다. 이 진단이 2018년에 나왔다. 그 뒤 함부르크가 실제로 간 곳은 온라인과 터치테이블의 결합이었다. 예측이 맞았다. [16] ### 무엇을 증강현실이라 부를 것인가 이 장의 사례들을 한 덩어리로 묶어 증강현실이라 부르면 책의 정의가 무너진다. 그러나 기준을 세우려 하면 곧 어려움에 부딪힌다. 정직하게 적어둔다. 흔히 쓰는 기준은 '3차원 표면 형상을 스캔해 그 형상에 되맞추는 정합 루프가 있는가'다. 이 기준으로 보면 Illuminating Clay와 TanGeoMS, Tangible Landscape, AR Sandbox는 증강현실이고, 레고 블록을 격자 위에 놓고 평면에 지도를 투영하는 계열은 아니다. 문제는 같은 기준을 1999년의 Urp에 대면 Urp도 통과하지 못한다는 것이다. Urp의 원 논문은 '평범한 탁자 표면에 놓인 물리적 건축모형'이라고 적는다. 평면 탁자 위의 이산 모형과 태그 추적과 상부 투영이다. 연속 표면을 스캔하는 고리가 없다. 구조적으로 레고 계열과 같다. 자기 서술을 기준으로 삼아도 결론이 뒤집힌다. Tangible Landscape의 공식 사이트가 열거하는 기능 목록에는 가상현실이 별항으로 있고, '증강현실'이라는 단어는 한 번도 나오지 않는다. 자기 서술로 판정한다면 이 계보의 표준 시스템부터 강등된다. 그래서 이 책은 하나의 경계선 대신 세 가지 조건을 나누어 적는다. | 계열 | 정합 대상 | 표면 형상 스캔 | 스스로 쓰는 말 | |---|---|---|---| | Urp / Luminous Table | 축소 실물모형 (평면 위 이산 모형) | 없음 (태그 추적) | AR 학회 게재 | | Illuminating Clay / TanGeoMS / Tangible Landscape | 축소 지형모형 | 있음 (연속 표면) | '탠저블', VR 별항 | | AR Sandbox | 모래 지형 | 있음 (연속 표면) | 'Augmented Reality' | | 레고 탁자 계열 | 축소 지도 평면 | 없음 (블록 색상코드) | '탠저블 UI' |표 출처: [1][5][11][12] (본문 기준으로 재구성)
여기서 확실한 것 하나. 이 장의 어느 시스템도 실제 현장에 정합하지 않는다. 전부 축소 모형에 정합한다. 이 계보를 '현장에 겹쳐 보는 증강현실'과 같은 범주로 넣으면 책이 틀린다. 그리고 레고 탁자 계열을 증강현실로 소개하는 것은 더 명확히 틀리다. 3차원 형상에 되맞추는 고리가 없고, 투영 대상이 실세계가 아니라 축소 지도 평면이다. 탠저블 사용자 인터페이스에 상부 투영 디스플레이가 붙은 것으로 서술하는 것이 정확하다. [1][5][11][12] ### 남은 것 확인하지 못한 것을 적는다. 함부르크 사업의 개발·운영 예산은 공개된 적이 없다. Tangible Landscape의 연구비 출처와 금액, AR Sandbox의 재단 과제번호와 금액도 확인되지 않는다. 조경가 대상 실험의 참가자 수, 켄들 스퀘어 통제 실험의 참가자 수, 캘리포니아 병해 연구의 이해관계자 수도 초록에서 찾을 수 없었다. 안도라와 대만, 상하이의 탁자가 물리적으로 설치되어 공공 절차에 쓰였는지는 1차 자료로 확인하지 못했다. 자주 언급되는 리야드 배치는 별도 프로젝트로서의 실체를 찾지 못했고, 확인된 것은 사우디 공동연구센터 연구자들이 MIT 켄들 스퀘어 모형으로 수행한 사용성 실험이었다. 없으면 없다고 적는 것이 이 목록의 목적이다. 그래도 남는 것이 있다. 이 계보는 조경에서 증강현실이 가장 오래 살아남은 형태다. 27년 동안 끊기지 않았고, 부품표와 코드가 공개되어 있고, 2천 달러 대로 복제할 수 있고, 조경 설계의 지형 과제 세 가지에 대해 화면보다 낫다는 측정 결과를 하나 가지고 있다. 여러 사람이 동시에 보고 손으로 만진다는 조건은 어떤 헤드셋도 아직 제공하지 못한다. 800여 곳의 학교와 박물관에서 아이들이 모래를 밀어 물길을 만드는 일도 계속되고 있다. 접힌 이유도 분명하다. 기술이 아니었다. 정합도 지연도 문제가 아니었다. 탁자가 커서 옮길 수 없었고, 그래서 사람이 연구실로 와야 했고, 한 번에 스무 명이 상한이었고, 사안마다 맞춤 지리정보 전처리와 알고리즘 개발이 필요했고, 시민이 찾아낸 빈 땅은 대부분 이미 이유가 있어 비어 있었다. 업무흐름과 규모의 문제다. 그리고 데이터를 미리 가공해 색으로 칠하는 순간, 그 색이 논의를 유도한다는 정치적 문제가 남는다. 이 네 가지 중 어느 것도 더 좋은 센서로 풀리지 않는다. 손으로 만지는 지형은 이 계보에서 증강현실이 실제로 작동한 유일한 형태이지만, 그것이 살아남은 장소는 설계 사무소가 아니라 교실과 전시실이었고, 행정이 한 번 문을 열었을 때 남긴 것은 탁자가 아니라 화면이었다. [5][6][7][10][13][16]본문의 번호를 누르면 출처로 이동합니다. 절 끝의 번호는 그 절의 사실 자료를, 표 아래의 번호는 표에 사용한 자료를 가리킵니다. 비교·계산·비유와 결론은 필자의 재구성입니다. 한 번호에 함께 사용한 문헌이 둘 이상이면 묶어서 적었습니다.
서지정보와 확인 메모는 옵시디언 조사 기록을 바탕으로 복원했습니다. 원 기록의 ‘전문 확인’·‘조회’ 표기는 당시 조사 상태이며 이번 웹판에서 모두 재검증했다는 뜻은 아닙니다. 불완전한 서지사항은 임의로 채우지 않았습니다.
연구 프로토타입 (+대학 스튜디오 교육·학회 시연)
연구 프로토타입 (CHI 2002 논문)
연구 프로토타입 (IEEE TVCG / IEEE CG&A 논문, 적용 시연 3건)
연구 프로토타입 (단, 오픈소스로 다기관 채택·10년 이상 유지보수라는 점에서 단발 프로토타입과는 다르다)
연구 프로토타입 (통제된 사용자 실험, 정량 평가 포함)
연구 프로토타입 (실제 이해관계자 참여 워크숍을 포함한 학술 연구)
연구 프로토타입 (사례연구 시연)
혼합 — 대학 교육·연구실 설치(다수), 공공기관 전시 설치(NVE 알타 댐, NGA), 환경교육 상설 프로그램(볼드헤드섬). 유료 설계 용역 납품은 없음
연구 프로토타입 (지자체가 제시한 실제 대안을 대학이 검증. 지자체 발주 용역이라는 증거는 없음)
실제 납품·상설 설치 (박물관·학교 전시물로서). 단 설계 용역 납품은 아님
연구 프로토타입 + 공공 시범사업 (사안별로 다름. 항목 13~15 참조)
공공 시범사업 (시장 직접 지시, 행정 기관이 결과를 실제로 심사·공개)
보스턴 BRT = 공공 시범사업(실제 커뮤니티 공청회). Kendall Sq·CCES = 연구 프로토타입(통제된 관찰 실험)
실제 납품·제도화 (DIPAS: 150개 이상 절차 / 2019 함부르크 입찰: 실제 공모 절차 적용) + 개념·온라인 전환(ChampScope)
학술 비판 문헌 (오픈액세스 심사논문, 사례 2건 비교)
본문의 번호를 누르면 출처로 이동합니다. 절 끝의 번호는 그 절의 사실 자료를, 표 아래의 번호는 표에 사용한 자료를 가리킵니다. 비교·계산·비유와 결론은 필자의 재구성입니다. 한 번호에 함께 사용한 문헌이 둘 이상이면 묶어서 적었습니다.
서지정보와 확인 메모는 옵시디언 조사 기록을 바탕으로 복원했습니다. 원 기록의 ‘전문 확인’·‘조회’ 표기는 당시 조사 상태이며 이번 웹판에서 모두 재검증했다는 뜻은 아닙니다. 불완전한 서지사항은 임의로 채우지 않았습니다.
연구 프로토타입. 개념·방법 제안과 구현 수준이며 실무 납품 사례가 아니다.
연구 프로토타입 + 전문가 리뷰. 상용화나 재배농가 납품은 아니다.
연구 프로토타입. 다만 2010년 논문은 효고현 공무원이 공동저자여서 행정 실무 문제의식이 직접 반영됐다. 실제 심의 절차에 제도적으로 채택됐다는 증거는 찾지 못했다.
연구 프로토타입. 검증 실험까지 수행했으나 실제 주민설명회나 인허가 절차에 투입된 기록은 논문에 없다.
연구 프로토타입 + 소규모 전문가 사용자 연구. 실제 홍수위험관리 업무에 납품된 것은 아니다.
연구 프로토타입. 2023년 논문은 이론 프레임워크 + 사례 적용이며, 실제 발주된 설계 프로젝트의 납품물은 아니다.
연구 프로토타입 또는 개념 제안. 학술대회 논문집(Journal of Physics: Conference Series)이며 IOP가 봇 차단으로 전문 열람을 막아 구현 수준을 확인하지 못했다. 공공 시범사업이라는 증거는 없다.
연구 프로토타입 + 전문가 휴리스틱 평가·포커스그룹. 상용 제품 없음. 논문은 '현재 산림용 전용 상용 MR 솔루션은 존재하지 않는다'고 명시했다.
실제 납품·준공에 준함(상설 연구 인프라). 랩은 D-ARCH와 D-BAUG가 공동 설치·운영하며 ETH Hönggerberg HIL H층에 물리적 공간(AudioVisual Room HIL H40.5, Computer Room HIL H40.8)을 갖고 있다.
실제 납품·준공. 공공기관·지자체·지역계획공동체·엔지니어링사 발주 프로젝트가 약 40건 공개돼 있고 발주처와 수행기간이 명시된다.
실제 납품. 발주처, 계약 기간, 수행 내역, 협력기관이 모두 명시돼 있고 주민 대상 공개 행사에서 사용됐다.
글래스고: 전시·시연 수준(비심사 학회 슬라이드). Rannow 등: 연구 프로토타입 + 현장 무작위 실험(심사 통과, Journal of Outdoor Recreation and Tourism 및 Environmental Management 게재).
공공 시범사업(실제 행정계획에 연동된 지자체 발주·자금 지원 워크숍). 일부 제안은 실제 시공까지 갔다고 논문이 밝히나 그 근거는 회의 전언 1건.
연구 프로토타입(파일럿 연구). 다만 결과가 실제 공원 재설계 팀에 전달되어 사용되고 있다고 논문이 명기했으므로, 실무로 이어진 드문 경우다.
연구 프로토타입(TRL 4로 분류). 실제 조림 사업 납품 증거 없음. HoloLens 2 식재 유도는 실험적 설정(experimental setups) 단계로 명시돼 있다.
연구 프로토타입 + 상설 연구·교육 인프라. 센터는 Geovisualization Lab을 운영하며 온라인 가상 투어(Matterport)까지 제공한다. 타 기관이 자체 제작할 수 있도록 오픈소스 문서와 자문을 제공한다.
실제 납품·준공. 전 세계 수천 개 장소에 설치됐다고 UC Davis가 밝히고 있으며(박물관·대학·중고등학교), 알려진 설치 위치를 표시한 인터랙티브 지도를 운영한다. 백악관, USA Science and Engineering Festival, 다수의 국제 학술대회에도 전시됐다. ECHO Lake Aquarium and Science Center에는 '박물관 등급' 사양이 설치돼 있다.
공공 연구 프로그램(EU COST Action). MoU 048/24, CSO 승인 2024년 5월 17일, 시작 2024년 9월 26일, 종료 2028년 9월 25일. 산하 개별 프로젝트는 연구 프로토타입~상용 제품이 섞여 있다.
혼합. ÖBf는 공공 시범사업(2023년 잠정 평가 보고서). Arboreal·Forstify·Timbeter·ForestScanner는 실제 판매·배포되는 상용 제품(TRL 7~9). Skogforsk HUD와 HoloLens 2 식재 유도는 현장 시험·실험 단계. HoloLens 2 임지경계 가시화는 파일럿.
실제 납품(상용 제품). 2026년 현재 판매·지원 중이며 데모 요청, 사양서, FAQ가 공개돼 있다.
표 출처: [1][2][3][4][5][6][7][8][9][10][11][12][13][14][15][16] (본문 기준으로 재구성)
등급을 나눈 이유는 하나다. 이 축의 문헌은 등급을 섞어 인용된다. 연구 프로토타입을 소개한 논문이 "증강현실이 시민 참여를 높인다"고 쓰고, 다음 논문이 그 문장을 근거로 인용하고, 세 번째 논문이 그것을 이미 확립된 사실처럼 배경에 깐다. 세 편 모두 참여한 시민은 한 명도 없을 수 있다. 그러므로 이 장이 반복해서 묻는 질문도 하나로 고정한다. 시민이 증강현실로 무엇인가를 놓았을 때, 그것이 실제 설계를 바꾸었는가. 이 질문에 문서로 답한 사례는 이 조사에서 두 건이다. 조경 관련 핵심 문헌 140편 가운데 참여와 주민 소통을 다룬 것이 10편인데, 그 10편에서 설계 변경까지 확인된 것이 두 건이라는 뜻이다. 그리고 그 두 건의 근거도 뒤에서 보듯 단단하지 않다. [1][2][3][4][5][6][7][8][9][10][11][12][13][14][15][16] ### 오슬로, 청소년이 나무를 놓다 가장 앞에 놓아야 할 사례는 오슬로다. 이유는 규모가 아니라 순서다. 이 사례에서 먼저 물어 온 쪽은 연구자가 아니라 시청이었다. 오슬로시는 2030년까지 새 나무 10만 그루를 심는 계획을 세웠다. 계획건축국 산하 도시생태센터 ByKuben과 시의회 도시개발 담당이 오슬로건축디자인대학(AHO)에 먼저 접촉했고, AHO의 Kai Reaver가 이를 실지 사례연구로 설계했다. 참여자 모집과 인건비, 인솔 직원을 시가 부담했고 기술비도 일부 지원했다. 발주가 위에서 내려온 사업이다. 진행 구조는 단순했다. 첫날 대학의 통제된 환경에서 한 시간 동안 증강현실 조작과 화면녹화를 훈련한다. 이어 한 시간 동안 구글맵과 스트리트뷰로 자기 동네에서 나무를 심을 만한 자리를 청소년이 스스로 고른다. 그다음 3~4일 동안 하루 4~5시간씩 걸어서 또는 대중교통으로 하루 4~5개 지점을 돌며 iPad로 나무를 놓는다. 마지막에 각자 마음에 드는 안을 골라 정치인과 시 공무원, 구청 담당자 앞에서 직접 발표한다. 워크숍 하나가 한 주에 걸쳐 진행되었고 그것이 다섯 주 동안 다섯 번 반복되었다. | 항목 | 값 | |---|---| | 기간 | 2020년 8월 5주 + 2021년 반복 | | 참여 구성 | 청소년 5개 그룹, 그룹당 9~18명, 오슬로 8개 구 | | 시연된 최대 인원 | 약 90명 | | 배치 구성요소 소요 | 3~4일, 하루 4~5시간, 하루 4~5개 지점 | | 배치된 나무 | 약 8,000그루(중복 통합 시 약 5,000) | | 논문 게재 | Frontiers in Virtual Reality, 2023년 2월 |표 출처: [1] (본문 기준으로 재구성)
이 표의 마지막 두 줄에 주의를 두어야 한다. 8,000그루는 계측값이 아니다. 논문은 수집된 데이터가 수천 장의 이미지와 약 30시간의 화면녹화로 이루어져 연구팀에게 압도적이었다고 적고, 클라우드 데이터 평가와 선정 지점 몇 개 표본 세트의 배치를 근거로 8,000그루가 배치된 것으로 추정한다고 밝힌다. 5,000그루도 같은 표본 세트에 근거한 대략의 어림값이다. 이 축에서 가장 자주 인용되는 규모 수치가 저자 자신의 데이터에 대한 표본 외삽이다. 기술 구성은 Apple ARKit에 자체 Unity 구성요소인 Udaru(User-driven Augmented Reality Urbanism), 상용 패키지 Augment, 조경 증강현실 앱 iScape의 요소를 섞은 혼합 스택이었다. Udaru를 이 사업의 소프트웨어 이름으로 부르는 것은 정확하지 않다. Udaru는 사전 프로토타입의 구성요소 하나로 논문에 단 한 번 등장하고, 워크숍에서 실제로 쓴 앱의 이름은 논문에 나오지 않는다. 논문은 그것을 "the AR application"이라고만 부른다. 증강현실 여부는 분명하다. iPad Pro의 카메라 화면 속 실제 가로와 공지에 3차원 수목을 실제 치수로 겹쳐 놓고, 그 자리에서 보면서 위치를 정했다. 정합은 ARKit이 담당했다. [1] ### 오슬로가 남긴 네 개의 틈 이 사례가 값진 것은 성공했기 때문이 아니라, 저자가 실패를 감추지 않았기 때문이다. 남은 틈이 네 개 있고 성질이 서로 다르다. 첫째는 좌표의 틈이다. 논문이 부정확하다고 지목한 대상은 현장 중첩이 아니다. 이미지와 영상의 위치 메타데이터, 그리고 증강현실 객체의 내부 좌표다. 화면에서 나무는 제자리에 서 있었지만 그 위치를 지자체의 계획 좌표계로 옮길 수가 없었다. 논문의 표현은 "증강현실 데이터를 지자체가 쓰는 계획 시스템으로 직접 변환하기에는 충분히 정확하지 않다"다. 측량 등급과 비교한 문장이 아니라 시스템 연동 불가를 말한 문장이다. 둘째는 업무흐름의 틈이다. 결과적으로 워크숍이 끝난 뒤 연구팀이 객체를 수동으로 재배치해야 했다. 논문은 증강현실 제안에서 계획 제출물로의 변환이 대부분 수작업이어야 했다고 적는다. 실제 식재 위치를 확정하려면 결과를 다시 CAD 도면이나 GIS에서 손으로 좌표 지정해야 했다. 셋째는 전문성의 틈이다. 연구팀의 예상이 두 방향으로 뒤집혔다. 청소년이 증강현실을 어려워할까 봐 긴 훈련 시간을 잡아 두었지만, 2020년 첫 시험 후 그것이 불필요하고 심지어 과잉이라고 판단해 줄였다. 대부분이 몇 분 안에 인터페이스와 공간 배치를 이해했다. 반대로 전문가는 끝까지 필요했다. 토양, 수종, 용도지역, 근계 크기를 청소년이 모르므로 어떤 안이 실행 가능한지 검증하는 일은 전문가 몫으로 남았다. 실제로 많은 나무가 토지 이용권상 법적으로 어려운 자리나 근계가 들어갈 수 없는 지하 조건에 놓였다. 넷째는 규모의 틈이다. 저자가 직접 수치로 못 박는다. 10만 그루 목표에 이 방식이 대응하려면 참여자와 장비, 진행요원을 주당 9~18명에서 두세 배로 늘려야 할 것으로 보인다고 적는다. 다섯 그룹 약 90명이 시연된 전부다. 그리고 사람의 틈도 있었다. 워크숍 4에서 두 명은 실제로 나무를 심는 일인 줄 알았다며 참여를 거부했고, 실물 식재 작업으로 대체 배정되었다. 이 연구의 평가 틀은 Arnstein의 참여 사다리였다. 저자는 최상단인 시민 통제에 닿았다고 볼 여지가 있다고 쓰면서, 곧바로 스스로 반론을 적는다. 전문가의 구조와 훈련과 장비 없이는 이 워크숍 자체가 성립하지 않았다는 것이다. 사다리의 맨 위 칸을 잡게 해 준 손이 전문가의 손이었다면 그것을 시민 통제라고 부를 수 있는지가 남는 질문이다. [1] ### 오슬로의 시공 주장은 어디까지 믿을 수 있는가 논문은 두 곳에서 성과를 주장한다. 초록은 증강현실 안이 계획의 최종 설계에 영향을 미쳤다고 단정한다. 본문은 청소년의 설계가 지자체에 의해 실제로 구현되기까지 했다고 쓴다. 그 전거는 각주 하나다. 2022년 11월 11일 오슬로시와 ByKuben과의 회의. 시공 기록도, 계획 문서도, 준공 자료도 아니다. 회의에서 들은 사후 전언이다. 몇 그루가 어느 구에 언제 심겼는지는 논문에 없다. 이 조사도 오슬로시 측의 1차 문서로 교차검증하지 못했다. 이것을 단행본에 옮길 때 정직한 표현은 하나뿐이다. 오슬로 사례는 논문 저자의 사후 전언에 근거해 일부 제안이 실행되었다고 밝힌 공공 시범사업이다. 그 이상으로 쓰면 책이 틀린다. [1] ### 밀라노, 감정을 모으고 설계는 그대로 두다 두 번째 사례는 성격이 다르다. 발주처에 민간 부동산 개발사가 들어간 드문 경우다. AR4CUP(Augmented Reality for Collaborative Urban Planning)은 EU Horizon 2020의 EIT Digital 과제였다. 총예산 529,271유로, 기간 2019년 1월부터 12월까지. 컨소시엄은 프랑스 증강현실 기업 Artefacto, 핀란드 국립기술연구소 VTT, 밀라노공대 도시시뮬레이션연구실, 부동산 개발사 Covivio였다. 대상지는 밀라노 Porta Romana 지구 via Serio의 5,000제곱미터 공지로 현재 주차장으로 쓰이는 땅이며, 그 자리에 들어설 VITAE는 C40 Reinventing Cities 당선안이었다. 앱을 만들기 전에 한 일이 이 과제에서 가장 쓸모 있는 부분이다. 연구팀은 국제 부동산 개발사 3곳, 대형 도시개발을 맡은 국제 건축사무소 3곳, 인구 규모 있는 도시의 전임 도시계획 담당 시의원 1명에게 각 한 시간 반씩 반구조화 인터뷰를 했다. 증강현실을 팔려는 쪽이 사려는 쪽에게 무엇이 필요한지 물은 것이다. 답은 뜻밖이었다. 실무자들은 시중 증강현실 앱을 못 믿는다고 했고 이유를 두 가지 들었다. 디테일과 텍스처, 반사, 음영의 품질이 낮아 최종 프로젝트를 과소평가하게 만든다는 것. 그리고 리얼리즘 때문에 마케팅에 필요한 꿈 효과가 사라진다는 것. 첫째는 기술이 부족하다는 불만이고 둘째는 기술이 지나치다는 불만이다. 같은 자리에서 나온 두 말이 정반대 방향을 가리킨다. 이 축에서 증강현실이 실무에 들어가지 못하는 이유를 수요자 쪽 언어로 기록한 몇 안 되는 자료다. 실증은 2019년 12월 'Experiencing VITAE' 야외 공개행사에서 이루어졌다. 앱은 대상지 현장에서 사진사실적 3차원 모델을 실제 치수로 자동 지오레퍼런싱해 스마트폰 화면의 실세계에 겹쳤다. 참여한 시민은 63명, 평균 41세였다. 여기서 흔히 저지르는 오독을 걷어내야 한다. 같은 연구 계보에 참여자 48명의 다른 실험이 있고 그것이 증강현실의 가상현실 대조군처럼 인용된다. 그렇지 않다. 그 실험의 자극은 머리착용기기가 아니라 와이드스크린에 투사한 구면 파노라마였고, 대상지도 VITAE가 아니라 다른 구역의 현재 상태였으며, 사진은 2018년 6월에 찍혀 실내에서 제시되었다. 두 실험은 서로 다른 장소의 서로 다른 상태를 다른 매체로 본 별개 연구다. 저자들도 두 시나리오의 완전한 비교를 저해하는 준실험 설계의 한계를 인정하며, 한쪽은 맑은 날, 한쪽은 흐린 겨울날이었다고 적는다. 그래서 설계는 바뀌었는가. 바뀌지 않았다. 증강현실로 모은 시민 감정 데이터가 설계를 바꿨다는 보고는 논문에 없다. 2021년 후속 논문은 녹색과 라임색의 가중 채도가 불쾌감을 낮춘다는 색채 상관만 보고하고 시민 피드백의 설계 반영은 다루지 않는다. 이유를 절차에서 찾으면 명확해진다. VITAE는 이미 공모 당선안이었고 설계사 자료상 2019년 말 착공 예정이었다. 증강현실 실증은 그 당선안을 시민에게 처음 공개하는 행사였다. 바꿀 설계가 그 시점에 남아 있지 않았다. 한 가지 더 기록해야 할 사실이 있다. 파일럿 대상인 VITAE의 개발과 설계 주체는 Covivio, Carlo Ratti Associati, Habitech, 그리고 기타 파트너였고 그 기타 파트너에 밀라노공대 도시시뮬레이션연구실이 들어간다. 저자들의 연구실이다. 같은 논문은 이해충돌이 없다고 선언한다. 과제의 결과물 자체는 살아남았다. 후속 논문은 AR4CUP 앱이 Artefacto에 의해 City Sense라는 이름으로 배포된다고 명기하고, 방법론 exp-EIA의 저작권 등록 두 건과 이탈리아 특허출원 한 건까지 적는다. 2021년 LAVAL AWARD EUROPE 서비스 부문 수상 기록도 공개되어 있다. 접힌 것은 앱이 아니라 시민 데이터가 설계에 닿는 경로였다. [2] ### 마이애미, 노인 열 명과 세 개의 벽 세 번째 사례는 규모가 가장 작고 기여가 가장 단단하다. 플로리다국제대 연구진은 마이애미의 노인들이 공원을 잘 쓰지 않는다는 문제에서 출발했다. 공원이 그들의 필요와 선호를 지원하지 않는 것이 이유라면 재설계 단계에서 노인을 끌어들여야 한다는 가설이었다. 연구진은 노인 10명을 공원으로 데려와 HoloLens를 씌우고, 산책로와 차도를 가르는 차단벽 세 가지 안을 현장에 겹쳐 보여주었다. 높은 실벽, 낮은 실벽, 투명벽이다. 여기서 한 가지 사실을 바로잡아야 한다. 논문은 실험 장소를 "차량 통행과 보행로 사이에 아무 차단이 없는 간선도로에 인접한 공공 공원"으로만 적고 공원 이름을 밝히지 않는다. 대상 사업이 The Underline이라는 것은 감사문의 언급에서 추론한 것이다. 선호 결과는 자주 "90퍼센트가 투명벽을 택했다"로 인용된다. 정확하지 않다. 참여자는 세 안을 각각 리커트 척도로 평가했고 하나를 택하지 않았다. | 차단벽 안 | 좋다 + 아주 좋다 | 아주 싫다 | |---|---|---| | 투명벽 | 90%(30 + 60) | 기록 없음 | | 낮은 실벽 | 70%(50 + 20) | 기록 없음 | | 높은 실벽 | 40%(10 + 30) | 40% |표 출처: [3] (본문 기준으로 재구성)
세 안이 모두 과반 또는 그에 가까운 호평을 받았다는 사실이 "90퍼센트"라는 숫자만 인용될 때 사라진다. 높은 실벽에 대한 거부 이유는 시야 차단과 그로 인한 안전 우려였다. 설계 개입 자체의 검증은 실패했다. 벽 종류가 보행을 바꾸지 않았다. 논문은 두 해석을 나란히 적는다. 실제로 걸음이 달라지지 않았거나, 홀로그램이 걸음을 바꿀 만큼 사실적이지 않았거나. 남은 것은 표본 10명의 선호 평점이다. 그런데 이 연구의 가장 큰 기여는 선호 조사가 아니라 그 옆에 붙은 계측이다. 연구진은 힘판과 계측 매트로 균형과 보행을 동시에 측정해, 증강현실 기기를 씌우는 것 자체가 노인에게 안전한가를 물었다. 맨눈 상태와 비교해 증강현실 안경 착용 시 자세동요 면적이 약 25퍼센트, 가상현실 고글 착용 시 약 70퍼센트 늘었다. 저자는 이 차이를 임상적으로 유의미하다고 쓰면서도, 표본이 작고 피험자 간 변동이 커 통계적 유의를 확인할 검정력이 없었다고 적는다. 차이는 경계선상이었다. 검정력이 없어도 이 수치는 이 축에서 유일한 정량 증거다. 참여 증강현실에서 누가 배제되는가라는 질문에 숫자로 답한 자료가 이것뿐이다. 그리고 이 사례는 설계 변경을 문서로 밝힌 두 건 중 하나다. 논문의 문장은 "결과가 The Underline 팀에 공유되어 해당 구역의 재설계에 사용되고 있다"다. 재설계가 실제로 투명벽을 채택해 준공되었는지는 논문 시점에 확인되지 않으며 이 조사도 후속 문서를 찾지 못했다. 자금은 마이애미데이드 카운티 고령친화 이니셔티브의 소액보조금이었고 참여자 사례비는 1인 10달러였다. [3] ### 취리히, 목재 틀과 겨루다 비교 실증은 이 축에서 가장 얇은 부분이다. 종이 도면이나 기존 관행과 증강현실을 실제로 붙여 본 연구가 거의 없다. 사실상 하나뿐이다. 비교 대상이 흥미롭다. 종이 도면이 아니라 Baugespann, 즉 스위스와 독일어권의 건축측량틀이다. 신축 건물의 윤곽과 높이를 실제 대지에 목재 틀로 세워 인접 주민이 볼 수 있게 하는 관행이고 법으로 굳은 제도다. 증강현실이 겨룰 상대로 정확히 적합하다. 실물 규모 시각화라는 같은 일을 이미 수십 년째 하고 있는 상대이기 때문이다. 이 관행의 존재 자체가 조경과 도시 분야에 의미가 있다. 증강현실이 하겠다고 약속하는 일, 즉 아직 없는 것을 실제 크기로 그 자리에 세워 주민이 보게 하는 일을 스위스는 이미 목재와 법으로 하고 있다. 정합 오차는 0이고, 배터리가 필요 없고, 기기를 나눠 줄 필요도 없고, 지나가는 사람 누구나 별도의 훈련 없이 본다. 다만 목재 틀은 윤곽과 높이만 보여준다. 재료도, 창도, 색도, 식재도 보여주지 못한다. 증강현실이 겨룰 지점은 정확성이 아니라 그 나머지다. 취리히대와 ETH 취리히의 연구진이 이를 피험자간 현장실험으로 붙였다. | 항목 | 값 | |---|---| | 피험자 | 30명(여 18, 남 12), 21~58세 | | 배정 | 디테일 수준(LOD) 1·2·3 세 군에 각 10명 | | 실험 기간 | 2020년 6월 26일 ~ 7월 31일 | | 장소 | 취리히 남부 개발구역(47.341 N, 8.520 E) | | 과제 | 측량틀 추정과제 2개 + 증강현실 추정과제 6개 | | 포함 기준 | 스위스 투표권 보유, 해당 사업 사전지식 거의 없음, iOS 기기 경험 | | 학력 | 학사 이상 16명, 고졸 10명, 직업교육 4명 | | 출신 | 도시 12명, 시골 18명 | | 게재 | Journal of Location Based Services 17(1), 48~77쪽 |표 출처: [6] (본문 기준으로 재구성)
게재 연도 표기에 주의가 필요하다. 온라인 선공개가 2022년 6월, 인쇄 발행이 2023년 1월이다. 이 연구를 2022년 논문으로도, 2023년 논문으로도 인용할 수 있고 둘 다 틀리지 않는다. 결론부터 적는다. 저자들은 증강현실이 건축측량틀보다 건축 프로젝트를 시각화하는 데 더 적합하다고 결론한다. 참여자들은 건물의 실제 크기를 알아보는 정도를 측량틀보다 증강현실 쪽에서 더 높게 평가했다. 증강현실이 제도적 관행에 밀렸다는 서술은 이 논문에서 나오지 않는다. 유의차가 없었던 것은 다른 비교다. LOD 1, 2, 3 세 조건 사이의 주관 평가에서 차이가 유의하지 않았다. 디테일을 올려도 평가가 달라지지 않았다는 뜻이며, 증강현실과 측량틀의 대결과는 다른 층위의 결과다. 두 비교를 하나로 합쳐 읽으면 이 연구는 정반대 의미가 된다. 대신 다른 것이 드러났다. GIS 같은 사전 지식이 치수 추정 성능에 긍정적 영향을 줄 수 있다는 것, 그리고 파사드 요소나 창 같은 디테일이 있으면 건물 크기를 유추할 근거가 되어 추정과제를 돕는다는 것. 디테일을 많이 넣으면 좋아한다가 아니라, 디테일이 크기 판단의 단서를 제공한다는 기능적 발견이다. 그런데 이 연구에는 프레이밍 자체를 흔드는 문제가 있다. 초록은 같은 건축 프로젝트를 두 방식으로 비교했다고 읽히게 쓰였지만, 본문의 방법은 다르다. 측량틀 조건의 대상은 주택 4동 270세대 사업이고, 증강현실 조건의 대상은 취리히시가 데이터를 제공한 학교 건물이다. 논문은 앞의 사업이 뒤의 사업과 가까웠기 때문에 선택되었다고 적는다. 같은 건물을 두 방식으로 본 실험이 아니라, 인접한 서로 다른 두 사업을 각각 다른 방식으로 본 실험이다. 이 조사에서는 추정과제의 수치 결과를 확보하지 못했으므로, 높이나 규모 판단의 오차율을 이 연구에 근거해 적을 수 없다. 즉 이 축에서 유일하게 기댈 수 있는 비교 실증은 결론이 증강현실에 유리하지만, 그 결론을 뒷받침하는 설계가 서로 다른 두 건물을 붙인 것이다. [6] ### 빈, 참여를 늘리려고가 아니라 줄이려고 동기가 뒤집힌 사례를 하나 보아야 한다. 이 사례에서 증강현실은 시민을 설득하는 도구가 아니라 행정 절차를 단축하는 도구다. 빈에서 아날로그 건축허가 절차는 최대 18개월이 걸린다. 빈시가 지목한 지연 원인 하나가 비전문가 이해관계자의 이의제기다. 2D 도면만으로는 프로젝트를 이해할 수 없기 때문에 나오는 이의다. 빈시는 BIM과 증강현실로 건축국 절차 자체를 재설계하기로 하고 이를 BRISE-Vienna 연구과제에 넣었다. | 항목 | 값 | |---|---| | 자금 | EU Urban Innovative Action, 보조금 UIA04-081 | | 총 ERDF 사업비 | 4,859,418.56유로 | | 기간 | 2019년 9월 ~ 2022년 8월 | | 파일럿 시작 | 2022년 5월 | | 파트너 | 빈시, TBW-ODE, WH Media, TU Wien, 건축사·엔지니어협회 | | 전문가 인터뷰 | 14명, 평균 2시간 | | 도출 활용사례 | 21개 식별 후 12개 선정 |표 출처: [5] (본문 기준으로 재구성)
인터뷰의 성격을 짚어야 한다. 14명 가운데 12명이 빈시 공무원이고 나머지 2명은 건축 분야의 BIM 운영관리 담당이다. 분야는 지구계획·용도지역, 건축·도시설계, 건축국, 지리정보·3차원 모델링, 혁신, 사진측량, 측량으로 나뉘며 소방은 인터뷰 분야에 없다. 코로나 제한으로 온라인 회의나 메일 교환으로 진행되었다. 다분야 독립 패널로 보이지만 실제로는 그 시스템을 도입할 당사자 조직의 내부 인원이며, 따라서 뒤의 평가는 자기평가다. 도출 과정도 한 단계가 더 있다. 활용사례는 먼저 21개가 식별되었고, 그중 구현 가능성이 가장 높은 12개를 저자와 이해관계자가 선정했다. | 번호 | 활용사례 | |---|---| | UC01 | 증강현실 협력계획 워크숍 | | UC02 | 정보 전시회의 증강현실 | | UC03 | 의사결정자 시각 지원 | | UC04 | 증강현실 측량 지원 | | UC05 | 관청 사무실의 도면검토·청문 디지털화 | | UC06 | 현장에서 시민이 하는 증강현실 도면검토 | | UC07 | 증강현실로 도시경관 검토 | | UC08 | 현장 건축국 담당자 지원 | | UC09 | 디지털 건축물대장과 증강현실 | | UC10 | 시설관리의 증강현실 | | UC11 | 증강현실 소방작전 지원 | | UC12 | 기존 건축물 상태 증강현실 평가 |표 출처: [5] (본문 기준으로 재구성)
최고 평가를 받은 것은 UC05와 UC06이었다. 두 활용사례의 성격은 정반대다. UC05는 관청 실내에서 쓰는 것이고, 논문은 기존 건물을 참조할 필요가 없어서 바로 구현 가능하다고 적는다. 현장 실세계 중첩이 필요한 UC06은 기술적으로 더 복잡해 1~5년 내 구현 가능으로 분류되었다. 이 목록 자체가 유용하다. 조경과 도시 분야에서 증강현실을 어디에 쓸 수 있는지를 행정 실무자가 직접 꼽은 것이기 때문이다. 그리고 그 결과가 시사하는 바가 분명하다. 시민 참여 워크숍인 UC01과 전시인 UC02는 최우선이 아니었다. 행정이 원한 것은 참여 확대가 아니라 절차 속도였다. 남은 긴장이 하나 있다. 최고 평가 2건 중 하나가 허가 절차의 청문을 포함하는데, 2023년 논문 시점에서 증강현실이 실제 인접주민 청문에 투입되었다는 증거는 없다. 앱 구현과 시험에 관한 서술은 있으나 그 실증 대상이 시민이었다는 기록이 없다. 이후 진척은 이 조사에서 확인하지 못했다. [5] ### 빈과 루체른, 가장 센 주장과 가장 얇은 근거 빈은 다른 문헌에도 등장한다. 도르트문트공대 공간계획학부 연구진이 빈과 루체른의 사례를 놓고 증강현실이 계획 참여 절차의 어느 단계까지 들어갔는지 점검한 2023년 논문이다. 이 논문의 진단은 날카롭다. 증강현실은 특정 단계, 주로 시각화와 설명에만 들어가고 문제 정의나 대안 형성이나 의사결정 단계로는 확산되지 않았다는 것이다. 저자들은 자기 사례연구가 보여주듯 그 잠재력이 아직 온전히 활용되지 않았다고 명시하며, 증강현실이 계획의 모든 단계에서 쓰이지는 않고 있다고 이유를 못 박는다. 이 축의 다른 문헌들이 대개 자기 프로토타입의 가능성을 말하는 반면, 이 연구는 실제 적용 사례를 놓고 어디까지 갔고 어디서 멈췄나를 물었다. 그런데 같은 논문이 이 축에서 가장 센 성과 주장도 한다. 초록은 증강현실 사용이 주민의 참여 동기를 높일 뿐 아니라 참여 절차의 질을 높이고 따라서 도시의 지속가능한 전환을 촉발할 수 있음을 보인다고 쓴다. 보인다고 쓴 것이다. 그 근거는 얇다. 이 조사는 두 사례의 프로젝트 명칭, 발주처, 연도, 사용된 증강현실 도구, 참여 인원을 하나도 확인하지 못했다. 저자 셋은 모두 도르트문트공대 소속이며 빈이나 루체른 현지 기관이 아니다. 자체 시범사업 보고가 아니라 제3자의 사례 관찰이라는 뜻이다. 그럼에도 이 논문은 22회 인용되었다. 진단은 인용할 가치가 있고 성과 주장은 인용할 근거가 없다. [9] ### 만들었으나 쓰지 못한 것들 여기까지가 실제 사람이 참여한 사례다. 이 축의 나머지는 대부분 프로토타입에서 멈춘다. 멈춘 지점이 서로 달라서 그 목록이 오히려 정보가 된다. | 사례 | 만든 것 | 멈춘 지점 | |---|---|---| | 오타고대 2011 | 스마트폰 증강현실 프로토타입 | 모의 계획 행사에서 시민 사용자연구까지, 실제 절차 없음 | | 뮌헨공대 2018 | 파라메트릭 도시모델 기반 다중 클라이언트 소통 시스템 | 시민 참여자 0명, 요구사항 조사를 후속 과제로 넘김 | | 지겐대 2021 | 건축·환경 변화 시각화 증강현실 앱 | 인터뷰 40건과 워크숍 4회로 방법론까지, 계획 절차 없음 | | 빅토리아웰링턴 2021 | 마커 조작으로 설계 대안을 순환시키는 촉각 인터페이스 | 참여자 0명인데 효과적이라고 결론 | | 하펜시티함부르크 2022 | 터치테이블과 가상현실을 잇는 참여 환경 통합 시스템 | 증강현실 앱 미구현, 사전테스트에서 증강현실 시험자 0명 | | 하와이대 2023 | 형태 지표 6종을 현장에 겹쳐 보는 마커리스 증강현실 | 대조군 없는 사전사후 학습효과 측정, 지침 변경 없음 | | 잘츠부르크대 2025 | 클라우드 앵커 기반 다중 사용자 협업 증강현실 앱 | 참여자 33명 전원 대학 구성원, 계획 절차 없음 |표 출처: [4][8][10][11][12] (본문 기준으로 재구성)
이 표의 각 줄에는 한 문장씩 더 붙일 것이 있다. 오타고대 2011년 논문은 이 축의 계보 첫머리에 놓인다. ARKit이나 ARCore보다 6~7년 앞선 시점에 스마트폰으로 도시계획 시민참여에 증강현실을 쓰겠다고 제안했고, 초록은 프로토타입이 기존 실세계 건축물 위에 제안 설계의 3차원 표현을 겹쳐 보여주었으며 일반 시민이 이를 모의 계획 행사의 일부로 사용하는 연구에 참여했다고 적는다. 피인용 91회로 이 축의 초기 문헌 중 가장 많이 인용된다. 그로부터 15년이 지난 지금도 이 축의 문헌 대부분이 여전히 프로토타입 단계에 있다는 사실이 이 논문의 존재로 드러난다. 뮌헨공대 2018년 연구는 스스로 미완을 밝힌 점에서 인용 가치가 있다. 저자들은 작동하는 프로토타입이 개념을 증명한다고 쓰면서도, 사용자 프로필 요구사항은 다가오는 연구 과제에서, 현장 소통 요구사항은 학생 과제에서 조사할 예정이라고 결론에 적는다. 마지막 문장은 시스템 개념의 개별 구성요소들을 하나로 모아야 한다는 것이다. 시스템도 완결되지 않았다는 자백이다. 배경에는 제도가 있다. 독일은 건축허가 신청 수리 전에 계획안을 공개 열람과 질의, 의견 제출에 부쳐야 하므로 이 소통 문제는 제도적 문제이기도 하다. 지겐대 2021년 연구는 접근 방향이 반대라서 값이 있다. 이 팀은 증강현실 앱으로 무엇을 보여줄지가 아니라, 그 증강현실 시스템을 설계하는 자리에 기술에 익숙하지 않은 사람을 어떻게 앉힐지를 물었다. 워크숍에서 레고와 점토 같은 촉각적 3차원 도구를 써서 저기술 사용자가 상호작용 개념을 직접 발전시키게 했다. 이 논문은 73회 인용되었는데, 그 기여가 증강현실로 설계를 바꿨다는 것이 아니라 저기술 사용자를 고기술 도구 설계에 참여시키는 방법을 만들었다는 데 있다는 사실이 이 축의 현실을 요약한다. 빅토리아웰링턴 2021년 연구도 방향이 반대다. 이 팀은 HoloLens 같은 머리착용기기가 맞춤 인터페이스와 상당한 전문성 또는 숙련된 안내자를 요구한다는 이유로 그것을 의도적으로 배제했다. 대신 Vuforia의 가상 버튼 기능을 심은 이미지 마커를 만들어, 일반인이 마커를 만지고 움직이는 것만으로 파라메트릭 설계 대안들을 순환시킬 수 있게 했다. 접근성을 높이는 방향이 정합 정밀도가 아니라 조작 방식일 수 있다는 제안이다. 다만 마커 위에 모델을 띄우는 방식이므로 현장 1대1 정합 사례는 아니다. 그리고 논문 전체에 사용자 실험과 참여자와 평가 결과가 없는데 결론은 저기술 촉각 인터페이스가 효과적인 설계 도구였다고 단정한다. 하펜시티함부르크 2022년 연구는 증강현실 사례로 인용하면 안 되는 대표적 경우다. PaKOMM 사업의 이 논문은 오프사이트와 온사이트, 온라인 세 참여 환경을 실시간 동기화하는 아키텍처를 다루고, 증강현실은 그중 온사이트 한 축의 구성요소다. 논문 키워드에는 증강현실이 아예 없다. 결정적으로 증강현실 앱은 구현되지 않았다. 논문은 다음 단계에서 제시된 온사이트 시나리오를 위한 증강현실 앱을 개발해 프로토타입에 연결할 것이라고 적는다. 구현된 것은 터치테이블과 가상현실의 오프사이트 프로토타입뿐이다. 사전테스트도 규모가 확인된다. 2021년 10월 함부르크 사진박람회에서 13명이 설문을 완료했고 7명이 가상현실과 터치테이블, 2명이 가상현실만, 4명이 터치테이블만 시험했다. 증강현실을 시험한 사람은 0명이다. 하와이대 2023년 연구는 표본 구성이 드물다. 유효 50명 중 61세 이상이 27명으로 절반을 넘고, 18~25세가 11명, 26~60세가 12명이다. 참여자는 학생이 아니라 무작위로 접근한 행인이었다. 다룬 문제도 추상적 벽이다. 용적률이나 건폐율 같은 지표는 일반 시민이 참여할 수 없게 만드는 개념인데, 이 팀은 지표를 눈에 보이게 만들었다. 용적률, 건폐율, 높이 제한, 녹지율, 투과율, 접선율 여섯 가지의 초기값을 시민이 현장에서 직접 평가하게 했다. 학습 효과는 정답 수 평균 2.6에서 4.5로, 중위값 2.5에서 5.0으로 올랐다. 다만 대조군이 없고 같은 문항을 사전과 사후에 다시 묻는 설계여서 향상분을 증강현실의 효과로 분리할 수 없다. 2024년 정정문이 연령 하위군 중위값을 수정했으므로 하위군 수치는 원논문이 아니라 정정문에서 인용해야 한다. 잘츠부르크대 2025년 연구는 협업 자체를 관찰한 드문 현장연구다. 대상지는 대학과 연구시설, 기업, 주거가 모인 구역인데 식당 하나와 학생식당 하나, 슈퍼마켓 하나뿐이고 모일 야외 공간이 부족했다. 주민 관찰에서 나온 스토리보드가 그대로 40종의 3차원 에셋 카탈로그가 되었다는 점이 설계의 핵심이다. 실험 결과가 명확히 갈렸다. 태블릿 한 대를 공유한 쌍은 동기적으로, 공동 소유 감각으로 협업했지만 다른 쌍과는 거의 교류하지 않았다. 기기를 각자 든 큰 집단은 비동기적으로, 서로의 안을 보고 편집하며 움직였다. 기기 수가 협업의 형태를 바꾼다는 관찰이다. 저자들의 자기제한이 정직하다. 1차 연구 참여자 중위연령은 29세였고 모집은 메일링리스트와 SNS 그룹, 대학 캠퍼스 포스터였으며, 결론은 이 도구가 교육받은 청중에게 효과적일 수 있음을 보였고 더 다양한 집단에 대한 추가 시험이 필요하다고 적는다. 저자들의 최종 문장도 신중하다. 설계 과정의 여러 단계에 걸쳐 디지털과 아날로그 도구를 섞어야 하며, 어떤 단일 도구도 다양한 이해관계자를 다 수용할 수 없다. [4][8][10][11][12] ### 증강현실이 아닌 것을 증강현실이라 부르지 않기 위해 이 축의 문헌 목록에는 섞여 들어오면 안 되는 것이 있다. 걸러낸 근거를 적어 둔다. 공간증강현실로 공동설계 세션의 참여도를 측정한 2024년 연구가 자주 이 축에 인용된다. 방법은 증강현실이 맞다. 프로젝터로 실물 표면에 정합해 투영하는 방식이며 가상현실이 아니다. 그러나 대상이 도시나 조경이 아니다. 게재지는 Computers in Industry이고, 자금은 Horizon 2020의 오픈소스 하드웨어 제품 개발 과제이며, 소속 연구실은 설계·최적화·생산과학연구소이고, 제1저자의 선행 논문 전체가 제품 공동창의 세션을 다룬다. 산업 제품 공동설계 연구다. 조경 참여 사례로 쓰면 도메인 오분류다. 2016년 반둥 사례도 이 축의 사례가 아니다. 인도네시아 반둥공과대와 반둥 시민단체가 함께 청소년의 도시환경계획 참여를 다룬 연구이며 비서구 지역의 드문 시도라는 점에서 기록할 값이 있다. 그러나 초록이 밝히는 내용은 지역 설화에 기반한 증강현실 상호작용 스토리텔링 앱이고, 주제는 고등학교 수준의 수질오염과 수체 영향 지식이며, 청소년은 게임 시뮬레이션과 데이터 수집에 참여했다. 설계안을 실세계에 1대1로 겹쳐 놓는 유형이 아니라 교육형 증강현실이다. 성과도 지자체의 인식을 환기하는 수준이다. 국가별 민주주의 지수와 몰입 기법 연구 강도의 상관을 분석한 2025년 연구는 증강현실 연구가 아니다. 문헌계량과 통계 분석이며 증강현실 시스템을 구현하거나 적용하지 않았다. 다만 결과는 이 장에 필요하다. 뒤에서 다시 쓴다. [7][13][14][15][16] ### 기기는 누가 주는가 이 축의 모든 사례를 겹쳐 놓으면 한 가지가 예외 없이 같다. 기기는 언제나 주최측이 공급했다. 시민이 자기 기기로 굴러간 참여 증강현실은 한 건도 확인되지 않았다. 오슬로는 iPad Pro를 한 명 또는 두 명당 한 대씩 나눠 주었다. 마이애미는 HoloLens를 씌웠다. 잘츠부르크는 1차에 태블릿을, 2차에 서로 다른 안드로이드 기기 일곱 대를 준비했다. 호놀룰루는 행인에게 스마트폰을 건넸다. 밀라노는 공개행사장에서 앱을 돌렸다. 이것이 왜 중요한가. 참여의 상한이 기기 대수로 정해진다는 뜻이기 때문이다. 오슬로의 저자가 10만 그루 목표에 대응하려면 참여자와 장비와 진행요원을 두세 배로 늘려야 한다고 적은 것이 바로 이 제약이다. 도구가 참여를 확대하는 대신 주최측의 조달 능력이 참여의 천장을 만든다. 배제의 문제는 세 층으로 나뉘고 각 층에 증거의 무게가 다르다. | 층 | 무엇이 배제하는가 | 증거 | |---|---|---| | 신체 | 기기 착용이 자세 안정성을 떨어뜨린다 | 마이애미 계측: 증강현실 +25%, 가상현실 +70%(검정력 부족) | | 집단 | 자발 등록이 관심 있는 사람만 모은다 | 잘츠부르크 저자 자기제한: 교육받은 청중 | | 국가 | 연구 자체가 특정 나라에만 있다 | 민주주의 지수와 연구 강도 상관 r = 0.376, p ≪ 0.001 | 마지막 줄이 이 장의 도시 목록을 설명한다. 오슬로, 밀라노, 마이애미, 취리히, 빈, 루체른, 잘츠부르크, 함부르크, 뮌헨, 지겐, 웰링턴, 호놀룰루. 체코생명과학대 연구진은 국내총생산이 충분한 국가만 포함시켜 경제력 요인을 통제한 뒤에도 민주주의가 더 발달한 나라에서 이런 기법 연구가 더 활발하다는 상관을 확인했다. 이 장에 등장한 도시 목록이 그 상관의 결과다. 같은 저자들이 마지막에 남긴 유보도 옮겨 둔다. 더 높은 수준의 가상화가 반드시 더 나은 참여를 뜻하지는 않는다. 청소년에 관해서는 예상이 뒤집혔다는 사실을 다시 적어야 한다. 오슬로의 연구팀은 청소년이 증강현실을 어려워할까 봐 대비했지만 문제는 반대쪽에 있었다. 기술은 몇 분 안에 익혀졌고, 익혀지지 않은 것은 토양과 수종과 용도지역과 근계였다. 배제의 경계는 기기 조작 능력이 아니라 전문 지식에 그어져 있었다. [1][3][4] ### 기술적 천장, 저자들이 직접 적은 목록 이 축의 논문들은 자기 한계를 결론에 적어 두는 편이다. 그 목록을 겹쳐 놓으면 옥외 참여 증강현실의 천장이 드러난다. 하와이대 연구진은 여섯 개를 꼽았다. 지표가 여러 개면 서로 충돌할 소지가 있다. 스마트폰 증강현실의 오클루전 성능은 거리가 멀어지면 떨어진다. 대규모 가상 모델에서는 몰입감이 줄어든다. 여러 환경에 걸쳐 시민 참여를 지속시키기 어렵다. 안전하게 볼 수 있는 동선을 확보하려면 물리적 공간 제약이 있다. 대상지 모델링이 수작업이고 갱신하려면 프로그래밍 기술이 필요하다. 여섯 번째가 가장 무겁다. 모델을 손으로 만들고 손으로 갱신해야 한다면, 참여 워크숍 한 번에 들어가는 준비 비용이 설계 변경 한 번에 들어가는 비용보다 커진다. 설계가 바뀔 때마다 모델을 다시 만들어야 하는 도구는 설계 과정 안에 있을 수 없다. 오슬로에서 결과를 손으로 재배치해야 했던 것도, 함부르크에서 증강현실 앱이 다음 단계로 밀린 것도 같은 벽의 다른 면이다. 성능 쪽 기록도 일치한다. 잘츠부르크 연구는 짧은 시간에 여러 사용자가 객체를 많이 추가하면 성능이 떨어졌다고 적는다. 오슬로는 위치추적과 측위가 부정확하고 자주 버그가 나 이용자 짜증을 유발했다고 적는다. 안드로이드에서 다중접속을 구현할 때 표준 프레임워크가 그것을 기본 지원하지 않아 별도 구현으로 대체해야 했다는 기록도 남았다. 여러 사람이 같은 장소에서 같은 것을 동시에 보는 일, 즉 참여 증강현실의 정의에 해당하는 그 일이 아직 기본 기능이 아니다. 여기에 절차상의 한계가 하나 더 붙는다. 잘츠부르크 연구는 과제 순서가 결과를 편향시켰을 수 있다고 적는다. 참여자는 첫 과제에서 자기 안에만 집중하고 다음 과제에서야 남의 안을 보았다. 협업 도구를 시험했는데 협업이 마지막에야 시작된 것이다. [1][2][3][6] ### 참여 결과가 설계를 바꿨는가 이제 처음의 질문으로 돌아간다. | 사례 | 설계 변경 주장 | 그 근거 | |---|---|---| | 오슬로 | 초록은 증강현실 안이 계획 최종 설계에 영향을 미쳤다고 단정, 본문은 지자체가 구현하기까지 했다고 서술 | 2022년 11월 11일 오슬로시·ByKuben 회의 각주 1건 | | 마이애미 | 결과가 The Underline 팀에 공유되어 재설계에 사용되고 있다고 명기 | 논문의 서술 1개 문장, 준공 확인 없음 | | 밀라노 | 주장 없음 | 바꿀 설계가 절차상 남아 있지 않았음 | | 빈 | 주장 없음 | 청문 활용사례는 추가개발 대상, 시민 투입 증거 없음 | | 그 외 | 주장 없음 | 실제 계획 절차에 들어가지 않음 |표 출처: [1][2][3][9] (본문 기준으로 재구성)
문서로 설계 변경을 말한 것은 두 건이고, 두 건 모두 근거가 문장 한 개다. 준공 도면이나 계약 변경, 시공 기록으로 확인된 사례는 이 조사에서 한 건도 없다. 그러므로 정확한 답은 이렇다. 참여 결과가 실제 설계 변경으로 이어졌다고 주장한 사례는 있다. 그 주장이 1차 자료로 검증된 사례는 없다. 이 결론에는 조사 자체의 한계도 함께 붙여야 한다. 이 조사는 기존에 수집한 논문 코퍼스에서 참여 관련 문헌을 추려 핵심만 원문으로 읽는 방식으로 진행되었고, 웹 검색을 쓰지 못했다. 따라서 세 가지가 체계적으로 누락되었을 가능성이 높다. 논문화되지 않은 실무 기록, 즉 설계사무소나 지자체가 워크숍에서 증강현실을 쓴 비학술 자료. 2025년 이후의 최신 사례. 그리고 영어권 밖의 실무 보고서다. 특히 접혀서 사라진 사례는 언론과 블로그 검색이 필수인데 그것을 하지 못했다. 위의 결론은 학술 기록에 근거한 것이며 실무 세계의 전부를 세지 못했다. [1][2][3][9] ### 무엇이 남아 있는가 그럼에도 남는 것이 있다. 이 축이 15년 동안 실패하면서 만들어 둔 것들이다. 첫째, 문제의 목록이다. 빈의 12개 활용사례는 행정 실무자가 직접 꼽은 것이고, 그중 최고 평가가 도면검토와 청문이었다는 사실은 이 기술이 어디서 값을 낼지에 관한 가장 구체적인 실무 신호다. 둘째, 배제에 관한 숫자다. 마이애미의 자세동요 계측은 검정력이 부족하지만 이 축의 유일한 정량 증거이며, 노인을 참여시킬 때 기기 선택이 안전 문제라는 사실을 처음 수치로 말했다. 셋째, 비교의 기준점이다. 취리히 실험은 증강현실을 종이 도면이 아니라 이미 법으로 굳은 실물 규모 시각화 관행과 붙였다. 조경과 도시 분야에서 새 도구를 검증할 때 무엇과 겨루어야 하는지를 이 연구가 정해 놓았다. 넷째, 반대 방향의 제안이다. 지겐대의 레고와 점토, 웰링턴의 마커 촉각 인터페이스는 둘 다 기술을 더 정교하게 만드는 대신 사람이 닿을 수 있는 면을 넓히려 했다. 정합 정밀도가 아니라 조작 방식이 접근성의 관건일 수 있다는 가설은 아직 검증되지 않았지만 폐기되지도 않았다. 다섯째, 가장 중요한 것으로 오슬로가 남긴 좌표의 틈이다. 청소년은 몇 분 안에 나무를 놓을 수 있었다. 그 나무를 계획 좌표계로 옮기는 일은 연구팀이 손으로 해야 했다. 이 한 칸의 공백이 이 축 전체가 시각화 단계에 갇혀 있는 이유이며, 동시에 가장 명확한 과제다. 시민이 놓은 것이 계획 데이터가 되지 않으면 참여는 언제나 의견 수집에서 끝난다. [1][2][3][6][9] ### 한 문장 증강현실을 통한 주민 참여는 15년 동안 시민에게 놓아 볼 기회를 주는 데는 성공했으나 그 놓인 것을 계획 데이터로 옮기는 데는 실패했고, 설계 변경을 문서로 주장한 두 건마저 근거가 회의 전언과 문장 하나뿐이라는 사실이 이 축의 현재 좌표다. [1][2][3][6][9]본문의 번호를 누르면 출처로 이동합니다. 절 끝의 번호는 그 절의 사실 자료를, 표 아래의 번호는 표에 사용한 자료를 가리킵니다. 비교·계산·비유와 결론은 필자의 재구성입니다. 한 번호에 함께 사용한 문헌이 둘 이상이면 묶어서 적었습니다.
서지정보와 확인 메모는 옵시디언 조사 기록을 바탕으로 복원했습니다. 원 기록의 ‘전문 확인’·‘조회’ 표기는 당시 조사 상태이며 이번 웹판에서 모두 재검증했다는 뜻은 아닙니다. 불완전한 서지사항은 임의로 채우지 않았습니다.
공공 시범사업(실제 행정계획에 연동된 지자체 발주·자금 지원 워크숍). 일부 제안은 실제 시공까지 갔다고 논문이 밝히나 그 근거는 회의 전언 1건.
공공 시범사업(EU 자금 + 민간 개발사 공동). 2019년 12월 실제 공개행사에서 일반 시민 대상으로 운영됐으므로 전시·시연 이상이지만, 납품된 상용 제품으로 남았는지는 확인 불가.
연구 프로토타입(파일럿 연구). 다만 결과가 실제 공원 재설계 팀에 전달되어 사용되고 있다고 논문이 명기했으므로, 실무로 이어진 드문 경우다.
연구 프로토타입. 실제 공공공간에서 수행된 현장 실험이지만 실제 행정 계획 절차에 연동되지 않았다.
연구 프로토타입(현장 피험자간 실험). 실제 허가 절차나 주민 협의에 투입된 것은 아니다.
연구 프로토타입. 실제 지자체 계획 절차에 투입된 기록은 없다.
연구 프로토타입(현장 사용자 연구). 실제 도시설계 지침이 이 결과로 바뀐 기록은 없다.
연구 프로토타입(추정). 초록 미확보로 실증 수준을 확정하지 못했다.
확인하지 못했다. 학술대회 논문(Procedia)으로 연구 프로토타입 또는 교육 프로그램 수준일 가능성이 높다.
연구 프로토타입. 시민 실사용 시험 없음 — 논문은 '작동하는 프로토타입'을 만들었다고만 하고, 사용자 프로필 요구사항은 '다가오는 연구 과제'에서, 현장 AR 소통 요구사항은 '학생 과제'에서 조사할 예정이라고 결론에 적는다.
연구 프로토타입(석사학위 논문 + 학술대회 논문). 실제 주민 워크숍 적용 기록 없음.
연구 프로토타입. 저자 스스로 "상세한 실증 사용성 연구는 아직 진행 중(still pending)"이라고 명시했고, 근거로 제시한 것은 사전 테스트(pretests)뿐이다.
연구 프로토타입(사례연구, case study). 실제 납품이나 공공사업이 아니다.
연구(문헌계량·통계 분석). 현장 적용 없음.
표 출처: [4][5][11] (본문 기준으로 재구성)
U_CODE부터 본다. 정식 명칭은 '도시 집합설계 환경: 전문 계획가가 시민과 함께 도시설계를 만들고 소통하게 하는 새 도구'다. 조정기관은 독일 드레스덴공대이고 참여기관은 조정기관을 포함해 총 7곳이다. 오라클 독일 법인이 파트너로 인용되는 일이 있는데 CORDIS는 이 회사를 참여기관이 아니라 보조금 협약에 서명하지 않은 제3자로 분류한다. 만든 도구는 다섯 개다. DesignStormer, 스마트폰 공동창작 도구, VR Fox, ShapeTable, Sentiment Analyser. 실증은 독일 장거하우젠에서 2019년 5월과 6월에 했고 함부르크 클라이너 그라스브로크가 테스트베드로 언급된다. 구조는 클라우드 기반 '프로젝트 정보 모델'이 기술 데이터와 시민 의견을 통합하고, '프로젝트 플레이그라운드'와 '공동설계 작업공간'이 비전문가와 전문 계획가를 잇는 형태였다. 장거하우젠 실증의 결과 기술은 담백하다. 이용자 피드백을 수집하고 개선 필요 사항을 도출했다는 것으로 마무리된다. 프로젝트 사이트는 아카이브 상태이고 2019년 이후 후속 개발이나 행정 도입 정보가 없다. 여기서 확인할 것은 단순하다. 유럽연합이 시민 도시 공동설계를 정면으로 겨눠 360만 유로를 썼고, 고른 몰입 기술은 VR과 탠지블 테이블이었다. CORDIS 개요와 프로젝트 홈페이지 어디에도 AR 언급이 없다. 2016년에 과제를 설계한 사람들이 몰입 기술 두 개를 고를 수 있었고, 그 자리에 증강현실을 넣지 않았다. ARtwin은 반대 경우다. 제목에 AR을 박았다. '산업·건설 4.0을 위한 AR 클라우드와 디지털트윈 솔루션'이다. 조정기관은 그리스의 Q-PLAN INTERNATIONAL ADVISORS이고 참여기관은 조정기관 포함 7곳이다. 지멘스, 프랑스 b<>com, 프라하 체코공대, 노키아 네트웍스 프랑스, HOLO-INDUSTRIE 4.0 SOFTWARE, 프랑스 Artefacto. 알카텔-루센트가 참여기관 목록에 올라 있는 인용을 볼 수 있는데 CORDIS에 그 문자열은 없다. 노키아 네트웍스 프랑스의 기관 웹사이트 링크가 알카텔-루센트 도메인을 가리키는 것뿐이다. 같은 법인을 두 곳으로 세면 참여기관 수가 틀린다. ARtwin이 남긴 것은 산출물 11건, 즉 문서 10건과 소프트웨어 1건, 그리고 피어리뷰 논문 14편과 웹 포털 하나다. 논문 주제는 카메라 기하, 모션 분할, 실내 측위, 그리고 '대규모 협업 증강현실을 향한 AR 클라우드'다. 결과 페이지는 파일럿 유스케이스의 현장 실증 평가를 언급하지만 어느 현장이었는지, 발주처가 있었는지를 적지 않는다. CORDIS는 이 과제의 웹사이트에 대해 더 이상 이용 가능하지 않거나 원래 내용이 없을 수 있다고 표시한다. 그러므로 이 과제를 "건설 현장에 실제로 적용됐다"고 쓸 수 없다. 논문은 남고 시스템은 남지 않았다. MARCUS는 사연이 있는 항목이다. 'Mobile Augmented Reality and Context in Urban Settings', 즉 도시 환경의 모바일 증강현실과 맥락. 2009년에 이 책의 주제를 그대로 제목으로 단 과제다. 온라인 연구비 검색 서비스에서는 지원 금액이 0으로 비어 나오지만 CORDIS 본 기록에는 총사업비와 유럽연합 지원금이 각각 102,600유로로 명기돼 있다. 둘째로 이것은 제품을 만드는 과제가 아니었다. FP7 마리퀴리 국제연구인력교류 사업이고, 선언된 산출은 유럽 3개 기관 연구자 12명과 뉴질랜드 2개 기관 연구자 9명의 상호 파견, 그리고 워크숍 2회다. 애초에 시스템 납품이 목적이 아닌 유형의 그랜트다. "제목만 남고 산출이 없다"고 읽으면 범주를 잘못 짚는다. 더 흥미로운 것은 상대편이다. CORDIS가 명시한 뉴질랜드 파트너는 캔터베리대학 HIT Lab NZ와 오타고대학이다. HIT Lab NZ는 2011년 크라이스트처치 지진 이후 CityViewAR을 만든 바로 그 연구실이고, 그 앱은 이 과제 기간 안에 나왔다. 목적문은 이 교류가 기존 유럽연합 사업인 IPCity 프로그램을 지원한다고도 적는다. 즉 2009년의 도시 AR 연구는 고립된 제목이 아니라 유럽과 뉴질랜드를 잇는 연구망이었고, 그 망에서 실제 앱이 하나 나왔다. 그 앱이 지자체 사업이 아니라 대학 연구실 산출물이었다는 점이 이 계보의 성격을 말해준다. VINNOVA 항목은 규모의 현실을 보여준다. 스웨덴 국가혁신청 기록에 '도시계획용 AR'이라는 과제가 있다. 수행기관은 Tomorrow Digital AB 한 곳, 기간은 2018년 5월 3일부터 10월 3일까지 5개월이다. 다만 성격을 정확히 적어야 한다. 이것은 지자체 용역 발주가 아니라 '혁신 스타트업 1단계 2018년 봄' 공모에 회사가 낸 보조금 신청 건이고, 공식 페이지의 지원액은 0크로나로 표기된다. 실제 집행이 있었는지 알 수 없다. 국가 혁신기관 데이터베이스에서 '도시계획용 AR'을 검색해 걸리는 것이 이 정도라는 사실 자체가 답이다. 유럽연합의 다른 대형 도시 사업도 방향이 같다. 도시 3곳에 5G를 깐 5G-TOURS는 약 1,470만 유로 규모인데 공공공간 AR이 없다. 유럽 7개 도시에 자연기반해법을 심은 URBiNAT은 약 1,302만 유로 규모인데 AR이 등장하지 않는다. [4][5][11] ### 영국: 돈은 지도와 등록부로 갔다 영국은 지방자치단체의 디지털 계획 도구에 전용 예산을 붙인 드문 나라다. 주택·지역사회·지방자치부의 디지털 계획 프로그램 아래 PropTech Innovation Fund가 계획 절차를 앞당길 디지털 도구 도입을 지원한다. 공개된 라운드별 내역은 아래와 같다. | 라운드 | 연도 | 규모 | 금액 | |---|---|---|---| | 1 | 2021 | 13개 과제 | £1,166,418 | | 2 | 2022 | 28개 과제 | £3,020,321 | | 3 | 2023 | 15개 과제, 지방계획청 27곳 | £3.2M | | 4 | 2024/25 | 37개 파일럿, 지방계획청 49곳 | 미공개 | | 4 연속지원 | — | 12개 과제, 지방계획청 22곳 | 미공개 | | 5 | 2025/26 | Geovation 챌린지 | £1.2M | | 6 | 2026/27 | 11개 파일럿, 기관 44곳 | 미공개 |표 출처: [6] (본문 기준으로 재구성)
라운드 1의 개별 금액은 사우샘프턴시의회와 왓퍼드 자치구의회 등이 각 9만에서 10만 파운드 수준이었다. 라운드 2는 건당 40,500파운드에서 285,000파운드 사이였고 플리머스시의회가 285,000파운드를 받았다. 라운드 6의 기관 44곳 중 28곳이 지방계획청과 연합당국이다. 이 표를 인용할 때 흔히 생기는 오류를 적어둔다. '37개 파일럿'은 라운드 4 단독 수치다. 이를 라운드 3부터 6까지의 합계로 옮기면 틀린다. 라운드 3에서 6까지를 세면 연속지원분을 별건으로 세는지에 따라 63건에서 75건 사이가 된다. 지원 주제는 커뮤니티 참여, 토지 평가, 개발자 부담금 협상 등이다. 그리고 공개된 기술 유형은 '3D 매핑 및 시각화'와 '지자체 간 계획·부지 평가 소프트웨어'다. 증강현실이나 가상현실 구현을 특정한 기록은 없다. 여기서 문장을 정확히 써야 한다. "영국 지자체가 AR을 쓰지 않았다"가 아니다. 라운드별 수혜 지자체가 각각 어떤 기술 스택을 썼는지는 공개 문서에 없다. 그러므로 정확한 문장은 "AR을 썼다는 기록을 찾지 못했다"다. 다만 프로그램이 스스로 내세운 기술 유형 두 가지에 AR이 없다는 사실은 그 자체로 의미가 있다. 예산 담당자가 자기 사업을 소개할 때 고른 단어가 3D 매핑과 시각화였다는 뜻이다. 지하 쪽은 더 분명하다. 영국은 국가 지하시설물 등록부 NUAR을 구축했다. 과학혁신기술부 지리공간 조직이 구축하고 2025년 6월부터 국립측량기관 Ordnance Survey가 운영한다. 경로는 2019년 4월 시범 발표, 2021년 9월 구축 착수, 2023년 4월 최소기능제품, 2025년 6월 퍼블릭 베타, 2025년 12월 정식 운영이다. 현재 350개 이상의 자산 보유기관 데이터가 들어 있고, 600개 이상은 도달 목표치다. 이 둘을 섞으면 규모를 1.7배 과장한다. 매설관과 케이블은 300만 km 이상이고, 주장하는 경제효과는 연간 4억 파운드 이상이다. 이 4억 파운드는 편익 추정치이고 사업비가 아니다. 총 구축비는 공개되지 않았다. NUAR 공식 문서에 증강현실 언급은 없다. 데이터 등록부이고 보안 열람 시스템이다. 이 지점이 이 장에서 가장 선명한 대비를 만든다. 한국에서 조경 AR은 살아남지 못했지만 지하시설물 AR은 제주와 한전KDN, 대구에서 실제로 돌아간다. 영국은 지하시설물 데이터를 국가 등록부로 통합했는데 AR로는 가지 않았다. 같은 문제에 두 나라가 다른 층위를 골랐다. 한쪽은 현장 표시 장치를 만들었고 다른 쪽은 데이터 정본을 만들었다. 데이터가 없으면 표시할 것이 없고, 표시 장치가 없으면 데이터가 현장에 도달하지 않는다. 어느 쪽도 혼자서는 완성되지 않는다. [6] ### 접힌 것들과 사라진 것들 행정의 지출을 볼 때 성공 사례보다 중단 사례가 더 많은 것을 말한다. 무엇이 왜 접혔는지는 다음에 무엇이 접힐지를 알려준다. 가장 큰 것은 토론토다. 워터프론트 토론토가 2017년 3월 제안요청서를 냈고 같은 해 10월 알파벳 자회사 Sidewalk Labs가 선정됐다. 회사는 실행계획 수립에 5천만 달러와 1년치 참여 활동을 투입하겠다고 약정했다. 사업은 비밀주의와 개인정보 문제로 강한 반발을 받았다. 이사회가 계약 서명 전 검토에 쓴 시간이 나흘이었다는 기록이 남아 있고, 프라이버시 전문가들은 알파벳이 주민 데이터를 수집할 유인 구조를 문제 삼았다. 2020년 5월 7일 Sidewalk Labs 최고경영자 댄 닥터로프가 경제 불확실성과 부동산 시장 변동을 이유로 철수를 발표했다. 워터프론트 토론토는 2021년 7월 새 제안요청서를 냈고 2022년 2월 Dream Unlimited와 Great Gulf Group 컨소시엄이 우선협상자가 됐다. 이른바 Quayside 2.0은 주거 4,634세대와 부담가능 주택, 공립학교, 문화센터를 5개 블록에 배치하는 안이다. 부지는 결국 전통적인 개발 방식으로 넘어갔다. 5천만 달러와 1년치 참여 활동이 남긴 최종 산출물은 실행계획 문서다. 착공 예정은 2025년이었고, 그 사업의 내용은 주택과 학교와 문화시설이다. 처음 팔린 미래 도시의 서사와 실제로 지어지는 것 사이의 거리가 이 사업의 결산이다. 이 사업을 증강현실 실패 사례로 인용하는 일이 있다. 틀렸다. 제안된 기술은 센서 네트워크와 도시 데이터 수집, 전기차 활용 촉진, 현장 재생에너지 발전이었다. AR이나 디지털트윈 시각화가 핵심으로 제시된 바 없다. 그리고 접힌 이유는 기술이 아니라 데이터 거버넌스였다. 스마트시티와 증강현실을 한 단어처럼 쓰는 습관이 이런 오독을 만든다. 두 번째는 조용히 사라진 것이다. 런던박물관의 Streetmuseum은 도시 공공공간 AR의 초기 사례로 가장 많이 인용된다. 이용자가 런던 거리의 특정 지점에 서서 카메라를 들면 박물관 소장 역사 사진이 현재 풍경에 위치 정합해 겹쳐지는 앱이었다. 위치와 방위 기반의 마커 없는 지오로케이션 AR이고, 평면 인식과 SLAM 이전 세대의 기술이다. 이 사업이 공공 지출로 분류되는 이유는 발주 구조에 있다. 런던박물관은 2008년 4월 1일부터 런던시티법인과 런던광역시청이 공동으로 통제하고 재정을 지원하는 기관이다. 그런데 앱은 앱스토어에서 내려갔고, 박물관 공식 소개 페이지는 2026년 현재 301 리다이렉트로 블로그 목록으로 넘어간다. 그 도착지 블로그 목록에는 Streetmuseum도 증강현실도 언급이 없다. 여기서 정직하게 적어야 할 것이 하나 더 있다. 널리 알려진 2010년 공개와 제작 대행사 정보는 이번 조사가 확보한 1차 자료로 확인되지 않았다. 널리 보도된 내용이지만 확인하지 못했다. 소장품을 도시 현장에 되돌려놓았던 사업이, 기기와 운영체제가 바뀌는 동안 자기 소개 페이지까지 함께 잃었다. 세 번째는 살아남은 쪽의 방식이다. 뉴질랜드 캔터베리대학 HIT Lab NZ의 CityViewAR은 2011년 크라이스트처치 지진으로 도심 건물이 대량 철거된 뒤 만들어졌다. 이용자가 실제 도심에 서서 기기를 들면 지진 직후 촬영한 파노라마와 사라진 건물을 그 자리에서 볼 수 있었다. 기기를 회전시키면 파노라마도 돌고, GPS 기반 지도 보기와 전 세계에서 접근 가능한 목록 보기를 함께 제공했다. 참여 연구진에 Mark Billinghurst와 Gun Lee 등이 이름을 올렸다. 이 앱은 지금도 두 스토어에 링크가 살아 있다. 연구실 페이지는 프로젝트를 '2011년부터 진행 중'으로 표기한다. 다만 애플 앱스토어의 앱 식별자와 구글 플레이의 패키지명이 2021년판이다. 즉 현재 배포본은 2011년 원본이 아니라 재빌드다. 그리고 연구실 페이지 자체의 설명은 지진 직후 파노라마 사진과 지도·목록 보기 중심이다. 이 앱을 "소실 건물 3D 모델을 현장에 자세 정합해 겹친다"고 쓰려면 원 논문을 근거로 대야 하고, 연구실 페이지만으로는 그렇게 쓸 수 없다. 십오 년을 버틴 것은 지자체 납품물이 아니라 대학 연구실 산출물이었다. 그리고 버티는 방식은 한 번 만들어 두는 것이 아니라 십 년마다 다시 빌드하는 것이었다. 공공 AR 콘텐츠의 수명 문제가 여기 압축돼 있다. 중단 사유를 갈라놓으면 이렇게 된다. | 구분 | 사례 | 무엇이 죽였나 | |---|---|---| | 기술 | Station Navi의 3D 표시 지연(29.2% 불만) | 렌더링 성능, AR 기능 발견성 | | 비용 | VINNOVA 도시계획 AR(5개월, 1개 기업) | 애초에 붙은 돈이 프로젝트 규모에 못 미침 | | 데이터 | Sidewalk Toronto(US$5천만 약정) | 데이터 수집 거버넌스에 대한 반발 | | 업무흐름 | 경관마을만들기DX가 3년 연속 데스크톱을 고른 것 | 심의는 회의실에서 일어난다 | | 수명 | Streetmuseum, ARtwin 웹사이트 | 기기·운영체제·기관 개편이 콘텐츠보다 빠르다 | 이 다섯 가지 중 기술이 원인인 것은 하나다. 나머지 넷은 돈과 제도와 절차와 시간의 문제다. 증강현실이 조경에서 자리를 못 잡은 이유를 기기 성능에서 찾으면 대부분을 놓친다. [12][13] ### 행정이 실제로 고른 도구들 같은 장부를 뒤집어 보면 무엇이 살아남았는지가 나온다. 이쪽 목록이 더 길다. 국제기구의 선택이 가장 직설적이다. UN-Habitat는 2012년부터 Block by Block이라는 공공공간 시민 공동설계 프로그램을 운영한다. 도구는 마인크래프트다. 주민이 나이와 배경에 무관하게 3D 환경을 직접 만져보고 아이디어를 내고 합의를 만들게 한다는 취지이고, 여성과 아동, 노인, 장애인, 난민 같은 과소대표 집단의 목소리를 겨냥한다. Mojang은 마인크래프트를 워크숍용으로 라이선스하고 마인크래프트 커뮤니티로부터 500만 달러 이상을 조성했다. Microsoft가 인수 후 조직적 지원을 맡았고 2015년에 별도 재단이 설립됐다. 55개국 이상에서 수십 개 사업이 진행됐고, 방글라데시 쿨나의 솔라파크 복원과 페루 리마의 공공 공원처럼 실제로 준공된 곳이 있다. 초기 시범은 나이로비와 뭄바이에서 했고 우간다 캄팔라에서도 워크숍이 진행됐다. 공개 자료는 55개국 이상에서 수십 개 사업이 돌아가고 수혜 인원이 수십만 명에 이른다고 밝힌다. 참여설계 도구로서 지속과 실제 준공을 둘 다 달성한 국제 사례는 이것이 유일하다. 마인크래프트를 고른 이유를 이 프로그램은 스스로 적는다. 비용 효율적이고, 빠른 반복과 아이디어 공유에 맞는다는 것이다. 국제기구가 십사 년간 공공공간 참여설계를 하면서 증강현실을 고르지 않은 이유가 그 한 문장에 있다. 참여설계의 병목은 몰입감이 아니라 진입 장벽과 반복 속도다. 도시 단위에서는 헬싱키가 자주 모범으로 인용된다. 실제 내용을 보면 세 부분이다. 항공사진 기반 3D 메시, 지형과 건물과 파사드 이미지를 담고 주소로 검색되는 도시 데이터 모델, 건물 에너지 소비와 태양광 잠재량을 계산하는 에너지·기후 아틀라스. 연혁은 1980년대까지 올라가고 2010년대에 크게 확장됐다. 시범사업으로 칼라사타마 디지털트윈이 2018년 4월부터 2019년 1월까지 있었다. 공식 소개 어디에도 증강현실 응용이 없다. 제공물은 3D 디지털 모델과 브라우저 기반 시각화 도구다. 독일 연방 차원에서는 Connected Urban Twins가 있다. 함부르크와 라이프치히, 뮌헨 세 도시가 연방 주택·도시개발·건설부와 KfW 재원으로 2021년부터 2025년까지 수행하고 종료했다. 산출물은 도시 데이터 플랫폼과 웹 애플리케이션이다. 구체적으로 참여형 매핑 플랫폼 DIPAS navigator, 지도 기반 스토리텔링 DIPAS_stories, 도시개발 데이터 분석 포털이 나왔다. 그리고 지자체 도시디지털트윈을 위한 기술 표준 DIN SPEC 91607을 제정했다. 유럽 최대 규모급 공공 도시디지털트윈 사업이 남긴 가장 실질적인 유산이 표준 문서와 참여형 웹 도구라는 뜻이다. 총예산은 공식 홈페이지에 없어 확인하지 못했다. 이 목록의 공통점을 정리한다. 웹 브라우저에서 열린다. 여러 사람이 같은 화면을 본다. 데이터가 정본으로 관리된다. 표준과 오픈소스로 남는다. 특수 하드웨어가 필요 없다. 그리고 하나 더, 증강현실이 아니다. 학술 쪽에서는 지자체 맥락의 옥외 AR 연구가 존재한다. 오슬로시의 나무 식재 계획에서 청소년이 증강현실로 참여한 사례 연구가 2023년 Frontiers in Virtual Reality에 실렸고, 연구는 청소년의 이해도와 참여 의식 향상을 보고하면서 동시에 위치 추적 정확도가 낮아 이용자 불편을 유발한다고 적었다. 고령자를 대상으로 공원 설계 요소 선호를 AR로 조사한 2020년 시범 연구는 소규모 표본 탓에 통계적 유의성을 확보하지 못했다고 밝혔다. 두 편 모두 연구 프로토타입이고 행정 조달이 아니다. 조경 분야 참여설계·주민소통 계열 문헌을 모으면 열 편 남짓이며, 그 안에서도 실제 옥외 현장 검증까지 간 것은 손에 꼽는다. [14][15][16] ### 확인하지 못한 것 이 장의 신뢰도는 확인하지 못한 것을 적는 데서 온다. 이번 조사는 키워드 검색으로 미지의 사례를 발굴하는 경로를 쓸 수 없는 상태에서 진행됐다. 1차 자료 주소를 직접 지목해 가져오는 방식과 유럽연합·스웨덴 연구비 데이터베이스 조회로만 검증했다. 그 결과 여기 담은 사업들은 모두 1차 자료로 확인된 것이지만, 아래에 대해서는 없다고 말할 수 없다. | 대상 | 상태 | |---|---| | 취리히 | 시 3D 도시모델 공식 페이지 주소를 특정하지 못함 | | 암스테르담·로테르담 | 암스테르담은 오류 화면만 반환, 로테르담은 주소 미특정 | | 빈·바르셀로나 | 참여 플랫폼 계열로 알려졌으나 1차 자료 미접근 | | 뉴욕·보스턴·밴쿠버 | 지자체 발주 도시·조경 AR 사업 0건 확인, 검증 불충분 | | 싱가포르 | Virtual Singapore 관련 공식 페이지 3곳 모두 접근 실패, 예산·주관기관 미확인으로 항목 제외 | | 상하이 | CityScope 배치 목록에는 있으나 연도·발주처·규모 미공개 | | 뉴사우스웨일스 | 공간 디지털트윈 공식 페이지 접근 거부 |표 출처: [1][2][3][9][4][5][11][6] (본문 기준으로 재구성)
싱가포르를 뺀 판단을 특히 적어둔다. 흔히 인용되는 7,300만 싱가포르달러라는 금액을 1차 자료로 확인하지 못했다. 확인하지 못한 금액은 쓰지 않는다. 널리 인용된다는 사실은 사실이 아니다. 개별 사업의 빈칸도 남는다. FindingPlaces의 예산, PLATEAU 전체 사업비와 개별 실증 예산, Connected Urban Twins 총예산, NUAR 총 구축비, CityScope 개별 배치의 연도와 발주처. 모두 공식 자료에 없어서 비워뒀다. 이 조사가 남긴 다음 질문도 적어둔다. 프랑스 Artefacto는 ARtwin 참여기관이면서 도시계획 AR 제품을 내놓은 회사로 알려져 있는데, 그 제품의 지자체 납품 실적을 확인하지 못했다. 독일과 오스트리아 지자체 건축과 단위의 심의 AR 도입 여부, 상용 현장 AR 측량 도구들의 공원·녹지 부서 납품 사례, PLATEAU 유스케이스 148건의 연도별 전수 조사, 2021년 이후 호라이즌 유럽 과제 중 도시공간 AR. 이 넷이 비어 있다. 이 장의 결론이 뒤집힐 여지는 이 네 칸 안에 있다. 그리고 경계선을 다시 긋는다. 경관마을만들기DX에 대해 "구라시키와 교토가 심의에 도입했다"고 쓰면 과장이다. 정확한 문장은 "두 지자체 담당 직원이 약 2주간 운용 시험을 했다"다. 정식 상시 도입 여부는 확인되지 않았다. CityViewAR에 대해서는 스토어 링크가 살아 있다고까지 쓸 수 있고, 2011년 원본이 지금도 돌아간다고 쓰면 틀린다. 이런 한 칸의 차이가 이 분야 문헌에서 반복해 밀려 쓰였고, 그 결과가 실체보다 부풀려진 성공담이다. [1][2][3][9][4][5][11][6] ### 행정이 산 것 장부를 덮고 정리한다. 함부르크는 레고 탁자를 실험하고 터치테이블을 샀다. 일본은 3D 도시모델을 전국에 깔고 경관 심의용 데스크톱 앱을 샀다. 영국은 3D 매핑과 지하시설물 등록부를 샀다. 독일 연방은 웹 플랫폼과 기술 표준을 샀다. 헬싱키는 3D 메시와 브라우저 뷰어를 샀다. UN-Habitat는 마인크래프트 라이선스를 샀다. 토론토는 5천만 달러짜리 실행계획을 샀고 그것을 버렸다. 증강현실을 산 곳은 재난 현장 지원 실증 한 건뿐이다. 이 목록에서 반복되는 것은 기술의 우열이 아니다. 행정이 사는 것은 장치가 아니라 절차라는 사실이다. 여러 사람이 같은 화면을 보고, 기록이 남고, 다음 담당자가 이어받을 수 있고, 십 년 뒤에도 열리는 것. 증강현실은 그 네 가지 중 어느 것도 아직 자기 강점으로 내세우지 못한다. 한 사람의 눈앞에서만 정확하고, 기록으로 남기기 어렵고, 기기 세대가 바뀌면 열리지 않는다. 그리고 이 목록에는 순서가 있다. 데이터가 먼저 팔렸다. 일본은 3D 도시모델을 전국에 깔고 나서야 그 위에서 무엇을 할지 실증을 발주했다. 영국은 지하시설물 정본을 만드는 데 6년을 썼다. 독일은 표준 문서를 남겼다. 이 순서를 뒤집어 표시 장치부터 만든 사업들이 이 장의 실패 목록에 들어 있다. 겹칠 데이터가 정본으로 관리되지 않으면 겹쳐 보여줄 것이 없고, 매년 갱신되지 않으면 작년의 도시를 올해의 현장에 겹치게 된다. 그렇다고 남은 것이 없지는 않다. 재난 현장의 한 건이 말해주는 조건이 있다. 판단하는 사람이 현장에 있고, 판단해야 할 시점이 지금이고, 보이지 않는 것을 보아야 하고, 기록보다 인지가 먼저인 일. 조경에서 그 조건에 맞는 자리를 찾는다면, 그것은 설계 심의가 아니라 시공과 유지관리 쪽일 것이다. 지금 이 장의 장부에는 그 항목이 비어 있다. 행정은 증강현실을 산 적이 거의 없다. 행정이 산 것은 3D 도시모델과 디지털트윈, 그리고 여러 사람이 같은 화면을 함께 볼 수 있는 웹 도구였다. 증강현실은 그 데이터 위에서 아직 청구서를 발행해 본 적이 없는 기술이다. [1][2][3][9][4][6]본문의 번호를 누르면 출처로 이동합니다. 절 끝의 번호는 그 절의 사실 자료를, 표 아래의 번호는 표에 사용한 자료를 가리킵니다. 비교·계산·비유와 결론은 필자의 재구성입니다. 한 번호에 함께 사용한 문헌이 둘 이상이면 묶어서 적었습니다.
서지정보와 확인 메모는 옵시디언 조사 기록을 바탕으로 복원했습니다. 원 기록의 ‘전문 확인’·‘조회’ 표기는 당시 조사 상태이며 이번 웹판에서 모두 재검증했다는 뜻은 아닙니다. 불완전한 서지사항은 임의로 채우지 않았습니다.
EU 연구사업(공공 연구비) — 실증 워크숍까지 수행. 상용 제품·행정 도입 기록 없음.
실제 운영 중인 국가 프로그램(단 AR 아님) — 예산 배정·지자체 선정 내역 공개, NUAR은 2025년 12월 정식 운영.
연구 프로토타입 + 공공 시범사업 혼재 — 대학 연구실 플랫폼이며, 지자체 발주 절차(함부르크)와 도시 협의체 협력(파리·상하이·보스턴)에 투입된 기록이 있다.
공공 시범사업(실증) — MLIT PLATEAU 사업 내 실증. 상용 운영 전 단계.
연구 프로토타입(공개 배포까지 감) — 대학 연구실 산출물이며, 지자체 발주 사업이 아니다. 두 앱스토어 정식 배포 기록 있음.
연구 프로토타입 이하 — 연구비 데이터베이스 등재 기록만 확인됨. 산출물·시연·납품 증거 없음. 이 항목은 '사례'가 아니라 '부재의 증거'로 써야 한다.
실제 납품·공개 배포(현재 소멸) — 일반 대중용 앱스토어 배포까지 갔고, 지금은 접근 불가. 공식 소개 페이지도 사라졌다.
실제 발주·계약 후 철수 — 제안요청·선정·자금 약정까지 간 뒤 2020년 5월 7일 중단. 산출물은 실행계획 문서뿐.
실제 준공 다수 — 쿨나(방글라데시) 솔라파크, 리마(페루) 공원 등 실제 조성 사례 존재. 국제기구 상설 프로그램.
실제 운영·종료된 공공사업 — 연방 재원, 3개 도시 공동, 산출물(플랫폼·DIN SPEC 표준) 확정.
실제 운영 중인 공공 서비스(단 AR 아님) — 오픈데이터·웹 뷰어 상시 운영. Kalasatama는 종료된 시범사업.
표 출처: [1][5][6][7] (본문 기준으로 재구성)
VisualLive의 구매창은 2023년 6월 말에 이미 닫혔다. 그러므로 2023년 8월 일몰 발표는 VisualLive에 적용되지 않는다. 그리고 2024년 6월 30일은 VisualLive의 날짜이지 Unity Reflect의 날짜가 아니다. 두 제품을 한 항목으로 묶어 쓴 요약들이 이 오류를 반복한다. 또 하나. Unity가 기존 고객에게 대안을 권했다는 서술은 Unity Reflect Review 사용자에게만 해당한다. 현장 정합 기능을 쓰던 VisualLive 이용자에게 어떤 대안이 제시됐는지는 확보한 공식 문서에 나오지 않는다. 이 대목에서 주의할 것이 하나 더 있다. Unity Reflect 본체는 화면과 가상현실 기반 설계검토가 중심이고 증강현실 뷰어는 부가 기능이었다. 실제 현장 좌표에 정합해 겹치는 증강현실은 VisualLive 쪽이다. 두 제품의 단종을 "증강현실 플랫폼의 종료"로 한 덩어리로 쓰면 틀린다. [1][5][6][7] ### 지도를 현장에 겹치는 표준 경로 조경과 도시 분야의 증강현실은 결국 지리정보를 현장에 겹치는 일이다. 그 경로를 공식 지원한 곳은 Esri였다. ArcGIS 개발 도구 계열은 세 가지 패턴을 제공했다. 탁상 축소 모형, 창처럼 들여다보기, 그리고 실물 크기 현장 정합. 마지막 패턴이 조경 실무가 원하던 바로 그것이다. 이 지원이 후퇴했다. .NET용 도구 모음에서는 200.0 초기 릴리스에 증강현실 구성요소가 포함되지 않았다. Qt용 개발 도구에서는 증강현실 구성요소가 지원 중단 처리되고 향후 릴리스에서 제거된다고 문서에 명시됐다. 커뮤니티에서 대안을 물은 개발자에게 제시된 것은 다른 3D 확장 프레임워크였고, 지리정보 기능을 어떻게 붙일지는 미해결로 남았다. 그런데 이것을 "지리정보 벤더의 철수"로 쓰면 과장이다. 공개된 설명은 시장 축소가 아니라 하위 런타임 의존성 문제다. .NET 쪽 제외 이유는 안드로이드 증강현실 런타임을 크로스플랫폼 프레임워크에 붙일 수 없었다는 것이고, 벤더는 두 운영체제를 동시에 지원할 수 있게 되면 복귀하겠다는 의사를 밝히면서 iOS 전용 로컬 빌드 우회로까지 안내했다. Qt 문서의 지원 중단 고지에는 버전 번호가 적혀 있지 않다. 특정 버전에서 제거됐다고 쓴 요약들은 근거를 넘어선 것이다. 그러니 정확한 진술은 이렇다. 지리정보를 현장에 실물 크기로 겹치는 표준 경로가 벤더의 정식 지원 밖으로 밀려났다. 이유는 시장을 포기해서가 아니라 그 아래 깔린 증강현실 런타임을 따라가는 부담 때문이다. 결과만 보면 같다. 지금 그 경로로 무언가를 만들려는 설계사무소는 벤더 지원을 받을 수 없다. [8] ### 측위라는 마지막 관문 도시 규모 증강현실의 마지막 기술적 관문은 측위다. 위성 항법만으로는 수 미터가 어긋난다. 수 미터가 어긋나면 계획 건물이 옆 필지에 서고, 가로수가 차도 위에 선다. 그래서 실제 건물 외관을 인식해 위치를 잡는 시각 측위가 필요하다. 1세대 해법은 마커였다. Metaio는 2003년 뮌헨공대에서 분사한 독일 회사다. 소비자용 증강현실 브라우저 Junaio를 운영했고, 핵심은 위도·경도·고도를 담은 마커로 위성 항법의 정확도 한계를 보정하는 것이었다. 옥외 지리정합 증강현실이 처음 실용 수준에 근접한 시도다. 콘텐츠 제공자는 채널을 만들어 올렸고, 지자체와 대학과 문화기관이 여기에 붙었다. 2015년 5월 회사는 예정된 컨퍼런스를 취소하고 전 제품 판매를 중단했다. 곧 애플이 인수를 마무리했다. 지금 junaio.com과 metaio.com은 도메인 이름 조회에 응답하지 않는다. 서비스가 정확히 언제 오프라인 처리됐는지는 2차 편집물에만 남아 있고 교차확인이 약하다. 확실한 것은 2015년 5월의 판매 중단과 인수다. 2년 뒤 애플은 자체 증강현실 개발 도구를 발표했다. 외부 개발자 지원은 승계되지 않았다. 2세대 해법은 컴퓨터비전이었다. Layar는 2009년 암스테르담에서 창업한 지리기반 증강현실 브라우저다. 가속도계·위성항법·나침반·카메라를 묶어 시야에 관심지점을 겹쳤고, 도시 정보 증강현실의 원형으로 불렸다. 2014년 영국 Blippar가 인수했다. Blippar는 2016년 초 5,400만 달러 시리즈 D를 받고 AR City를 내놨다. 도시 길찾기를 증강현실로 제공하고, 일부 지역에서는 위성항법보다 정확하다는 자체 시각 측위를 붙였다. 숫자를 정확히 볼 필요가 있다. 이 앱이 300개 도시를 다룬다는 문구는 거리명·건물명·관심지점 오버레이의 범위다. 시각 측위가 실제로 작동한 범위는 런던 중심부, 샌프란시스코, 마운틴뷰 세 곳이었다. 300개 도시짜리 기능이 아니다. 그리고 출시 공지 자신이 이렇게 적었다. 이번 버전에서는 이용자가 위치와 방향을 수동으로 조정해 경험을 개선하게 했다. 도시 규모 정합이 자동으로는 안 됐다는 뜻이다. 자기 공지에 그것이 적혀 있다. Layar 암스테르담 사무소는 2016년에 닫혔다. AR City는 스토어에서 사라졌다. 모회사는 2018년 12월 18일 자금 조달 실패로 관리절차에 들어갔고, 2019년 초 지적재산이 투자사로 팔렸다. 여기서 흔한 과장을 바로잡는다. Blippar의 계보가 끊긴 것은 아니다. 인수 이후 법인은 현재까지 운영되며 웹 기반 증강현실 저작도구와 개발 도구를 판매한다. 소멸한 것은 2018년의 법인과 AR City라는 앱이다. 브랜드가 죽은 것과 회사가 죽은 것을 구분해야 한다. 3세대 해법은 플랫폼 사업자의 시각 측위 인프라였다. 그것을 가진 곳은 소수였고, 둘이 물러났다. 니안틱은 2022년 3월 웹 기반 증강현실 플랫폼 8th Wall을 자사 역대 최대 규모로 인수해 자체 개발 도구와 묶었고, 시각 측위로 실제 도시 랜드마크에 콘텐츠를 영구 고정할 수 있게 했다. 지금 호스팅된 8th Wall 서비스는 2027년 2월 28일까지만 유지된다. 엔진은 배포되고 오픈소스화가 예고됐다. 문제는 그다음 문장이다. 시각 측위와 지도 서비스가 엔진 바이너리에서 분리되어 포함되지 않는다. 엔진은 남고 도시 정합 능력은 남지 않는다. 제외 목록에 무엇이 더 들어가는지는 자료 간 표기가 어긋난다. 확인이 일치하는 것은 시각 측위와 지도 서비스 두 가지다. Snap도 2023년 3월 기업용 증강현실 사업부를 출범시켰다가 7개월 뒤인 9월에 폐쇄하고 약 170명을 감원했다. 다만 이 사례를 도시 규모 측위 인프라의 후퇴로 묶는 것은 틀린다. 이 사업부가 제공한 것은 착용 시연, 3D 제품 뷰어, 치수 추천, 에셋 호스팅이다. 커머스 증강현실이지 지리등록 인프라가 아니다. 사업부가 접힌 사실은 시장 신호로 읽을 수 있지만, 측위 경로가 좁아진 근거로는 쓸 수 없다. [9][10] ### 앱 하나가 죽는 방식 2010년 9월부터 뉴질랜드 크라이스트처치는 연속 지진으로 도심 상당 부분이 철거됐다. 평생 그 도시에 산 사람도 어느 자리에 무슨 건물이 있었는지 떠올리지 못하게 됐다. 캔터베리대학교 HIT Lab NZ는 2011년 CityViewAR을 내놨다. 안드로이드폰을 들고 도심을 걸으면 철거된 건물들이 실물 크기 3D 모델로 그 자리에 나타났다. 사진과 건물 이력이 함께 붙었다. 핵심 건물 수백 개의 3D 모델은 한 건축사무소의 건축가가 제공했고, 사진과 건물사는 크라이스트처치 시의회와 문화유산청이 댔다. 정합은 위성항법과 나침반으로 했다. 연구팀은 모바일 증강현실로 수십 채를 한꺼번에 보여준 것도, 지진 복구에 모바일 증강현실을 쓴 것도 세계 최초라고 기록했다. 증거 수준은 높다. 공공기관이 데이터를 대고, 통신사가 일부 후원하고, 일반 스토어에 배포됐다. 개념영상도 실험실 데모도 아니다. 프로젝트 문서에 적힌 후속 계획이 더 중요하다. 세 가지였다. 이용자가 건물에 의견을 달게 해서 건축가와 도시계획가의 설계안에 대한 시민 의견을 받는 도구로 쓴다. 지리정보와 연결해 지하시설물 같은 다른 데이터도 올린다. 재난 직후 신속 배치가 가능한 플랫폼으로 키운다. 조경과 도시 분야가 증강현실에 기대하는 것이 여기 다 들어 있다. 후속은 오지 않았다. 안드로이드 앱은 스토어에서 지워졌고 해당 주소는 404를 반환한다. 병행 운영했던 Junaio 채널은 2015년 그 플랫폼이 죽을 때 함께 끊겼다. 2021년 2월 같은 이름의 iOS 앱이 대학 이름으로 다시 올라왔다. 이것은 지진 직후 파노라마 사진을 지도와 자이로 회전으로 보여주는 교육 카테고리 앱이다. 실물 크기 건물 정합은 없다. 되살아난 것은 이름이고, 사라진 것은 증강현실이다. [11][12] ### 34개월인가 30개월인가 옥외 증강현실을 실제 유적에 적용한 최초의 대형 공공 연구사업은 ARCHEOGUIDE다. EU 제5차 프레임워크 정보사회기술 프로그램 과제로, 그리스 통신기업이 총괄하고 이탈리아·포르투갈·독일·그리스의 연구기관과 정부부처가 참여했다. 대상지는 고대 올림피아 유적이었다. 씨스루 헤드마운트 기기와 차분 위성항법, 영상 기반 추적을 결합해 폐허 위에 복원 건물을 겹치고 위치와 방향에 따라 안내를 제공하는 배낭형 장비를 만들었다. 프로토타입은 올림피아 현장에서 대표 이용자군을 대상으로 평가됐다. 증거 수준은 연구 프로토타입이다. 공공 연구비로 만들고 현장 이용자 평가까지 수행했으나 운영 서비스로 넘어가지 않았다. 2004년 아테네 올림픽을 겨냥한 타이밍이었는데 그 지점에 닿지 못했다. 프로젝트 도메인은 현재 무관한 제3자에게 넘어가 접속이 실패한다. 이 사업을 두고 흔히 인용되는 두 숫자가 어긋난다. 정리해 둔다. | 항목 | EU 공식 팩트시트 | 같은 사이트의 성과 해설 기사 | |---|---|---| | 시작 | 2000-01-01 | 1999년 착수로 읽히는 서술 | | 종료 | 2002-06-30 | 2002년 10월 | | 기간 | 30개월 | 34개월 |표 출처: [13] (본문 기준으로 재구성)
과제번호에 1999가 들어 있는 것은 공모 연도이고 착수 연도가 아니다. 34개월과 2002년 10월은 공식 팩트시트가 아니라 해설 기사에만 있는 값이며, 같은 기관의 공식 날짜와 자체 모순된다. 이런 경우 인용할 것은 팩트시트다. 즉 30개월이다. 사업비도 자주 "미공개"로 처리되는데 사실과 반대다. 총사업비 4,851,991유로, EU 분담금 2,600,000유로, 나머지 2,251,991유로가 명시돼 있다. 이 장에 실린 모든 사례 가운데 가장 큰 규모의 공개 수치다. 그것을 미공개로 적은 요약이 돌아다녔다는 사실 자체가 이 분야 2차 자료의 신뢰도를 말해 준다. 실패의 원인은 두 층이었다. 기술적으로는 장비 무게, 연산 성능, 입력장치가 벽이었다. 제도적으로는 유적 운영기관이 그 장비를 상시 운용할 역량이 없었다. 20년이 지난 지금 두 번째 벽이 더 중요해 보인다. 배낭을 멘 방문객에게 장비를 채워 주고 회수하고 충전하고 수리하는 일을 매일 할 조직이 없으면, 정합 정확도가 아무리 올라가도 서비스가 되지 않는다. [13] ### 기술이 아니라 데이터 오스트리아 그라츠공대와 그라츠의 지리정보 회사가 수행한 VIDENTE는 목표가 명확했다. 상하수·전력·통신 관로를 지리정보 시스템에서 불러와 도로 위에 실물 크기로 정합해 보여주고, 현장에서 3D 모델의 기하와 속성을 수정하고 준공측량까지 하게 한다. 초고이동성 컴퓨터에 센서를 붙인 장비에서 전용 핸드헬드 설계로 넘어갔고, 증강현실 방식의 현장 주석 도구도 만들었다. 기간은 자주 잘못 인용된다. 대학 공식 과제 기록으로는 VIDENTE가 2006년 3월부터 2008년 9월까지, 후속 SMART VIDENTE가 2009년 3월부터 2011년 2월까지다. 2007년부터 2012년까지로 적은 요약은 양끝이 모두 틀렸다. 수행 연구소 명칭도 조직 개편 후 이름으로 표기돼 있고, 산업 파트너로 알려진 지리정보 회사는 공식 과제 페이지의 파트너 목록에 열거되지 않는다. 이 사업의 구성 자체가 병목을 말해 준다. 측위 정확도 문제는 본 과제에서 풀지 못하고 별도 과제로 떼어냈다. 오스트리아 우주프로그램 지원으로 2007년 9월부터 1년간 고정밀 위치·방위 모듈을 개발하는 과제가 따로 돌았다. 수행기관은 같은 대학의 컴퓨터그래픽·비전 연구소와 항법·위성측지 연구소 두 곳이다. 자주 참여기관으로 적히는 항공우주 기업은 해당 과제 페이지에 등장하지 않는다. 성과는 학술지 논문으로 남았다. Vidente라는 이름의 상용 제품은 확인되지 않는다. 다만 이것을 "실패로 확정"이라고 쓰면 과하다. 산업 파트너가 내부 제품으로 흡수했을 가능성을 배제하지 못했다. 확인된 것은 그 이름의 상용 제품을 찾지 못했다는 사실이다. 더 말해 주는 것은 그다음이다. 같은 연구그룹이 10년 뒤 지하시설물 증강현실을 다시 다뤘다. 옥외 측위, 물리적 스프레이 마킹의 대체, 굴착부 3D 재구성을 또 연구했다. 문제가 풀려서 끝난 게 아니라, 연구가 한 바퀴 더 돌았다는 뜻이다. 그 두 번째 바퀴에서 나온 결론이 이 장에서 가장 중요하다. 올보르대학교 연구팀이 2025년 학술지에 발표한 질적 평가 연구다. 굴착 중 지하 관로를 치는 사고는 직접비보다 간접비가 훨씬 크다. 초록은 간접비가 직접비의 최대 29배로 보고된다고 적었다. 다만 원문 표기에 배수 단위가 명시되지 않아 이 값은 원논문 본문 대조가 필요하다. 연구는 리얼리티 캡처와 증강현실이 굴착 계획과 지하 관로 유지관리, 신설 공사의 의사소통과 의사결정에 실제로 쓸 수 있는 도구인지를 물었다. 방법은 업계 관계자 17명 반구조화 인터뷰와 문헌 대조다. 결론은 두 겹이다. 증강현실과 리얼리티 캡처는 지하를 보여주고 소통하는 데 유익하다. 그러나 기존 지하시설물의 실측 기록과 데이터 교환 체계가 없다는 점이 그 효용의 실현을 막는 한계로 확인됐다. 도구는 준비됐는데 겹쳐 보여줄 정확한 원본이 없다. 실패 원인이 정합 기술이 아니라 데이터 부재인 경우다. 조경과 도시 분야가 증강현실을 검토할 때 가장 자주 빠지는 함정이 여기에 정확히 드러난다. 기기를 사고 앱을 만드는 결정이 아니라, 겹쳐 보여줄 데이터를 실측해 정비하는 투자의 문제로 옮겨 간다. 그 투자는 증강현실 예산으로 승인되지 않는다. [14][15] ### 잘못 읽힌 실패 스위스는 건축허가 절차에서 실물 골조 표시로 계획 건물의 규모를 현장에 1대1로 공표한다. 목재나 금속 부재로 건물 외곽선을 실제 부지에 세워 두는 제도다. 조경과 도시 분야가 증강현실에 기대한 바로 그 일을 제도가 이미 하고 있다는 뜻이다. 취리히대 지리학과와 ETH 취리히 연구소가 둘을 정면으로 맞붙였다. 취리히 남부 개발구역의 실제 프로젝트 두 곳을 썼다. 하나는 실물 골조 표시가 세워진 주거단지, 하나는 계획이 상당히 진행된 학교 신축이다. 시 건축국이 설계사의 계획 모델을 제공했고, 주변 건물은 취리히 3D 도시모델, 배경은 상용 위성영상을 썼다. iOS 네이티브로 프로토타입을 만들고 상세수준 세 단계를 피험자간 설계로 비교했다. 현장 실험은 2020년 6월 26일부터 7월 31일까지 수행됐다. 논문은 2022년 온라인 게재됐다. 2022년을 수행 연도로 적은 요약이 많은데 그것은 게재 연도다. 이 사례는 이 조사에서 가장 크게 오독된 항목이다. "증강현실이 실물 골조 표시를 대체하지 못했다"는 결론으로 자주 인용된다. 원문 결론은 반대 방향이다. 논문은 건축 프로젝트 시각화 방법으로 증강현실이 실물 골조 표시보다 적합하다고 결론한다. 참가자들도 실물 골조 표시의 적합성을 증강현실보다 낮게 평가했다. 숫자를 나란히 놓으면 왜 그런지 보인다. | 조건 | 높이 판단 | 평균 오차 | |---|---|---| | 실물 골조 표시 | 한 명을 제외한 전원이 과소추정 | 약 34% 과소 | | 증강현실 | 과대추정 | 약 31% 과대 (평균 6.27m) |표 출처: [16] (본문 기준으로 재구성)
증강현실 오차가 더 작다. 즉 이것은 증강현실의 실패 사례가 아니다. 두 방법을 대체 관계가 아니라 용도 분담으로 정리한 연구다. 실물 골조 표시는 법적 고지 수단이고, 증강현실은 설계 상세를 보여주는 수단이다. 증거 수준을 정직하게 밝힌다. 위 수치는 대학 리포지터리에 공개된 전문에서 읽은 것이다. 학술지 초록에는 이 수치가 없다. 초록이 보고하는 결과는 세 가지뿐이다. 참가자가 증강현실의 잠재력을 긍정 평가했다. 상세수준 그룹 간 주관 평가에 유의한 차이가 없었다. 지리정보 사전지식이 결과에 긍정적으로 작용했다. 그러므로 31%와 34%를 인용할 때는 전문 출처를 함께 적어야 한다. 초록만 읽고 이 사례를 요약하면 방향을 잃는다. 그렇다면 이 연구에서 남는 진짜 한계는 무엇인가. 세 가지다. 첫째, 두 방법 모두 크기 판단이 30% 넘게 틀렸다. 오차의 방향이 바뀌었을 뿐이다. 증강현실이 하려던 단 하나의 일, 크기를 몸으로 알게 하기는 여전히 미완이다. 둘째, 가장 상세한 모델 조건에서 간헐적 모션 랙이 발생해 오히려 부정확하다고 읽혔다. 상세도를 올리는 것이 신뢰도를 올리지 않는다. 논문은 드리프트가 건물 크기 오해로 이어질 수 있고 캘리브레이션의 작은 오차가 정합 어긋남을 만들 수 있다고 적었다. 셋째, 지리정보 사전지식이 있는 참가자가 더 잘 추정했다. 일반 시민을 위한 참여 도구라는 전제와 어긋나는 결과다. 후속 실무 도입 사례는 확인되지 않는다. 논문 스스로 장기적 참여 효과는 미검증이라고 적었다. [16] ### 원인의 네 갈래 사례를 모아 원인을 나눈다. 네 갈래다. 기술 한계, 비용 구조, 데이터 부재, 업무흐름 부적합. 한 사례에 원인이 둘 이상 겹치는 경우가 많으므로 주된 원인과 부수 원인을 구분한다. | 사례 | 증거 수준 | 주된 원인 | 부수 원인 | |---|---|---|---| | Daqri·Meta·ODG (2019) | 실제 납품 | 비용 (단가·예산 주기) | 업무흐름 | | HoloLens 2·Magic Leap 1 단종 | 실제 납품 | 비용 (시장 규모) | 업무흐름 (기기 종속) | | Trimble XR10·SketchUp Viewer | 실제 납품 | 업무흐름 (기기 종속) | 비용 | | Wikitude·Adobe Aero·Torch AR | 실제 납품 | 비용 (사업성) | 업무흐름 (저작 경로 단절) | | Unity Reflect·VisualLive | 실제 납품 | 비용 (사업성) | 기술 (포맷 미지원) | | Esri 증강현실 도구 | 실제 납품 | 기술 (하위 런타임 의존) | | | Metaio·Junaio | 실제 납품 | 비용 (인수 후 미승계) | 기술 (측위) | | Layar·AR City | 실제 납품 | 기술 (자동 측위 실패) | 비용 | | 8th Wall 측위 분리 | 실제 납품 | 비용 (인프라 운영비) | | | CityViewAR | 실제 납품 | 업무흐름 (후속 부재) | 비용 (플랫폼 의존) | | ARCHEOGUIDE | 연구 프로토타입 | 기술 (무게·전원·연산) | 업무흐름 (운영 역량) | | VIDENTE·SMART VIDENTE | 연구 프로토타입 | 기술 (측위 정확도) | 데이터 (지하 품질) | | 덴마크 굴착 연구 | 연구 프로토타입 | 데이터 (실측·교환 체계 부재) | | | 취리히 현장실험 | 연구 프로토타입 | 기술 (드리프트·캘리브레이션) | |표 출처: [1][2][3][7][8][13][14][16][15][4][10] (본문 기준으로 재구성)
표에서 읽어야 할 것이 셋이다. 첫째, 실제 납품 사례의 주된 원인은 거의 다 비용이다. 기술이 안 돼서 접힌 것이 아니라 돈이 안 돼서 접혔다. 광학투과 기기를 만든 회사들은 데모를 성공시켰고 제품을 출하했고 회사를 잃었다. 저작도구를 만든 회사들도 같다. 도구는 작동했다. 유지할 매출이 없었다. 둘째, 연구 프로토타입의 주된 원인은 기술과 데이터다. 즉 연구가 맞닥뜨린 벽과 산업이 맞닥뜨린 벽이 다르다. 연구는 정합 정확도에서 멈췄고, 산업은 회계에서 멈췄다. 이 둘을 한 문장으로 "증강현실은 아직 미성숙하다"고 묶으면 아무것도 설명하지 못한다. 셋째, 데이터가 주된 원인으로 단독 지목된 사례는 하나다. 덴마크 굴착 연구다. 그런데 이 하나가 가장 무섭다. 나머지 원인은 시간이 해결할 수 있는 종류다. 기기는 더 가벼워지고 측위는 더 정확해지고 단가는 내려간다. 데이터 부재는 시간이 해결하지 않는다. 누군가 나가서 재고 기록해야 한다. 표에 넣지 못한 다섯째 원인이 하나 있다. 증거의 인플레이션이다. 이 장을 쓰기 위해 모은 2차 요약들은 거의 예외 없이 사례를 실제보다 크게, 확정적으로, 그리고 더 비관적이거나 더 낙관적으로 적었다. 파일럿을 상용 납품으로, 세 도시짜리 기능을 300개 도시 규모로, 공개된 사업비를 미공개로, 논문의 긍정 결론을 기각 결론으로 적은 사례를 각각 확인했다. 개념영상이 시범사업으로, 시범사업이 납품으로 한 단계씩 올라가는 일도 잦다. 이것은 개별 필자의 부정직이 아니라 이 분야의 구조적 조건이다. 확인 가능한 실제 사례가 희박하니 있는 사례를 부풀리게 된다. 그리고 부풀린 요약이 다음 요약의 근거가 된다. 도입 결정이 그 사슬 위에서 내려진다면 결정도 같이 부풀려진다. [1][2][3][7][8][13][14][16][15][4][10] ### 목록에 없는 것 목록에 있는 것보다 없는 것이 더 많은 것을 말한다. 설계사무소가 증강현실을 도입했다가 접었다는 1차 기록을 찾지 못했다. 확인된 것은 두 가지뿐이다. 2016년 한 대형 엔지니어링 회사와 측량 벤더가 헤드마운트 기기를 엔지니어링·건설에 쓴다고 공동 발표했고, 그 발표가 서술한 것은 런던·홍콩·덴버 세 프로젝트를 대상으로 한 혼합현실 시범 프로그램이다. 상용 납품이 아니라 파일럿이다. 그리고 그 제품 계보가 지금 전부 단종됐다. 또 하나는 노르웨이의 한 엔지니어링·설계사가 Unity Reflect에서 다른 도구로 이전했다는 벤더 측 증언이다. 이것이 전부다. 개별 사무소가 내부적으로 증강현실을 중단했는지, 인원과 비용을 얼마 썼는지는 확인 불가다. 이 칸은 비워 두는 것이 맞다. 같은 2016년 발표의 파트너 명단도 자주 부풀려 인용된다. 확보한 보도자료에 등장하는 조직은 발표 당사자 셋과 전시 협력 기관 하나뿐이다. 자주 함께 적히는 한 대형 설계사무소는 그 자료에 나오지 않는다. 헤드마운트 기기를 쓴 설계사무소 명단을 늘리고 싶은 유혹이 이 분야에 얼마나 강한지 보여주는 사례다. 공공 시범사업의 사후 평가서를 한 건도 확보하지 못했다. 왜 본사업으로 가지 못했는지를 발주처가 직접 쓴 문서다. 이 분야에서 가장 필요한 문서가 이것인데 없다. 없는 이유를 추정하지 않는다. 다만 이 장의 원인 분류가 대부분 외부 관찰에 기반한다는 한계는 분명히 적어 둔다. 항목으로 넣지 않고 기록만 남긴 것이 셋 있다. 하나는 2013년 가을에 발표된 건설 도면 인식 증강현실 앱이다. 양대 스토어 모두 접속이 404이고, 개발사는 현재 보험 정보기술 회사로 재편돼 증강현실 언급이 전무하다. 종료 공지를 찾지 못했다. 조용히 사라진 사례로만 확인했다. 둘째는 2016년 함부르크에서 두 달간 진행된 시민 참여 사업이다. 대학 연구소와 시가 난민 숙소 부지를 시민과 함께 찾았다. 약 400명이 161개 부지를 제안하고 시가 44곳을 1차 적합 판정했다. 권고 수용인원은 약 6,500석으로 목표 2만석에 미달했고 이 형식은 반복되지 않았다. 참여 성과로는 의미가 크다. 그러나 이 사업이 쓴 도구는 탁상 물리모형에 투사하는 방식이다. 실제 대상지에 정합하는 증강현실이 아니다. 그래서 이 목록에 넣지 않았다. 참여형 도구라는 이유로 증강현실 사례집에 실리는 일이 잦은데, 넣으면 책이 틀린다. 셋째는 2018년부터 2019년까지 영국에서 정부 재원으로 수행된 관광 분야 5세대 통신 실증사업이다. 지역 연합당국이 주관하고 대학 연구소를 포함해 20개 이상 기관이 참여했다. 로마 시대 목욕장 유적에서 방송사 연구소와 모바일 증강현실을 실증했다. 그런데 공개된 유즈케이스 다섯 중 대부분이 가상현실이다. 1년 사업에 6개월 연장 후 종료됐다. 증강현실 부분의 성과와 한계를 담은 문서를 확보하지 못해 항목화하지 않았다. 조사 환경의 제약도 밝힌다. 이 조사에서 웹검색 할당이 소진되어 리더 경유 검색과 주소 직접 조회로 자료를 모았다. 따라서 영어권 업계 매체의 후속 보도, 유료 학술 원문, 지자체 내부 평가보고서 중 검색으로만 닿을 수 있는 자료는 누락됐을 가능성이 있다. 이 장의 목록은 완전하지 않다. 완전하지 않은 목록임을 적는 것이 완전한 목록인 척하는 것보다 정직하다. [1][2][3][7][8][15][10] ### 무엇이 남아 있는가 접힌 것들의 목록을 다 적고 나면 남은 것을 세어 볼 수 있다. 학술 문헌 쪽을 보면 관심의 분포가 드러난다. 조경 관련 증강현실 핵심 문헌 140편을 유형별로 나눈 결과다. | 유형 | 편수 | |---|---| | 기술기반 | 51 | | 지형·수문 | 32 | | 문화경관·관광 | 18 | | 참여설계·주민소통 | 10 | | 교육·훈련 | 9 | | 시공·측량 | 7 | | 분석·모니터링 | 7 | | 설계·계획 시각화 | 3 | | 식생·수목 | 2 | | 시각화 | 1 |표 출처: [1][2][3][7][8][15][10] (본문 기준으로 재구성)
합이 140이다. 절반 가까이가 기술 기반 연구다. 지형과 수문이 32편으로 두 번째다. 그런데 조경의 고유 주제인 식생과 수목은 2편이다. 설계·계획 시각화는 3편, 순수 시각화는 1편이다. 조경 분야가 증강현실에 대해 쓴 논문의 대부분은 조경의 대상을 다루지 않는다. 카메라와 센서와 정합 알고리즘을 다룬다. 같은 편향이 실무에도 있다. 옥외 증강현실의 실제 예산은 식물을 어떻게 보여줄지에 쓰이지 않았다. 그라츠의 지하시설물 프로토타입부터 덴마크의 굴착 연구까지, 일관되게 파기 전에 땅 밑을 보는 일에 쓰였다. 살아남은 것은 조경의 주제가 아니라 시설물의 주제다. 이유는 단순하다. 관로를 치면 돈이 나간다. 간접비가 직접비의 수십 배라는 보고가 예산 결재를 만든다. 가로수 위치를 잘못 잡아도 그런 청구서는 오지 않는다. 그러니 남아 있는 것을 정직하게 세면 이렇다. 헤드마운트 기기 경로는 닫혔다. 저작도구 경로는 닫혔다. 벤더가 지원하는 지리정보 정합 경로는 좁아졌다. 도시 규모 시각 측위를 외부에서 쓸 수 있는 상용 경로도 좁아졌다. 남은 것은 플랫폼 사업자의 기본 개발 도구를 직접 써서 앱을 만드는 길 하나다. 그 길은 유지보수 주체가 발주처 자신이 되는 길이다. 그리고 데이터가 남아 있다. 정확히 말하면 데이터의 부재가 남아 있다. 이것만이 증강현실 산업의 부침과 무관하게 조경 분야가 스스로 해결할 수 있는 항목이다. 기기가 무엇으로 바뀌든, 측위가 어떻게 개선되든, 겹쳐 보여줄 원본이 정확해야 한다는 조건은 변하지 않는다. 지난 10년 동안 사라진 열여섯 가지 기반 중에 데이터는 하나도 없다. 데이터는 애초에 만들어지지 않았다. 이 장의 목록이 증명하는 것은 증강현실이 조경에 무용하다는 사실이 아니다. 지난 10년 동안 조경이 증강현실에 투자할 때마다 그 투자가 남의 회사 사업 판단에 인질로 잡혀 있었다는 사실이다. [1][2][3][7][8][15][10]본문의 번호를 누르면 출처로 이동합니다. 절 끝의 번호는 그 절의 사실 자료를, 표 아래의 번호는 표에 사용한 자료를 가리킵니다. 비교·계산·비유와 결론은 필자의 재구성입니다. 한 번호에 함께 사용한 문헌이 둘 이상이면 묶어서 적었습니다.
서지정보와 확인 메모는 옵시디언 조사 기록을 바탕으로 복원했습니다. 원 기록의 ‘전문 확인’·‘조회’ 표기는 당시 조사 상태이며 이번 웹판에서 모두 재검증했다는 뜻은 아닙니다. 불완전한 서지사항은 임의로 채우지 않았습니다.
실제 납품 — 상용 판매된 제품의 단종. 발표가 아니라 유료 고객이 있던 제품이 끊겼다.
실제 납품 — 유통망(니콘·트림블, 대만 총판)이 판매 종료를 공지한 상용 하드웨어·소프트웨어
실제 납품 — 제조사 공식 EOL 공지
실제 납품 — 상용 출하된 기기(Smart Helmet, Meta 2, ODG R-7)의 회사 청산
실제 납품 — 상용 SDK와 iOS·안드로이드 배포 앱, 다수의 3자 채널 운영
실제 납품 — Creative Cloud에 포함돼 배포된 상용 앱의 공식 단종
실제 납품 — 상용 SDK 문서의 deprecation 고지 및 공개 이슈 트래커
실제 납품 — 양산 스마트폰 2기종과 스토어 배포 앱
실제 납품 — 상용 서비스의 폐쇄 및 공식 전환 공지
실제 납품 — App Store 배포 앱과 상용 AR 플랫폼. 다만 AR City는 스스로 '베타'로 표기했다.
실제 납품 — 공공기관(시의회·문화유산청)이 데이터를 제공하고 일반 스토어에 배포된 앱
연구 프로토타입 (공공 연구비 기반, 현장 이용자 평가까지 수행). 상용 서비스로 전환되지 않았다.
연구 프로토타입 (공공 연구비 + 산업 파트너). 상용 제품화는 확인되지 않음.
연구 프로토타입 + 업계 질적 평가 (인터뷰 17명). 상용 도입 여부는 이 논문의 범위 밖.
연구 프로토타입 — 다만 실제 허가 대상지, 실제 설계 데이터, 시 당국 협조로 수행된 현장 실험
표 출처: [4] (본문 기준으로 재구성)
이용 수치는 국회 행정안전위원회 양부남 의원이 2024년 국정감사에서 분석해 제시한 것이다. 사업 주체가 낸 실적이 아니라 외부에서 따진 숫자라는 점에서, 이 장에 등장하는 대부분의 수치와 성격이 다르다. 종료 사유는 기술이 아니었다. 이용률이었다. 국정감사에서는 혈세 낭비로 지적됐다. 같은 흐름에서 민간의 메타버스 서비스도 줄줄이 접혔다. SK텔레콤 '이프랜드'가 2024년 종료했고, 카카오 계열 '컬러버스'가 파산 절차에 들어갔고, KT의 '메타라운지'와 '지니버스'는 각각 출시 약 1년 만에 문을 닫았다. 이 사건이 내린 판정은 명확하다. 전용 앱을 설치해 아바타로 들어가는 별도 공간이라는 형식 자체가 공공 서비스에서 작동하지 않았다. 기술 문제도, 콘텐츠 품질 문제도 아니고 형식 문제였다. 이 판정이 조경과 공원 분야에 미친 영향을 과소평가하면 안 된다. 지방자치단체 담당자에게 실감기술 사업은 2024년 10월을 기점으로 기획서에 쓰기 위험한 단어가 됐다. 예산 심의에서 메타버스 서울이 인용되는 순간 그 사업은 방어에 들어간다. 공원에 무엇을 넣겠다는 제안이 기술적으로 타당한지와 무관하게, 앞서 접힌 사업의 평판을 상속하는 구조다. 뒤에 나오는 2026년 사례들이 하나같이 설치 없는 진입과 짧은 행사 기간을 택한 것은 이 환경에서의 합리적 선택이다. [4] ### 살아남은 것은 땅 밑이었다 돈이 실제로 들어가고 지금도 돌아가는 옥외 증강현실은 조경이 아니다. 지하시설물이다. 제주특별자치도는 도내 상하수관로의 위치와 심도 같은 속성정보를 현장에서 태블릿으로 조회하고 증강현실로 중첩해 보는 시스템을 운영한다. 출발점은 문제 인식이었다. 그때까지는 종이 도면을 출력해 현장에 들고 가야 했고, 도면 정보를 실시간으로 확인할 방법이 없었다. 경로가 문서로 남아 있다. 2021년 9월 제주도가 한국전력공사 제주본부와 한전KDN 전력ICT연구원과 'AR 기반 도로기반시설물 통합 안전관리체계' 업무협약을 맺었다. 2022년 6월 지하시설물 정확도 개선사업과 함께 증강현실 통합관리시스템 구축에 착수했다. 2025년 5월 8일 제주도는 상하수도 담당자 교육을 마치고 5월 말부터 본격 운영한다고 발표했다. 협약에서 실운영까지 3년 8개월이 걸렸고, 그 사이 단계가 모두 확인되는 국내 공공 증강현실 사업은 드물다. 병행된 정확도 개선사업의 사업비는 약 7억 원으로, 국비 2억 원과 도비 5억 원으로 구성됐고 상수관로 77.6km의 정확도를 개선했다. 증강현실 시스템 자체의 사업비는 공개되지 않았다. 그리고 2025년 5월 운영 개시 이후의 이용 실적이나 효과를 제3자가 검증한 자료는 찾지 못했다. 업무 효율이 획기적으로 향상된다는 서술은 모두 제주도 자체 기대치다. 기술 공급 쪽을 보면 초점이 어디에 있는지 드러난다. 한전KDN이 개발한 지하시설물 통합 안전관리시스템의 핵심은 증강현실 렌더링이 아니라 측위다. 굴착 전에 매설물 위치를 현장에서 겹쳐 보려면 오차 수십 센티미터 단위의 위치를 잡아야 하고, 그래서 Multi-GNSS 기반 위성항법시스템을 함께 개발했다. 예쁘게 그리는 문제가 아니라 정확한 자리에 그리는 문제였다. | 시기 | 적용 대상 | 협력 기관 | |---|---|---| | 2020.02 | 송전 분야 지하시설물 | 한국전력공사 전북본부 | | 2020.07 | 도시가스 배관(광주·전남 효천지구) | 해양에너지 | | 2021.02 | 발전소 지하매설물(협약) | 한국전력기술 | | 2021~2025 | 상하수도·도로기반시설물 | 제주특별자치도 | 한전KDN은 2020년 정부혁신 박람회에 이 솔루션을 출품하고, 2023년 11월 행정안전부와 산업통상자원부 장관 표창을 동시에 받았다. 다만 싱크홀과 도로굴착사고에 대한 불안을 해소한다는 효과 주장은 한전KDN 관계자의 발언이고, 사고 감소를 측정한 제3자 평가는 확인되지 않는다. 민간 쪽 표본도 하나 있다. 2012년 설립된 대구 기업 (주)에이알미디어웍스는 초기에 증강현실 소프트웨어 개발 툴킷을 만들었고, 이후 증강현실 기반 지하매설물 관제시스템 특허와 GS인증을 받았다. 상하수도와 통신관로 같은 지하 매설 관로를 증강현실로 시각화하고 굴착 공사를 실시간 관리하는 것이 주력이다. 대구 수성알파시티에서 실증을 거쳐 안심뉴타운 스마트시티(2022년)와 금호워터폴리스(2024년)에 통합관제시스템을 구축했다. 실증 단계의 스마트글래스 하드웨어 제작과 인공지능 모델 고도화 비용은 경북대 지산학연협력기술연구소의 지역 연구개발 지원사업으로 충당했다. 이 회사의 재무를 적어 두는 이유가 있다. | 항목 | 2023년 | 2024년 | |---|---|---| | 매출 | 9억 6천만 원 | 16억 1천만 원 | | 수출 | 2만 달러 | 8만 달러 | | 구축 현장 | 실증 1곳 | 납품 2곳 | 성장률은 높다. 절대 규모는 매출 16억 원대다. 국내에서 옥외 증강현실을 전업으로 하는 기업의 실제 크기가 이 정도라는 뜻이고, 이 분야가 아직 산업이라고 부를 규모가 아니라는 뜻이다. 회사가 내세우는 높은 균열 탐지 정확도 역시 대표의 발언이고 구체 수치나 독립 검증은 없다. 지하시설물 쪽이 왜 살아남았는지는 위의 네 경로로 설명된다. 기술은 측위에 집중해 풀었다. 비용은 안전사고 한 건의 비용과 비교되므로 정당화가 쉽다. 데이터는 시설물 대장이라는 갱신 주체가 이미 존재한다. 업무흐름에는 이미 자리가 있었다. 굴착 전 도면 확인이라는 절차가 원래 있었고, 증강현실은 종이 도면을 대체했을 뿐이다. 새 습관을 만들지 않았다는 것이 결정적이다. 오차의 의미가 다르다는 점도 짚어야 한다. 매설관의 위치가 30센티미터 틀리면 굴착기가 관을 때리고 사고가 난다. 수목의 식재 위치가 30센티미터 틀려도 사고는 나지 않는다. 몇 해 지나면 수관이 그 차이를 덮는다. 그래서 정밀 측위 장비와 위성항법 개발에 돈을 쓸 명분이 땅 밑에는 있고 땅 위에는 없다. 조경이 증강현실의 어려운 절반, 곧 정합에 투자할 이유를 스스로 만들지 못한 채 남아 있는 것은 이 비대칭 때문이다. 옥외 증강현실의 실체적 수요는 식물을 어떻게 보여줄까가 아니었다. 파기 전에 땅 밑을 보자는 것이었다. [5][6][7] ### 5만 제곱미터의 시범사업 정합 면적으로 보면 국내 공공 부문의 최대 사례는 광화문이다. 서울특별시와 LX한국국토정보공사는 서울시의 3차원 공간정보를 기반으로 광화문 일대에 대규모 옥외 증강현실 지도와 실내외 내비게이션을 구현했다. 2023년 11월 20일 서울시는 '서울기록문화관 증강현실 체험 서비스' 시범 운영을 발표했다. 대상은 서울도서관 3층의 서울기록문화관과 옛 시장실이고, 스마트폰이나 스마트안경으로 조선 시대 육조거리를 보고 길 안내를 받는 방식이었다. 사용자의 위치에 따라 가상 전시를 띄우는 위치 기반 구성으로, 현장 전시와 가상 전시를 합쳐 접근성을 높이려는 의도였다. 기술은 공간정보 솔루션 기업 (주)딥파인이 자사 공간 정합 기술로 공급했고, 광화문 역사와 광장 일대 약 5만 제곱미터에 증강현실 지도를 깔았다. 증거 수준은 시범사업이다. 실제 납품이 아니다. 운영 기간은 2023년 11월 27일부터 2024년 1월까지 약 두 달이었다. 정규 서비스로 전환됐는지는 확인하지 못했다. 사업비와 이용자 수, 측위 정확도는 모두 공개되지 않았다. 5만 제곱미터라는 숫자를 잠깐 생각해 볼 만하다. 실내 한 방에 홀로그램을 고정하는 일과 광장 전체에 옛 거리를 정합하는 일은 난이도가 다르다. 방에서는 벽과 천장이 기준면을 주는데, 광장에는 기준면이 없다. 대신 건물 입면과 지면의 형상을 미리 스캔해 두고 카메라 영상을 거기에 맞춰야 한다. 서울시가 이미 갖고 있던 3차원 공간정보가 여기서 값을 했다. 데이터가 먼저 있었기 때문에 두 달 안에 5만 제곱미터를 덮을 수 있었다. 다만 그 정합의 오차가 몇 센티미터였는지는 공개되지 않았으므로, 품질을 평가할 근거는 없다. 이 사업의 뒷이야기가 이 장의 논지에 정확히 들어맞는다. 딥파인은 2025년 5월 인공지능·빅데이터 전시회에서 이 사례를 물류와 건설, 관광 분야 적용 레퍼런스로 계속 소개했다. 기업의 기술 실증 자산으로는 남았다. 시민 서비스로 지속됐다는 근거는 없다. 두 달의 시범운영이 남긴 것은 서비스가 아니라 포트폴리오였다. 제도 쪽으로는 하나가 열렸다. LX와 서울시는 2023년 3월 공개제한 공간정보를 민간에 제공하는 협약을 별도로 맺었다. 가상현실과 증강현실 기업이 지형과 지물 데이터에 접근하는 경로가 생긴 것이다. 데이터는 열렸고 서비스는 닫혔다. [8] ### 수목원과 정원박람회, 행사에 붙는 증강현실 식물 전시 공간 자체를 대상으로 삼은 국내 초기 공공 사례는 대구수목원이다. 대구광역시는 2017년 6월 문화체육관광부 공모 'IoT 기반 현장 체험·교육용 VR·AR 콘텐츠 개발'에 선정돼 총 10억 원 규모로 사업을 추진했고, 2017년 12월 22일 콘텐츠 제작을 완료해 시범서비스를 개시했다. 대구수목원에서 보기 어려운 식물을 가상현실·증강현실 존에서 체험하게 하고, 아마존 열대우림 같은 다른 기후대의 식물 경관을 가상으로 보여주는 구성이었다. 대구시와 경북대학교 산학협력단, 첨단정보통신융합산업기술원, 지역기업 (주)바나나몬과 (주)리얼미디어웍스가 참여했다. 이 사업의 결말은 소멸도 지속도 아니다. 확인 실패다. 2017년 12월 시범서비스 개시 이후의 운영 실적, 정규화 여부, 종료 여부를 보여주는 자료를 하나도 찾지 못했다. 2018년 이후 후속 보도가 사실상 없다. 조용히 운영 중인지 이미 멈췄는지 알 수 없다. 참여 기업 한 곳의 이후 행적도 확인하지 못했다. 그리고 2026년, 학습의 흔적이 나타난다. 서울특별시는 2026년 5월 1일부터 180일간 서울숲을 중심으로 역대 최대 규모의 정원박람회를 열었다. 공식 참여 프로그램 가운데 증강현실 보물찾기 '가든헌터스'가 5월 6일부터 운영됐다. 관람객이 서울숲과 성수동 일대를 돌아다니며 스마트폰으로 미션을 수행하는 방식이다. 기술 자체는 GPS 측위에 증강현실 오버레이를 얹은 익숙한 구성이고, 정밀 측위나 시각 기반 측위를 썼는지는 공개되지 않았다. 핵심은 기술이 아니라 전달 방식이다. 별도 애플리케이션 설치 없이 QR코드만 스캔해 참여한다. 앞에서 사라진 세 건과 메타버스 서울이 공통으로 걸렸던 관문을 아예 없앤 것이다. 구현은 증강현실·인공지능 경험 플랫폼을 운영하는 유니크굿컴퍼니와 협업했다. 2024년 10월 메타버스 서울이 접힌 사건이 이 선택의 배경에 있다고 보는 것이 자연스럽지만, 인과관계를 서울시가 밝힌 바는 없으므로 추정으로 적는다. 숫자를 읽을 때 주의가 필요하다. | 지표 | 값 | 무엇의 수치인가 | |---|---|---| | 정원 | 167개소 | 박람회 전체 | | 기간 | 180일(2026.05.01~10월 말) | 박람회 전체 | | 누적 방문객 | 개막 48일 만에 500만 명(2026.06.17 서울시 발표) | 박람회 전체 | | 가든헌터스 참여자 | 공개되지 않음 | 해당 프로그램 |표 출처: [9][10][11] (본문 기준으로 재구성)
500만 명은 박람회 방문객이다. 증강현실 프로그램의 이용 실적이 아니다. 2026년 8월 서울시의회 환경수자원위원회 현장점검에서도 도슨트 투어와 증강현실 체험은 시민 참여 프로그램으로만 언급됐고 별도 이용 지표는 제시되지 않았다. 박람회가 끝난 뒤 이 프로그램이 존속하는지도 정해지지 않았다. 2026년에는 같은 패턴이 여러 지역에서 반복된다. | 지역 | 행사·장소 | 시기 | 형식 | |---|---|---|---| | 강원 영월 | 정원산업박람회 | 2026.10.02~11 | 버섯도깨비 찾기·꿀 모으기·퍼즐 미션 | | 경남 거창 | 창포원 정원 치유박람회 | 2026.10.02~06 | 스마트폰 증강현실 정원 체험 | | 울산 | 태화강국가정원 피크닉 페스티벌 | 2026.10.17 | '보물 찾고' 앱 기반 보물찾기 | | 경기 과천 | 중앙공원 양재천 입구 | 2026.06~ | QR 진입 증강현실 포토존 |표 출처: [9][10][11] (본문 기준으로 재구성)
울산에는 이력이 있다. 2019년 10월 태화강 국가정원 선포식에서도 증강현실 체험이 운영됐고, 그 행사는 사흘간 32만 명이 방문했다. 다만 증강현실은 여러 부대 체험 중 하나였고 자체 참여자 수는 공개되지 않았다. 과천의 포토존은 시 승격 40주년 기념으로 조성됐다. 네 사례의 공통점이 세 가지다. 모두 한시적이다. 모두 게임이거나 포토존이다. 그리고 모두 조경 공간을 콘텐츠의 배경으로만 쓴다. 정원의 식재나 공간 구조가 증강현실 콘텐츠의 내용이 되는 경우는 하나도 없다. 행사가 끝난 뒤 상설로 남은 사례는 찾지 못했다. 계획 단계의 것을 확정된 것처럼 적지 않기 위해 하나 밝혀 둔다. 한국수목원정원관리원 국립세종수목원의 증강현실 스마트글래스 서비스는 2026년 8월 기준 계획으로 보도됐다. 실제 구축 여부와 기기 종류, 예산은 모두 확인되지 않았다. 이 분야에는 계획이 이행되지 않은 사례가 많다. [9][10][11] ### 사례로 세울 수 없었던 두 건 조사 과정에서 잡혔으나 사례로 확정하지 못한 것이 둘 있다. 빼지 않고 여기에 적는 이유는, 이 분야에서 무엇이 확인 가능한 사례가 되는지를 보여주기 때문이다. 하나는 신세계건설이 2024년 내세운 증강현실 동·식물원이다. 실내 미디어 놀이공간으로 보이지만 시설명과 위치를 특정하지 못했다. 식물원이라는 이름이 붙은 옥외 공간인지, 미디어월로 둘러싼 실내 체험장인지에 따라 성격이 완전히 달라지는데 그 구분을 할 수 없었다. 다른 하나는 국립수목원과 협업한 증강현실 콘텐츠다. 2025년 세계식물원교육총회의 포스터 세션에서 증강현실 스탬프와 투표에 쓰였다고 확인되는데, 학술행사의 부대 콘텐츠이고 규모와 상세를 파악하지 못했다. 다만 국립수목원과 증강현실이라는 조합 자체가 국내에서 드물기 때문에 추적할 가치가 있다. 두 건 모두 현재로서는 사례가 아니라 단서다. 구분해서 적어야 한다. [12] ### 남은 것 하나, 외부 공간의 의례 사라진 것만 있는 것은 아니다. 2023년 11월 22일 서비스를 시작한 '1887 경복궁 진하례'는 남았다. 1887년 조선 신정왕후 조씨의 팔순을 축하한 궁중행사를 디지털로 복원하고, 경복궁 근정전 현장에서 모바일 앱으로 증강현실과 확장현실로 재현한 실감콘텐츠다. 유네스코 세계기록유산인 '정해진찬의궤'를 고증 근거로 삼았다. 궁중의례를 궁궐 현장에서 디지털로 복원한 것은 이때가 처음이라고 문화재청이 밝혔다. 주체는 문화재청과 서울특별시, 우미희망재단, 제일기획이다. 계보가 있다는 점이 중요하다. 같은 컨소시엄이 2018년 돈의문에서 성문을 다뤘고, 2023년 2월 군기시에서 관청을 140여 년 만에 디지털로 복원했고, 같은 해 11월 경복궁에서 궁궐로 옮겨 왔다. 앞의 사업이 접혀도 팀과 방법은 다음으로 이어졌다. 조경의 관점에서 눈에 띄는 것은 대상이다. 이 콘텐츠가 재현한 것은 건축물이 아니다. 의례가 벌어지던 외부 공간, 곧 근정전 앞 조정이다. 비어 있는 마당에 사람과 행렬과 절차를 되돌려 놓는 작업이다. 외부 공간을 다루는 국내 증강현실 사례 가운데 공간의 용도를 정면으로 겨눈 것은 이것뿐이다. 여기에 힌트가 하나 있다. 조정은 지금도 비어 있고, 비어 있는 것이 정상이다. 그 공간의 의미는 형태가 아니라 거기서 무엇이 일어났는가에 있다. 조경 공간이 대부분 이런 성격을 갖는다 — 광장과 마당, 잔디밭의 값어치는 물체가 아니라 사건에 있다. 사라진 물체를 세워 보여주는 증강현실보다, 사라진 사건을 되돌려 보여주는 증강현실이 조경에 가깝다. 이 사례는 그 방향이 실제로 납품 가능하다는 것을 보여준 유일한 국내 근거다. 다만 사업비와 이용자 수는 공개되지 않았고, 이 앱이 2026년 현재도 작동하는지는 확인하지 못했다. 국가유산진흥원이 2026년 1월 수상 보도에서 가상 복원 사업을 계속하고 있다고 밝힌 것이 확인 가능한 최신 근거다. [13] ### 시공 증강현실은 있는데 조경 시공 증강현실은 없다 설계 도면을 현장 실물 위에 겹쳐 보는 일을 한국에서 실제로 하는 곳은 건설 시공 현장이다. 현대건설은 2021년 3월 시공 품질관리와 검측 생산성을 위해 BIM 기반 증강현실 품질관리 플랫폼을 자체 개발했다고 발표했다. BIM 데이터를 경량화해 마이크로소프트 홀로렌즈와 태블릿에서 쓸 수 있는 애플리케이션을 함께 만들었고, 객체 정보 확인과 길이 측정, 3차원 모델 현장 중첩 기능을 넣어 택지개발 현장에 적용했다. 2022년에는 터널 현장에서 TVWS 무선통신과 홀로렌즈를 연계한 품질관리 업무에 썼다. 삼성물산 건설부문은 KCIM과 홀로렌즈2 기반의 XRlize를 공동 개발해 Revit 모델을 현장에서 확장현실로 보게 했다. 태영건설은 GNSS 기반 옥외 증강현실 장비인 트림블 사이트비전을 도로 건설 현장에 적용해 완성될 도로를 미리 보여줬다. ㈜한라도 2021년 같은 장비를 도입했다. | 회사 | 도구 | 시기 | 현장 | |---|---|---|---| | 현대건설 | 자체 개발(홀로렌즈·태블릿) | 2021.03 | 택지개발 | | 현대건설 | 홀로렌즈 + TVWS | 2022.04 | 터널 | | 삼성물산·KCIM | XRlize(홀로렌즈2) | 2023.03 공개 | 건축 | | 태영건설 | 트림블 사이트비전 | 2024.05~06 | 도로 |표 출처: [14] (본문 기준으로 재구성)
효과 수치는 조심해서 읽어야 한다. 검측 생산성이 향상됐다거나 효율성이 크게 향상됐다는 서술은 대부분 시공사 자체 주장이거나 사용자 인터뷰 수준이다. 정량적 수치를 제3자가 측정한 자료는 확인하지 못했다. 조경으로 넘어온 흔적은 아직 말뿐이다. 2026년 환경과조경의 아파트 조경 기획 인터뷰에서 대우건설 실무자들은 시공자가 증강현실 장비를 쓰면 눈앞 실제 공간 위에 3차원 도면의 완성선이 겹쳐 보이고 경계석 위치와 레벨, 수목 규격도 현장에서 확인할 수 있다고 말했다. 이것은 입체설계의 전망으로 제시된 발언이고, 실제 조경 현장에 적용됐다는 보도가 아니다. 개념 수준이다. 더 결정적인 공백이 있다. 식재와 수목 규격, 토공 마감선처럼 조경 고유의 대상을 다루는 국내 상용 증강현실 제품을 하나도 찾지 못했다. 검색되는 것은 전부 토목과 플랜트, 건축용이다. 조경이 쓸 수 있는 도구가 없어서 안 쓰는 것인지, 쓰려는 수요가 없어서 도구가 없는 것인지는 이 조사로 가릴 수 없다. 도구가 그냥 옮겨 오지 않는 이유는 짐작할 수 있다. 시공 증강현실이 현장에서 겹쳐 보여주는 것은 벽체와 슬래브, 배관과 도로 노선이다. 모두 형상이 도면 그대로 고정되고, 완성되면 그 형상으로 남는다. 조경의 대상은 그렇지 않다. 수목은 심은 날의 규격과 열 해 뒤의 규격이 다르고, 도면의 수관 폭은 목표값이지 실측값이 아니다. 토공 마감선은 부드러운 곡면이고 허용 오차가 문서에 명시되지 않는 경우가 많다. 겹쳐 볼 대상이 무엇인지부터 정의해야 도구를 만들 수 있다. 다만 이것은 이 조사로 확인한 사실이 아니라 추론이다. 조경 전용 도구가 왜 없는지를 제조사나 설계사무소에 직접 물은 자료는 확보하지 못했다. [14] ### 법적 근거가 없었다 2026년 3월 16일, 김미애 의원이 도시공원에 증강현실과 가상현실, 미디어아트 같은 디지털 기술을 활용할 수 있는 제도적 기반을 마련하는 법 개정안을 대표 발의했다. 이른바 디지털 공원법이다. 발의 배경으로 제시된 문제 인식이 이 장의 결론을 대신한다. 대규모 도시공원과 수목원에 청소년과 가족 단위의 체류형 콘텐츠가 부족하다는 것, 야간 활용의 제도적 근거가 미비하다는 것, 고령자와 장애인의 정보 접근성에 한계가 있다는 것이다. 두 번째 항목을 다시 읽어야 한다. 근거가 미비하다는 말은 근거가 없었다는 말이다. 한국의 도시공원에 증강현실을 상설로 설치하기 어려웠던 이유 가운데 하나가 기술도 예산도 아니라 법령의 부재였음을 입법부가 공식으로 확인한 셈이다. 이 사실은 앞 절의 관찰과 정확히 맞물린다. 국내 조경·공원 분야의 증강현실 사례가 왜 거의 전부 박람회와 축제 같은 한시적 행사에 붙어 있었는가. 상설로 넣을 근거가 없으니 행사 예산으로 붙였다가 걷는 구조가 반복된 것이다. 영월과 거창, 울산, 과천이 모두 행사였던 것은 우연이 아니다. 근거가 생기면 무엇이 달라지는지도 짚어 둘 만하다. 상설 시설로 등록될 수 있으면 유지관리 예산이 잡히고, 유지 주체가 지정되고, 고장 신고 창구가 생긴다. 앞에서 사라진 세 건이 모두 결여했던 것이 정확히 이 셋이다 — 근거의 부재는 기술의 문제가 아니라 수명의 문제였다. 개정안은 발의 단계다. 2026년 9월 30일 기준 통과와 시행 여부는 확인하지 못했다. 법이 생긴다고 콘텐츠가 좋아지지는 않는다. 다만 좋은 콘텐츠가 3년을 버틸 자리는 그때 생긴다. [15] ### 문헌 속의 한국, 그리고 이 장이 보지 못한 것 숫자 하나로 이 장의 위치를 잡을 수 있다. 조경 분야 증강현실 핵심 문헌 140편을 유형별로 정리했을 때, 한국 학술지에 실린 것은 한 편이다. 2019년 『한국조경학회지』에 실린 4차 산업혁명 기술을 조경산업 관점에서 검토한 논문이고, 이론적 분석이다. 현장 실증도, 사용자 실험도, 정합 정확도 측정도 아니다. 국제 문헌 안에서 한국의 조경 증강현실은 실험이 아니라 전망으로 한 번 등장한다. [16] 같은 140편의 유형 분포도 함께 볼 만하다. | 유형 | 편수 | |---|---| | 기술기반 | 51 | | 지형·수문 | 32 | | 문화경관·관광 | 18 | | 참여설계·주민소통 | 10 | | 교육·훈련 | 9 | | 시공·측량 | 7 | | 분석·모니터링 | 7 | | 설계·계획 시각화 | 3 | | 식생·수목 | 2 | | 시각화 | 1 |표 출처: [17] (본문 기준으로 재구성)
기술을 다루는 글이 51편이고, 조경 설계 자체를 다루는 글은 3편, 식생과 수목을 다루는 글은 2편이다. 국제 문헌에서도 조경의 고유 대상은 거의 다뤄지지 않는다. 이 장에서 확인한 국내 공백은 한국만의 결핍이 아니라 국제적 공백이 한국에 비친 모습이기도 하다. 다만 이 숫자는 조사 범위의 한계를 함께 말한다. 이 장의 실무 조사는 언론 보도를 중심으로 이뤄졌다. 학술 데이터베이스에 접근하지 못했으므로 『한국조경학회지』와 한국조경학회 학술대회에 증강현실 실증 발표가 있었는지는 알 수 없다. 조경 전문 매체의 기획기사와 좌담도 열어 보지 못했다. 책에 쓸 수 없어서 비워 둔 칸을 적어 둔다. | 항목 | 상태 | |---|---| | 한국조경학회 학술대회의 증강현실 발표 | 미조사 | | 국내 조경학과 연구실의 증강현실 연구 | 하나도 확인 못 함 | | LH의 조경 설계·시공·유지관리 증강현실 사업 | 찾지 못함 | | 부산 에코델타시티 증강현실 특화 분야의 성과 | 전혀 확인 못 함 | | 조경 전용 국내 상용 증강현실 제품 | 찾지 못함 | | 소멸 3건의 공식 종료 일자·사유 | 확인 못 함 |표 출처: [17][16][12][5][6][7][14][4] (본문 기준으로 재구성)
이 가운데 네 번째가 가장 크게 비어 있다. 2019년 국가시범도시 선정 당시 부산 에코델타시티의 중점 분야로 디지털트윈 기반 증강현실이 명시됐고, 2023년 실증 공모에도 증강현실 앱을 이용한 마을 구축이 주제로 포함됐다. 그 과제가 실제로 무엇을 만들었고 어떻게 됐는지 하나도 확인하지 못했다. 국내 공간 분야 공공 증강현실의 가장 큰 미확인 영역이다. 효과 수치에 대해서는 한 가지 원칙만 지켰다. 이 장에 나온 모든 효과 주장은 사업 주체 자신의 발표이거나 관계자의 발언이다. 현대건설의 검측 생산성 향상, 한전KDN의 안전사고 예방, 제주도의 업무 효율 향상, 에이알미디어웍스의 균열 탐지 정확도가 모두 그렇다. 제3자가 측정한 수치는 한 건도 찾지 못했다. 예외는 메타버스 서울의 이용 실적 445건이다. 그것만 외부에서 따진 숫자이고, 그것만 나쁜 숫자다. 이 대응이 우연인지 아닌지는 독자가 판단할 일이다. [17][16][12][5][6][7][14][4] ### 이 장의 결론 한국의 조경 증강현실은 여덟 해 동안 세 번 만들어져 세 번 사라졌고, 그 사이에 살아남은 것은 정원이 아니라 상수관로였다. 남은 자리는 기술이 부족해서 빈 것이 아니라 그 장치를 매일 켜야 할 사람이 아직 정해지지 않아서 빈 것이다. [1][5][6][7][13][14][4][15]본문의 번호를 누르면 출처로 이동합니다. 절 끝의 번호는 그 절의 사실 자료를, 표 아래의 번호는 표에 사용한 자료를 가리킵니다. 비교·계산·비유와 결론은 필자의 재구성입니다. 한 번호에 함께 사용한 문헌이 둘 이상이면 묶어서 적었습니다.
서지정보와 확인 메모는 옵시디언 조사 기록을 바탕으로 복원했습니다. 원 기록의 ‘전문 확인’·‘조회’ 표기는 당시 조사 상태이며 이번 웹판에서 모두 재검증했다는 뜻은 아닙니다. 불완전한 서지사항은 임의로 채우지 않았습니다.
실제 납품
실제 납품
실제 납품
실제 납품
실제 납품
실제 납품
실제 납품
시범사업
실제 납품
실제 납품
실제 납품(단, 모두 한시적 행사 콘텐츠)
출처 확인 필요. 부산 에코델타시티, 신세계건설 AR 동·식물원, 팀펄·국립수목원 사례는 원 조사에 개별 기사 제목·URL이 남아 있지 않다. 독립 출처 미확인.
↩1 ↩2 ↩3실제 납품
실제 납품
입법 발의 (제도적 조건)
표의 편수·주제 분류·당시 인용 수는 이 조사 목록의 집계다. 전 세계 연구의 총수 또는 현재 인용 수가 아니다.
↩1 ↩2 ↩3표 출처: [1] (본문 기준으로 재구성)
이 분포를 오래 볼 필요가 있다. 조경에서 증강현실을 연구한 사람들은 지형을 다뤘고 유적을 다뤘고 주민 워크숍을 다뤘다. 시스템과 측위를 다룬 논문이 51편으로 가장 많다. 조경을 조경으로 만드는 대상, 즉 자라는 것은 2편이다. 그 2편이 무엇인지는 이 장의 끝에서 다룬다. 먼저 봐야 할 것은 이 공백의 양쪽에 무엇이 서 있는지다. [1][2][3] ### 재는 쪽은 성공했다 식생을 다루는 증강현실 기술에서 실제로 돈을 받고 팔리는 것은 계측이다. 설계가 아니다. 스웨덴 우메오의 Arboreal AB는 스마트폰으로 수목과 임분을 재는 앱 세 종을 판다. Arboreal Forest는 라이다와 증강현실로 표본조사구 데이터를 수집해 직경, 흉고단면적, 헥타르당 본수, 재적, 수고, 수종을 산출한다. Arboreal Tree는 라이다 없이 폰 카메라만으로 수고와 수관폭을 잰다. Arboreal Tree Scanner는 폰 라이다로 개별 통나무와 수목을 정밀 스캔한다. 기반은 iOS ARKit과 아이폰·아이패드의 라이다 센서다. 라이다 버전이 2020년에 나왔고 지금도 판매 중이다. 구독제로 팔고, 기업 고객에게는 REST API를 준다. [4] 이 제품이 이 장에서 중요한 이유는 정확도 주장과 그 검증이 분리 가능하다는 점이다. 식생을 다루는 증강현실 제품 중 그런 경우가 드물다. | 구분 | 내용 | |---|---| | 업체 주장 정확도 | sub-cm, 대부분 편차 2cm 이내 | | 업체 자체 평가 | 직경 MAE 3.9%, bias 0.67% | | 업체 주장 작업 속도 | 재래식 대비 2.5배 | | 원 조사에 기록된 평가 1 | 2020년 SLU 석사논문 — 개별 서지·원문 미확인 | | 원 조사에 기록된 평가 2 | 2021년 Sveaskog 평가 — 개별 보고서 미확인 | | 비교연구 3 | 2023년 Forests 비교연구 — 업체 소개를 통한 재인용 | | 원 조사에 기록된 평가 4 | 2024년 학술논문·직경 sub-cm 주장 — 개별 서지·원문 미확인 | 같은 나라의 Katam Technologies AB는 다른 경로를 간다. 나무 사이를 걷거나 차로 지나가며 폰으로 촬영하면 개별 수목의 높이와 직경과 밀도, 그리고 단목 GPS 좌표가 나온다. 드론이 자율 비행으로 상부를 촬영하는 경로를 병행한다. 목표는 데이터 기반 간벌로 생장량을 늘리는 것이다. 고객은 칠레의 CMPC, 브라질의 Irani, 스웨덴의 Plockhugget이고, 2024년 기사에서 인도네시아 진출이 언급된다. 인도네시아 산림 9천만 헥타르가 시장 규모로 제시된다. [6] Katam을 소개할 때 한 가지를 정확히 해야 한다. 제품 페이지는 증강현실이라는 말을 쓰지 않는다. 카메라로 공간을 재구성하는 기술 계열은 증강현실과 같지만, 출력이 현장 오버레이가 아니라 지도와 수치다. 그러므로 이것은 증강현실 제품이 아니다. 계측 제품이다. 제품 소개에서 확인한 정확도 주장과 독립 평가를 구분해야 한다. 2023년 Forests 비교연구에는 Arboreal Forest와 함께 Katam·Trestima도 포함되어 있다. 따라서 Katam의 독립 검증이 없다는 원고의 단정은 수정한다. 계측 계열이 성공한 이유는 구조적이다. 재는 대상이 이미 그 자리에 있다. 카메라가 보는 것과 알고리즘이 계산하는 것이 같은 물체다. 정합의 기준점이 실물 자체다. 설계 시각화는 반대다. 보여줄 대상이 아직 없다. 기준점을 외부에서 가져와야 한다. 이 비대칭이 이 장 전체를 관통한다. 검증 조건도 비대칭이다. 계측의 정확도는 줄자로 확인할 수 있다. 직경 MAE 3.9퍼센트라는 숫자가 검증 가능한 이유는 비교할 참값이 현장에 있기 때문이다. 20년 뒤 수관을 겹쳐 보여주는 시각화에는 참값이 없다. 20년을 기다려야 참값이 생긴다. 검증할 수 없는 제품에는 품질 경쟁이 생기지 않고, 품질 경쟁이 없으면 정확도에 투자할 이유도 없다. 원 조사는 계측 평가 자료 네 건을 언급했으나, 위 표에서 보듯 개별 출처가 모두 확보된 것은 아니다. 이를 검증된 논문 네 건으로 단정하지 않는다. 계측이 조경에 무의미하지는 않다. Arboreal의 출력은 수종, 수고, 직경, 좌표다. 그것은 조경 유지관리가 필요한 데이터와 거의 같다. 기존 수목을 보전하는 설계에서 현황 수목 조사는 첫 단계이고, 지금 그 단계는 대부분 손으로 한다. 계측 앱은 조경 업무의 앞단에 이미 쓸 수 있는 도구다. 다만 그 앱이 겨냥한 시장은 임업이고, 조경 유지관리 업무흐름에 접속하는 경로는 이번 조사에서 확인되지 않았다. [4][6][5] ### 에셋 쪽도 성공했다, 다른 산업에서 자라고 흔들리는 나무를 가장 잘 만드는 도구는 이미 20년 넘게 존재한다. 조경을 겨냥하지 않았다. SpeedTree는 절차적 수목 생성 툴킷의 업계 표준이다. IDV Inc.가 2002년부터 개발했고 2021년 7월 Unity Technologies가 인수했다. 절차적 생성기와 수작업 편집을 비파괴로 섞고, 물리 기반 덩굴을 만들고, 셰이더와 버텍스컬러로 바람 애니메이션을 넣고, 계절을 파라미터로 조정하고, 동적 LOD를 생성하고, 8K PBR 텍스처 라이브러리를 제공한다. 런타임 SDK는 PC, 콘솔, 모바일, VR을 지원한다고 적혀 있다. [7] 이 기능 목록은 조경이 필요한 것과 거의 일치한다. 바람이 있고 계절이 있다. 그런데 제품 페이지가 명시하는 산업은 게임과 영화뿐이다. AR과 XR 언급이 없고, 건축과 조경 시각화 언급도 없다. 런타임 SDK 지원 플랫폼 목록에 VR은 있고 AR은 없다. 조경 실무가 이 도구를 쓰려면 Unity나 Unreal을 경유해야 하고, 좌표계와 측량 정합은 SpeedTree 바깥의 문제로 남는다. 바람과 계절을 가장 잘 다루는 도구가 현장 정합을 자기 문제로 보지 않는다. Laubwerk GmbH는 건축과 VFX용 사실적 3D 식물 모델을 팔던 독일 회사다. 100개국 이상에 고객이 있었다. 2025년 1월 6일 Maxon이 인수를 발표했다. 인수 후 제품은 Redshift 대응 나무·식물 에셋으로 Cinema 4D의 Asset Browser에 편입되어 Maxon One 구독자에게 제공된다. 인수 이후의 제공 방식 변경과 제품 종료는 구분해야 한다. [8] 조경 실무가 식물 에셋에 요구하는 것은 사실성만이 아니다. 심을 규격에 대응하는 형태, 활착 이후 몇 해간의 수형 변화, 수종별 생장 속도, 전정 방식에 따른 수관 형태, 낙엽 시점이 필요하다. 이 목록은 미술 요구가 아니라 자료 요구다. 같은 느티나무라도 R8로 심은 것과 R30으로 심은 것은 10년 뒤가 다르고, 그 차이가 설계 판단의 내용이다. 범용 CG 라이브러리는 이 목록을 담을 이유가 없다. 영화 한 컷에는 열매 달린 나무 한 그루면 충분하다. 이 인수의 방향이 중요하다. 조경 전용화가 아니라 범용화다. 계절 변형과 수령 변형 옵션이 남는지는 인수 발표문에 명시되지 않았고, 구제품 문서는 이번 조사에서 확인하지 못했다. 식물 에셋이 범용 CG 스택 안으로 들어가면 수령, 규격, 식재기준 같은 조경 고유 속성과는 더 멀어진다. CG 스택이 요구하는 것은 예쁜 메시이고, 조경이 요구하는 것은 R8 B0.3 H3.5 규격표에 대응하는 객체다. | 도구 | 소유 변화 | 가격(공개분) | |---|---|---| | SpeedTree | 2021년 7월 Unity 인수, speedtree.com은 301 리다이렉트 | Indie 월 19달러, Pro 연 899달러, 라이브러리 애드온 연 999달러 | | Laubwerk | 2025년 1월 Maxon 인수 | Maxon One 구독에 포함 | | iScape | 독립 유지 | Pro 월 29.99달러 또는 연 299.99달러 | 두 축의 증거 수준은 모두 실제 납품이다. 파는 회사가 있고 사는 사람이 있다. 문제는 두 축이 만나지 않는다는 것이다. [7][8][2] ### 가운데가 비어 있다 계측이 한쪽에 있고 에셋이 다른 쪽에 있다. 그 사이, 설계한 식재를 현장에 정합해 보여주는 자리가 조경의 자리다. 그 자리에서 이번 조사가 찾은 실제 납품 사례는 없다. 조경 증강현실 기능을 제공하는 앱으로 iScape가 있다. 마당이나 현장 사진 위에 2D 또는 3D 증강현실 디자인을 올린다. 수천 종의 식물과 포장재, 가구, 하드스케이프 요소를 사실적 디테일로 제공한다고 주장한다. 고객은 홈오너와 취미가, 그리고 조경업자다. 업체는 약 400만 다운로드와 평점 4.6을 내세운다. 독립 검증은 없다. [2][9] 이 앱에서 식물은 정적 에셋이다. 생장이나 계절 변화 기능은 제품 페이지에 언급되지 않는다. 공식 AR 안내에서 표면 탐지와 객체 배치를 확인할 수 있다. 다만 이번에 확인한 문서만으로 측량 좌표와의 연결이나 생장·계절 기능의 유무를 확정할 수는 없다. 조경 전용 BIM에서는 사정이 나을까. Vectorworks Landmark는 Nemetschek 그룹의 조경 전용 제품이고, 제품 페이지가 AR과 VR을 포인트클라우드·포토그래메트리와 함께 앞서가는 기술로 명시한다. 클라우드 서비스는 3D 모델의 AR 뷰잉을 제공해 클라이언트에게 몰입형 프레젠테이션을 준다고 적는다. VR은 Meta Quest용 Vectorworks Odyssey로 분리되어 있다. Odyssey는 VR이므로 이 장의 대상이 아니다. [10] 문제는 AR 뷰잉이 Landmark의 식물 객체와 수령과 계절 표현에 연결된다는 서술이 어디에도 없다는 점이다. 조경 전용 BIM에서도 증강현실은 범용 모델 뷰어다. 식생의 특수성은 AR 경로에 반영되지 않았다. 그리고 이 벤더의 몰입형 투자 중심은 현장 AR보다 헤드셋 VR로 기울어 있다. 야외 고정밀 쪽을 보면 Trimble SiteVision이 있다. 야외 현장용 증강현실과 라이다 스캔, GNSS 측위를 결합한 현실캡처 소프트웨어다. Trimble Catalyst DA2 수신기를 안드로이드나 iOS 기기에 붙여 폴 또는 핸들 마운트로 쓴다. 실시간 키네매틱으로 수평 1센티미터, 수직 2센티미터를 낸다. 영국 Skanska의 수석측량기사 인용이 사례로 실려 있다. [11] 이 제품이 공식으로 내세우는 용도는 지하 매설물 시각화, 설계 검증, 준공 기록, 측량, 교통·주거 개발이다. 조경과 식생이 목록에 없다. 야외 증강현실에서 가장 정확한 제품이 조경을 자기 시장으로 보지 않는다. 도시숲 데이터를 가장 많이 쥔 쪽은 어떤가. TreePlotter는 PlanIT Geo의 도시숲 수목 인벤토리·수관 분석 SaaS이고 사실상 업계 표준이다. INVENTORY는 어떤 기기에서든 실시간으로 수목 데이터를 수집·관리하고, CANOPY는 도시숲을 보고 계획하고 키우는 분석을 제공한다. Mobile과 Projects, 커스터마이징, NatureScore 애드온이 붙는다. 고객으로 ClimbingHI Maui, Texas Trees Foundation, Canopy Palo Alto가 명시되고, 영국 지사와 캐나다 진출이 언급된다. [12] 제품 페이지 전체에 증강현실 언급이 하나도 없다. 수목의 위치와 수종과 규격 데이터를 가장 많이 가진 업계가, 그 데이터를 현장 증강현실로 내보내는 경로를 제품화하지 않았다. 수요가 없다고 봤는지, 현장 정합 정확도를 낼 수 없다고 봤는지는 이번 조사로 알 수 없다. | 도구 | 확인한 기능 | 조사 자료에서 확인하지 못한 범위 | |---|---|---| | iScape | 식물 에셋, AR 배치 | 생장·계절 기능 및 측량 좌표 연결은 확인 문서로 확정할 수 없음 | | Vectorworks Landmark | 조경 전용 BIM 객체, AR 뷰잉 | 식물 객체와 AR의 연결 서술 | | Trimble SiteVision | 수평 1cm 야외 정합 | 공식 용도에 식생·조경 | | TreePlotter | 도시숲 수목 데이터 최대 규모 | AR 모듈 자체 | | SpeedTree | 바람, 계절, LOD | AR·조경 대상 명시 |표 출처: [11][2][10][12][7][9] (본문 기준으로 재구성)
이 표의 오른쪽 열이 같은 방향을 가리킨다. 각 도구는 조경 증강현실의 한 조각을 가졌고, 그 조각을 다른 조각과 붙일 이유를 찾지 못했다. [11][2][10][12][7][9] ### 연구도 식생을 우회했다 제품이 없다면 연구는 있었을까. 있었다. 다만 식생을 피해 갔다. 조경에서 증강현실을 다룬 문헌은 2014년까지 올라간다. 초기 층은 가능성 탐색이다. 2014년 논문은 조경설계 가상 재구성을 다뤘고, 2017년 논문은 VR과 AR과 MR의 조경 적용을 논의했다. 2018년 자료로는 알토대학교의 연구·교육 프로젝트 소개와 워싱턴대학교 학위논문이 있다. 알토대의 공식 소개는 VR·AR 플랫폼으로 대지의 숨은 데이터 층을 시각화하는 방법을 다루며, 워싱턴대학교 논문은 증강현실을 조경계획과 설계에 통합하며 시공 단계의 시각적 지도를 제시했다. 후자가 지적한 한계가 눈에 걸린다. 자연광 같은 외부 요인에 따라 시각적 오류가 발생한다는 것이다. 야외 조경의 조건이 그대로 한계로 적혀 있다. [13][14][15][16] 2020년 일리노이대학교 논문은 혼합현실이 조경 프로젝트에 어떻게 쓰일 수 있는지 조사하고 결론을 이렇게 냈다. 혼합현실 소프트웨어는 조경 특화 기능이 부족해 추가 개발이 필요하다는 것이다. 인용 0회다. 이 결론이 2020년에 나왔고, 2026년까지 그 특화 기능은 오지 않았다. [17] 현장 설계 프로토타입도 있다. 2020년 ARGarden은 핸드헬드 증강현실로 다중 사용자가 협업하는 3D 야외 설계 도구를 만들었고 인용 12회를 받았다. 2021년 Applied Sciences 논문은 혼합현실로 커뮤니티 계획의 현장 설계 경험을 개선했고, 설계자에게 직관적 인식과 정확한 판단을 제공한다고 보고했다. 인용 17회로 설계 시각화 분류에서 가장 많이 인용됐다. 두 연구 모두 식물의 생장이나 계절을 다루지 않는다. 배치와 협업을 다룬다. [18][19] 식생 쪽으로 가장 멀리 간 것은 오히려 측정 연구다. 2016년 CAADRIA 발표는 시야 내 녹지 비율을 자동 측정하는 시스템을 만들고, 증강현실 환경에 식물 배치 설계 모델을 추가해 미래 녹지 변화를 시각화하는 기능을 넣었다. 인용 7회다. 이번 코퍼스에서 계획 식재의 미래 상태를 증강현실로 보여주겠다고 명시한 가장 이른 연구다. 그러나 목적은 비율의 정량화이고, 수목 개체의 생장이 아니다. 저자 스스로 수작업 측정 대비 정확도가 떨어질 수 있다고 적는다. [20] 2023년 IEEE Access 논문은 제목에 증강현실과 도시녹화 식물 생장상태가 함께 들어간다. 내용은 다르다. 증강현실을 써서 생장상태 탐지용 데이터셋을 빠르게 구축하는 방법이고, GAN 기반 데이터 확장보다 정확도 향상이 크다고 보고한다. 야외 실험이 아니다. 여기서 증강현실은 현장 뷰어가 아니라 합성 데이터 생성기다. 조경 코퍼스에서 식생과 증강현실이 가장 직접 만난 논문이 실은 데이터 증강 기법이라는 사실을 기록해둘 필요가 있다. [21] 가장 최근 층도 같은 자리를 돈다. 2022년 CAADRIA 발표는 실시간 레이 트레이싱으로 물면 반사를 증강현실에 구현했다. 시각화 분류의 단 한 편이 물을 다룬다. 물의 반사는 다뤘고 잎의 투과는 다루지 않았다. 인용 0회이고, 저자는 하드웨어 요구가 높아 특정 기기에서 실행이 어렵다고 적는다. 2024년 학회 논문은 공원 계획용 증강현실 앱이 기존 앱보다 만족도가 높고 작업 부담이 낮다고 보고하지만 야외 실험이 아니며, 작업 시간이 더 길어진다는 단서가 붙는다. 2025년 튀르키예 학술지 논문은 증강현실을 통합한 설계 프로세스를 제안하고, 적용 범위가 초기 설계 단계에 제한되며 시공 단계는 추가 고려가 필요하다고 스스로 밝힌다. 인용 0회다. [22][23][24] 야외 측위 연구는 별도로 진전이 있다. 2024년 Sensors 논문은 VSLAM과 구글 스트리트뷰를 결합해 위치기반 증강현실 앵커 정확도를 GPS 기반보다 높였고 인용 12회를 받았다. 같은 해 Electronics 논문은 조명 조건이 그 결합의 정확도에 미치는 영향을 조사해 조명 강도와 정확도 사이의 유의한 상관을 밝혔고 인용 10회다. 후자는 비 오는 날처럼 시각 요소가 변하는 환경에서 정확도가 저하된다고 적는다. 스트리트뷰를 참조하는 측위는 도로에서 보이는 장면을 전제한다. 수관 아래와 공원 내부는 그 전제 밖이다. [25][26] | 대표 연구 | 연도 | 인용 | 야외 | 식생의 시간성 | |---|---|---|---|---| | 조경 혼합현실 잠재력 평가(일리노이대) | 2020 | 0 | 아니오 | 다루지 않음, 특화 기능 부족을 결론으로 지적 | | ARGarden 핸드헬드 야외 설계 | 2020 | 12 | 예 | 다루지 않음 | | 혼합현실 현장 커뮤니티 계획 | 2021 | 17 | 예 | 다루지 않음 | | 녹시율 자동 측정 | 2016 | 7 | 예 | 미래 녹지 변화 시각화 기능 포함, 개체 생장 아님 | | 식물 생장상태 탐지 데이터셋 | 2023 | 7 | 아니오 | AR을 데이터 생성기로 사용 | | 물면 반사 실시간 레이 트레이싱 | 2022 | 0 | 예 | 다루지 않음 | | VSLAM·스트리트뷰 앵커 정확도 | 2024 | 12 | 예 | 해당 없음, 측위 연구 |표 출처: [13][14][15][16][17][18][19][20][21][22][23][24][25][26][1] (본문 기준으로 재구성)
이 표를 위에서 아래로 읽으면 조경 증강현실 연구 12년의 궤적이 보인다. 가능성을 탐구하고, 배치를 시험하고, 협업을 측정하고, 측위를 개선했다. 자라는 것은 건너뛰었다. 증거 수준으로 보면 이 층 전체가 연구 프로토타입이고, 다수가 학회 발표이며 인용은 한 자리 수다. 실무로 건너간 흔적이 없다. [13][14][15][16][17][18][19][20][21][22][23][24][25][26][1] ### 수관 아래에서는 좌표가 흔들린다 조경 현장에는 나무가 있다. 당연한 말이지만 측위에는 치명적이다. SiteVision의 1센티미터는 GNSS 실시간 키네매틱이 낸 숫자다. GNSS는 위성 신호를 받아야 하고, 위성 신호는 하늘이 열려 있어야 온다. 수관 아래에서는 신호가 가려지고 산란되고 반사된다. 다중경로 오차가 커진다. 조경 현장에서 수관 아래는 예외 조건이 아니라 상수다. 가로수 아래, 숲 그늘, 등나무 퍼걸러 밑이 전부 작업 대상이다. [11][27][28] 여기서 정직해야 한다. 수관 아래 성능 저하는 GNSS의 물리에서 필연으로 따라오지만, 이번 조사는 Trimble 문서로 그것을 직접 확인하지 못했다. 즉 이 문단은 확인된 사실이 아니라 추론이다. 제조사가 수관 아래 정확도 저감 수치를 공표했는지 여부도 확인하지 못했다. GNSS를 쓰지 않는 길이 있다. 카메라 영상으로 위치를 찾는 시각 측위다. Niantic Spatial이 그 길을 간다. 시장을 선도했던 모바일 3D 스캔 앱 Scaniverse가 기업용 공간 데이터 서비스로 재편된 결과다. iOS와 안드로이드 기기, 360 카메라, 드론을 받고, 조직 자체의 이미지·라이다·센서 데이터를 받는 경로도 있다. 가우시안 스플랫과 메시를 기기 위에서 처리하고, 자체 오픈소스 포맷 SPZ와 USDZ로 내보낸다. SPZ는 파일 크기를 90퍼센트 줄인다고 주장한다. 측위는 GPS에 의존하지 않는 VPS이고, 업체는 5천만 개 신경망과 150조 파라미터 규모라고 주장한다. 모두 업체 주장이며 독립 검증은 확인되지 않았다. [29] 조경에 중요한 대목은 타깃 시장이다. 제품 페이지가 명시하는 시장은 임바디드 AI와 로보틱스, 국방과 정보, 석유가스다. 소비자와 설계 실무는 전면에서 사라졌다. scaniverse.com은 nianticspatial.com의 캡처 제품 페이지로 리다이렉트된다. 잎처럼 얇은 구조를 잘 담는 스플랫 캡처가 폰에서 무료로 가능해진 바로 그 시점에, 공급자는 조경이 아닌 곳을 보고 있다. 소비자와 설계 시장 경로는 사실상 접혔다. 이유는 기술이 아니라 경제다. 업체 스스로 화면 밖 경제활동 80퍼센트를 겨냥한다고 적는다. | 측위 방식 | 공개 정확도 | 조경 적합성의 제약 | |---|---|---| | GNSS RTK(Trimble Catalyst DA2) | 수평 1cm, 수직 2cm | 개방된 하늘 전제. 수관 아래 저하는 추론 | | VPS(Niantic Spatial) | 수치 비공개 | 사전 스캔 필요, 타깃 시장이 설계 실무 아님 | | 평면 인식·사진 합성(iScape) | 수치 없음 | 측량 좌표와 무연결 |표 출처: [11][29][2][27][28] (본문 기준으로 재구성)
[11][29][2][27][28] ### 잎 사이의 가림 증강현실에서 가림 처리는 가상 객체가 실물 뒤에 있으면 가려 보이도록 하는 기술이다. 이것이 되지 않으면 가상 객체가 항상 앞에 떠 보이고, 공간감이 무너진다. 조경에서 이 문제는 두 갈래인데, 둘이 자주 혼동된다. 첫째는 실물이 가상을 가리는 문제다. 현장의 실제 나무 뒤로 계획한 파빌리온이 들어가야 한다. 이 문제는 연구가 있다. 조경 코퍼스 안에 의미분할과 인스턴스분할로 동적 가림을 처리하는 연구군이 2019년부터 쌓여 있다. 2019년 eCAADe·SIGraDi 공동학회 발표는 야외 경관 시뮬레이션용 의미분할 시스템을 개발하고 모바일 실시간 처리를 위해 클라이언트-서버 구조를 설계했다. 2020년 CAADRIA 발표는 실시간 의미분할과 영상 통신으로 동적 가림 처리와 녹시율 추정을 함께 다뤘다. 2021년 eCAADe 발표는 인스턴스분할로 실물과 가상의 위치 관계를 판별하는 자동화 과정을 넣었다. 2021년 Advanced Engineering Informatics 논문은 딥러닝 의미분할을 혼합현실에 통합해 미래 경관의 지형과 식생을 실시간 분석했고 인용 58회를 기록했다. 이 계열에서 가장 많이 인용된 것은 2022년 Journal of Computational Design and Engineering 논문이다. 도시 디지털트윈과 드론을 결합해 항공 시야에서 과거와 미래 경관을 시각화하고, 3D 모델 기반 가림 처리를 구현했다. 인용 82회다. | 항목 | 값 | |---|---| | 가림 처리 정확도 | 0.8 | | 제어기와 AR 기기 간 지연 | 약 3초 | | 인용 횟수 | 82 | | 발표 연도 | 2022 | 정확도 0.8과 지연 3초를 나란히 보면 이 계열의 현재 위치가 보인다. 연구로는 작동하고 실무로는 이르다. 3초 지연은 현장에서 기기를 들고 움직이는 사람에게 치명적이다. 이 연구군의 증거 수준은 연구 프로토타입이며, 실제 납품으로 넘어간 사례는 확인되지 않았다. 둘째 문제는 가상이 실물을 가리는 방식, 더 정확히는 가상 수목의 잎 사이로 배경이 보이는 문제다. 여기는 비어 있다. 표준 플랫폼 기능은 ARCore Depth API다. 서로 다른 각도의 여러 프레임을 비교하는 depth-from-motion으로 깊이 영상을 만들고, ToF 같은 전용 센서가 있으면 자동으로 병합한다. 2020년에 공개됐다. | 항목 | 문서 명시 값 | |---|---| | 깊이 측정 범위 | 0~65m | | 가장 정확한 구간 | 기기에서 0.5~5m | | 부정확 조건 | 흰 벽처럼 특징 없는 저텍스처 면 | | 선행 조건 | 사용자가 기기를 움직인 뒤 유효 깊이 생성 | 조경에서 추가로 검증할 대상은 얇은 잎, 바람에 움직이는 수관, 반투명한 경계와 강한 일사 조건이다. 움직임으로 깊이를 추정할 때 대상 자체의 움직임은 어려움을 더할 수 있다. 다만 공식 문서는 전용 깊이 센서 결합이 동적 장면에서 도움이 될 수 있다고 설명한다. 모든 움직이는 물체의 깊이 추정이 불가능하다고 일반화해서는 안 된다. 왜 이 문제가 어려운지는 짚어둘 만하다. 가림 처리의 표준 모델은 불투명한 표면을 가정한다. 화면의 각 픽셀에 하나의 깊이값을 두고, 그보다 먼 가상 픽셀을 지운다. 수관은 이 모델에 맞지 않는다. 한 픽셀 안에 잎과 잎 사이 틈과 그 뒤 하늘이 동시에 들어 있다. 깊이값이 하나로 정해지지 않는다. 게다가 그 배열이 프레임마다 바뀐다. 실물 나무 뒤에 가상 파빌리온을 두는 문제는 나무를 통째로 불투명한 덩어리로 취급해도 어느 정도 성립하지만, 가상 나무의 잎 사이로 실제 배경이 보여야 하는 문제는 그 근사가 통하지 않는다. 두 문제에는 서로 다른 표현과 가림 처리가 필요하다. 이 원고만으로 어느 쪽의 연구가 없다고 단정할 수는 없다. 원고는 arXiv 초록에서 augmented reality·occlusion·foliage를 함께 검색한 결과를 0건으로 기록했다. 이는 특정 검색식과 데이터베이스의 결과이며, 연구 자체의 부재나 문제 정의의 부재를 입증하지 않는다. 잎·수관·투과·동적 가림의 동의어와 다른 출판 경로까지 넓혀 검토할 필요가 있다. [30][31] ### 시간축이 열린 2026년 자라고 흔들리는 것을 담는 기술은 지금 막 열리고 있다. 3D 가우시안 스플래팅이 그 문을 열었다. 잎과 가지처럼 얇은 구조에서 스플랫이 메시보다 유리하다는 것이 이 계열의 공통 전제다. 정적 재구성은 먼저 쌓였다. 2024년 10월 8일 공개된 비교연구는 복잡한 산림 임분 재구성에서 신규시점합성 계열인 가우시안 스플래팅과 NeRF를 포토그래메트리와 비교하고 수목 측정값을 추출했다. 2026년 1월 19일 TreeDGS는 항공 영상 가우시안 재구성으로 원거리 흉고직경을 측정했다. 2026년 2월 26일 옥스퍼드의 Sapling-NeRF는 개별 유묘를 지오로컬라이즈해 복원하고 산림 갱신과 수목 구조 형질을 모니터링했다. 2026년 8월 11일 WildFireGS는 의미정보를 부여한 가우시안 산림 장면에 물리 기반 연소 모델을 붙여 산불 전파를 시뮬레이션했다. [32][33][34][35] 자산 공급 쪽에서는 2024년 7월 14일 Tree-D Fusion이 나왔다. MIT와 퍼듀 연구진이 디퓨전 프라이어로 단일 이미지에서 3D 수목을 복원해, 시뮬레이션 준비가 된 수목 모델 60만 개 데이터셋을 만들었다. 대상 이미지는 구글의 Auto Arborist Dataset이다. 속을 지시하는 텍스트 프롬프트로 형상을 복원하고, 3D 수관 외피와 포인트 마커로 분지 구조를 추정한다. 절차적 생성과 실측 기반 사이의 제3경로다. 시뮬레이션 준비라는 표현은 생장과 바람 시뮬레이션에 투입할 수 있는 형태라는 뜻이다. [36] 그리고 조경의 두 고유 문제가 2026년 9월에 연구 대상이 됐다. 시간과 바람이다. ChronoFuseGS는 2026년 9월 25일 공개됐다. 서로 다른 시점에 촬영한 여러 가우시안 모델을 스플랫 단위 persistence로 융합해, 야외 장면의 계절 식생 변화를 추적하고 변화를 시각화한다. 저자 그룹이 TU Wien의 VR·AR 연구실이라는 점이 조경 증강현실과의 직접 접점이다. 계절 변화를 다루는 연구가 증강현실 연구실에서 나왔다는 사실은 이 두 갈래가 이제야 만나기 시작했음을 뜻한다. [37] Wind on Trees는 2026년 9월 15일 공개됐다. 학습된 모션이 아니라 물리 파라미터화된 변형장으로 바람에 흔들리는 수목 운동을 모델링하고, 4D 가우시안 스플래팅이 실제 물리 파라미터를 회복하는지 시험했다. 논문 초록은 시간·풍속 외삽의 개선과 함께 주파수 회복이 가장 단순한 시험 수목에서만 성립했고 감쇠는 회복하지 못했다고 보고한다. 학습된 모션은 촬영한 흔들림을 재생하는 것이고, 물리 파라미터화는 바람 세기를 바꿀 수 있는 것이다. 설계 시각화에는 후자가 필요하다. 관련 흐름으로 2026년 7월 20일 AniGS는 비디오 디퓨전으로 정적 재구성에 식생 미세 운동을 덧붙였다. [38][39] | 연구 | 공개일 | 다루는 것 | 증거 수준 | |---|---|---|---| | 임분 재구성 비교연구 | 2024-10-08 | GS·NeRF·포토그래메트리 비교, 수목 계측 | 연구 프로토타입 [32] | | Tree-D Fusion | 2024-07-14 | 단일 사진에서 수목 60만 개 생성 | 연구 데이터셋 공개 [36] | | TreeDGS | 2026-01-19 | 항공 GS로 흉고직경 측정 | 연구 프로토타입 [33] | | Sapling-NeRF | 2026-02-26 | 유묘 지오로컬 복원·모니터링 | 연구 프로토타입 [34] | | AniGS | 2026-07-20 | 식생 미세 운동 부가 | 연구 프로토타입 [39] | | WildFireGS | 2026-08-11 | 산불 전파 시뮬레이션 | 연구 프로토타입 [35] | | Wind on Trees | 2026-09-15 | 물리 파라미터 기반 바람 흔들림 | 연구 프로토타입 [38] | | ChronoFuseGS | 2026-09-25 | 계절 변화 다중시점 융합 | 연구 프로토타입 [37] | 이 표의 마지막 열이 전부 같다. 검토한 자료에서 현장 증강현실 배포를 확인하지 못했다. 그리고 이 연구들이 공통으로 다루지 않는 것이 두 가지 있다. 실시간 증강현실 렌더링 부하와 현장 정합이다. 자라고 흔들리는 것을 스플랫으로 담는 길은 열렸다. 그것을 현장에 겹쳐 놓는 문제는 아직 손대지 않았다. 목적을 보면 더 분명하다. 이 여덟 건의 목적은 산림계측, 로봇, 재난, 데이터셋 구축이다. 조경 설계의 현장 증강현실은 하나도 없다. 식생 재구성 기술이 성숙하는 동안 조경은 그 논문들의 독자 명단에 없었다. 방향을 하나 짚어둘 필요가 있다. 이 계열은 촬영한 것을 되살리는 기술이다. 있는 나무를 찍어 스플랫으로 만들고, 여러 계절에 찍은 것을 융합하고, 바람에 흔들리는 것을 물리 파라미터로 기술한다. 조경이 필요한 것은 방향이 반대다. 아직 없는 나무를 세워야 하고, 겪지 않은 계절을 만들어야 한다. 재구성과 생성은 다른 문제다. 다만 재구성이 만든 표현 방식은 생성에 그대로 쓸 수 있다. 스플랫이 잎을 담는 방식, 물리 파라미터가 흔들림을 기술하는 방식은 대상이 실물이든 계획안이든 같다. 그러므로 이 계열은 조경이 쓸 수 있는 문법을 먼저 만들어 놓은 셈이다. 문법을 받아 문장을 쓸 사람이 아직 오지 않았다. 계산 부하도 남은 문제다. 4D 가우시안은 시간축을 가진 표현이고, 실시간 증강현실은 매 프레임을 기기 위에서 그려야 한다. 이 두 요구가 모바일 기기에서 만나는 지점의 성능 수치는 이번 조사에서 확인하지 못했다. 위 여덟 건 중 실시간 증강현실 렌더링 부하를 보고한 것이 없다. [32][33][34][35][36][37][38][39] ### 손으로 심는 방식 현장 정합 모바일 증강현실이 아닌 경로에서는 식생을 다룬 실제 구현이 있다. 노스캐롤라이나주립대학교 GeoForAll Lab의 Tangible Landscape가 그것이다. 물리 모형을 손으로 조형하면 실시간 3D 스캔과 포인트클라우드 처리를 거쳐 GRASS GIS가 지리연산을 수행하고, 그 결과를 프로젝터가 모형 위에 투영하며 Blender가 3D 렌더를 띄운다. 오픈소스이고 초심자와 전문가 모두를 겨냥한다. 객체 인식, 시계열 분석, 협업 상호작용을 지원한다. 이 장에 이것이 들어오는 이유는 하나의 기능이다. 색 펠트 조각을 모형에 놓으면 그 자리에 숲이 심어지고 즉시 3D 나무로 렌더링된다. 손으로 숲을 심는 인터페이스다. 조경설계자가 트레이싱지에 수목 기호를 그리는 동작과 연산 모델이 직접 연결된다. 식생을 증강현실로 다룬 실제 구현 중 조경의 작업 방식에 가장 가까운 사례다. 단서를 두 개 달아야 한다. 첫째, 이것은 현장 정합형 모바일 증강현실이 아니다. 실내 테이블 위 투영식 공간증강이다. 나무 밑에 서서 보는 방식이 아니라, 모형을 내려다보는 방식이다. 둘째, 증거 수준은 연구 프로토타입이다. 오픈소스로 공개돼 교육과 워크숍에 쓰였지만, 사이트 저작권 표기가 2016년에 멈춰 있어 활발한 유지 여부를 확인하지 못했다. 설치 수와 워크숍 수도 공개돼 있지 않다. [40][41][42] ### 도입의 장벽과 제품 변화를 구분하다 제품 인수와 기능 통합, 서비스 방향 변경, 유지 여부 미확인은 서로 다른 사건이다. 이들을 모두 실패로 묶거나 비용을 원인으로 단정하지 않는다. 아래는 원고에서 언급한 사건과 추가 확인 항목이다. | 사례 | 원고에 기록된 변화 | 추가로 확인할 것 | |---|---|---| | Laubwerk | Maxon 인수와 에셋 통합 | 기능 제공 범위와 이용 조건; 인수 원인과 성과 | | SpeedTree | Unity 인수와 제품 경로 통합 | 현재 지원 범위; 도메인 변경과 기능 종료의 구분 | | Scaniverse | Niantic Spatial 관련 재편 | 소비자·설계 기능의 현재 제공 여부 | | Tangible Landscape | 오픈소스 프로젝트; 홈페이지에 2016년 저작권 표기 | 저장소 활동·출판·운영 기록; 저작권 연도만으로 중단 판정 불가 | | TreePlotter | 조사한 문서에서 AR 경로를 확인하지 못함 | 다른 모듈·연동·운영 사례 | | 잎 가림 처리 | 이번 문서·검색에서 충분한 지침을 확보하지 못함 | 표현 방식별 연구와 현장 성능 |표 출처: [7][8][2][10][40] (본문 기준으로 재구성)
기술적 제약은 현장 조건별로 나누어 보아야 한다. 수관·차폐·조명·움직임은 센서와 추적에 영향을 줄 수 있다. ARCore 공식 문서의 0.5~5m는 가장 정확한 결과를 얻는 거리 설명이며 최대 동작 거리나 모든 장면의 정확도 보장이 아니다. Geospatial Depth는 VPS 지원 위치에서 건물·지형 정보를 결합해 최대 65m까지의 공간을 다룬다. 이 기능만으로 흔들리는 잎이나 미래 수목의 형상을 정확히 재현하는 것은 아니다. [Depth API](https://developers.google.com/ar/develop/depth) · [Geospatial Depth](https://developers.google.com/ar/develop/java/depth/geospatial-depth) 비용은 라이선스뿐 아니라 모델 제작·정리, 엔진 학습, 현장 장비, 배포와 유지보수를 합쳐 계산해야 한다. 원고에 적힌 특정 제품의 구독료는 조사 당시 기록이며 현재 견적이 아니다. 한 앱의 가격을 조경 시장의 지불 상한으로 해석하거나 기업 인수의 원인을 경영난으로 단정할 근거는 이 조사에 없다. 같은 과제를 기존 도구로 수행하는 비용과 비교하는 것이 후속 검증에 필요하다. 데이터 원인은 조경이 자기 손으로 만든 문제다. 식물 객체의 시간 속성이 현장 AR까지 일관되게 전달되는지는 별도로 확인해야 한다. 도면의 수목 기호는 준공 시점 규격을 표시하고, 수량산출서는 R과 B와 H로 심는 날의 크기를 적는다. 20년 뒤 수관폭을 기록하는 칸이 설계도서에 없다. 이를 모든 BIM 객체나 에셋 라이브러리의 기능 부재로 일반화할 수는 없다. Laubwerk의 계절·수령 변형 옵션 유무는 이번에 확인하지 못했고, Vectorworks Landmark 페이지에도 식물 객체의 수령·계절 표현 서술이 없었다. Tree-D Fusion이 만든 60만 개 모델은 속 단위 텍스트 프롬프트로 생성됐고, 조경 식재 규격과 연결되는 속성은 없다. 겹쳐 보여줄 데이터가 없으면 겹쳐 보여주는 기술은 쓸 데가 없다. TreePlotter가 세계 최대 규모의 도시수목 데이터를 가지고도 증강현실 모듈을 만들지 않은 이유의 일부가 여기 있을 수 있다. 그 데이터는 있는 나무의 현재 상태이고, 조경 설계가 필요한 것은 없는 나무의 미래 상태다. 업무흐름에서는 AR 화면이 설계도서, 검토 의견과 승인 기록에 어떻게 연결되는지가 중요하다. 보조 설명에 쓰인 장면과 측정·검수에 쓰인 장면은 필요한 근거가 다르다. 초기 설계의 시연 결과만으로 시공 단계의 타당성을 보장할 수 없다. 반대로 공개된 시연만 보고 해당 도구가 교육에서 멈췄다고 단정해서도 안 된다. 기술·비용·데이터·업무흐름의 비중은 프로젝트마다 다르다. 조경 실무는 요구하는 데이터와 검토 절차를 명시하고, 그 조건에서 도구의 효용과 부담을 함께 평가할 수 있다. [7][8][2][10][40] ### 확인하지 못한 것 원고 작성 당시에는 개별 URL 직접 조회에 주로 의존해 보도자료·학회 발표·지자체 공고를 폭넓게 검색하지 못했다. 아래 항목들은 당시 조사의 미확인 사항이다. 웹판에서 별도로 보완한 항목은 그 근거를 덧붙였다. 한국 사례가 0건이다. 산림청, 국립수목원, 지자체, LH의 조경 증강현실 시범사업이 있는지 없는지 판단할 근거가 이 조사에는 없다. 일본과 중국, 대만도 같다. 실패와 중단 사례를 체계적으로 모으지 못했다. GIS 피처 레이어를 폰 증강현실로 표시하던 Esri AuGeo의 제품 페이지는 404였고, 단종 여부를 확정하지 못했다. 구글 Tango 단종도 1차 출처를 재확인하지 못했다. 현행 ARCore 페이지에 Tango 언급은 없다. 헤드셋의 실외 제약을 문서로 확인하지 못했다. Apple Vision Pro의 실외·직사광 사용 제한 문구를 찾으려 한 지원 페이지는 404였다. HoloLens 2 생산 종료도 확인하지 못했다. ARKit 씬 재구성 메시가 얇은 구조를 잡지 못한다는 점도 애플 공식 문서로 확인하지 못했다. 그러므로 앞 절의 가림 처리 논의는 ARCore 문서 한 건에만 근거한다. 조경 CAD의 생장·계절 기능은 웹판 보완 조사에서 확인했다. Lands Design 공식 도움말은 문서의 Season 설정, 개체의 현재 수고·수령과 Growth 옵션에 연결된 렌더링을 설명한다. 다만 이는 조경 모델의 표현 기능에 대한 근거이며, 현장 AR에서 장기 생장을 정확히 예측하거나 측량 수준으로 정합한다는 근거는 아니다. [공식 도움말](https://help.landsdesign.com/interface/document-properties/) [43] 업체 주장과 독립 검증의 구분도 남는다. iScape의 400만 다운로드와 평점 4.6, Katam의 정확도, Niantic의 SPZ 90퍼센트 절감과 VPS 규모는 모두 업체 자체 서술이다. 웹판에서 연결한 2023년 비교연구는 Arboreal Forest·Katam·Trestima를 함께 다룬다. 업체별 주장 전체가 그 연구로 검증된 것은 아니다. [43][4][6][2][29][30] ### 조경이 증강현실에 던지는 질문 이제 서두에서 미뤄둔 2편을 본다. 140편 코퍼스에서 식생과 수목을 정면으로 다룬 문헌이다. 둘은 사실상 한 연구의 두 판본이다. 2022년 Applied Sciences 논문은 BIM과 혼합현실을 결합해 식생 모델을 구축하고 계절 변화를 포착해 지속 가능한 토지 관리를 지원하는 방법을 제안했고, 공원 프로젝트 하나를 사례로 검증했다. 같은 해 Research Square에 올라간 프리프린트는 같은 프레임워크를 정원과 식생 관리의 생애주기 관리로 확장했다. 인용은 각각 7회와 4회다. 둘 다 저자가 지적하는 한계가 같다. 현장 데이터 전송과 처리의 복잡성, 기술적 제약이다. 증거 수준은 연구 프로토타입이고, 후자는 동료심사를 거치지 않은 프리프린트다. 이 코퍼스에서 식생·수목으로 분류된 기록은 2편이다. 서로 관련된 판본일 수 있으므로 독립된 연구 수와 문헌 기록 수를 구분해야 한다. 이는 이 코퍼스의 분류 결과이며, 분야 전체의 연구 수를 뜻하지 않는다. 이 2편의 접근 방식은 기록해둘 만하다. 둘 다 BIM을 축으로 잡았다. 식생 모델을 BIM 객체로 세우고, 계절 변화를 그 객체의 속성으로 포착하고, 혼합현실을 그 속성을 보는 창으로 썼다. 증강현실 쪽에서 출발해 식생을 끌어온 것이 아니라, 조경 정보 모델 쪽에서 출발해 표시 수단으로 혼합현실을 택했다. 앞 절에서 정리한 데이터 원인을 정면으로 다룬 셈이다. 그래서 이 방향이 중요하다. 그리고 그래서 한계도 분명하다. 두 논문이 공통으로 지적한 것이 현장 데이터 전송과 처리의 복잡성이다. 모델을 무겁게 만들면 현장에서 뜨지 않는다. 인용은 각각 7회와 4회에 머물렀고 후속 연구군이 형성되지 않았다. 그러므로 이 장의 결론은 방법론이 아니다. 질문 목록이다. 조경이 증강현실에 던지는 질문은 다른 어느 분야도 던지지 않았다. 첫째, 시간을 어떻게 겹치는가. 증강현실은 지금 여기를 증강한다. 조경이 보여주려는 것은 20년 뒤 여기다. 현재 영상 위에 미래 상태를 겹치는 것은 공간 정합이 아니라 시간 정합이다. ChronoFuseGS가 여러 시점의 스플랫을 융합하기 시작했지만, 그것은 과거 여러 장의 융합이다. 아직 오지 않은 상태를 만드는 문제는 다르다. 둘째, 성장의 불확실성을 어떻게 표현하는가. 20년 뒤 수관폭은 하나의 숫자가 아니다. 토양과 관수와 전정과 병충해에 따라 분포다. 건축 시각화는 확정된 형태를 보여주면 되지만, 조경 시각화는 범위를 보여줘야 정직하다. 이 원고의 조사만으로 범위를 증강현실로 보여주는 표현 방법의 부재를 단정할 수 없다. 적용 가능한 표현 방법을 비교할 필요가 있다. 셋째, 잎 사이로 어떻게 보이게 하는가. 가상 수목은 불투명한 덩어리가 아니다. 잎 사이로 하늘이 보이고 뒤가 보인다. 그 반투명성이 나무를 나무로 보이게 한다. 이번에 확인한 플랫폼 개요 문서와 제한된 문헌 검색만으로는 이에 대한 충분한 해법을 정리하지 못했다. 넷째, 수관 아래에서 어떻게 위치를 잡는가. 나무 밑은 조경의 작업 공간이고 GNSS의 사각지대다. 야외 증강현실에서 가장 정확한 제품이 전제하는 열린 하늘이 조경 현장에서는 예외 조건이다. 다섯째, 바람을 넣어야 하는가. Wind on Trees가 물리 파라미터로 흔들림을 모델링하기 시작했다. 그런데 정지한 가상 나무를 흔들리는 실물 나무들 사이에 세우면 즉시 가짜로 보인다. 흔들림은 장식이 아니라 존재감의 조건이다. 여섯째, 무엇을 성과품으로 삼는가. 증강현실 화면은 남지 않는다. 도면은 남고 시방서는 남는다. 현장에서 본 20년 뒤 수관이 승인 근거가 되려면 그 화면이 어떤 형식으로 성과품에 편입되는지 정해야 한다. 이 질문은 기술 질문이 아니라 제도 질문이고, 제도는 조경이 쓴다. 이 여섯 질문 중 어느 것도 게임이 묻지 않는다. 영화도 묻지 않는다. 산림계측도 묻지 않는다. 계측은 이미 있는 나무를 재고, 게임은 있어야 할 자리에 아무 나무나 세우면 되고, 영화는 한 프레임만 맞으면 된다. 심을 나무의 20년 뒤를 그 자리에 세워 보여야 하는 분야는 조경뿐이다. 질문을 기술 쪽 언어로 옮기면 요구 명세가 된다. 식물 객체에 수령축을 넣고, 수관폭과 수고를 단일값이 아니라 구간으로 적고, 잎 밀도를 투과율로 쓰고, 흔들림을 바람 세기의 함수로 두고, 수관 아래에서 시각 측위로 자세를 잡는다. 이 다섯 줄이 조경이 증강현실 업계에 제출할 수 있는 명세의 뼈대다. 이는 후속 개발을 위한 요구사항 제안이다. 비슷한 요구를 담은 문서가 전혀 없다는 뜻은 아니며, 구현 가능성과 검증 비용은 현장 조건별로 확인해야 한다. 앞선 조사는 조경 분야의 공개 기록과 이 코퍼스에서 드러난 도입의 간극을 보여준다. 이것을 조경이 증강현실을 쓰지 못했거나 요구를 전혀 제출하지 않았다는 판정으로 확대해서는 안 된다. 다음 단계는 확인된 기능을 연결하고, 현장에서 필요한 데이터와 성과품의 조건을 구체화하는 일이다. 기술은 이제 준비되기 시작했다. 스플랫은 잎을 담고, 4D는 바람을 담고, 다중시점 융합은 계절을 담는다. 2024년부터 2026년까지 3년 사이에 일어난 일이다. 이 기술들이 조경을 향하려면 조경이 먼저 말해야 한다. 우리가 보여줘야 하는 것은 완성된 형태가 아니라 변해가는 과정이라고. 그것이 이 책 전체가 다룬 증강현실 기술에 조경이 유일하게 기여할 수 있는 몫이다. 조경이 증강현실에 던지는 질문은 하나로 줄어든다. 아직 자라지 않은 것을 어떻게 지금 그 자리에 세워 보이는가. 이 조사만으로 그 질문을 종합적으로 해결한 제품·논문·납품의 존재 여부를 단정할 수는 없다. 생장 표현, 현장 정합, 불확실성 표현과 실증 평가를 각각 확인하고 연결하는 일이 후속 과제다. [1][44][45][43][40]본문의 번호를 누르면 출처로 이동합니다. 절 끝의 번호는 그 절의 사실 자료를, 표 아래의 번호는 표에 사용한 자료를 가리킵니다. 비교·계산·비유와 결론은 필자의 재구성입니다. 한 번호에 함께 사용한 문헌이 둘 이상이면 묶어서 적었습니다.
서지정보와 확인 메모는 옵시디언 조사 기록을 바탕으로 복원했습니다. 원 기록의 ‘전문 확인’·‘조회’ 표기는 당시 조사 상태이며 이번 웹판에서 모두 재검증했다는 뜻은 아닙니다. 불완전한 서지사항은 임의로 채우지 않았습니다.
연구 프로토타입
출처 확인 필요. 제품 기능·성능 주장은 업체 공식 자료를 통한 인용이다. 원 조사에 적힌 2020년 SLU 논문, 2021년 Sveaskog 평가, 2024년 sub-cm 연구는 개별 제목·저자·식별자가 미기재되어 직접 인용을 확정하지 못했다. 2023년 비교연구는 별도 항목으로 연결했다.
실제 납품
이 항목의 순위·평가는 업체의 논문 소개를 통한 재인용이다. 해당 연구에는 Katam도 포함되므로 Katam의 독립 검증이 없다는 원고의 단정은 수정했다.
↩1 ↩2실제 납품
공식 기능 문서 대조
↩1 ↩2 ↩3실제 납품
실제 납품
저자 정보는 원 조사 목록에 미기재.
↩1 ↩2 ↩3대학 공식 소개 페이지. 원고가 학위논문이라고 부른 자료의 종류를 바로잡았다.
대학 공식 소개 대조, 2026-09-30
↩1 ↩2 ↩3저자 정보는 원 조사 목록에 미기재.
↩1 ↩2 ↩3저자 정보는 원 조사 목록에 미기재.
↩1 ↩2 ↩3실제 납품
공식 기능 문서 대조
↩1 ↩2 ↩3 ↩4공식 기능 문서 대조
↩1 ↩2 ↩3arXiv 서지정보·초록 대조, 2026-09-30
↩1 ↩2 ↩3arXiv 서지정보·초록 대조, 2026-09-30
↩1 ↩2 ↩3arXiv 서지정보·초록 대조, 2026-09-30
↩1 ↩2 ↩3arXiv 서지정보·초록 대조, 2026-09-30
↩1 ↩2 ↩3arXiv 서지정보·초록 대조, 2026-09-30
↩1 ↩2 ↩3arXiv 서지정보·초록 대조, 2026-09-30
↩1 ↩2 ↩3arXiv 서지정보·초록 대조, 2026-09-30
↩1 ↩2 ↩3arXiv 서지정보·초록 대조, 2026-09-30
↩1 ↩2 ↩3공식 기능 문서 대조
↩1 ↩2 ↩3 ↩4연구 프로토타입 (단, 오픈소스로 다기관 채택·10년 이상 유지보수라는 점에서 단발 프로토타입과는 다르다)
연구 프로토타입 (통제된 사용자 실험, 정량 평가 포함)
공식 기능 문서 대조
↩1 ↩2 ↩3