문화유산과 건축 — 야외로 나가다

실내는 준비할 수 있고 야외는 준비할 수 없다

증강현실이 무엇인지는 1997년에 정리됐다. Ronald Azuma가 학술지 Presence에 실은 서베이가 세 조건으로 못 박았다. 실재와 가상의 결합, 실시간 상호작용, 3차원 정합이다. 앞의 두 조건은 성능이 좋아지면 충족된다. 세 번째는 성질이 다르다.

정합은 가상 물체가 실제 공간의 정해진 자리에 놓여 있어야 한다는 요구다. 이것이 증강현실을 가상현실과 갈라놓는다. 가상현실은 스스로 일관되기만 하면 된다. 증강현실은 자기가 통제하지 못하는 세계와 의견이 일치해야 한다. 세계가 틀렸다고 말할 권리가 없는 쪽은 언제나 시스템이다.

그리고 정합은 야외에서 무너진다. 이유는 장비의 성능이 아니라 환경의 지위다. 실내에서는 환경을 준비할 수 있다. 벽에 표식을 붙이고, 조명을 고정하고, 추적 장비를 천장에 달고, 전원을 벽에서 뽑는다. 야외에서는 그중 무엇도 할 수 없다. 표식을 붙일 벽이 남의 것이고, 조명은 태양이고, 천장이 없고, 전원은 등에 지고 다녀야 한다.

Azuma는 1998년 11월 1일 제1회 증강현실 국제 워크숍에서 이 문제를 따로 떼어 발표했다. 제목이 이미 결론이었다. 「야외에서 증강현실을 작동시키려면 하이브리드 추적이 필요하다」, 219~224쪽의 짧은 글이다. 자주 인용되는 1999년 논문집 수록판은 ISMR'99 초청강연에 딸린 확장판이다. 그가 나눈 문제 영역은 셋이었다.

This section analyzes these three problem areas.

크기·무게·전력, 디스플레이, 추적이다. 이 셋은 25년이 지나도 목록이 바뀌지 않았다. 이 장이 따라가는 것은 그 목록을 바꾸려 한 시도들의 기록이다. ^[1]

배낭을 지고 캠퍼스를 걷다

1997년 컬럼비아대학 컴퓨터그래픽·사용자인터페이스 연구실이 Touring Machine을 발표했다. Steven Feiner, Blair MacIntyre, Tobias Höllerer, Anthony Webster의 작업이고 연구는 1996년에 시작됐다. 구성은 단순하게 요약된다. 3차원 그래픽 가속 컴퓨터, 차등 GPS 수신기, 방위 추적기가 달린 광학 시스루 HMD, 무선 네트워크를 배낭에 담는다. 그것을 지고 캠퍼스를 걸으면 건물 위에 이름표가 뜬다. 자주 인용되는 개별 기기 모델명은 원 논문으로 대조하지 못했으므로 여기서는 범주로만 적는다.

이름표를 띄운 것보다 중요한 기여는 화면을 둘로 나눈 구조였다. 머리에 쓴 디스플레이가 공간에 붙는 정보를 담고, 손에 든 스타일러스 펜 컴퓨터가 그 정보를 조작한다. 라벨은 시야 중심에 가까울수록 밝아진다. 건물을 일정 시간 응시하면 선택되고, 그 건물에 있는 학과 목록이 건물 주위에 3차원으로 배열된다. 선택 결과는 동시에 손에 든 컴퓨터의 웹 브라우저에 URL로 넘어간다. 1997년에 이미 공간에 붙은 것을 보는 장치와 읽고 조작하는 장치를 분리해야 한다는 결론에 도달했다는 뜻이다. 시스템은 이후 갱신됐다. 차등 GPS는 실시간 이동측위 GPS와 GLONASS 조합으로, 컬럼비아 자체 개발 대역확산 무선은 IEEE 802.11a/b로 바뀌었다.

왜 1996년이었는지가 이 사례의 핵심이다. 기술이 무르익어서가 아니다. 그 무렵 증강현실은 항공기 배선 조립이나 의료 영상 중첩처럼 실내의 통제된 환경에 머물러 있었다. 반면 건축과 도시의 정보는 본질적으로 현장에 붙어 있는 정보인데, 그것을 현장에서 볼 수단이 종이 지도와 안내판뿐이었다. 정보와 장소가 분리되어 있다는 이 문제가 기술보다 먼저 있었다. 캠퍼스는 좁고 이미 측량된 공간이고, 차등 GPS로 건물 단위 식별은 된다는 판단이 시도를 촉발했다.

흔한 오해를 하나 정리해 둘 필요가 있다. Touring Machine을 마커를 떠난 사건으로 서술하는 글이 많다. 연대가 맞지 않는다. 마커 기반 증강현실의 정본 도구인 ARToolKit은 Hirokazu Kato가 1999년에 만들었다. 1997년에는 떠날 마커 패러다임이 아직 없었다. 야외로 나간 것은 실내에서 도망친 것이 아니라 애초에 실내가 아닌 문제를 붙잡은 것이다.

연구비 출처는 논문 감사문에 남아 있다.

This work was supported in part by the Office of Naval Research under Contracts N00014-94-1-0564 and N00014-97-1-0838, the Columbia Center for Telecommunications Research under NSF Grant ECD-88-11111, a Columbia University Provost's Strategic Initiative Fund Award, and a gift from Microsoft.

해군연구청 계약 두 건과 통신연구센터를 경유한 미국과학재단 지원이다. 야외 증강현실의 원형은 민간 시장이 아니라 군 연구비로 만들어졌다. 널리 떠도는 'NSF CDA-92-23009'라는 과제번호는 이 논문에도, 프로젝트 공식 페이지에도 없다. 프로젝트 페이지가 드는 미국과학재단 과제번호는 EIA-97-29844다.

결과는 연구로 성공, 제품으로 부재다. 배낭 규모를 벗어난 적이 없고 상용 제품으로 이어지지 않았다. 실패라기보다 하드웨어가 20년 뒤에 따라온 설계다. 다만 이 성공을 피인용수로 논증할 때는 조심해야 한다.

표 출처: ^[2] (본문 기준으로 재구성)

Crossref는 2000년 이전 문헌의 인용을 심하게 과소집계한다. 같은 논문이 데이터베이스에 따라 세 배 차이가 난다. 이 장의 피인용수는 별도 표기가 없으면 Crossref 기준이고 조회 시점은 2026년 9월 말이다. 영향력을 논증할 때 어느 데이터베이스의 숫자인지 밝히지 않으면 세 배를 과소평가하거나 과대평가한다. ^[2]

문제에 이름을 붙인 문서

Azuma의 1997년 서베이는 6,839회 인용됐다. 증강현실 분야에서 가장 많이 인용된 문헌 중 하나다. 야외 난제를 다룬 1998년 발표와 1999년 확장판은 75회에 불과하다. 그런데 분야에 준 영향은 뒤쪽이 더 크다. 이 문서 이후 야외 증강현실 논문의 표준 서론이 '야외는 다르다'로 시작하게 됐다.

Azuma의 결론은 단일 센서로는 불가능하다는 것이었다. 위치는 위성으로 잡고, 빠른 회전은 관성 센서로 메우고, 절대 기준은 영상으로 다시 맞추는 조합이 필수라는 주장이다. 하이브리드 추적이라는 말이 그렇게 표준 용어가 됐다.

그가 1999년에 적은 위성측위 정확도는 다음과 같다.

표 출처: ^[3] (본문 기준으로 재구성)

이 숫자를 기억해 둘 필요가 있다. 이후 30년간 야외 증강현실의 모든 실패는 이 오차와 정합 요구 사이의 거리를 어떻게 메울지의 문제였다. 건물을 식별하는 데는 30 m도 못 쓸 정도는 아니다. 무너진 기둥 하나에 신전을 얹으려면 30 m는 재앙이다. 같은 기술이 어떤 용도에서는 충분하고 어떤 용도에서는 무용하다는 이 비대칭이 이 장 전체를 관통한다.

한 가지 덧붙인다. 야외 제약을 다섯 가지로 나열하는 요약을 자주 보는데, Azuma 본인이 나눈 문제 영역은 셋이다. 이 장 뒤쪽에서 제약을 여섯 층으로 정리하지만 그 번호는 이 책의 정리이고 Azuma의 분류가 아니다. ^[3]

장소에 서사를 묶다

1999년 같은 연구실이 Touring Machine을 이름표 띄우기에서 현장 기반 다큐멘터리로 확장했다. Höllerer, Feiner, 그리고 컬럼비아 저널리즘 스쿨의 John Pavlik이 함께 만든 Situated Documentaries다. 캠퍼스를 걸으면 그 자리에서 실제로 일어난 사건의 소리와 글과 이미지와 영상이 공간에 배치되어 재생된다. 실제로 제작된 편은 셋이었다. 1968년 컬럼비아 학생 시위, 캠퍼스 지하 터널 시스템, 캠퍼스 초기 역사다.

지하 터널 편이 중요하다. 보이지 않는 것을 보이게 한다는 발상, 즉 이 장 뒤쪽에서 다룰 지하 투시의 최초 사례가 여기다. 1999년에 이미 나왔고 27년이 지난 지금도 표준 실무가 아니다.

저널리즘 스쿨이 공동 저자로 들어간 사실이 이 작업의 성격을 말해 준다. 기술 연구실은 무엇을 보여줄 것인가에 스스로 답하지 못했다. 장소 기반 서사에 이미 전문성을 가진 분야가 필요했다. 문화유산 해설의 고유한 공백은 설명할 대상은 눈앞에 있는데 설명할 시간의 층위는 눈에 보이지 않는다는 것이고, 증강현실은 그 시간 축을 공간에 되돌려 놓는 도구로 채택됐다.

연구팀은 곧 MARS Authoring Tool을 만들어 프로그래머가 아닌 사람도 3차원 하이퍼미디어 서사를 저작할 수 있게 했다. 누가 콘텐츠를 만드는가라는 질문을 처음 건드린 작업이다. 선견지명이었지만 도구를 만든 것이 문제를 푼 것은 아니었다. 저작 비용은 이후 20년간 문화유산 증강현실을 계속 죽이는 원인이 된다.

피인용 63회다. 오늘날의 위치 기반 오디오 투어와 문화유산 앱 거의 전부의 개념적 원형이지만, 당시 시스템은 배낭 장비를 벗어나지 못해 실제 방문객에게 배포된 적이 없다. ^[4]

1만 달러짜리 야외 증강현실

남호주대학 웨어러블컴퓨터랩이 1998년부터 2006년까지 운영한 프로젝트가 야외 증강현실의 경제성을 처음 숫자로 노출했다. 대표작은 1인칭 슈팅게임 Quake를 실제 캠퍼스 위에 겹친 ARQuake다. Bruce Thomas와 Wayne Piekarski가 중심이고, 학부 우등생 5명, 지도교수 1명, 박사과정 1명의 소규모 팀이 만들었다.

장비 목록은 다음과 같았다. 반투명 증강현실 고글, 노트북, Trimble Ag132 GPS 수신기, InterSense IS-300 자기·자이로 방위 센서, 디지털 나침반과 경사계를 담은 커스텀 배낭이다. 같은 팀은 이 플랫폼을 게임에서 현장 3차원 모델링으로 돌려 2001년 Tinmith-Metro를 내놓았다. 걸어 다니며 건물 형상을 구성하는 시스템이고, 건축과 측량 영역을 겨냥한 첫 전용 사례다.

게임을 고른 이유가 이 프로젝트의 가치를 만들었다. 게임은 틀려도 아무도 다치지 않는 영역이다. 그래서 한계를 자유롭게 밀어붙이고 공개적으로 기록할 수 있었다. 실제로 이 프로젝트가 남긴 가장 큰 자산은 게임이 아니라 실패 목록이다. 연구팀은 가상과 실제의 정렬 불일치, 야외 조명 아래 콘텐츠 가독성, 자기 왜곡에 의한 센서 드리프트, 그리고 야외 보행자가 마우스를 쓰는 실내 플레이어보다 느려 게임 균형이 깨진다는 인간공학적 문제까지 적어 두었다. 마지막 항목이 특히 값지다. 정합이 완벽해도 사람의 이동 속도가 설계 전제를 무너뜨린다는 사실은 장비 사양표에 나오지 않는다.

결정적인 숫자는 비용이다.

표 출처: ^[5] (본문 기준으로 재구성)

이 숫자의 출처를 정확히 해 둔다. 프로젝트 홈페이지의 문답 페이지에서 나온 값이고, 그 페이지는 1998년부터 2006년까지를 포괄하며 2006년 최신 구성까지 함께 안내한다. 따라서 '2000년의 가격표'로 못 박기는 어렵다. 그래도 자릿수는 분명하다. 건물 모서리에 맞는 야외 증강현실은 2000년 전후에 기술적으로 가능했고 1인당 1만 달러였다. 이것이 야외 증강현실이 연구실을 벗어나지 못한 경제적 이유다.

표 출처: ^[5] (본문 기준으로 재구성)

^[5]

올림피아에 신전을 겹치다

유럽연합이 2000년 문화유산 증강현실에 처음 큰돈을 댔다. 제5차 프레임워크 정보사회기술 프로그램의 ARCHEOGUIDE, 과제번호 IST-1999-11306이다. 고대 올림피아 유적에서 방문객이 현장에 서면 폐허 위에 복원된 신전과 고대 경기 장면이 겹쳐 보이게 하는 것이 목표였다.

표 출처: ^[6] (본문 기준으로 재구성)

파트너는 Fraunhofer IGD와 ZGDV(독일), CCG/ZGDV(포르투갈), A&C 2000 S.R.L.(이탈리아), 그리스 문화부, Post Reality S.A.(그리스)다. 주요 저자는 Vlahakis, Ioannidis, Karigiannis, Tsotros, Gounaris, Stricker, Gleue, Dähne다.

설계에서 배울 점이 둘 있다. 첫째는 기기를 3단으로 나눈 것이다. 배낭형 노트북에 HMD를 쓴 구성, 펜 컴퓨터, PDA를 함께 제공해 성능과 가격에 따라 누가 무엇을 볼 수 있는지를 등급화했다. 단일 기기를 전제하지 않은 문화유산 증강현실은 이때가 거의 마지막이다.

둘째는 정합 방식이다. 위치는 차등 GPS와 디지털 나침반으로 대략 잡고, 그 자세를 사전에 촬영해 둔 기준 영상들과 대조해 다듬는 하이브리드 방식을 썼다. 순수 위성측위로는 신전 기둥 하나에 정렬할 수 없다는 사실을 프로젝트 초기에 인정하고, 유적 전체를 미리 촬영해 시각적 기준점을 깔아 두는 쪽을 택한 것이다. 무거운 렌더링과 데이터베이스는 현장 서버에 두고 무선으로 보냈다. 문제를 우회하지 않고 비용으로 바꿔 치른 선택이다.

왜 고고 유적이었는지는 도메인의 성질에서 나온다. 유적의 고유 문제는 남아 있는 것이 전체의 극히 일부라는 점이다. 올림피아에서 관람객이 보는 것은 무너진 기둥 드럼들이고, 그것이 무엇이었는지는 안내판의 작은 복원 삽화로만 전달된다. 동시에 유적의 물리적 복원은 윤리적으로도 법적으로도 제한된다. 물리적으로 복원할 수 없는 것을 시각적으로만 복원한다는 증강현실의 성질이 보존 원칙과 정확히 맞물렸다. 유럽연합이 이용자 친화적 정보사회 프로그램에서 이 조합에 돈을 댄 이유다.

학술적 성과는 컸다.

표 출처: ^[6] (본문 기준으로 재구성)

서비스로는 이어지지 않았다. 여기서 정직해야 한다. 흔히 프로젝트 종료와 함께 현장에서 사라졌다고 서술되지만, 확인되는 사실은 30개월 고정 기간의 과제가 기한대로 종료됐다는 것뿐이다. 기한 만료는 기술적 실패의 증거가 아니다. 2002년 이후 올림피아 현장 운영에 관한 기록을 찾지 못했다는 것은 부재의 증거이지 중단의 증거가 아니고, 후속 논문이 없다는 사실도 마찬가지다.

확인하지 못한 것이 더 있다. 현장 사용자 시험 참가자 수, 실제로 달성한 정합 정확도, 장비 무게, 배터리 지속시간이 모두 미확인이다. 정합 방식 서술도 논문 제목과 초록 수준의 정보에 기댄 것이고, 어떤 특징 기술자를 썼는지와 기준 영상을 몇 장 깔았는지는 모른다. 문화유산 증강현실의 표준 인용 문헌인데도 운영 지표가 남지 않았다는 사실 자체가 이 분야의 상태를 말해 준다. 학술적 기여는 재현 가능한 형태로 남았고 운영 경험은 남지 않았다.

구조적으로 남는 교훈은 두 개다. 기준 영상을 유적 전체에 깔고 계절과 시간과 날씨에 따라 갱신해야 하는 유지 부담이 하나다. 연구비가 끝나면 장비 대여와 정비와 콘텐츠 갱신 비용을 댈 주체가 없다는 것이 둘이다. 두 번째가 이후 20년간 반복되는 소멸 패턴의 원형이다. ^[6]

껍데기가 아니라 사람을 복원하려는 시도

ARCHEOGUIDE가 건물을 복원했다면 LIFEPLUS는 사람을 복원하려 했다. 폼페이의 실제 주택 유적에 옷 시뮬레이션과 피부 렌더링을 갖춘 가상 인물들이 걸어 다니고 대화하는 장면을 실시간으로 겹쳤다.

표 출처: ^[7] (본문 기준으로 재구성)

귀속을 바로잡아 둔다. 널리 인용되는 논문의 저자는 제네바대학 MIRALab의 George Papagiannakis와 Nadia Magnenat-Thalmann이지만, 과제 조정기관은 그리스 FORTH이고 MIRALab은 참여 파트너 중 하나다. 논문 저자의 소속을 과제 주관기관으로 옮겨 적는 오류는 연구 프로젝트를 인용할 때 자주 생긴다.

기술적 초점이 정합에서 실시간 가상 인물 렌더링으로 이동한 것이 이 프로젝트의 성격이다. 야외 정합 문제를 정면으로 풀기보다, 폼페이 주택처럼 벽으로 둘러싸여 상대적으로 통제 가능한 반실내 공간을 골라 정합 난이도를 낮추고 그 대신 콘텐츠 품질을 밀어붙였다. 마커 없는 실시간 카메라 추적과 사전 제작한 인물 애니메이션을 결합했다.

우회의 이유는 두 가지였다. 2000년대 초 현장의 자각은 건물 껍데기를 복원해도 관람객의 몰입이 얕다는 것이었다. 유적 해설의 진짜 공백은 형태가 아니라 생활이었다. 동시에 야외 정합이 풀리지 않자 연구 전선이 어디서나 정합에서 정합하기 쉬운 곳에서 최고 품질로 옮겨 갔다. 이 우회는 그 뒤로도 반복된다.

성과는 제한적이다. 2007년 International Journal of Architectural Computing 5권 2호 395~415쪽에 실린 논문이 22회 인용됐다. ARCHEOGUIDE에 크게 못 미친다. 상시 서비스로 전환됐다는 기록도, 명시적으로 중단됐다는 기록도 확인되지 않았다.

확인되는 한계는 경제적이다. 고증된 의상과 행위와 언어를 갖춘 가상 인물 한 장면의 제작비가 유적 한 곳의 연간 해설 예산을 넘었고, 재사용도 불가능했다. 폼페이용 인물은 올림피아에서 쓸 수 없다. 콘텐츠 단가가 정합 정확도보다 먼저 프로젝트를 죽인 사례다. ^[7]

정합을 풀지 않고 지도 제작으로 옮기기

2006년 케임브리지대학의 Gerhard Reitmayr와 Tom Drummond가 야외 추적의 기술적 전환점을 만들었다. 위성측위와 나침반을 보조로 밀어내고, 카메라가 보는 영상을 미리 준비된 도시의 3차원 텍스처 모델과 직접 맞춰 자세를 구하는 방식이다.

작동 원리는 셋으로 나뉜다. 건물 외곽선과 모서리 같은 기하 특징을 추적한다. 빠른 움직임은 관성 센서로 메운다. 프레임마다 모델과 다시 정합해 드리프트를 제거한다. 세 번째가 핵심이다. 방위 오차가 시간에 따라 누적되지 않는다. 야외 정합 정밀도를 건물 단위에서 건물 모서리 단위로 끌어올린 작업으로 평가되고, 237회 인용됐다. 같은 계보에 Behringer 외 2002년 연구가 14회, Jiang과 Neumann과 You의 2004년 하이브리드 추적이 50회 인용으로 함께 있다.

2000년대 중반이었던 이유도 도메인 쪽에 있다. 건축과 도시 분야에 사진측량과 항공 라이다로 만든 3차원 도시 모델이 쌓이기 시작했다. 미리 만들어진 환경 모델이라는 전제가 처음으로 현실적이 됐다. 동시에 요구 수준이 올라갔다. 건물이 어디 있는지 알려 달라에서, 설계한 벽이 실제 벽과 몇 센티미터 어긋나는지 보여 달라로 바뀌면 위성측위 정밀도로는 아무것도 할 수 없다.

그러나 전제가 병목으로 남았다. 최신 3차원 모델이 없으면 작동하지 않는다. 공사 중인 현장이나 계절에 따라 형상이 변하는 식생 많은 공간에서는 모델과 실제가 어긋난다. 이 계보의 성격을 한 줄로 쓰면 이렇다. 정합 문제를 해결하는 것이 아니라 정합 문제를 지도 제작 문제로 옮긴다. 이 장 뒤쪽의 시각측위 인프라도 같은 구조를 지구 규모로 확대한 것인데, 직접 계승 관계를 뒷받침하는 출처가 있는 것은 아니고 발상이 같다는 뜻이다. ^[8]

배낭에서 주머니로, 그리고 소멸

2008년과 2009년에 야외 증강현실이 처음 대중의 손에 들어왔다. 오스트리아 잘츠부르크의 Wikitude World Browser가 2008년에, 네덜란드 암스테르담의 Layar가 2009년 6월에 나왔다. Layar의 창업자는 Raimo van der Klein, Claire Boonstra, Maarten Lens-FitzGerald 세 사람이다.

작동 방식은 단순했다. 스마트폰 카메라 화면 위에 주변 정보를 위성측위와 나침반과 가속도계만으로 겹쳐 띄운다. 부동산 매물, 관광 명소, 지하철역, 도시계획 정보가 올라갔다. 누구나 자기 데이터를 레이어로 올릴 수 있는 개방형 구조여서, 문화유산 단체나 지자체가 코드를 몰라도 위치 콘텐츠를 발행할 수 있었다. iPhone 3GS와 초기 안드로이드가 위성측위와 디지털 나침반과 카메라를 한 몸에 담으면서, 1만 달러로 하던 일의 조악한 버전을 600달러 기기가 하게 됐다. 도시와 부동산과 관광 분야는 정보는 데이터베이스에 있고 사용자는 현장에 있다는 간극을 오래 안고 있었기에 정확도가 낮아도 즉시 채택했다.

실패의 기제는 두 층이다. 기술 쪽에서는 위성측위의 수평 오차가 도심에서 크게 벌어진다. 건물 사이에서 신호가 반사되어 도달하는 다중경로 때문이다. 자기 나침반은 철골 구조물과 차량 근처에서 크게 틀어진다. 겹쳐진 아이콘이 엉뚱한 건물 위에 떠 있었고, 사용자는 증강이 아니라 대충 맞는 목록을 보게 됐다. 이 대목에서 흔히 인용되는 구체적 오차 수치는 1차 출처로 확인하지 못했으므로 여기서는 기제만 적는다. 수치 없이도 결론은 바뀌지 않는다.

경제 쪽 기제가 더 결정적이다. 되먹임이 반대 방향으로 돌았다. 정확도가 낮으니 사용자가 안 쓰고, 사용자가 없으니 콘텐츠 제공자가 갱신을 멈추고, 죽은 레이어가 쌓이며 플랫폼 신뢰가 무너진다. 개방형 구조가 강점에서 약점으로 바뀐 것이다. 누구나 올릴 수 있다는 말은 아무도 책임지지 않는다는 말과 같아진다.

두 회사의 죽음은 원인이 다르다. 이 구분이 중요하다.

표 출처: ^[9] (본문 기준으로 재구성)

Layar는 위에 적은 기제로 죽었다. Wikitude는 아니다. Wikitude는 2012년에 SDK로 전환하며 순수 지오브라우저 모델을 스스로 폐기했고, 2017년에 SLAM을 넣어 위성측위 의존을 줄였다. 2024년의 서비스 종료는 지오브라우징을 떠난 뒤 12년이 지난 인수 후 제품 정리다. 떠다니는 아이콘 탓에 소멸했다는 설명은 Layar에는 맞고 Wikitude에는 맞지 않는다. 같은 세대에 묶인 두 회사를 한 문장으로 묶으면 둘 중 하나의 교훈을 잃는다.

남는 사실은 하나다. 15년간 가장 널리 배포된 야외 증강현실 플랫폼 두 개가 모두 없어졌다. ^[9]

박물관으로의 후퇴

야외 정합이 풀리지 않는 동안 문화유산 증강현실의 무게중심이 실내 전시장으로 옮겨 갔다. 2010년대 초부터 본격화됐다.

실내가 쉬운 이유는 정합의 조건이 전부 뒤집히기 때문이다. 조명이 고정되어 있다. 작품 표면 자체가 자연 특징 마커가 된다. 비콘과 무선망으로 실내 측위를 보조할 수 있다. 그리고 결정적으로 유지 주체가 분명하고 예산이 연간 편성된다. ARCHEOGUIDE를 끝낸 두 조건, 즉 정합 불가와 운영 주체 부재가 실내에서는 동시에 완화된다. 이것이 후퇴의 구조적 이유다. 박물관 쪽에도 압박이 있었다. 관람객 체류 시간이 줄고 주의가 스마트폰으로 빠져나가고 있었다.

클리블랜드미술관의 ARTLENS 계열이 대표 사례다.

표 출처: ^[10] (본문 기준으로 재구성)

스미스소니언 국립자연사박물관의 Skin and Bones는 2015년에 나왔고, 골격 표본에 살과 움직임을 겹쳐 보여준다. 표본은 있으나 생태는 보이지 않는다는 자연사 전시의 고유한 공백을 겨냥한 설계다. 다운로드 수와 현재 운영 여부는 확인하지 못했다.

ARTLENS가 10년 넘게 유지·갱신된 비결은 증강현실이 아니다. 증강현실은 앱의 일부일 뿐이고, 소장품 검색과 길찾기와 작품 영상이라는 실용 기능이 본체다. 반대로 증강현실만 하는 단발성 전시 앱은 운영체제 갱신 한두 번에 작동을 멈추고 조용히 내려간다. 기술적 실패가 아니라 소프트웨어 유지보수 예산 구조의 실패다. 다만 이 관찰을 통계로 뒷받침하지는 못했다.

평가에 단서를 붙인다. 위 수치는 전부 운영기관 자신의 자료에서 나왔다. 독립적인 평가 근거가 되는 리뷰 문헌은 인용수가 낮아 지목할 만한 것이 없었다. 성공 사례를 소개할 때 근거가 운영자 자신뿐이라는 점은 밝혀 두어야 한다. 그리고 더 중요한 단서가 있다. 이 후퇴는 야외 난제를 해결한 것이 아니라 회피한 것이다. 유적과 도시 같은 야외 문화유산은 그대로 공백으로 남았다. ^[10]

설계와 현장 사이의 번역 손실

건설은 반대 방향으로 갔다. 이유는 돈이다.

건설의 고유 문제는 설계는 3차원인데 현장은 2차원 도면으로 지어진다는 번역 손실이다. 2010년대에 건물정보모델이 의무화 흐름을 타면서 정밀한 3차원 모델이 이미 존재하게 됐다. 영국이 2016년 공공공사에 BIM Level 2를 의무화한 것이 대표적이다. 그 모델을 현장에서 확인할 마지막 한 걸음만 비어 있었다. 그리고 설비 간섭을 시공 후에 발견하면 철거와 재시공이 필요하고, 그 비용이 헤드셋 몇 대 값을 즉시 넘는다. 문화유산과 달리 건설에서는 투자 회수 계산이 성립한다.

Trimble은 처음부터 있었다. HoloLens 1세대가 나온 2016년에 Trimble SketchUp Viewer가 최초의 상용 HoloLens 애플리케이션이었다. 2019년의 XR10이 건설 증강현실의 시작이라는 서술은 3년 앞선 선행 상용화를 빠뜨린다.

XR10의 존재 이유는 규제다. 건설 현장은 안전모 착용이 법적 의무이므로, 안전모를 벗고 별도 헤드셋을 쓰는 방식은 애초에 불가능하다. XR10은 HoloLens 2를 안전모에 통합해 이 제약을 하드웨어 설계로 흡수했다. 작업자는 Trimble Connect로 올린 모델을 현장 실공간에 1:1 축척으로 겹쳐 보며 배관과 덕트가 들어갈 자리, 슬리브 위치, 시공 오차를 눈으로 확인한다. 다만 XR10의 가격과 출하 일자는 1차 출처로 확인되지 않았다. 과거의 전용 제품 주소는 현재 일반 페이지로 넘어가고, 그 페이지에는 XR10 언급이 한 줄도 없다. 단종 정황과는 부합한다.

기기 쪽 사실관계는 다음과 같다.

표 출처: ^[11] (본문 기준으로 재구성)

시야각이 34도에서 52도로 넓어졌다는 서술을 자주 보는데, 1세대 숫자는 마이크로소프트가 공표한 적이 없는 참관자 한 사람의 추정치다. 개선 자체는 사실이지만 두 숫자를 같은 축에 올리는 것은 정확하지 않다. 제품 세대 간 개선을 논증할 때 한쪽만 비공식 수치이면 그 비교는 성립하지 않는다.

기기가 죽은 원인은 건설 쪽이 아니었다. 미 육군의 통합시각증강체계 계약이 무너진 것이 컸다.

표 출처: ^[11] (본문 기준으로 재구성)

현장 쪽 기술적 한계도 분명했다. 광학 시스루 디스플레이는 직사광 아래 대비가 무너진다. 현장의 반복적인 회색 벽면과 계속 바뀌는 형상은 SLAM 정합을 흔든다. 배터리 수명이 교대 근무 시간에 못 미친다. 결과적으로 현장 증강현실의 주류는 헤드셋에서 태블릿과 전화기로 옮겨 갔다. Trimble도 태블릿 기반 SiteVision을 두어, 위성측위 수신기와 결합하면 야외에서 측량급 정밀도로 모델을 현장에 놓는 경로를 따로 제공한다. 다만 건설사의 실제 상시 사용 비율 같은 채택률 통계는 확인하지 못했다. 주류가 이동했다는 판단은 제품 구성 변화와 문헌의 정성적 관찰에 기댄 해석이다. 이 분야의 연구 의제를 정리한 Davila Delgado 외 2020년 논문은 Crossref 370회, Semantic Scholar 416회 인용됐다. ^[11]

2억 7,500만 달러가 남긴 것

Daqri는 안전모를 증강현실 플랫폼으로 삼는다는 통찰에 Trimble의 XR10보다 3년 앞서 도달했고, 완전히 실패했다.

표 출처: ^[12] (본문 기준으로 재구성)

숫자를 오해하기 쉬운 지점이 있다. 2억 7,500만 달러는 건설용 헬멧에 들어간 돈이 아니다. 전사 조달액이고, 뇌파 헤드밴드 업체 Melon과 홀로그래픽 광학 업체 Two Trees Photonics, 1066 Labs, ARToolworks 인수를 포함한다. Daqri는 2010년에 QR 기반 증강현실 퍼블리싱 플랫폼으로 출발했고 2014년에야 하드웨어에 진입했으며, 2017년 말에는 스마트헬멧을 주력에서 제외하고 스마트글라스로 선회했다. 건설 증강현실의 가장 비싼 실패라는 표현은 편리하지만 정확하지 않다. 조달 총액을 특정 제품의 실패 규모로 읽는 것은 흔한 오독이다.

실패 원인은 양쪽이다. 기술적으로 헬멧이 무겁고 열이 나며 배터리가 교대 시간을 못 버텼다. 더 결정적으로 현장 정합 정밀도가 실제 시공 허용오차에 못 미쳤다. 시공 허용오차는 수 밀리미터에서 수 센티미터 수준이다. 그 밑으로 내려가지 못하면 증강현실 기기는 정보 표시기 이상이 되지 못한다. 경제적으로는 하드웨어와 운영체제와 개발도구와 콘텐츠를 모두 자체 구축하려다 비용이 폭증했고, 같은 기간 마이크로소프트가 플랫폼 층을 장악해 수직통합 전략의 근거가 사라졌다.

2017년 7월에 공동창업자 Mullins가 퇴진하고 두 달 뒤 Dempsey가 떠났다. 2019년 9월 9일 이메일 한 통으로 클라우드와 스마트글라스 하드웨어 사업 종료를 통보했다. 남긴 유산은 하나다. 2015년 5월 ARToolworks를 인수한 뒤 그 회사가 상용 배포하던 ARToolKit을 오픈소스로 재공개했다. 5월 13일의 v5.2다. 인수 대상이 라이브러리가 아니라 회사였다는 점은 짚어 둘 필요가 있다. ^[12]

지하를 투시한다는 약속

굴착 전에 삽을 넣을 자리에 무엇이 있는지 바로 보는 그림은 증강현실의 가장 직관적인 정당화다. 그래서 20년 넘게 킬러앱으로 지목됐다. 1999년 캠퍼스 지하 터널 다큐멘터리가 사실상 최초이고, 2009년 전후 미시간대학 Vineet Kamat 연구실이 본격적으로 체계화했으며, 2019년 이후 상용 제품이 나왔다. 그런데도 표준 실무가 아니다. 이유를 세 층으로 나눠 본다.

첫째는 정합이다. 지하 3미터의 관을 지표 좌표계에 몇 센티미터 오차로 놓아야 한다. 지표의 기준점과 지하의 대상 사이에 직접 관측이 없다는 점이 이 문제의 성질이다.

둘째는 지각이다. 이쪽이 덜 알려져 있고 더 흥미롭다. 벽 뒤나 땅속에 그린 물체는 사람의 시각계가 자동으로 표면 위에 떠 있다고 해석해 버린다. 폐색 단서가 없으면 깊이가 읽히지 않는다. Benjamin Avery와 Christian Sandor와 Bruce Thomas, 그리고 Mark Livingston 연구진이 2009년 IEEE VR에서 이 문제를 정면으로 다뤘다. 가장자리 보존, 격자 마스크, 터널처럼 파 들어가는 절개 같은 시각 단서를 넣어야 비로소 뒤에 있다고 읽힌다는 것을 실험으로 보였다. 즉 투시는 그냥 겹쳐 그리는 것이 아니라 별도로 설계해야 하는 표현이다. 설계자에게 이것은 실무 지침이다. 반투명하게 만들면 뒤에 있어 보인다는 직관은 틀렸다.

표 출처: ^[13] (본문 기준으로 재구성)

셋째가 진짜 이유다. 도면이 틀린다.

굴착 사고의 원인은 작업자가 도면을 안 봐서가 아니다. 도면과 현실이 다르기 때문이다. 미국토목학회의 지하 매설물 조사 기준은 이 사실을 등급으로 제도화했다.

표 출처: ^[13] (본문 기준으로 재구성)

이 등급 체계가 존재한다는 사실 자체가 기록은 못 믿는다는 업계의 공식 자백이다. 그리고 현장의 압도적 다수는 QL-D 또는 QL-C다. 판본도 짚어 둔다. 널리 인용되는 ASCE 38-02는 2003년 발행이고, 2022년 ASCE 38-22가 이를 대체했다. 개정판은 정의를 새로 쓰고 조사 수행 지침 조항을 추가했다.

new and revised definitions, and new provisions for guidance in performing utility investigations

여기서 결론이 나온다. 증강현실은 표시 문제를 풀지 데이터 품질 문제를 풀지 못한다. QL-D 도면을 밀리미터 정밀도로 정합해 보여주면 정확해 보이는 틀린 그림이 된다. 이것은 종이 도면보다 위험하다. 종이 도면은 보는 사람이 스스로 못 믿지만, 현실에 딱 붙어 보이는 관 그림은 믿게 만든다. 표현의 정밀도가 데이터의 신뢰도를 위장하는 것이다. 그래서 작업자가 화면을 믿고 삽을 넣으면 책임 소재가 모호해지고, 어느 유틸리티 사업자도 증강현실 표시를 굴착 승인 근거로 인정하지 않는다. 장벽은 광학이 아니라 법적 책임과 데이터 등급이다.

상용 제품의 주장도 이 구분으로 읽어야 한다. 캐나다의 vGIS와 vSite는 자사 페이지에서 이렇게 말한다.

Survey-grade (up to 1cm) augmented reality

10,000+ Utility and Infrastructure Projects Delivered

토론토시, 로스앤젤레스 수도전력국, AECOM, PCL 등을 고객으로 든다. 두 가지를 분리해야 한다. 1센티미터는 측위 정밀도이고, 필요한 것은 매설물 위치 정확도다. 기기가 자기 위치를 1센티미터로 알아도 도면에 적힌 관 위치가 1미터 틀렸으면 결과는 1미터 틀린다. 그리고 이 수치들은 업체 자체 주장이며 독립 검증이나 동료심사 근거가 붙어 있지 않다. 페이지에서 확인되는 외부 목소리는 임원 한 사람의 추천사뿐이다. 1만 건이라는 실적도 같은 성격의 자체 발표다.

2025년 Hansen과 Wyke와 Bodum의 덴마크 굴착 손상 방지 사례 연구가 같은 간극을 다시 확인했다. 결론적으로 지하 투시는 실패한 아이디어가 아니라 선행 조건이 충족되지 않은 아이디어다. 전제는 증강현실 기술이 아니라 QL-A와 QL-B 수준의 지하 데이터베이스이고, 그것은 도시 단위 공공 투자의 문제다. 기술 조달로 해결하려는 시도가 20년 동안 실패한 이유가 이것이다. 덧붙여, 굴착 손상의 연간 건수나 손실액을 인용하려면 별도 확인이 필요하다. 이 조사에서는 수치를 확보하지 못했다. ^[13]

정밀도가 문제가 아닌 영역

야외 증강현실의 난제가 치명적이지 않은 영역이 하나 있다. 도시계획 참여다.

이 영역의 고질적 문제는 정합이 아니라 표상이다. 평면도와 조감도를 읽을 수 있는 사람만 의견을 낼 수 있다. 기술 문제가 아니라 형평성 문제이고, 특히 청소년과 비전문가와 비모국어 화자를 체계적으로 배제한다. 증강현실은 표상 해독 능력 없이도 여기 이렇게 생긴 것이 선다는 사실을 즉각 전달한다. 결정적으로, 나무를 어디쯤 놓을지 논의하는 데는 밀리미터가 필요하지 않다. 오차가 수십 센티미터여도 목적이 달성된다.

계보는 2011년 오타고대학의 Mark Allen과 Holger Regenbrecht와 Matthew Abbott가 발표한 스마트폰 기반 공공참여 연구에서 시작한다. 55회 인용됐다. 2018년 찰머스공대의 Hesam Imottesjo와 Jaan-Henrik Kain이 Urban CoBuilder를 내놨고 50회 인용됐다. 실증 규모가 가장 큰 것은 2023년 Kai Reaver의 오슬로 사례다.

표 출처: ^[14] (본문 기준으로 재구성)

배치 숫자는 자주 잘못 인용된다. 원문은 이렇게 적는다.

we estimate that 8,000 trees were placed by AR during the workshops

approximately 5,000 original tree placements if overlapping design suggestions were consolidated

8,000은 전체 객체 수가 아니라 나무 수다. 5,000은 그중 나무만 센 부분집합이 아니라 같은 8,000에서 중복을 제거한 값이다. 총 8,000건 중 나무 5,000건이라는 서술은 존재하지 않는 비수목 배치 3,000건을 만들어낸다. 참여자 수도 마찬가지다. 약 50~70명이라는 숫자가 돌아다니지만 논문은 총원을 밝히지 않고, 그룹 규모로 계산하면 45명에서 90명 사이다. 참여 도구의 실증 규모를 평가하는 근거가 이런 오독으로 바뀐다.

평가는 Arnstein의 참여 사다리 틀로 이루어졌다. 참여자 거의 전원이 참여와 도시계획과 설계에 대한 이해가 늘었다고 보고했고, 일부 제안은 실제로 오슬로시가 채택했다.

한계가 두 개 기록됐고 둘 다 설계자에게 중요하다. 첫째, 지오로케이션 추적이 부정확해 증강현실에서 배치한 좌표를 지리정보시스템으로 직접 옮길 수 없었다. 워크숍 후 수작업 재배치가 필요했다. 의견 수렴 도구로는 작동했지만 설계 데이터 입력 도구로는 작동하지 않았다는 뜻이다. 오차 허용이 느슨한 용도라는 강점이 곧 데이터로 쓸 수 없다는 약점이기도 하다. 둘째, 청소년 참여자는 수종과 토양과 장기 환경 영향에 대한 지식이 없어 전문가 검증이 반드시 필요했다. 참여 도구는 판단을 대신하지 않는다.

한 가지 계보를 바로잡아 둔다. Regenbrecht를 Mark Billinghurst 계열로 분류하는 서술을 보는데, 2011년 논문의 저자는 세 사람이고 Billinghurst는 포함되지 않는다. Regenbrecht의 소속은 오타고대학이다. ^[14]

정합을 인프라로 옮기다

2022년 Google이 ARCore Geospatial API를 공개했다. 공개 월은 1차 출처로 확인하지 못했다. 이 기능이 야외 증강현실의 문제 설정을 바꿨다.

작동 방식은 다음과 같다. 15년 이상 축적된 스트리트뷰 영상에 심층신경망을 적용해, 오랜 기간 변하지 않을 특징들만 골라 기술한다. 수십억 장에서 전역 3차원 점군을 만든다. 사용자의 카메라 픽셀에서 같은 종류의 특징을 뽑아 이 모델과 대조해 자세를 구한다. 위성측위보다 훨씬 정밀하다. 스트리트뷰가 있는 거의 모든 국가에서 작동하고, WGS84 좌표와 지형과 옥상 세 종류의 앵커를 제공한다.

구조적 의미가 크다. 2020년대에 들어서면서 문화유산과 건축과 도시의 모든 시도가 같은 벽에 반복해 부딪혔다는 것이 분명해졌다. 개별 프로젝트가 자기 현장의 정합 기준을 매번 새로 만들어야 했다. ARCHEOGUIDE의 기준 영상이 그랬고 모델 기반 추적의 3차원 도시 모델이 그랬다. 그 비용이 프로젝트를 죽였다. 정합을 각 앱의 문제에서 공용 인프라로 끌어올리는 것만이 구조적 해법이었고, Google은 스트리트뷰라는 이미 지불된 자산을 갖고 있었기에 그 전환을 할 수 있었다. 문화유산 기관 하나가 감당할 수 없는 일을 이미 다른 이유로 지불된 자산이 대신 해 준 것이다.

같은 시기 Niantic의 궤적은 다른 교훈을 준다.

표 출처: ^[15] (본문 기준으로 재구성)

여기서 눈여겨볼 것은 증강현실 모드가 선택 기능이고 많은 플레이어가 꺼 놓는다는 점이다. 정확한 비율은 출처를 찾지 못했으므로 단정하지 않는다. 그래도 방향은 분명하다. 이 대중적 성공은 증강현실 때문이 아니었다. 위치 기반 게임의 성공을 증강현실의 성공으로 읽는 것은 흔한 오류이고, 그 오류가 2016년 이후 여러 기관의 예산 결정을 왜곡했다. 현실 세계 메타버스라는 서사는 접혔고 남은 자산은 지도다.

판정은 유보해야 한다. 시각측위는 기술적으로 야외 30년 난제의 가장 유력한 해법이지만 셋이 남는다. 커버리지가 하나다. 스트리트뷰 차량이 다니지 않는 곳, 즉 유적 내부와 보행로 안쪽과 건설 현장 안쪽은 비어 있다. 변화가 둘이다. 계절에 따라 형상이 바뀌는 식생 많은 공간과 공사 중인 현장은 시각 지도와 어긋난다. 종속이 셋이다. 문화유산 기관이나 지자체가 정합을 특정 민간 플랫폼에 의존하게 된다. 세 번째는 기술 문제가 아니라 조달과 거버넌스의 문제다. ^[15]

30년 동안 바뀐 항목은 한 번에 하나씩이었다

야외 증강현실이 반복해 부딪힌 제약을 여섯 층으로 정리한다. 이 번호는 이 책의 정리이고 특정 문헌의 분류가 아니다.

표 출처: ^{[2][5][6][8][11][15][1]} (본문 기준으로 재구성)

두 번째 층의 산수를 기억해 둘 만하다. 위치가 1센티미터로 정확해도 방위가 1도 틀리면 100미터 앞의 대상은 약 1.7미터 어긋난다. 야외에서 자세가 위치보다 치명적인 이유가 이것이다. 나침반이 이 장에서 왜 그렇게 자주 언급되는지도 여기서 설명된다. 멀리 있는 것을 겹쳐 보여주는 용도일수록 방위 오차의 지렛대가 길어진다.

네 번째 층은 소프트웨어로 해결할 수 없다. 광학 시스루 디스플레이에서 가상 영상은 실제 빛에 더해질 뿐 뺄 수 없다. 밝은 배경 위에 어두운 물체를 그리는 것이 원리적으로 불가능하다. 밝은 야외에서의 해법은 광학 시스루를 포기하고 카메라 영상에 합성하는 비디오 시스루로 가거나 태블릿으로 가는 것이다. 산업 현장 증강현실이 헤드셋에서 태블릿으로 회귀한 진짜 이유가 이 물리다. 기기 선택의 문제가 아니라 빛의 덧셈 구조의 문제다.

이 목록이 중요한 까닭은 각 시대가 이번에는 다르다고 주장했으나 실제로 바뀐 항목이 한 번에 하나씩뿐이었다는 데 있다.

표 출처: ^{[2][5][6][8][11][15][1]} (본문 기준으로 재구성)

앞의 네 층은 기술 문제이고 뒤의 두 층은 경제 문제다. 그리고 이 장의 사례들을 죽인 것은 대부분 뒤의 두 개였다. 여섯 번째 층은 30년간 전혀 해결되지 않았고 사망 원인 1위다. ^{[2][5][6][8][11][15][1]}

설계자가 물어야 할 것

야외 증강현실을 검토하는 자리에서 물어야 할 질문은 기기 사양이 아니다. 네 개면 된다.

첫째, 이 용도의 허용 오차는 얼마인가. 수십 센티미터로 충분한 용도와 수 밀리미터가 필요한 용도는 같은 기술을 쓰지 않는다. 오슬로 사례가 작동하고 지하 투시가 작동하지 않는 차이가 여기서 갈린다.

둘째, 겹쳐 보여줄 데이터의 품질 등급은 무엇인가. 표시 정밀도를 데이터 정확도보다 높게 올리면 사용자를 속이게 된다. 지하 매설물 등급 체계는 다른 모든 분야가 빌려 쓸 만한 도구다.

셋째, 정합 기준을 누가 만들고 누가 갱신하는가. 기준 영상이든 3차원 모델이든 시각 지도든, 그것을 계절마다 갱신할 주체와 예산이 없으면 개관 1년 뒤에 멈춘다. ARCHEOGUIDE부터 단발성 전시 앱까지 같은 자리에서 끝났다.

넷째, 직사광 아래에서 쓰는가. 그렇다면 광학 시스루 헤드셋은 후보에서 빼는 편이 낫다.

이 네 질문 중 셋은 기술이 아니라 조달과 운영에 관한 것이다. 30년의 기록이 가리키는 방향도 같다. ^{[11][13][14][1]}

이 장의 한 문장

문화유산과 건축의 야외 증강현실은 30년 동안 같은 자리에서 실패했고, 기록을 모아 보면 사망 원인은 기술보다 운영과 데이터에 몰려 있다. 정합은 지도 인프라로 옮겨 가며 실제로 풀려 가는 중이지만, 콘텐츠를 갱신할 주체와 믿을 수 있는 원본 데이터는 여전히 비어 있다. 한 문장으로 못 박는다. 야외 증강현실에서 무너지는 것은 정합이 아니라 정합을 유지할 주체이며, 땅속을 투시하지 못하는 이유는 광학이 아니라 도면이 틀리기 때문이다. ^[1]