트래킹과 정합

어긋남이라는 문제

증강현실을 기기로 정의하면 헤드셋의 목록이 된다. 성질로 정의하면 공학 문제가 된다. 로널드 아주마가 1997년 8월 『Presence: Teleoperators and Virtual Environments』 6권 4호 355~385쪽에 실은 서베이가 바로 그 일을 했다. 당시 소속은 캘리포니아 맬리부의 휴즈 연구소였다. 그는 증강현실을 특정 장비가 아니라 세 가지 성질로 규정했고, 그중 세 번째 조건인 3차원 정합(registration)이 이후 30년간 트래킹 연구의 문제 정의 그 자체가 되었다.

정합은 말 자체는 단순하다. 가상 물체가 있어야 할 자리에 있게 만드는 일이다. 가상 좌표계와 실제 좌표계를 하나로 맞추는 일이다. 어려운 것은 이 일치가 매 순간 유지되어야 한다는 점이다. 사용자는 걷고, 고개를 돌리고, 몸을 숙인다. 그때마다 좌표계는 새로 맞춰져야 한다.

아주마의 첫 번째 기여는 오차를 둘로 쪼갠 것이다. 정적 오차는 사용자와 물체가 완전히 정지해 있을 때조차 남는 오차다. 광학 왜곡, 트래커 자체의 오차, 시점 보정 오류, 시스템 모델 오류가 여기 속한다. 동적 오차는 움직이기 시작해야만 나타나는 오차다. 원인은 하나다. 시스템 지연이다.

그리고 그는 못 박았다. 동적 오차가 나머지 전부를 합친 것보다 크다.

이 주장이 왜 성립하는지는 인간 눈의 해상력에서 출발해야 보인다. 중심와의 색각 원추세포 밀도는 대략 1도에 120개다. 이를 분해 간격으로 환산하면 0.5분각이 된다. 관찰자는 명암 줄무늬가 각각 1분각을 차지할 때 둘을 구별한다. 이 숫자만으로는 감이 오지 않으므로 아주마는 익숙한 대상을 함께 제시했다.

표 출처: ^[1] (본문 기준으로 재구성)

여기에 지연을 대입하면 숫자가 몸으로 옮겨온다. 1990년대 시스템의 종단간 지연은 대략 100밀리초였다. 느린 시스템은 250밀리초를 넘겼다. 머리 회전 속도를 완만한 초당 50도로 잡으면, 지연 100밀리초 동안 머리는 5도를 돌아간다. 화면에는 5도 전의 장면이 떠 있다. 팔 길이 68센티미터 지점에서 이 5도는 약 60밀리미터의 어긋남으로 나타난다.

With a typical end-to-end lag of 100 ms and a moderate head rotation rate of 50 degrees per second, the angular dynamic error is 5 degrees. At a 68 cm arm length, this results in registration errors of almost 60 mm. System delay is the largest single source of registration error in existing AR systems, outweighing all others combined.

종단간 지연이 통상적인 100밀리초이고 머리 회전 속도가 완만한 초당 50도일 때, 각도상의 동적 오차는 5도가 된다. 팔 길이 68센티미터 지점에서 이는 거의 60밀리미터의 정합 오차로 나타난다. 시스템 지연은 현존 증강현실 시스템에서 정합 오차의 가장 큰 단일 원인이며, 나머지 모든 원인을 합친 것보다 크다.

― Azuma (1997)

이 계산이 결정적인 이유는 세 가지 단위를 하나로 묶었기 때문이다. 밀리초로 재는 지연, 도로 재는 각오차, 밀리미터로 재는 위치 오차가 하나의 식 안에서 연결된다. 그래서 "지연 1밀리초가 몇 밀리미터인가"를 물을 수 있게 됐다. 그 전까지 "가상 물체가 실제와 어긋난다"는 말은 현상 서술이었다. 이후로는 예산 배분의 문제가 됐다.

거꾸로 풀면 목표치가 나온다. 각오차를 0.5도 이하로 억제하려면 지연이 10밀리초 이하여야 한다. 문제는 이 예산이 시작부터 초과된다는 점이다. 60헤르츠 프레임버퍼를 한 번 훑어 내보내는 데만 16.67밀리초가 든다. 계산도 센서 읽기도 하지 않은 상태에서 이미 예산을 넘긴다. 아주마가 서베이 5.2절에서 적은 트래커 요구 정확도는 약 1밀리미터와 1도의 작은 분수다. 1997년 기준으로 이는 희망 사항이었다.

그는 대응책도 네 갈래로 정리했다. 첫째, 지연 자체를 줄인다. 둘째, 겉보기 지연을 줄인다. 이미지 편향과 워핑이 여기 들어간다. 셋째, 실제 영상과 가상 영상의 시간축을 맞춘다. 이것은 비디오 합성 방식에서만 가능하다. 광학 시스루에서는 현실이 지연 없이 눈에 들어오므로 맞출 방법이 없다. 넷째, 미래 위치를 예측한다.

이 네 갈래가 이후 30년의 지도다. 아래의 모든 절은 이 중 하나를 골라 파고든 결과로 읽으면 된다.

한 가지 단서가 서베이 4.5절에 붙어 있다. 아주마 자신이 정합 문제는 해결과 거리가 멀다고 적었다. 당시의 성공 사례는 시점이 고정되어 있거나, 물체가 고정되어 있거나, 이동 범위가 방 하나로 제한되거나, 기준마커가 붙은 단 하나의 물체에만 작동했다. 야외, 대규모, 자연물에 대한 정합은 논의 대상조차 되지 못했다. ^[1]

시간을 앞질러 계산한다

지연을 없앨 수 없다면 미래를 맞추면 된다. 이것이 로널드 아주마와 게리 비숍이 1994년 SIGGRAPH에서 발표한 접근이다. 두 사람 모두 노스캐롤라이나대학 채플힐 컴퓨터과학과 소속이었다.

원리는 한 문장으로 끝난다. 트래커가 시각 t에 머리 위치를 측정하면, 그림이 실제로 화면에 뜨는 시각 t2에는 머리가 이미 움직여 있다. 그러므로 t의 위치가 아니라 t2의 예상 위치로 그린다.

예측의 품질은 무엇을 아는지에 달렸다. 위치만 알면 외삽의 근거가 빈약하다. 각속도와 각가속도를 직접 알면 외삽이 훨씬 단단해진다. 그리고 자이로와 가속도계는 바로 그 두 값을 직접 내놓는다. 광학 트래커에 관성 센서를 붙이는 하이브리드 구조가 여기서 나온다. 아주마의 실험 장비는 천장에 발광다이오드를 격자로 깔고 헬멧의 광전 센서가 그것을 보는 방식이었다.

표 출처: ^[2] (본문 기준으로 재구성)

For short system delays (under ~80 ms), prediction has been shown to reduce dynamic errors by up to an order of magnitude. Accurate predictions require a system built for real-time measurements and computation. Using inertial sensors makes predictions more accurate by a factor of 2-3.

짧은 시스템 지연(약 80밀리초 이하)에서 예측은 동적 오차를 최대 한 자릿수까지 줄이는 것으로 확인되었다. 정확한 예측을 위해서는 실시간 측정과 계산을 전제로 설계된 시스템이 필요하다. 관성 센서를 사용하면 예측 정확도가 2~3배 높아진다.

― Azuma (1997), Azuma & Bishop (1994)를 인용하며

표의 수치에는 조건이 두 개 붙는다. 하나는 출처다. 본 조사에서 1994년 원논문 PDF에는 접근하지 못했고, 위 값은 모두 아주마가 1997년 서베이 4.3절과 4.5절에서 자신의 1994년 논문을 인용하며 명시한 값이다. 즉 2차 인용이다. 다른 하나는 위치다. ±5밀리미터와 1픽셀은 4.5절의 현황 정리에 나오고, 1밀리미터와 1도의 작은 분수라는 요구치는 5.2절에 나온다. 서로 다른 절의 숫자이므로 같은 실험의 결과로 읽으면 안 된다.

이 절의 진짜 의미는 경쟁의 축을 옮긴 데 있다. 그 전까지 정합 개선은 하드웨어 문제였다. 더 정확한 트래커를 만들면 오차가 줄었다. 예측은 같은 센서로 시간을 앞질러 계산하는 알고리즘 문제를 만들었다. 오늘날 헤드셋의 타임워프, 차량용 헤드업 디스플레이의 예측 렌더링이 모두 이 발상의 자손이다.

남긴 한계도 분명하다. 예측은 지연이 짧을 때만 통한다. 지연이 80밀리초를 넘으면 예측 자체가 새로운 오차원이 되어, 가상 물체가 머리보다 앞질러 튀는 현상을 만든다. 천장 발광다이오드 격자에 묶여 작업 범위도 방 하나였다. 야외로 나갈 길은 없었다.

한 가지 선후를 바로잡아 둔다. 시각과 관성을 융합하는 발상 자체는 이 논문의 발명이 아니다. 아주마는 1997년 서베이에서 관성과 광학을 결합한 하이브리드 트래커를 미래의 해법으로 지목하며 1993년부터 1996년 사이의 선행 연구 네 건을 인용한다. 관성 센서로 예측 정확도가 2~3배 올라간다는 수치 자체가 그 기간의 실적이다. ^[2]

종이에 인쇄한 좌표계

전용 트래커는 비싸고 설치가 필요했다. 카토 히로카즈와 마크 빌링허스트가 1999년 10월 IWAR'99에서 발표한 시스템은 그 요구를 웹캠 한 대와 인쇄물 한 장으로 바꿨다. 카토는 히로시마시립대학 정보과학부, 빌링허스트는 워싱턴대학 HIT Lab 소속이었다.

방법은 검은 정사각형 테두리 안에 패턴을 넣은 기준마커를 현실에 붙이는 것이다. 카메라는 그 마커만 보면 자신의 6자유도 자세를 계산할 수 있다. 처리 순서가 단순해서 빨랐다.

먼저 입력 영상을 임계값으로 이진화한다. 연결요소를 뽑는다. 외곽 윤곽선이 네 개의 선분으로 맞춰지는 영역만 남긴다. 남은 영역의 내부 패턴을 템플릿 매칭으로 식별한다. 마지막으로 네 모서리의 화면좌표와 이미 알고 있는 마커의 실제 크기로부터 변환행렬을 계산한다.

마지막 단계에 이 계보의 핵심이 숨어 있다. 마커의 실제 한 변 길이를 알고 있으므로, 카메라 한 대만으로 절대 스케일이 나온다. 결과가 미터 단위로 나온다는 뜻이다. 뒤에 나오는 마커 없는 방식들이 이 능력을 잃고 다시 찾아 헤매게 된다.

After thresholding of the input image, regions whose outline contour can be fitted by four line segments are extracted. […] This result shows that accuracy decreases the further the cards are from the camera.

입력 영상을 임계값 처리한 뒤, 외곽 윤곽선이 네 개의 선분으로 맞춰지는 영역들을 추출한다. […] 이 결과는 카드가 카메라에서 멀어질수록 정확도가 떨어짐을 보여준다.

― Kato & Billinghurst (1999)

논문 자체의 주제는 마커가 아니었다. 원격 협업 회의 시스템과 광학 시스루 헤드셋의 보정법이 본론이었다. 세계 표준이 된 것은 그 부산물인 마커 추적 코드다.

실험 사양은 자주 잘못 인용되므로 정리해 둔다. 널리 인용되는 263×234 픽셀은 카메라 해상도가 아니다. 논문 원문은 이 값을 Virtual i-O i-glasses 헤드셋의 디스플레이 해상도로 명시한다. 헤드마운트 카메라의 화소수는 논문에 나오지 않는다.

표 출처: ^[3] (본문 기준으로 재구성)

표의 마지막 두 행은 서로 다른 실험이다. 0~700밀리미터는 6.1절의 마커 검출 정확도 실험 조건이다. 300, 400, 800밀리미터는 6.2절의 헤드셋 보정 평가에서 사용자 네 명에게 세 가지 과제를 시킬 때의 조건이다. 두 실험을 섞어 "마커 검출 정확도를 800밀리미터까지 측정했다"고 읽으면 틀린다.

배포 연표도 자주 뭉개진다. 라이브러리는 1999년부터 존재했다. 2001년은 ARToolWorks 설립과 함께 HIT Lab을 통해 오픈소스판 1.0이 공개된 해다. 2015년 5월 13일에는 DAQRI 인수를 거쳐 5.2판이 오픈소스로 재공개됐다. 논문의 서지는 IWAR'99 85~94쪽이다.

저자 소속에는 2차 출처와의 충돌이 있다. 논문 원문은 카토의 소속을 히로시마시립대학 정보과학부로 적는다. 영문 위키백과는 같은 연구를 나라선단과학기술대학원대학 소속으로 기술한다. 원문이 정본이며, 이 충돌을 알고 있어야 2차 자료를 볼 때 혼란이 없다.

선후 관계 하나를 바로잡아야 한다. 이 논문을 마커 기반 정합의 출발점으로 두면 3~4년을 지운다. 아주마의 1997년 서베이 4.5절은 영상 피드백을 쓰는 폐쇄루프 시스템이 1픽셀 이내의 거의 완벽한 정합을 이미 달성했다고 적으며 1995년과 1996년의 연구 다섯 건을 인용한다. 카토와 빌링허스트의 기여는 정합 정확도의 발명이 아니다. 누구나 내려받아 쓸 수 있는 표준 도구로 만든 것이다. 그 결과 2000년대 증강현실 논문 대부분이 이 라이브러리 위에서 쓰였다.

남긴 한계는 세 가지이며, 세 번째가 가장 무겁다. 마커가 카메라 시야에서 벗어나거나 일부만 가려도 추적은 즉시 실패한다. 거리가 멀어지면 정확도가 급격히 떨어진다. 그리고 마커를 물리적으로 설치해야 한다. 붙일 데가 없는 야외 대규모 지형에는 적용할 방법이 없다. 이 마지막 한계가 마커 없는 계보 전체를 불러냈다. ^[3]

마커를 떼다

앤드루 데이비슨과 공저자들이 2003년 ICCV에서 발표하고 2007년 6월 『IEEE TPAMI』 29권 6호에 확장판을 실은 MonoSLAM은 그 첫 번째 답이다. 로봇공학에서 레이저 스캐너로 하던 동시적 위치추정 및 지도작성을 카메라 한 대로 실시간 수행한 최초의 성공 사례다.

방법은 확장칼만필터다. 화면 안의 눈에 띄는 점들을 자연 특징점으로 골라 그 3차원 위치를 추정하고, 동시에 카메라 자신의 위치를 추정한다. 카메라 상태는 13개 변수로 표현한다. 3차원 위치, 방향 쿼터니언, 속도, 각속도다. 이 13개 변수와 모든 특징점의 좌표를 하나의 거대한 상태벡터에 넣고, 그들 사이의 상관관계를 꽉 찬 공분산 행렬로 전부 유지한 채 매 프레임 갱신한다.

상관관계를 전부 유지하는 것이 이 설계의 미덕이다. 예전에 본 자리로 되돌아오면 누적된 드리프트가 저절로 보정된다. 새로 본 점과 옛날에 본 점이 공분산으로 연결되어 있기 때문이다.

미덕의 대가가 복잡도다. 특징점 수를 N이라 하면 계산 복잡도와 지도 표현 크기가 모두 N의 제곱에 비례한다.

The total size of the map representation is order O(N²), where N is the number of features and the complete SLAM algorithm we use has O(N²) complexity. This means that the number of features which can be maintained with real-time processing is bounded—in our system to around 100 in current 30 Hz implementation.

지도 표현의 전체 크기는 O(N²) 규모이며(N은 특징점 수), 우리가 사용하는 완전한 SLAM 알고리즘 역시 O(N²) 복잡도를 갖는다. 이는 실시간 처리를 유지하며 관리할 수 있는 특징점 수에 상한이 있음을 뜻하며, 현재의 30Hz 구현에서는 약 100개다.

― Davison, Reid, Molton & Stasse (2007)

일반 PC와 일반 카메라에서 30헤르츠로 돌았다. 카메라는 시야각 약 100도의 광각을 썼다. 작동 범위는 방 한 칸 규모였다.

이 성과의 자리를 정확히 잡아 두자. 마커를 없앴다. 사전 지도도 없앴다. 카메라를 켜고 걸어 들어가면 그 자리에서 지도가 생긴다는 오늘날의 기본 전제가 여기서 처음 실증됐다. 그 전의 구조추정 기법은 영상 전체를 모아 놓고 사후에 계산하는 오프라인 방식이었다. MonoSLAM은 같은 문제를 온라인, 실시간, 재방문 시 보정되는 방식으로 뒤집었다. 논문은 손에 든 카메라 영상에 가상 가구를 얹는 증강현실 데모를 직접 보였다.

저자 소속은 흔히 두 영국 대학으로만 적히지만 절반만 맞다. TPAMI 원문 각주 기준으로 데이비슨은 임페리얼칼리지런던 전산학과, 리드는 옥스퍼드대학 로보틱스 연구그룹, 몰튼은 길퍼드의 Imagineer Systems, 스타스는 일본 쓰쿠바의 프랑스·일본 공동 로보틱스 연구소 소속이다.

남긴 한계는 복잡도가 그대로 옮겨진 것이다. 특징점 100개로 담을 수 있는 공간은 방 한 칸이다. 야외 규모는 알고리즘 원리상 불가능했다. 급격하거나 거친 카메라 움직임에는 추적이 끊겼고, 끊기면 복구할 수단이 없었다. ^[4]

두 스레드로 쪼개다

게오르크 클라인과 데이비드 머리가 2007년 11월 일본 나라에서 열린 ISMAR에서 발표한 PTAM은 앞 절의 벽을 구조적으로 부순다. 두 사람은 옥스퍼드대학 액티브비전연구소 소속이었다.

발상은 추적과 지도작성을 서로 다른 스레드로 분리하는 것이다. 추적 스레드는 매 프레임 카메라 자세만 빠르게 구한다. 30헤르츠를 지켜야 하는 쪽은 이 스레드뿐이다. 지도작성 스레드는 실시간 제약 없이 느긋하게 돌면서 지금까지 모은 키프레임 전체를 한꺼번에 최적화한다. 이것이 번들 조정이다.

We propose to split tracking and mapping into two separate tasks, processed in parallel threads on a dual-core computer: one thread deals with the task of robustly tracking erratic hand-held motion, while the other produces a 3D map of point features from previously observed video frames.

우리는 추적과 지도작성을 두 개의 분리된 작업으로 쪼개어 듀얼코어 컴퓨터의 병렬 스레드에서 처리할 것을 제안한다. 한 스레드는 손에 든 카메라의 불규칙한 움직임을 견고하게 추적하는 일을 맡고, 다른 스레드는 이전에 관측한 영상 프레임들로부터 점 특징의 3차원 지도를 만든다.

― Klein & Murray (2007)

두 번째 설계 결정은 모든 프레임을 쓰지 않는 것이다. 장면이 충분히 달라졌을 때만 키프레임으로 채택한다. 부작용이 아름답다. 사용자가 한 자리에 가만히 서 있으면 새 키프레임이 생기지 않으므로, 지도작성 스레드는 놀지 않고 기존 지도의 정밀도를 계속 올린다. 가만히 있을수록 지도가 좋아진다.

표 출처: ^[5] (본문 기준으로 재구성)

앞 절과 나란히 놓으면 도약의 크기가 보인다. 특징점 약 100개에서 수천 개로, 두 자릿수가 늘었다. 그리고 증강현실 트래킹의 중심축이 필터에서 최적화로 옮겨갔다. 이후 등장하는 대규모 SLAM, 스마트폰 SDK, 헤드셋의 인사이드아웃 추적이 사실상 전부 이 구조를 물려받는다. 두 스레드, 키프레임, 번들 조정이다.

논문 제목에 한계가 적혀 있다. 작은 증강현실 작업공간이다. 키프레임이 150개를 넘으면 전역 번들 조정이 수렴하는 데 수십 초가 걸려, 사용자가 돌아다니는 동안에는 사실상 포기된다. 큰 루프를 닫는 기능이 없으므로 넓은 공간을 한 바퀴 돌면 드리프트가 그대로 누적된다. 빠른 카메라 움직임이 만드는 모션블러는 코너 특징을 지워 추적을 끊는다.

그리고 전제가 하나 붙는다. 장면이 충분히 질감이 있고, 비교적 정적이며, 자기가림이 심하지 않을 것. 바람에 흔들리는 식생은 이 전제를 정면으로 위반한다. 이 문장은 이후 모든 특징점 기반 방식에 상속된다. ^[5]

카메라가 못 보는 순간을 메우다

연표를 먼저 바로잡는다. 아나스타시오스 모우리키스와 스테르기오스 로우멜리오티스의 MSCKF는 2007년 4월 이탈리아 로마에서 열린 ICRA에서 발표됐다. 앞 절의 PTAM은 같은 해 11월이다. 즉 MSCKF가 약 7개월 앞선다. 둘 다 2007년이라 연도만 적으면 순서가 드러나지 않고, 흔히 PTAM 다음에 시각·관성 융합이 나온 것처럼 서술된다. 두 사람은 미네소타대학 소속이었고 모우리키스는 이후 UC 리버사이드로 옮겼다.

문제 설정은 센서의 약점이 서로 반대라는 관찰에서 나온다. 카메라는 어두운 곳, 질감 없는 벽면, 빠른 회전에서 추적을 놓친다. 관성측정장치는 어떤 상황에서도 값을 내지만 시간이 지나면 드리프트한다. 약점이 정확히 상보적이므로 합치면 된다. 이것이 시각·관성 오도메트리다.

결정적 기여는 합치는 방법에 있다. 기존 방식은 특징점의 3차원 좌표를 전부 칼만필터 상태벡터에 넣었다. 그래서 복잡도가 특징점 수의 제곱으로 늘었다. MSCKF는 특징점 좌표를 상태벡터에서 빼버린다. 대신 하나의 정지한 점이 여러 카메라 자세에서 관측되었다는 기하학적 제약만을 측정 모델로 표현한다. 그 결과 복잡도가 특징점 수에 대해 선형이 된다.

표 출처: ^[6] (본문 기준으로 재구성)

The vision-aided inertial navigation algorithm we propose has computational complexity only linear in the number of features, and is capable of high-precision pose estimation in large-scale real-world environments. […] the final position error is approximately 10m in a trajectory of 3.2km, i.e., an error of 0.31% of the travelled distance.

우리가 제안하는 시각 보조 관성항법 알고리즘은 특징점 수에 대해 선형인 계산 복잡도만을 가지며, 대규모 실세계 환경에서 고정밀 자세 추정이 가능하다. […] 최종 위치 오차는 3.2킬로미터 경로에서 약 10미터로, 이동 거리의 0.31퍼센트에 해당하는 오차다.

― Mourikis & Roumeliotis (2007)

표의 두 항목에는 반드시 단서를 붙여야 한다. 카메라 3헤르츠는 설계상의 선택이 아니다. 논문 원문은 시험 시스템의 하드디스크 용량 제약 때문에 영상을 3헤르츠로만 기록했다고 명시한다. 그러므로 관성측정장치가 카메라보다 33배 빠르다는 비율을 시각·관성 융합의 구조적 특성처럼 제시하면 오독이다. 14헤르츠 처리도 실시간 온라인 구동이 아니다. 실험 중에는 모든 데이터를 컴퓨터에 저장했고 처리는 오프라인으로 했다고 원문에 적혀 있다.

이 계보가 중요한 이유는 계산량이다. 스마트폰이 감당할 수 있는 규모로 시각과 관성을 융합하는 법을 제시했다. 카메라가 못 보는 짧은 순간을 관성으로 메우기 때문에, 추적이 끊기지 않는다는 체감이 여기서 처음 나온다.

원조성의 범위는 좁혀야 한다. 시각과 관성을 합치는 발상 자체는 1990년대에 이미 있었다. MSCKF의 독창성은 다중상태 제약 확장칼만필터라는 정식화에 국한된다.

남긴 한계는 이름에 적혀 있다. 오도메트리이지 SLAM이 아니다. 루프를 닫지 않으므로 드리프트는 누적되기만 하고 결코 보정되지 않는다. 3.2킬로미터에 10미터는 훌륭한 수치이지만, 출발점으로 돌아와도 10미터 어긋난 채로 남는다. GPS 참값이 없어 정량 검증도 지도 대조 수준에 머물렀다. 여기가 지구상 어디인가라는 절대좌표 문제는 손대지 못했다. ^[6]

끊겨도 돌아온다

라울 무르아르탈, 몬티엘, 후안 타르도스가 2015년 2월 3일 arXiv에 올리고 같은 해 『IEEE Transactions on Robotics』 31권 5호 1147~1163쪽에 실은 ORB-SLAM은 PTAM의 구조를 계승해 도시 규모로 확장한다. 세 사람은 스페인 사라고사대학 소속이었다.

결정적 설계 결정은 추적, 지도작성, 재위치추정, 루프 폐쇄라는 네 가지 작업에 전부 동일한 특징을 쓴 것이다. ORB는 256비트 이진 서술자를 가진 방향성 코너 특징이다. 서술자가 이진이므로 비교가 비트 연산으로 끝나고, 그래서 기존의 SIFT나 SURF보다 두 자릿수 빠르면서 시점과 회전 변화에 견딘다.

여기에 두 종류의 그래프가 얹힌다. 공시성 그래프는 어느 키프레임들이 같은 점을 함께 보는지 기록한다. 핵심 그래프는 그중 강한 연결만 남긴 성긴 부분그래프다. 루프를 닫을 때 빽빽한 공시성 그래프 전체를 최적화하지 않고 핵심 그래프만 최적화하므로, 도시 규모에서도 실시간이 유지된다. 중복 키프레임은 적자생존 방식으로 솎아낸다. 장면이 실제로 바뀔 때만 지도가 자란다.

표 출처: ^[7] (본문 기준으로 재구성)

The accuracy of the system is typically below 1 cm in small indoor scenarios and of a few meters in large outdoor scenarios (once we have aligned the scale with the ground truth).

본 시스템의 정확도는 좁은 실내 환경에서 통상 1센티미터 이하, 넓은 야외 환경에서는 수 미터 수준이다(척도를 참값에 맞춰 정렬한 뒤의 값이다).

― Mur-Artal, Montiel & Tardós (2015)

특징 선택의 근거는 시간 예산이다. 30헤르츠로 돌려면 한 프레임에 쓸 수 있는 시간이 33밀리초다. 논문이 비교한 SIFT와 SURF는 각각 약 300밀리초, A-KAZE는 약 100밀리초를 쓴다. 세 가지 모두 예산 안에 들어오지 못한다. 그래서 ORB였다.

루프 후보 검색 속도로 자주 인용되는 39밀리초에는 조건이 셋 붙는다. 39밀리초 미만이고, 1만 장 규모 데이터베이스에서이며, ORB-SLAM 자체의 측정치가 아니라 저자들이 앞서 발표한 장소 인식기의 결과를 인용한 값이다. 본 논문은 그 개선판을 쓴다.

이 계보가 더한 것은 회복력이다. 그 전의 SLAM은 끊기면 끝이었다. ORB-SLAM은 추적이 끊겨도 현재 화면을 단어 가방 방식으로 기술해 비슷한 과거 키프레임을 찾아내 즉시 재위치추정한다. 큰 루프를 닫아 누적 드리프트를 되돌린다. 그리고 소스코드를 공개했다. 이후 대부분의 학술 시스템이 이것을 기준선으로 삼았다.

남긴 한계 두 가지가 야외 대규모 현장에 직접 걸린다.

첫째는 인용문의 괄호다. 척도를 참값에 맞춰 정렬한 뒤의 값이라고 저자들이 직접 적었다. 단안 카메라 SLAM은 절대 크기를 모른다. 눈앞의 수목이 3미터인지 6미터인지 영상만으로는 판정할 수 없다. 그래서 스마트폰 SDK는 관성측정장치를, 헤드셋은 스테레오 카메라나 깊이 센서를 반드시 함께 쓴다.

둘째는 실내 1센티미터와 야외 수 미터 사이의 간극이다. 두 자릿수 이상이다. 설계 도면이 요구하는 정밀도는 실내 쪽 값에 가깝고, 실제 현장은 야외 쪽 조건이다. 이 간극이 현장 증강현실이 개념 시연에는 강하고 도면 검증에는 약한 구조적 이유다. 덧붙여 특징점 기반이므로 질감 없는 면과 움직이는 물체에 취약하다. 균질한 포장면, 하늘, 흔들리는 잎, 지나가는 사람이 모두 여기 해당한다. ^[7]

주머니 속으로

기술이 보급되는 방식은 기술의 발전과 다른 축이다. 2017년에 일어난 일은 새로운 알고리즘의 등장이 아니었다. 위의 계보 전체가 이미 손에 들려 있는 기기로 옮겨간 사건이었다.

먼저 지워지기 쉬운 구간을 복원한다. 구글 프로젝트 탱고는 2014년 6월 5일 공개됐다. 시제품 단계의 Peanut 폰과 Yellowstone 태블릿이 2014년에 나왔고, 2016년 Lenovo Phab 2 Pro, 2017년 Asus ZenFone AR로 소비자 기기에 시각·관성 추적과 깊이 센싱이 실제로 들어갔다. 구글은 2017년 12월 15일 종료를 발표하고 2018년 3월 1일 지원을 끊었다. ARCore 1.0 정식 출시로부터 불과 1주 뒤다. 시각·관성 추적이 2017년에 주머니로 들어왔다고만 적으면 이 2014년부터 2017년까지의 구간이 지워진다.

애플 쪽 준비도 2017년보다 앞선다. 2015년 5월 독일 뮌헨의 증강현실 기업 메타이오를 인수했고, 여기에는 엔지니어 인력과 100건 이상의 증강현실 특허 출원이 포함됐다. 메타이오 엔지니어들은 애플 기술개발그룹에 합류한 뒤 ARKit 공개를 맞았다.

표 출처: ^[8] (본문 기준으로 재구성)

두 SDK의 핵심은 모두 시각·관성 오도메트리다. 카메라 영상의 특징점 추적과 관성 적분을 융합해 6자유도 자세를 낸다.

Visual-Inertial Odometry (VIO) — Combines camera input with IMU (accelerometer/gyroscope) data for robust motion tracking without requiring external infrastructure.

시각·관성 오도메트리 — 카메라 입력과 관성측정장치(가속도계·자이로스코프) 데이터를 결합하여, 외부 기반시설 없이도 견고한 움직임 추적을 수행한다.

― Apple Developer, ARKit 문서

그 위에 실제 응용이 필요로 하는 상위 기능이 붙었다. 평면 검출로 바닥과 벽을 찾는다. 광원 추정으로 가상 물체의 밝기와 그림자를 실제 조명에 맞춘다. 앵커로 특정 지점에 물체를 고정한다. 이후 세대에서는 장면 재구성으로 공간을 삼각망으로 만들고 깊이 지도를 낸다. 개발자가 SLAM 논문을 한 편도 읽지 않고 이 자리에 물체를 놓아라라고 쓸 수 있게 됐다.

요구 사양은 ARKit이 애플 A9 칩 이상이다. 라이다 스캐너에 의존하는 기능은 iPhone 12 Pro와 Pro Max 이후, 그리고 2020년 이후의 iPad Pro로 제한된다. 플랫폼 확장 경로는 iOS 11에서 2019년 iPadOS 13으로, 2024년 visionOS 1.0으로 이어진다. 연도를 쓸 때 ARCore의 2017년 8월과 2018년 2월을 구분해야 한다. 앞은 시제품 공개, 뒤가 정식 출시다.

효과는 문헌 분포에 그대로 찍혔다. 본 조사가 수집한 야외 경관 분야 증강현실 논문은 2014년 14편에서 2021년 61편으로 네 배가 된다. 증가 곡선이 꺾이는 지점은 2019년이다. 두 SDK가 보급된 직후다. 기술적 도약이 아니라 유통의 도약이었고, 결과적으로 연구 총량을 바꿨다.

남긴 한계는 세 가지이며 모두 같은 뿌리에서 나온다. 상대좌표라는 점이다. 이 기기 기준으로 3미터 앞은 알지만 여기가 지구상 어디인지는 모른다. 세션이 끊기면 지도가 사라지므로 어제 배치한 가상 물체를 오늘 같은 자리에 다시 띄우지 못한다. 넓은 대지를 걸어다니면 드리프트가 누적된다. ^[8]

정합을 전용 실리콘에 얹다

지연을 줄이는 가장 직접적인 길은 계산을 전담하는 회로를 따로 두는 것이다. 마이크로소프트 홀로렌즈가 그 길을 상용 제품에서 처음 열었다. 1세대는 2015년 1월 21일 발표되고 2016년 3월 30일 개발자판이 3,000달러, 상용판이 5,000달러로 출시됐다. 2세대는 2019년 2월 24일 MWC에서 발표되고 같은 해 11월 7일 3,500달러로 출하됐다. 발표와 출하 사이 간격이 1세대는 약 14개월, 2세대는 약 8.5개월이다.

설계의 핵이 홀로그래픽 처리 장치다. 공간 매핑, 제스처 인식, 음성 인식을 전담하는 보조 프로세서를 따로 설계해 얹었다. 중앙처리장치가 응용프로그램을 돌리는 동안 이 보조칩이 센서 융합과 정합을 계속 돌린다. 아주마가 지목한 동적 오차의 근원인 종단간 지연을 구조적으로 낮추는 방식이다. 디스플레이는 광학 시스루 도파관을 택했다. 영상을 합성하는 것이 아니라 실제 세계 위에 빛을 더한다.

표 출처: ^[9][10] (본문 기준으로 재구성)

2세대 가시광 카메라는 초점거리 1.08밀리미터, 대각 시야각 96.1도이며 스테레오 기선은 98.6밀리미터다.

Head tracking: 4 visible light cameras. Eye tracking: 2 Infrared (IR) cameras. Depth: 1-MP Time-of-Flight depth sensor. […] Holographic density: >2.5k radiants (light points per radian).

헤드 트래킹: 가시광 카메라 4개. 시선 추적: 적외선 카메라 2개. 깊이: 100만 화소 비행시간 방식 깊이 센서. […] 홀로그램 밀도: 라디안당 광점 2.5k 초과.

― Microsoft Learn, HoloLens 2 하드웨어

두 숫자는 확정해서 쓸 수 없다. 첫째는 1세대 보조칩의 디지털신호처리기 개수다. 널리 인용되는 28개는 위키백과의 홀로렌즈 항목이 2016년 8월 기사를 근거로 적은 값이고, 같은 위키백과의 다른 항목은 24개로 적으면서 28은 공정 노드 28나노미터로 기술한다. 마이크로소프트의 현행 공식 문서에는 개수 자체가 없고, 1세대 공식 하드웨어 페이지는 현재 접속되지 않는다. 둘째는 시야각이다. 1세대의 약 30°×17.5°는 위키백과 자신이 시연 기준 추정치라고 명시한 값이다. 2세대의 43°×29°도 널리 인용되지만 마이크로소프트 공식 하드웨어 문서에는 시야각 항목이 없다. 공식 표기는 홀로그램 밀도뿐이다.

애플 비전 프로는 같은 발상을 더 밀어붙였다. 2023년 6월 5일 발표되고 2024년 2월 2일 미국에서 출시됐다. M 계열 칩이 앱과 그래픽을 맡고, R1이라는 별도 칩이 오직 센서 입력 처리와 화면 출력만 전담한다. 그리고 애플은 이 구조로 얻은 수치를 기술 사양에 올렸다. 광자에서 광자까지 12밀리초다. 바깥 세상의 빛이 카메라에 들어와 처리를 거쳐 눈앞 디스플레이의 빛으로 나오기까지의 전체 시간이다.

이 숫자가 제품의 성립 조건인 이유는 방식 때문이다. 비전 프로는 광학 시스루가 아니라 비디오 패스스루다. 사용자가 보는 현실조차 전부 카메라를 거친 12밀리초 지난 영상이다.

R1 streams new images to the displays within 12 milliseconds — 8x faster than the blink of an eye. […] R1 chip processes input from 12 cameras, five sensors, and six microphones to ensure that content feels like it is appearing right in front of the user's eyes, in real time.

R1은 12밀리초 이내에 새 영상을 디스플레이로 보낸다. 눈을 한 번 깜빡이는 것보다 8배 빠르다. […] R1 칩은 12개 카메라, 5개 센서, 6개 마이크의 입력을 처리하여, 콘텐츠가 실시간으로 사용자의 눈앞에 바로 나타나는 것처럼 느껴지도록 한다.

― Apple Newsroom (2023년 6월 5일)

센서 구성은 고해상도 메인 카메라 2개, 외부 인식용 트래킹 카메라 6개, 시선 추적 카메라 4개, TrueDepth 카메라 1개, 라이다 스캐너 1개, 관성측정장치 4개, 플리커 센서, 주변광 센서다. 여기서 애플 자료 자체가 어긋난다. 카메라를 열거하면 13개인데 위 발표 문구는 12개로 적는다. 애플의 두 자료 사이의 불일치이므로 병기할 때 주석이 필요하다.

디스플레이는 마이크로 OLED이며, 애플이 공식으로 밝히는 값은 양안 합계 2,300만 화소, 화소 피치 7.5마이크로미터, 우표 크기 패널 2장이다. 널리 인용되는 눈당 약 3,660×3,200과 시야각 약 100°×73°는 애플 공식 사양표에 없다. 제3자 분해분석과 패널 공급망 추정치이므로 애플 출처로 표기하면 안 된다. 재생빈도도 세대를 구분해야 한다. 2024년 출시된 M2 모델은 90, 96, 100헤르츠를 지원한다. 120헤르츠는 2025년 10월 15일 발표되고 같은 달 22일 출시된 M5 개정판에서 추가된 값이다. M5 사양은 고성능 4개와 효율 6개로 구성된 10코어 중앙처리장치, 10코어 그래픽처리장치, 16코어 뉴럴 엔진이다.

여기서 흔히 저지르는 비교 오류를 짚어야 한다. 아주마의 1997년 계산에 12밀리초를 대입하면 팔 길이에서 약 7밀리미터가 나온다. 26년의 진보를 한 줄로 보여주는 수치처럼 보인다. 그런데 두 숫자는 정의가 다르다. 애플의 12밀리초는 패스스루 영상의 광자에서 광자까지의 지연이다. 아주마의 10밀리초는 머리 회전 초당 50도에서 각오차 0.5도를 유지하기 위한 트래킹 종단간 지연이다. 재는 대상이 다르므로 근접했다거나 도달했다는 직접 비교는 성립하지 않는다. 7밀리미터는 자릿수 감각을 주는 계산일 뿐, 제품의 정합 정확도가 아니다.

남긴 한계도 그 지점에서 시작한다. 애플은 12밀리초를 공표했지만 가상 물체가 실제 위치에서 몇 밀리미터 어긋나는지는 공표하지 않았다. 패스스루 방식이므로 사용자가 보는 현실 자체가 카메라의 해상도, 동적 범위, 색재현의 한계를 물려받는다. 직사광선과 짙은 그늘이 한 화면에 동시에 있는 야외 현장은 동적 범위 측면에서 가장 가혹한 조건이다. 광학 시스루 쪽의 제약은 성질이 다르다. 도파관은 빛을 더하기만 하므로 검은색을 표현할 수 없고, 직사광선 아래서는 영상이 씻겨 사라진다. 그리고 실외 장시간 착용, 이동 중 사용, 절대좌표 정합은 양쪽 모두 미해결이다. 가격도 남는다. 3,000달러에서 3,500달러는 현장 보급 가격이 아니다. ^[9][10]

마지막 순간에 결과를 고친다

렌더링 파이프라인은 프레임 하나를 그리는 데 십수 밀리초를 쓴다. 그 사이 머리는 이미 움직였다. 그래서 완성된 프레임을 화면에 내보내기 직전에, 가장 최신의 자세 측정값을 읽어 이미 그려진 영상을 살짝 회전하거나 이동시켜 보정한다. 회전만 보정하는 것이 타임워프다. 깊이 정보를 써서 시차까지 보정하는 것이 스페이스워프다.

The headset's driver takes previously rendered frames and uses sensor motion data to extrapolate or warp them into predictions of what normally rendered frames would resemble.

헤드셋의 드라이버는 앞서 렌더링된 프레임들을 가져다가 센서의 움직임 데이터를 이용해, 정상적으로 렌더링되었을 프레임이 어떤 모습일지에 대한 예측으로 외삽하거나 왜곡시킨다.

이 기법의 계보를 예측 트래킹의 산업적 구현이라고 적는 서술이 많다. 틀렸다. 아주마의 1997년 서베이는 동적 오차 대책을 네 범주로 나누면서, 타임워프의 원형인 이미지 편향을 겉보기 지연 줄이기 범주에 넣고 예측을 별도 범주에 넣는다. 그리고 이미지 편향의 선행 문헌으로 1989년부터 1994년 사이의 연구 네 건을 인용한다. 원문은 이 기법이 되먹임 없는 앞먹임 방식이며, 스캔아웃 직전에 시스템이 가장 최근의 방향 보고를 읽는다고 기술한다. 즉 두 기법은 같은 뿌리에서 갈라진 형제가 아니라 처음부터 다른 계보다.

표 출처: ^[11] (본문 기준으로 재구성)

표의 날짜는 위키백과의 비동기 재투영 항목이 참조하는 블로그 게시일이다. 같은 문서의 벤더 목록에는 마이크로소프트 항목이 없다. 홀로렌즈의 후단 재투영이 1세대부터 탑재됐다는 서술이 흔히 보이지만, 이 출처로는 확인되지 않는다. 본 조사에서 탑재 시점을 확정하지 못했으므로 연도를 붙여 쓰면 안 된다.

참조 하드웨어로 메타 퀘스트 3의 사양을 둔다. 2023년 6월 1일 발표되고 같은 해 10월 10일 128기가바이트 499.99달러, 512기가바이트 649.99달러로 출시됐다.

표 출처: ^[11] (본문 기준으로 재구성)

이 기법이 왜 필수가 되었는지는 예산 계산으로 돌아가면 보인다. 각오차 0.5도를 지키려면 지연 10밀리초 이하가 필요하고, 60헤르츠 스캔아웃만으로 16.67밀리초가 든다. 정면 돌파가 불가능한 구조다. 재투영은 렌더링을 더 빠르게 만들자는 정면 승부를 포기하고, 마지막 순간에 결과를 고치는 우회로를 택했다. 오늘날 소비자용 헤드셋은 이것 없이 성립하지 않는다. 그래픽처리장치가 목표 프레임레이트를 못 맞추는 순간에도 머리 움직임에는 즉각 반응하는 것처럼 느껴진다.

남긴 한계는 원리에 박혀 있다. 이미 그린 그림을 고치는 일이므로 없던 정보를 만들 수 없다. 회전 보정은 거의 완벽하다. 위치 이동 보정은 가려져 있던 영역에 구멍을 남긴다. 움직이는 물체는 왜곡된다. 프레임레이트가 심하게 떨어지면 물체가 겹쳐 보이거나 번지는 현상이 생긴다. 정리하면 이 기법은 지연을 감춘 것이며 지연을 없앤 것이 아니다. ^[11]

여기가 지구상 어디인가

여기까지의 모든 기법이 답하지 못한 질문이 하나 남는다. 이 지점이 지구상 어디이고 지금 어느 방향을 보고 있는가.

위성항법은 답이 되지 못한다. 수평 오차가 수 미터에 달하고, 방위는 지자기계에 의존하므로 건물 사이나 철 구조물 근처에서 크게 틀어진다. 시각 측위 시스템은 대신 거대한 사전 지도와 현재 카메라 영상을 대조한다.

구글의 방식은 이렇다. 15년 넘게 전 세계에서 촬영한 스트리트뷰 영상을 심층신경망에 통과시켜, 오랜 기간 변하지 않고 알아볼 수 있을 만한 부분을 골라 기술한다. 건물 모서리, 간판, 창틀의 배열 같은 것들이다. 이렇게 뽑은 기술자들을 수백억 장의 영상에 걸쳐 결합해 조 단위 점으로 된 3차원 점군 모델을 만든다. 기기가 위치를 요청하면 신경망이 현재 화면의 픽셀을 이 모델에 대응시켜 위치와 방향을 계산한다.

Deep neural networks identify and describe parts of the images that are likely to be recognizable over long periods of time. Those parts are then combined across tens of billions of images to compute a 3D point cloud. […] This localization model consists of trillions of points and spans nearly all countries.

심층신경망이 영상에서 오랜 기간에 걸쳐 알아볼 수 있을 만한 부분들을 식별하고 기술한다. 그렇게 추출된 부분들을 수백억 장의 영상에 걸쳐 결합하여 3차원 점군을 계산한다. […] 이 위치추정 모델은 조 단위의 점으로 이루어져 있으며 거의 모든 국가에 걸쳐 있다.

― Google, ARCore Geospatial API 개발자 문서

앵커는 세 종류로 나뉜다. WGS84 앵커는 위경도와 고도를 직접 지정한다. 지형 앵커는 지표면을 기준으로 상대 고도를 지정한다. 옥상 앵커는 건물 옥상을 기준으로 삼는다.

나이앤틱은 같은 일을 다른 데이터로 한다. 스트리트뷰 대신 이용자들이 직접 스캔한 영상을 모은다. Lightship SDK는 2021년 11월 유니티 기반으로 공개됐다.

이 계보의 의미는 좌표계의 성격이 바뀌었다는 점이다. 그 전까지 앵커는 이 세션 안에서만 유효했다. 이후로는 위도, 경도, 고도, 방위로 앵커를 지정할 수 있다. 어제 다른 사람이 놓은 가상 물체를 오늘 내 기기에서 같은 자리에 볼 수 있다. 설계 도면이 본질적으로 절대좌표 문서라는 점을 생각하면 이 전환이 실무에 왜 결정적인지가 분명해진다. 절대좌표 없이는 증강 조감이 대충 저쯤에 머문다.

남긴 한계는 네 가지다. 첫째, 지도가 있는 곳에서만 작동한다. 구글 방식은 스트리트뷰 차량이 다닌 길, 즉 도로변을 따라 지도가 만들어졌다. 부지 내부, 보행로 안쪽, 차량이 들어가지 않는 깊은 곳에는 지도가 없다. 둘째, 지도의 근거가 건물과 간판 같은 인공 구조물의 안정적 특징이다. 계절마다 모습이 완전히 바뀌는 식생은 도움이 되지 않고 오히려 오차원이 된다. 셋째, 정확도 수치가 공표되지 않는다. 넷째, 서비스가 사업자 인프라에 종속된다. 나이앤틱의 지리공간 사업이 2025년 5월 29일 게임 부문 매각과 동시에 별도 회사로 분사된 사실이 이 위험의 실례다.

세 번째 한계는 특히 조심해야 한다. 본 조사에서 구글의 여러 공식 페이지를 확인했으나 수평 정확도, 고도 정확도, 방위 정확도의 구체적 임계값을 찾지 못했다. 공식 문서는 국가 수도 숫자 대신 거의 모든 국가라고만 적는다. 센티미터 정확도라고 쓰는 2차 기사가 많지만 1차 출처가 없다. ^[12]

계보를 한 장으로

여덟 개 절을 하나의 표로 압축한다. 각 기법이 무엇을 풀었고 무엇을 남겼는지가 이 책이 쓰려는 구분이다.

표 출처: ^{[1][2][3][4][5][6][7][8][9][11][10][12]} (본문 기준으로 재구성)

같은 계보를 요구 정밀도와 도달 정밀도로 다시 보면 남은 거리가 드러난다.

표 출처: ^{[1][2][3][4][5][6][7][8][9][11][10][12]} (본문 기준으로 재구성)

표의 마지막 세 행은 앞에서 말한 이유로 서로 직접 비교되지 않는다. 같은 자리에 둔 것은 자릿수 감각을 위해서다. ^{[1][2][3][4][5][6][7][8][9][11][10][12]}

확인하지 못한 것

기법의 계보를 쓸 때 가장 위험한 것은 숫자가 있는 자리를 비워 두지 못하는 태도다. 본 조사에서 1차 출처로 확정하지 못한 항목을 명시해 둔다. 아래 값은 책이나 보고서에 확정 수치로 쓰면 안 된다.

표 출처: ^{[6][7][8][10]} (본문 기준으로 재구성)

조사 조건도 함께 남긴다. 본 조사는 검색 도구를 쓸 수 없는 상태에서 URL 직접 접근만으로 수행됐다. 그래서 1차 논문은 잘 확보됐다. 아주마의 1997년 서베이, 카토와 빌링허스트의 1999년 논문, MonoSLAM, PTAM, MSCKF, ORB-SLAM의 전문을 모두 직접 추출해 확인했다. 반면 제품 발표 뉴스처럼 검색으로 찾아야 하는 항목에 구멍이 남았다. 위 표의 앞 세 항목이 그 구멍이다. ^{[6][7][8][10]}

아직 남은 것

열 개 기법을 관통하는 미해결 지점을 다섯 갈래로 묶는다.

첫째, 절대 스케일이다. 단안 SLAM은 크기를 모른다. 관성측정장치, 스테레오 카메라, 라이다가 이를 메우지만 야외 장거리에서는 누적 오차가 남는다.

둘째, 비정적 장면이다. PTAM 이래 모든 특징점 기반 방식이 장면이 비교적 정적일 것을 전제한다. 바람에 흔들리는 수관, 계절마다 형태가 바뀌는 낙엽수, 물결치는 수면은 이 전제를 정면으로 깬다.

셋째, 질감 없는 표면이다. 잔디밭, 균질한 포장, 하늘은 특징점을 주지 않는다.

넷째, 조명이다. 야외 직사광선은 광학 시스루의 영상을 씻어낸다. 그늘과 양지가 공존하는 장면은 패스스루 카메라의 동적 범위를 넘는다.

다섯째, 규모다. ORB-SLAM의 자기 보고로도 실내 1센티미터와 야외 수 미터다. 설계 도면이 요구하는 정밀도와 두 자릿수 이상 차이가 난다.

The registration problem is far from solved. Many systems assume a static viewpoint, static objects, or even both. […] Much more work needs to be done to increase the domains in which registration is robust.

정합 문제는 해결과는 거리가 멀다. 많은 시스템이 정지된 시점, 정지된 물체, 혹은 그 둘 모두를 전제한다. […] 정합이 견고하게 작동하는 영역을 넓히려면 훨씬 더 많은 연구가 필요하다.

― Azuma (1997), 4.5절

아주마가 1997년에 정합이 안 되는 조건으로 꼽은 네 가지를 오늘의 야외 조건에 대입하면 성적이 갈린다. 시점 고정은 해결됐다. 시각·관성 오도메트리와 SLAM이 풀었다. 마커 의존은 해결됐다. 마커 없는 SLAM이 풀었다. 이동 범위 제한은 대체로 해결됐다. 절대좌표는 부분적으로 해결됐다. 시각 측위 시스템이 열었으나 도로변에 한정된다. 그러나 움직이고 계절마다 변하는 자연물에 대한 정합은 1997년 이후 실질적 진전이 없다.

이 성적표가 현장 증강현실의 활용 분포를 설명한다. 개념 시연과 교육 용도로는 두텁고, 도면 수준의 위치 검증에는 얇다. 두 용도가 요구하는 정밀도가 두 자릿수 다르기 때문이다.

마지막으로 한 가지를 구분해 둔다. 아직 안 된다는 것은 영영 안 된다는 뜻이 아니다. 신경 표현 계열과 대규모 지리공간 모델이 비정적 장면과 질감 없는 표면 문제를 다른 방향에서 공략하고 있다. 다만 본 조사에서는 그 실제 정합 정확도 수치를 확인하지 못했다. 기대는 기대로 적고, 수치는 확인된 뒤에 적는다. ^[13]

이 장의 핵심

트래킹 30년의 역사는 정확도를 올린 역사가 아니라 아주마가 1997년에 쪼개 놓은 두 오차, 곧 멈춰 있어도 남는 정적 오차와 움직여야 나타나는 동적 오차를 각각 다른 수단으로 갈라 공격해 온 역사이며, 마커에서 SLAM으로, SLAM에서 시각·관성 융합으로, 다시 시각 측위로 넘어오며 해결한 것은 시점의 자유와 마커의 제거와 절대좌표의 도로변 확보뿐이고, 움직이고 계절마다 변하는 자연물 앞에서는 여전히 1997년의 문장이 그대로 유효하다. ^[1][13]