어떻게 조작하는가

증강현실 기기는 화면을 눈앞에 붙여 놓았다. 그런데 그 화면에는 손가락을 댈 유리가 없다. 마우스를 놓을 책상도 없고, 쥐고 있을 컨트롤러도 점점 사라진다. 눈앞에 떠 있는 물체를 무엇으로 고르고, 무엇으로 확정하고, 무엇으로 움직이는가. 이것이 이 장의 문제다.

답은 하나의 장치가 아니라 하나의 분업에서 나왔다. 눈이 고르고 손이 결정한다. 이 문장이 지금 시장에 나와 있는 거의 모든 착용형 기기의 입력 설계를 지배한다. 그리고 이 문장은 35년 전에 제기된 하나의 실패에서 출발했다.

눈은 끄지 못한다

시선은 포인팅 채널로서 거의 이상적이다. 안구를 움직이는 근육은 인체에서 가장 빠르게 반응하는 근육이고, 사람은 무언가를 조작하기 전에 이미 그것을 보고 있다. 즉 시선은 의도보다 먼저 목표에 도착해 있다. 별도의 동작을 요구하지 않으므로 학습할 것도 없다. 여기까지만 보면 시선은 공짜로 얻는 커서다.

문제는 다른 데 있다. 마우스는 손을 떼면 멈춘다. 눈은 그렇지 않다. 눈꺼풀을 뜨고 있는 동안 눈은 계속 어딘가를 본다. 끌 수 있는 스위치가 없는 입력 장치인 것이다. 그래서 '본 것'을 '고른 것'으로 바로 매핑하면, 사용자는 아무것도 그냥 볼 수 없게 된다.

Robert J. K. Jacob이 1990년 CHI 학회에서 발표하고 1991년 4월 ACM TOIS에 실은 논문이 이 곤경에 이름을 붙였다. 손대는 것마다 금으로 변해 결국 굶어 죽은 왕의 이름이다.

At first, it is empowering to be able simply to look at what you want and have it happen. Before long, though, it becomes like the Midas Touch. Everywhere you look, another command is activated; you cannot look anywhere without issuing a command. The challenge in building a useful eye tracker interface is to avoid this Midas Touch problem.

처음에는 원하는 것을 그저 바라보기만 해도 그 일이 일어난다는 것이 대단한 힘처럼 느껴진다. 그러나 머지않아 그것은 미다스의 손처럼 된다. 어디를 보든 또 다른 명령이 실행된다. 명령을 내리지 않고서는 어디도 볼 수 없다. 쓸모 있는 시선 추적 인터페이스를 만드는 일의 과제는 이 미다스의 손 문제를 피하는 것이다.

— Jacob(1991)

Jacob은 이 문제를 감상이 아니라 구조로 정식화했다. 눈은 두 역할을 동시에 맡는다. 하나는 관찰이고 하나는 제어다. 벽에 걸린 액자를 수평으로 맞추려면 액자와 주변 벽을 번갈아 봐야 한다. 그 시선이 동시에 액자를 움직이는 입력이라면, 작업 자체가 성립하지 않는다. 관찰하려고 보는 눈과 명령하려고 보는 눈을 기계가 분간할 방법이 없기 때문이다.

Jacob은 해법을 주지 않았다. 그가 명시한 것은 오히려 그 반대다. '의도한 응시'와 '그냥 본 것'은 일반적으로 구분이 불가능하며, 자신이 제안한 것은 상황별 상호작용 기법으로 우회하는 방식일 뿐이라고 썼다. 문제를 정확히 설정하고 해법을 열어 둔 논문이었고, 그래서 오래 남았다.

당시의 수치를 보면 이 문제가 왜 그렇게 다루기 어려웠는지 드러난다. Jacob이 쓴 장비는 Applied Science Laboratories 3250R 아이트래커였다.

표 출처: ^[1] (본문 기준으로 재구성)

여기서 중요한 것은 정확도 2도가 아니라 중심와가 1도라는 사실이다. 사람이 선명하게 보는 범위 자체가 좁다. 시선 추적 장치가 아무리 좋아져도, 사용자가 '한 점을 본다'고 느끼는 그 점은 원래부터 면적을 가진 얼룩이다. 시선의 부정확은 센서의 결함이 아니라 눈의 생리다. 이 점이 이후 모든 설계에서 표적 크기 규칙으로 되돌아온다.

서지 정보에는 오래된 오식이 하나 붙어 있다. 이 논문의 인쇄본 러닝 푸터에는 'Vol. 9, No. 3, April 1991'로 찍혀 있는데, ACM 디지털 라이브러리와 Crossref의 색인은 Volume 9, Issue 2, April 1991, pp. 152–169로 되어 있다. 1991년 TOIS 9권의 쪽수가 연속이라 152~169쪽은 구조적으로 2호에만 들어갈 수 있고, 3호는 187쪽부터 7월호로 시작한다. 인용할 때는 9권 2호로 적어야 색인과 맞는다. 저널 자체의 인쇄 오류가 30년 넘게 인용문헌 목록을 오염시킨 사례다. ^[1]

시선이 고르고 손이 결정한다

미다스의 손 문제에 대한 첫 번째 대안은 체류 시간이었다. 일정 시간 이상 응시하면 선택으로 간주한다. 구현이 간단하고 추가 장치가 필요 없다. 그리고 반드시 실패한다.

체류 시간은 두 방향 모두로 나쁘다. 길게 잡으면 사용자는 모든 선택마다 반 초씩 기다려야 하므로 답답하다. 짧게 잡으면 지나가는 시선이 명령을 발화시키므로 미다스의 손 문제가 그대로 돌아온다. 교환관계의 양 끝이 모두 불량인 것이다. 체류 시간을 조절해서는 이 문제를 풀 수 없다.

Ken Pfeuffer, Benedikt Mayer, Diako Mardanbegi, Hans Gellersen이 2017년 ACM Symposium on Spatial User Interaction에서 발표한 Gaze + Pinch는 조절을 포기하고 채널을 나눴다. 확정 신호를 눈에서 빼내 손으로 옮긴 것이다. 눈은 '무엇을'만 정한다. 손은 '언제'와 '어떻게'를 정한다.

이 분업이 우아한 이유는 두 채널의 결함이 서로 어긋난다는 데 있다.

표 출처: ^[2] (본문 기준으로 재구성)

시선의 약점은 손이 덮고, 손의 약점은 시선이 덮는다. 그리고 결정적인 실용적 이점이 하나 더 붙는다. 손을 들어 올릴 필요가 없다. 집기 동작은 무릎 위에서도 되기 때문에, 팔을 뻗어 허공을 가리키는 자세에서 오는 피로가 사라진다. 시선이 시야 전체를 커버하므로 손은 위치 정보를 제공할 의무가 없고, 켜고 끄는 신호만 담당하면 된다.

이 논문은 이후 상용 기기 상호작용의 학술적 원본으로 인용된다. 피인용 수를 적을 때는 데이터베이스와 조회 시점을 같이 적어야 한다. Semantic Scholar 기준 369회, 같은 시점 Crossref의 is-referenced-by-count 기준 330회로 값이 다르다. DOI는 10.1145/3131277.3132180이다. 다만 이 논문의 원문 문장을 여기에 인용문으로 싣지 못했다. 출판사 정책으로 공개 API에서 초록이 제거되어 있어 원문 확보에 실패했다는 사실을 밝혀 둔다.

기법 자체에 남는 한계도 두 가지다. 첫째, 시선 정확도가 낮은 영역에서는 인접한 작은 대상들을 구분하지 못한다. 둘째, 빠른 선택에서 사용자의 시선이 손의 확정 동작보다 먼저 다음 대상으로 떠나 버리는 '클릭 전 이탈'이 발생한다. 시선은 빠르고 손은 느리므로, 둘을 묶으면 동기화 문제가 새로 생긴다. Jacob이 1991년에 이미 지적한 현상이다. ^[2]

스물여섯 개의 관절

손이 확정 신호를 담당하려면 기계가 손을 읽어야 한다. 여기서 세대 차이가 극명하다.

2016년의 1세대 HoloLens는 손을 '한 점'으로 읽었다. 그 점에 붙일 수 있는 동작은 에어탭과 블룸, 두 개의 상징 제스처뿐이었다. 사용자는 기계가 알아듣는 동작을 외워야 했다. 이것은 키보드 단축키와 구조가 같다. 몸을 쓰지만 몸이 아는 방식은 아니다.

2019년 2월 MWC에서 발표되고 그해 11월 출시된 HoloLens 2는 손을 뼈대 모델 전체로 풀었다. Windows Perception API의 HandJointKind 열거형은 손바닥과 손목에 더해 엄지 4개, 나머지 네 손가락 각 5개를 합쳐 한 손당 0번부터 25번까지 26개 관절을 정의한다. OpenXR의 XR_EXT_hand_tracking 확장도 같은 26개를 쓴다.

숫자만으로는 무엇이 달라졌는지 보이지 않는다. 핵심은 각 관절이 위치만이 아니라 방향까지 갖는다는 점이다. 전방이 손끝, 위가 손등이라는 규약으로 자세가 정의되므로, 앱은 손가락이 몇 도 굽었는지를 직접 읽는다. 개발자가 받는 것이 '탭했다/안 했다'는 이벤트가 아니라 손의 기하학 자체인 것이다. 이벤트를 받으면 정해진 동작만 쓸 수 있다. 기하학을 받으면 새 동작을 정의할 수 있다.

Microsoft의 설계 문서는 이 전환을 선언문처럼 적었다.

HoloLens 2에서는 상징적 제스처를 외우게 하지 않는다(we don't ask users to memorize any symbolic gestures).

외워야 하는 인터페이스에서 몸이 이미 아는 인터페이스로 넘어간 지점이다. 버튼은 손가락으로 누르고, 모서리는 잡아 늘린다. 이것이 26관절이 산 것이다.

관절을 푸는 물리적 토대는 센서다. 1메가픽셀 Time-of-Flight 깊이 센서가 거리 영상을 만들고, 4대의 가시광 카메라가 머리 추적 좌표계를 만든다. 손의 관절들은 그 좌표계 위에서 매 프레임 풀려 나온다.

표 출처: ^[3] (본문 기준으로 재구성)

제조사 주장과 실측은 다른 문제다. Istituto Italiano di Tecnologia의 Bertolasi, Garcia-Hernandez, Memeo, Guarischi, Gori는 2025년 연구에서 HoloLens 2의 손 추적을 Vicon 모션캡처와 대조했다.

The results indicate that the HL2 exhibits millimeter-level errors compared to Vicon's tracking system in Task 1, spanning in a range from 2 mm to 4 mm.

결과는 HL2가 과제 1에서 Vicon 추적 시스템 대비 밀리미터 수준의 오차, 즉 2 mm에서 4 mm 범위의 오차를 보였음을 나타낸다.

— Bertolasi 외(2025)

손끝 위치 오차 2~4 mm, 관절 굽힘각 평균 오차 5도다. 손끝 오차는 놀랍도록 작고 각도 오차는 그렇지 않다. 위치를 잘 맞추는 것과 자세를 잘 맞추는 것은 별개의 성취인 셈이다.

이 검증에는 조건이 붙는다. 실내 통제 환경에서 이뤄졌다. 적외선과 ToF에 의존하는 센서가 야외 직사광 아래에서 같은 성능을 낸다는 보장은 없다. 그 밖의 구조적 한계는 세 가지다. 카메라 시야 밖으로 손이 나가면 추적이 끊긴다. 손이 손을 가리는 자가폐색 상황에서 오차가 커진다. 그리고 촉각 피드백이 없다. ^[3]

촉각이 없는 손끝

마지막 한계가 가장 깊다. 손 뼈대를 얻었다고 '만질 수 있게' 되지는 않는다.

실제 버튼은 손끝이 닿는 순간 반발력으로 접촉을 알린다. 사용자는 눈으로 확인하지 않고도 눌렀다는 것을 안다. 허공의 홀로그램은 그러지 못한다. 손끝이 표면을 통과해도 아무 저항이 없고, 아무 신호가 없다. 사용자는 자기 손끝이 어디 있는지 시각으로만 판단해야 하는데, 손끝과 표면의 거리는 시각적으로 가장 판단하기 어려운 정보에 속한다.

Microsoft의 해법은 센서 성능이 아니라 설계였다. 손 관절이 26개라고 해서 손끝 10개 전부에 충돌체를 붙이면 안 된다.

However, because of the lack of tactile feedback, 10 collidable fingertips can cause unexpected and unpredictable collisions with holograms. We suggest only putting a collider on each index finger.

그러나 촉각 피드백이 없기 때문에, 충돌 가능한 손끝 10개는 홀로그램과 예상치 못한, 예측 불가능한 충돌을 일으킬 수 있다. 우리는 각 검지에만 충돌체를 두기를 권한다.

검지 끝 하나에만 구 충돌체를 두고, 그 지름을 핸드 API에서 조회한 실제 손가락 굵기에 맞춘다. 입력 자유도를 일부러 줄이는 결정이다. 촉각이 없으면 사용자는 자기 손이 무엇을 건드렸는지 모르므로, 건드릴 수 있는 점을 하나로 줄여 예측 가능성을 산다.

그 다음이 피드백 합성이다. 사라진 촉각을 다른 감각 채널로 복원한다.

표 출처: ^[4] (본문 기준으로 재구성)

이 설계가 중요한 이유는 문제를 푼 위치에 있다. 촉각 부재는 센서 정확도로 해결되지 않는다. 추적이 0.1 mm로 정확해져도 손끝에 반발력이 생기지는 않는다. 그래서 피드백 채널을 바꾼다. 없는 감각을 시각과 청각, 그리고 기하학적 변형으로 합성한다. 근거리 상호작용의 터치 제스처는 네 종류로 정리된다. 한 손가락 누르기, 한 손가락 탭, 두 손가락 누르기, 다섯 손가락 누르기다.

한계는 정직하게 세 가지다. 근거리 전용이라 팔 길이 이내에서만 쓴다. 공중에 손을 들고 있으면 어깨에 피로가 쌓인다. 그리고 촉각 대체는 어디까지나 대체이므로, 밀리미터 단위 정렬을 요구하는 정밀 작업에는 맞지 않는다. ^[4]

팔이 닿지 않는 곳

직접 조작은 팔 길이 안에서만 성립한다. 야외 대상지를 다루는 경우 대상의 대부분이 팔 밖에 있다. 그러면 원거리 조작이 기본 모드가 된다.

HoloLens 2는 손바닥 중심에서 광선을 쏜다. 손가락으로 가리키지 않는 이유가 설계의 핵심이다. 다섯 손가락을 집기와 쥐기 같은 조작 제스처에 온전히 남겨 두려는 것이다. 가리키는 일과 조작하는 일을 신체 부위로 분리했다. 손바닥이 방향을 담당하고 손가락이 동작을 담당한다.

광선 끝에는 도넛 커서가 붙어 교차 지점을 표시하고, 엄지와 검지를 맞부딪치는 동작으로 확정한다. 상태에 따라 시각이 바뀐다. 가리키는 동안은 점선에 도넛 커서, 확정된 뒤에는 실선에 점 커서다. 사용자는 자기가 어느 상태에 있는지 선의 모양으로 안다.

근거리와 원거리의 전환은 자동이다.

When an object is within arm's length (roughly 50 cm), the rays are turned off automatically, encouraging near interaction.

물체가 팔 길이 이내(대략 50 cm)에 있으면 광선은 자동으로 꺼지고, 근거리 상호작용을 유도한다.

여기서 결정적인 것은 임계값 50 cm가 아니라 제스처의 동일성이다. 근거리에서 잡는 동작과 원거리에서 확정하는 동작이 같다. 사용자는 거리에 따라 다른 조작법을 배우지 않는다. 하나의 심성 모형으로 팔 안과 팔 밖을 모두 다룬다. 거리는 연속체이고 제스처 언어는 단일하다.

계보를 정확히 적어 둘 필요가 있다. 2019년은 이 방식이 손에 이식된 해이지 창안된 해가 아니다. Microsoft 공식 문서는 원조를 명시한다.

The concept of point and commit for far interaction was created and defined for the Mixed Reality Portal (MRP). In this scenario, a user wears an immersive headset and interacts with 3D objects via motion controllers. … We apply the interaction model of rays and attached them to both hands.

원거리 상호작용을 위한 point and commit 개념은 Mixed Reality Portal을 위해 만들어지고 정의되었다. 그 상황에서 사용자는 몰입형 헤드셋을 쓰고 모션 컨트롤러로 3차원 물체와 상호작용한다. … 우리는 레이의 상호작용 모형을 가져와 양손에 붙였다.

즉 2017년 Windows Mixed Reality의 모션 컨트롤러 레이가 원형이고, HoloLens 2는 그 레이의 원점을 컨트롤러에서 손바닥으로 옮긴 것이다. 새 상호작용의 상당수가 이런 이식으로 만들어진다.

원거리 조작의 한계는 기하학에서 직접 나온다. 각도 오차가 거리에 비례해 위치 오차로 확대된다. 손 떨림 1도는 1 m 앞에서 약 1.7 cm이지만 10 m 앞에서는 약 17 cm가 된다. 멀리 있는 대상을 정밀하게 지시하는 일은 원리적으로 어렵다. 팔을 들어야 하므로 장시간 사용에서 피로하다는 문제도 그대로 남는다. ^[5]

1.5도라는 예산

시선을 쓰려면 정확도를 알아야 한다. HoloLens 2는 바이저 안쪽 적외선 카메라 2대로 각막 반사와 동공 윤곽을 잡아 시선 광선 하나를 만든다. 원점과 방향을 가진 광선이다. 기본 API는 이것을 약 30 Hz로 내보내고, 확장 API는 좌우 눈 각각의 벡터를 30, 60, 90 fps 중 선택해 준다.

사람마다 눈의 광축과 시축이 어긋나는 정도가 다르므로 개인별 보정이 필수다. Microsoft가 공개한 정확도는 다음과 같다.

The predicted eye-gaze is approximately within 1.5 degrees in visual angle around the actual target. Slight imprecisions are expected, so developers should plan for some margin around this lower-bound value (for example, 2.0-3.0 degrees may result in a much more comfortable experience).

예측된 시선은 실제 표적 주위 시각 약 1.5도 이내에 있다. 약간의 부정확은 예상되므로, 개발자는 이 하한값 주위에 여유를 두고 설계해야 한다(예컨대 2.0~3.0도가 훨씬 편안한 경험을 만들 수 있다).

주목할 것은 1.5도를 '하한값'이라고 부른 점이다. 제조사가 스스로 자기 수치를 최선의 경우로 규정하고 2.0~3.0도로 설계하라고 권한다. 이것이 정직한 사양 표기의 방식이다.

각도는 거리에 비례한 크기로 환산된다. 2 m 거리에서 1.5도는 약 5 cm다. 설계자가 실제로 다루는 단위는 각도가 아니라 이 환산된 크기다.

표 출처: ^[6] (본문 기준으로 재구성)

폴백 규칙이 특히 실무적이다. 시선 추적은 실패할 수 있으므로 실패를 전제로 설계한다. 0.5초에서 1.5초 사이에 시선 신호가 회복되지 않으면 머리 방향으로 되돌린다. 1세대 HoloLens가 시선 대신 쓴 것이 바로 머리 방향이었다. 머리는 몸 전체를 움직여야 하므로 느리지만, 거의 실패하지 않는다. 빠르지만 불안정한 채널의 뒤에 느리지만 튼튼한 채널을 배치하는 구조다.

한계 목록은 길다. 보정에 실패하는 사용자가 존재한다. 특정 콘택트렌즈와 안경, 눈 수술 이력, 눈 생리의 개인차가 원인이 된다. 외부 요인도 치명적이다. 바이저 얼룩, 강한 직사광, 머리카락 가림이 정확도를 떨어뜨리고, 조명이 변하면 재보정이 필요할 수 있다. 야외 현장은 직사광과 급격한 조도 변화가 기본값이므로 구조적 약점이 된다. 눈 데이터는 생체정보이므로 앱마다 사용자 권한 승인을 받아야 한다.

한 가지 더 밝혀 둘 것이 있다. 이 1.5도는 제조사가 공표한 값이고, 이 조사에서 제3자 실측 연구를 확보하지 못했다. 손 추적은 앞서 본 2025년 독립 검증이 있으나 시선은 그렇지 않다. 제조사 주장과 독립 검증이 모두 있는 수치와, 제조사 주장만 있는 수치는 신뢰의 등급이 다르다. ^[6]

운영체제가 된 조합

2017년의 학술 제안이 6년 뒤 운영체제의 기본 입력이 됐다.

Apple Vision Pro는 컨트롤러를 아예 주지 않는다. 입력은 눈과 손과 목소리 셋뿐이다. 버튼을 바라보고 엄지와 검지를 맞부딪치면 선택된다. Apple은 이 동작을 아이폰 화면을 누르는 것과 동등한 것으로 규정한다.

With spatial input, you can simply look at a button and tap your fingers together to select it, keeping your arm relaxed on your lap.

공간 입력에서는 버튼을 바라보고 손가락을 맞부딪치기만 하면 선택된다. 팔은 무릎 위에 편하게 둔 채로.

마지막 구절이 핵심이다. 팔을 무릎에 둔다. HoloLens 2에서 시선은 보조 신호였고 홀로그래픽 셸의 기본 입력이 아니었다. 주된 방식은 손을 들어 광선을 쏘는 것이었다. Vision Pro는 그 관계를 뒤집었다. 시선이 커서이고 손은 클릭이다. 팔을 들지 않으므로 장시간 사용에서 피로가 크게 줄어든다.

시선이 담당하는 역할은 선택에 그치지 않는다. 양손 확대 동작을 할 때 확대의 기준점이 그 순간 눈이 머문 지점으로 정해진다. 시선이 조작의 좌표계를 제공하는 것이다. 손은 변화량만 말하고, 그 변화가 어디를 중심으로 일어나는지는 눈이 말한다.

이를 지탱하는 하드웨어에서 특이한 것은 센서 전용 실리콘이다. 눈 안쪽을 향한 아이트래킹 카메라 4대와 바깥쪽 월드 트래킹 카메라 6대가 붙어 있고, R1 칩이 센서 입력만 전담한다. Apple의 공식 문구는 이렇다.

R1 streams new images to the displays within 12 milliseconds — 8x faster than the blink of an eye.

R1은 눈 깜박임보다 8배 빠른 12밀리초 안에 새 이미지를 디스플레이로 스트리밍한다.

여기서 표기에 주의할 것이 있다. 12 ms라는 수치는 정확하지만, 이를 '광자-대-광자 지연'이라 부르는 것은 Apple의 용어가 아니다. Apple 뉴스룸과 사양 페이지 어디에도 photon-to-photon이라는 표기는 없다. 공식 문구가 말하는 것은 센서 입력에서 디스플레이 출력까지의 전체 경로가 아니라 디스플레이로의 이미지 스트리밍 지연이다. 업계에서 통용되는 표현을 제조사 공식값처럼 옮기면 안 된다.

세대 구분도 무너뜨리지 말아야 한다. 현재 판매되는 모델과 첫 출시 모델의 사양이 다르다.

표 출처: ^[7] (본문 기준으로 재구성)

Apple 사양 페이지는 현재 M5 기준이므로 거기서 본 120 Hz를 2024년 초판 사양으로 옮겨 적으면 틀린 서술이 된다. 편당 해상도도 비슷한 함정이다. 널리 인용되는 '편당 3,660×3,200'은 Apple 공식 사양이 아니다. Apple이 공표하는 것은 총 2,300만 화소와 화소 피치 7.5 마이크로미터뿐이고, 편당 수치는 분해 분석에서 나온 추정치다. 쓸 때는 반드시 구분해 표기해야 한다.

시선 표적 크기 규칙에도 널리 퍼진 오독이 있다. '최소 면적 60포인트'로 알려진 것은 면적 규정이 아니다. Apple 휴먼 인터페이스 가이드라인의 실제 규정은 간격이다. 각 항목 경계 주위에 최소 16포인트의 여백을 두거나, 항목들의 중심이 항상 최소 60포인트 떨어지도록 배치하라는 것이다. 취지는 앞서 본 1.5도 예산과 같다. 시선이 얼룩이므로 얼룩 안에 두 개의 표적이 들어가지 않게 떼어 놓는다. 다만 요소 자체가 60포인트보다 클 필요는 없다. 크기와 여백을 합쳐 확보하면 된다.

그리고 Apple은 시선 정확도를 각도로 공개하지 않는다. HoloLens 2의 1.5도와 직접 비교할 수 있는 수치가 존재하지 않는다. 비교표를 만들 때 이 칸은 빈칸으로 두는 것이 정직하다.

남는 한계는 눈의 생리에서 온다. 눈은 한 번에 하나의 거리에만 초점을 맞춘다. 깊이가 자주 바뀌는 UI는 초점 조절을 반복시켜 피로를 부른다. Apple 스스로 상호작용 콘텐츠는 같은 깊이에 두라고 권한다. 시야 가장자리를 보는 것은 중앙보다 불편하다. 손을 뻗어 직접 만지는 방식은 여전히 곧 피로해진다. ^[7]

앱은 무엇을 보는지 모른다

시선을 기본 입력으로 쓰면 새 문제가 생긴다. 시선은 포인터이면서 동시에 주의의 기록이다. 어디를 얼마나 오래 보았는지는 광고 반응과 인지 부하, 때로는 질병 징후까지 드러낸다. 마우스 좌표와는 성질이 다른 데이터다.

Vision Pro의 설계에서 기술적으로 가장 특이한 점은 여기에 대한 답이다. 앱이 사용자의 시선을 모른다.

To protect user privacy, the system handles camera and sensor inputs without passing the information to apps directly. … the system provides a way to automatically alter a view's appearance when someone looks at it, without your app ever knowing what the user is looking at.

사용자 프라이버시를 보호하기 위해, 시스템은 카메라와 센서 입력을 앱에 직접 전달하지 않고 처리한다. … 시스템은 사용자가 어떤 뷰를 바라볼 때 그 외양을 자동으로 바꿔주는 방법을 제공하되, 앱은 사용자가 무엇을 보고 있는지 끝내 알지 못한다.

사용자가 버튼을 바라보면 그 버튼의 하이라이트는 앱 프로세스 바깥에서 시스템이 그려 준다. 앱이 시선 위치를 알게 되는 것은 오직 사용자가 손가락을 집었을 때, 그 탭 좌표 하나뿐이다. 즉 시선은 사용자와 시스템 사이의 정보이고, 앱에는 사용자가 명시적으로 확정한 순간의 좌표만 전달된다. 확정 동작이 프라이버시 게이트를 겸하는 구조다.

같은 문제를 HoloLens 2는 다르게 풀었다. 앱 권한 승인이다. 사용자가 허락하면 앱이 시선 데이터를 받는다. Apple은 아예 주지 않는다. 손 데이터도 제한적이다. 실제 손 관절 좌표를 받으려면 몰입형 공간을 열어야 하고, Info.plist에 사용 목적을 명시한 뒤 사용자 승인을 받아야 한다.

승인된 경우 얻는 손 골격의 관절 수는 앞서 본 26개와 다르다.

표 출처: ^[8] (본문 기준으로 재구성)

차이는 팔뚝 2개다. visionOS는 손목 위쪽까지 골격에 포함한다. 같은 손을 다루는 두 표준이 관절 수를 다르게 정의하므로, 플랫폼을 옮길 때 골격 인덱스를 그대로 옮기면 안 된다.

이 설계가 남기는 제약은 분명하다. 시선 히트맵이나 주의 분석 같은 연구용 응용은 Vision Pro에서 원천적으로 불가능하다. 권한만 받으면 가능한 HoloLens 2와 대비된다. 사람들이 어디를 얼마나 보는지를 측정해 선호를 분석하려는 연구는 플랫폼 선택에서 바로 갈린다. 손 데이터를 쓰려면 몰입형 공간을 열어야 하는데, 그러면 시스템이 다른 앱을 숨긴다. 여러 앱을 띄워 놓고 쓰는 방식과 양립하지 않는다. 사용자가 손 데이터 접근을 거부할 수 있으므로 앱은 데이터 없는 경우를 반드시 처리해야 한다. 한편 visionOS의 손 추적 갱신율과 예측 앵커의 선행 시간은 Apple 문서에 수치가 없어 이 조사에서 확인하지 못했다. ^[8]

보이면 말한다

세 번째 채널은 목소리다. 음성의 값어치는 명령을 말하는 데 있지 않다. 중첩된 메뉴를 한 번에 관통하는 데 있다. 세 단계 깊이의 메뉴를 손으로 열려면 세 번 조작해야 하지만, 이름을 부르면 한 번이다.

Microsoft의 설계 원칙은 사용자가 명령어를 외우지 않게 하는 것이다. 버튼에 적힌 이름이 곧 음성 명령이다. 보이면 말할 수 있다. 26관절이 상징 제스처 암기를 없앤 것과 같은 방향의 결정이다.

결정적 진화는 시선과의 결합이다.

HoloLens has a "see it, say it" model for voice input, where labels on buttons tell users what voice commands they can say as well. … you could look at a hologram and say "put this" and then look over where you want to place it and say "over here".

HoloLens는 음성 입력에 '보이면 말한다' 모델을 쓴다. 버튼에 붙은 레이블이 곧 사용자가 말할 수 있는 음성 명령을 알려준다. … 홀로그램을 바라보며 "이걸 놓아줘"라고 말한 뒤, 놓고 싶은 곳을 바라보며 "저기에"라고 말할 수 있다.

시선이 지시대명사의 지시 대상을 제공한다. '이것'과 '저것'이 무엇인지 눈이 정한다. 사람이 사람에게 말할 때 쓰는 구조 그대로다. 1980년 MIT의 Richard Bolt가 제시한 "Put-that-there"의 개념이 40년 만에 착용형 기기에서 실현된 셈이다. 차이는 지시 채널이 손가락에서 눈으로 바뀐 점이다. 손가락으로 가리키던 것을 눈으로 가리킨다.

여기서 세대 사양을 섞지 않도록 주의해야 한다. 자주 인용되는 5채널 마이크 어레이와 두 갈래 오디오 스트림은 HoloLens 2의 사양이다. 2016년 1세대는 마이크 4개, 무게 579 g, 1세대 HPU였다.

표 출처: ^[9] (본문 기준으로 재구성)

되돌릴 수 있을 것이라는 권장이 중요하다. 음성은 오인식이 구조적으로 존재하는 채널이므로, 잘못 발화됐을 때 복구 가능한 동작만 배치한다. 입력 채널의 신뢰도에 따라 그 채널에 걸 수 있는 동작의 위험도를 제한하는 원칙이다.

음성의 한계는 다섯 가지다. 연속량의 미세 조정에 약하다. '조금 더 크게'의 '조금'을 정량화할 수 없다. 사회적 수용성 문제가 크다. 공유 사무실이나 공공장소에서 혼잣말하는 모습은 받아들여지기 어렵다. 고유명사와 은어, 약어의 인식이 어렵다. 소음 환경에서 취약하다. 그리고 Microsoft 문서는 HoloLens의 음성 인식이 미국 영어 원어민에 맞춰 최적화돼 있다고 명시한다. 한국어 현장 적용의 직접적 제약이다.

그럼에도 음성이 유일한 선택이 되는 상황이 있다. 두 손에 도구를 들고 있을 때다. 손이 막히면 남는 채널은 눈과 입뿐이다. ^[9]

근육이 먼저 말한다

지금까지 본 손 추적은 모두 카메라에 의존한다. 그러면 카메라가 보지 못하는 손은 읽히지 않는다. 주머니 속의 손, 책상 밑의 손, 다른 손에 가려진 손이 그렇다. 이 의존을 끊는 다른 계보가 있다.

근육이 내는 전기를 읽는 방식이다. 뇌의 운동 명령이 척수를 거쳐 운동 뉴런에 도달하면 각 운동 단위가 활동 전위를 내고, 그 전기 신호가 피부 표면까지 전파된다. 손목밴드의 전극이 그것을 잡는다. 표면 근전도, sEMG다.

카메라 기반 추적과 결정적으로 다른 점이 두 가지다. 첫째, 가려짐이 없다. 근육이 수축하면 신호가 나므로 손이 어디에 있든 읽힌다. 둘째, 움직임이 실제로 일어나기 전에 신호가 나온다. 전기 신호가 근육 수축보다 앞서기 때문이다. 카메라는 움직인 손을 본다. 근전도는 움직이려는 의도를 읽는다.

이 방식의 역사적 장벽은 정확도가 아니라 보정이었다. 팔 굵기, 지방층 두께, 전극 위치가 조금만 달라져도 신호 패턴이 달라진다. 그래서 사용자마다 보정 절차를 거쳐야 했고, 의수 제어 같은 특수 용도를 벗어나지 못했다. 매번 30분씩 보정해야 하는 입력 장치를 일상 기기로 쓸 수는 없다.

Meta의 CTRL-labs 팀은 이를 데이터 규모 문제로 재정의했다. 한 사람의 데이터로 학습한 모델이 다른 사람에게서 77~83%의 오류를 내는 것은 모델이 개인의 특성을 외웠기 때문이다. 수천 명의 데이터를 넣으면 개인차를 관통하는 표현을 배울 수 있다는 가설이다. 결과는 2025년 7월 23일 Nature에 실렸다.

…the first high-bandwidth neuromotor interface with performant out-of-the-box generalization across people.

…사람들 사이에서 별도 조정 없이 곧바로 성능을 내며 일반화되는, 최초의 고대역폭 신경운동 인터페이스.

— Kaifosh, Reardon, CTRL-labs at Reality Labs(2025)

처음 착용한 사람에게도 보정 없이 작동한다. 개인화는 필수에서 선택으로 강등됐다.

학습에 쓰인 데이터 규모가 이 주장의 근거다. 과제별로 참가자 수가 다르다.

표 출처: ^[10] (본문 기준으로 재구성)

Nature 게재본의 표현대로 과제에 따라 162명에서 6,627명까지다. 손목 자세만 참가자 수가 두 자리 적은 것에 주의할 필요가 있다. 이 과제는 모션캡처로 측정한 실제 손목 굽힘각을 동시에 기록해야 했기 때문이다. 정답 레이블을 붙이는 비용이 규모를 제한한 셈이다. 그리고 뒤에서 볼 성능 차이가 바로 이 규모 차이와 겹친다.

하드웨어 사양은 프리프린트에서 확인된 연구용 장치의 것이다.

표 출처: ^[10] (본문 기준으로 재구성)

성능은 Nature 게재본 수치로 적어야 한다. 프리프린트와 게재본의 값이 다르기 때문이다.

표 출처: ^[10] (본문 기준으로 재구성)

개인화 효과의 방향을 명시하는 것이 중요하다. 이것은 대역폭이 16% 오른 것이 아니라 문자 오류율이 16% 내려간 것이다. 6,400명으로 학습한 범용 모델에서도 20분치 개인 데이터가 그만큼의 오류 감소를 가져왔다는 서술이다. 프리프린트판은 최대 30% 향상이라는 다른 지표를 실었으므로 두 값을 섞으면 안 된다.

Input bandwidth can be further improved up to 30% by personalizing sEMG decoding models to the individual.

sEMG 디코딩 모델을 개인에 맞춰 개인화하면 입력 대역폭을 최대 30%까지 더 높일 수 있다.

서지 정보도 판본을 구분해야 한다. Nature 645권 702–711쪽, DOI 10.1038/s41586-025-09255-w이고 제목은 'A generic non-invasive neuromotor interface for human-computer interaction'이다. 하이픈 없는 'noninvasive'는 프리프린트 제목 표기다. 저자 줄은 Patrick Kaifosh, Thomas R. Reardon, 그리고 단체 저자 CTRL-labs at Reality Labs 순이다. Crossref의 저자 배열은 246개 항목이고 그중 하나가 단체명이므로 개인 저자는 245명이다. 프리프린트는 2024년 2월 28일에 bioRxiv에 게시됐고 2차 판본이 그해 7월 23일에 올라왔다. DOI 문자열에 박힌 2024.02.23은 게시일이 아니라 투고 스탬프이므로 게시일로 읽으면 안 된다. 피인용은 Semantic Scholar 기준 84회, 같은 시점 Crossref 기준 79회다.

한계는 네 가지다. 첫째, 분당 20.9 단어는 숙련된 스마트폰 타이핑의 분당 35~40 단어에 못 미친다. 손목밴드로 문자를 입력하는 것이 아직 키보드를 대체하지 못한다는 뜻이다. 둘째, 과제별 성능이 고르지 않다. 이산 제스처와 필기는 90% 이상의 분류 정확도에 도달하지만 손목 자세는 75% 이상에 머문다. 앞서 본 학습 참가자 수 162명이라는 조건과 무관하지 않을 것이다. 셋째, 그리고 구조적으로 가장 중요한 한계는 손목밴드가 손의 절대 위치를 모른다는 점이다. 근육 신호는 손이 무엇을 하는지 알려주지만 손이 공간의 어디에 있는지는 알려주지 않는다. 위치는 다른 센서가 말해야 한다. 이 채널은 카메라를 대체하지 않고 보완한다.

넷째는 자료의 성격에 관한 것이다. 위에 적은 하드웨어 사양은 모두 논문의 연구용 장치 사양이다. 2025년 9월 제품화된 손목밴드가 같은 전극 수와 표본율을 쓰는지는 이 조사에서 확인하지 못했다. 제품 사양과 연구 장치 사양을 섞어 쓰면 틀린 서술이 된다. ^[10]

좌표를 어디에 심는가

여기까지가 한 사람이 눈앞의 물체를 조작하는 문제였다. 여러 사람이 같은 자리에서 같은 물체를 보려면 문제가 하나 더 생긴다. 공통 좌표 원점이 필요하다. 각자의 기기가 각자의 좌표계를 쓰면, 같은 물체를 서로 다른 자리에서 보게 된다.

공간 앵커가 그 원점 역할을 한다. Google의 Cloud Anchors가 쓰는 방식은 두 단계다. 먼저 기기가 앵커 주변 공간을 여러 각도에서 촬영해 3차원 특징점 지도를 만들어 서버에 올린다. 다른 기기가 같은 장소에서 카메라를 들면, 서버가 그 화면의 시각 특징을 저장된 지도와 대조해 기기의 위치와 방향을 역산한다. 지도 품질은 INSUFFICIENT, SUFFICIENT, GOOD 세 등급으로 실시간 피드백된다.

표 출처: ^[11][12] (본문 기준으로 재구성)

호스트가 분당 30회, 리졸브가 분당 300회라는 비대칭이 이 기술의 사용 방식을 드러낸다. 심는 일은 드물고 찾는 일은 잦다. 한 번 심어 여러 사람이 여러 번 불러오는 구조를 전제한 할당량이다.

경쟁 구도는 정리되어 있지 않다. Meta Quest의 공유 공간 앵커는 그룹 식별자로 앵커를 공유하며, 공유받은 기기에서는 로컬 앵커처럼 동작한다. 다만 공식 문서는 적용 범위를 좁게 적는다.

Currently, SSA supports local multiplayer games in a single room.

현재 공유 공간 앵커는 단일 공간 내의 로컬 멀티플레이만 지원한다.

Microsoft 계열의 Azure Spatial Anchors는 서비스가 종료되어 현재 공백이다. 다만 이 조사에서 공식 종료 공지 원문에 도달하지 못했다. 확인한 것은 전용 문서 경로가 Azure 제품 허브로 리다이렉트되고, 혼합현실 공유 경험 문서에서 관련 언급이 모두 삭제됐다는 정황까지다. 통상 인용되는 2024년 11월의 종료일은 미검증 상태다.

실내는 벽에 마커를 붙이면 된다. 야외에는 붙일 벽이 없다. Google의 답은 지구 전체를 마커로 쓰는 것이다. 15년 넘게 축적한 거리 촬영 영상에서 뽑아낸 전 지구 3차원 점군과 기기 카메라 화면의 특징을 대조해 위치를 정한다. GPS만으로는 건물 사이에서 수 미터에서 수십 미터가 틀리지만, 이 방식은 건물 모서리와 간판, 가로 구조 같은 영속적 지형지물을 직접 맞추므로 훨씬 정밀한 위치와 방위각을 준다.

야외 AR의 병목은 1990년대부터 한결같이 정합이었다. 1997년 Feiner의 투어링 머신은 GPS와 자력계에 의존해 수 미터의 오차를 감수했다. 이 접근은 그 문제를 뒤집었다. 기기의 센서를 좋게 만드는 대신, 세계 전체를 미리 스캔해 둔다.

앵커의 종류와 도입 시점은 한 덩어리가 아니라 세 단계 확장이다.

표 출처: ^[11][12] (본문 기준으로 재구성)

야외 대상지에서 결정적인 것은 지형 앵커다. 지반고를 몰라도 '이 지점의 땅 위 1.5 m'라고 지정할 수 있다. 위경도와 고도를 함께 요구하는 WGS84 앵커는 땅의 높이를 먼저 알아야 하므로, 측량 성과가 없는 곳에서는 쓰기 어렵다. 지형 앵커가 2022년 8월에 별도로 추가됐다는 사실 자체가, 야외에서 무엇이 실제 병목이었는지를 말해 준다.

정확도 표기 방식도 특이하다. 고정된 수치가 없다. 장소와 시간대, 날씨, 촬영 각도에 따라 달라지기 때문에 Google은 상수를 공표하지 않고 실시간 추정치를 API로 내보낸다. 수평 정확도와 수직 정확도는 미터 단위로, 방위각 정확도는 도 단위로 나온다. 셋 다 정의가 같다.

[getHorizontalAccuracy returns] the radius of the 68th percentile confidence level around the estimated horizontal location.

[getHorizontalAccuracy가 반환하는 값은] 추정된 수평 위치를 중심으로 한 68번째 백분위 신뢰 수준의 반경이다.

참값이 그 반경 안에 있을 확률이 68%라는 뜻이다. 100%가 아니다. 그러므로 앱은 매 프레임 이 값을 읽어 임계값과 비교하고, 기준을 넘지 못하면 가상 물체를 그리지 않거나 사용자에게 더 움직이라고 요구하는 구조로 짜야 한다. 정확도가 상수가 아닌 시스템에서는 정확도 자체가 입력이 된다.

방위각 정확도 API의 이름도 시점에 따라 다르다. 2022년 5월 시점에는 방위 정확도를 반환하는 getHeadingAccuracy였고, 야우 회전 정확도를 노출하는 getOrientationYawAccuracy로 바뀐 것은 같은 해 12월 8일 버전 1.35.0부터다. 발표 연도와 API 이름을 한 줄에 묶어 적으면 존재하지 않았던 함수를 발표 시점 기능으로 만들게 된다.

한계는 야외라는 조건에서 직접 나온다. 거리 촬영 차량이 들어가지 못한 곳에서는 작동하지 않는다. 보행로 내부, 산지, 새로 조성된 대지가 그렇다. 특징이 부족한 면에서도 지도 품질이 확보되지 않는다. 균질한 풀밭, 콘크리트 포장, 수면이 그렇다. 그리고 식생은 계절과 생장에 따라 외형이 크게 바뀌므로 특징 대조가 어긋난다. 잎이 지고 꽃이 피고 눈이 쌓이는 공간에서는 특징점 지도의 수명이 짧다. 실내 앵커에도 같은 제약이 있다. 기기를 제자리에서 회전시키는 것으로는 지도가 만들어지지 않고, 실제로 걸어 이동하며 여러 시점에서 촬영해야 한다. ^[11][12]

채널들의 이름표

이 장에서 다룬 입력 채널을 한 표로 정리하면 각자 무엇을 맡아야 하는지가 드러난다. 빈칸은 제조사가 공표하지 않았거나 이 조사에서 확인하지 못한 항목이다.

표 출처: ^{[3][5][6][2][10][9][11]} (본문 기준으로 재구성)

이 표에서 읽어야 할 것은 어느 채널이 우수한지가 아니다. 어느 채널도 혼자서는 완결되지 않는다는 사실이다. 시선은 끌 수 없고, 손은 가려지고 피로하고, 음성은 미세 조정을 못 하고 사람들 앞에서 쓰기 어렵고, 근전도는 손이 어디 있는지 모른다. 그래서 설계는 채널을 고르는 일이 아니라 채널을 나누는 일이 된다. 무엇을 고르는 일은 가장 빠른 채널에 맡기고, 결정하는 일은 켜고 끌 수 있는 채널에 맡기고, 되돌릴 수 없는 일은 어느 채널에도 단독으로 맡기지 않는다.

35년 전 Jacob이 정한 것은 해법이 아니라 문제였다. 그 문제 설정이 지금까지 남았다는 사실이 이 분야의 성격을 말해 준다. 1991년에는 시선 추적 장비가 연구실을 벗어나지 못했고, 손의 관절을 실시간으로 푸는 일은 상상 밖이었다. 정의가 먼저 있었고 하드웨어가 30년 늦게 따라왔다. 그리고 하드웨어가 도착했을 때, 설계자들이 집어 든 답은 Jacob이 열어 둔 방향 그대로였다. 시선만으로 확정하지 않는다. 확정은 반드시 다른 채널이 한다.

미다스의 손 문제는 해결된 것이 아니라 분업으로 우회됐다. 시선이 무엇을 고를지 말하고 손이 언제 실행할지 결정하는 구조, 그 구조가 이 장에서 다룬 모든 기기의 공통 답이다. ^{[3][5][6][2][10][9][11]}