MicroDuck 강화학습 훈련일지

환경

로봇

MicroDuck — 소형 이족보행 플랫폼, 14자유도

시뮬레이터

MuJoCo 3.10 + mujoco-warp 3.8 (GPU 배치 물리)

프레임워크

mjlab 1.3 · rsl-rl 5.0 (PPO)

하드웨어

RTX 4080 Laptop 12GB · i9-13900HX · WSL2 Ubuntu 24.04

상위 코드

pollen-robotics/microduck_rl (커밋 고정)

왜 WSL2인가. 취향이 아닙니다. 상위 저장소의 잠금파일이 CUDA 의존성을 리눅스에만 걸어두어, 네이티브 윈도우에 설치하면 CPU 전용 파이토치로 해석되고 GPU 선택 단계에서 죽습니다. 저장소는 WSL 파일시스템 안에 두어야 합니다. /mnt/c에 두면 파일 입출력이 크게 느려집니다.

학습 방법

전 과제가 같은 뼈대를 씁니다. PPO 하나로만 돌렸고, 구현은 rsl-rl 5.0.1, 환경은 mjlab의 매니저 기반 구성입니다. 오프폴리시나 모방학습은 쓰지 않았습니다.

관측은 고유수용 감각(각속도·중력투영·관절 위치·관절 속도·직전 행동)과 명령(속도 3, 머리 자세 4, 몸통 자세 6)으로 구성됩니다. 높이 스캔이 없습니다. 험지에서 정책은 지면을 못 보고 몸으로 느낀 외란만으로 추론합니다.

도메인 무작위화는 세 시점에 겁니다. 시작 시점에 마찰·엔코더 편향·질량중심·관성, 초기화 시점에 질량중심·관절 마찰·아마추어·자세, 주기적으로 외부 밀기입니다. 커리큘럼 항은 일곱 개이고 전부 2,000회차에서 끝납니다. 그 뒤로는 과제가 고정됩니다.

보상은 보행 과제 기준 15개 항입니다. 낙상 벌점도 종료 벌점도 없습니다. 점프 과제에만 낙상 벌점 −500을 따로 넣었습니다. 이 차이가 뒤에 나오는 두 실패를 갈랐습니다.

날짜별 기록

2026-09-05

기준 궤적은 뜨지만 넘어진다 — 핵심 진단

한 일웅크렸다 발끝으로 차는 기준 궤적을 직접 만들어 개루프로 재생했습니다. 그 궤적을 참고 신호로 준 4판을 학습했습니다.

결과기준 궤적은 실제로 떴습니다. 체공 86밀리초, 높이 4.75cm. 그런데 100% 넘어졌습니다. 달리기 3판은 깨끗한 점프 17%(주행 조건 22%), 최대 4.1cm로 최고 기록. 제자리 4판은 17,798회차에서 뛰기 시작했다가 18,551회차에서 다시 안 뛰기로 후퇴했습니다.

교훈이 프로젝트에서 가장 중요한 발견입니다. 낙상 벌점이 −500인 상태에서, 정책은 뛰면 넘어지니까 뛰기를 포기하는 쪽이 이득이라고 학습했습니다. 뛰는 법을 못 배운 게 아니라 배웠다가 버린 겁니다. 처방은 순서를 바꾸는 것입니다. 착지를 먼저 가르치고 그다음에 점프를 가르친다.

설정PPO · Jump-Stand-v3·v4 · Jump-Run-v3·v4 · Mjlab-Land-Flat-MicroDuck(준비)
v4는 웅크렸다 차는 기준 궤적을 관측에 추가한 구성. 개루프 재생은 학습 없이 궤적만 물리에 넣어 확인. 평가는 신호 1,536회 기준 자체 평가기.

2026-09-08

카메라가 껍데기 안쪽을 보고 있었다

한 일렌더링된 카메라 프레임이 계속 어둡게 나오는 문제를 추적했습니다.

결과근본 원인을 찾았습니다. 모델 파일의 머리 카메라가 부드러운 턱 껍데기 안쪽에서 뒤쪽을 향하고 있었습니다. CPU 레이캐스트로 증명한 뒤 전방을 보도록 자세를 잡았습니다. 프레임 평균 밝기가 255 중 70으로 회복됐습니다.

수정 전 · 09-06

수정 후 · 09-08

학생 정책이 실제로 받던 64×48 RGB 관측입니다. 왼쪽은 껍데기 안쪽을 보고 있던 상태입니다.

교훈센서가 이상하면 값을 의심하기 전에 센서가 어디를 보고 있는지부터 그려보십시오. 렌더 파이프라인을 며칠 의심하는 것보다 레이캐스트 한 번이 빠릅니다.

설정진단 작업 (학습 없음) → StandUp-Flat 착수
어두운 프레임은 CPU 레이캐스트로 원인 규명. 기립 과제는 2,048환경 PPO, 평가 기준을 학습 전에 문서로 등록.

코드가 어떻게 도는가

flowchart TD
  A["jump_stand_run.sh<br/>TASK · TAG · LOAD_RUN · LOAD_CK · ITERS"] --> B["mjlab 환경 조립<br/>관측·보상·이벤트·커리큘럼 매니저"]
  B --> C["rsl-rl PPO 학습<br/>2048 환경 × 24 스텝"]
  C --> D["체크포인트 250회마다<br/>model_N.pt"]
  C --> E["TensorBoard 이벤트"]
  D --> F["ONNX 내보내기<br/>정규화기 포함"]
  D --> G["평가기<br/>신호 1536회 · 고정 조건"]
  G --> H["결과 CSV · 매니페스트"]
  D --> I["재생 영상 녹화"]
  H --> J["보고서 · 일지 항목"]
  I --> J
  C -. "세션 종료 시 사망" .-> X1["학습 중단<br/>13205 · 6512 회차"]
  C -. "실행 중 스크립트 덮어씀" .-> X2["후처리 전체 유실"]
  style X1 fill:#f6e5e5,stroke:#a33f3f
  style X2 fill:#f6e5e5,stroke:#a33f3f

flowchart LR
  subgraph OBS["관측"]
    direction TB
    P["고유수용 48<br/>각속도 3 · 중력투영 3<br/>관절위치 14 · 관절속도 14<br/>직전행동 14"]
    C2["명령 13<br/>속도 3 · 머리자세 4 · 몸통자세 6"]
    PR["특권 15<br/>시뮬레이터 전용"]
  end
  P --> AC["액터 61<br/>512-256-128 ELU"]
  C2 --> AC
  P --> CR["크리틱 76<br/>512-256-128 ELU"]
  C2 --> CR
  PR --> CR
  AC --> ACT["행동 14<br/>가우시안 · 스칼라 표준편차"]
  CR --> V["가치 1"]
  ACT --> ONNX["ONNX 내보내기<br/>실기 배포"]
  V -. "학습에만 사용" .-> PPO["PPO 업데이트"]
  ACT --> PPO
  style PR fill:#f8f1e8,stroke:#a8642a
  style ONNX fill:#eaf0ea,stroke:#2f7d5a

flowchart LR
  S["0 회차<br/>학습 시작"] --> R["램프 구간<br/>0 to 2000<br/>머리자세 5단계 · 질량중심 ±15mm<br/>행동변화율 · 정지환경 비율"]
  R --> F["2000 회차<br/>모든 커리큘럼 종료"]
  F --> ST["고정 과제 구간<br/>2000 이후"]
  ST --> REG["6000 회차 퇴행<br/>낙상률 34 to 38 퍼센트"]
  REG --> Q["과제는 안 변했는데 왜 나빠지나<br/>낙상 벌점이 없어서 넘어져도 손해가 없다"]
  style REG fill:#f6e5e5,stroke:#a33f3f
  style Q fill:#f8f1e8,stroke:#a8642a

flowchart TD
  T["점프 과제<br/>낙상 벌점 -500 고정"] --> E1["탐색 초기<br/>뛰면 거의 항상 넘어진다"]
  E1 --> R1["기대 보상<br/>뛴다 = 큰 음수"]
  E1 --> R2["기대 보상<br/>안 뛴다 = 0 근처"]
  R1 --> D["정책 선택<br/>안 뛰는 쪽이 이득"]
  R2 --> D
  D --> EN["엔트로피 붕괴<br/>14차원에서 -10.2<br/>탐색이 죽는다"]
  EN --> N["오래 돌려도 새 동작이 안 나온다"]
  T --> O["관측된 실제 궤적"]
  O --> O1["17798 회차 뛰기 시작"]
  O1 --> O2["18551 회차 다시 안 뛰기로 후퇴"]
  N --> FIX["처방"]
  O2 --> FIX
  FIX --> F1["착지를 먼저 가르친다"]
  FIX --> F2["벌점을 0에서 단계적으로 올린다"]
  FIX --> F3["초기에 위로 당기는 보조력을 주고 줄인다"]
  style D fill:#f6e5e5,stroke:#a33f3f
  style EN fill:#f6e5e5,stroke:#a33f3f
  style FIX fill:#eaf0ea,stroke:#2f7d5a

점프 결과 요약

신호 1,536회 기준. 달리기 점프 3판은 주행 조건에서 22%, 최대 4.7cm까지 올라갔습니다.

움직이는 것 보기

되풀이하지 말 것

아래는 전부 한동안 사실이라고 믿었던 틀린 숫자들입니다. 논문의 방법론은 무엇이 잘못됐는지 적은 만큼만 믿을 수 있습니다.

1. 에피소드 한계보다 짧게 평가하면 낙상률이 무조건 100%로 나옵니다 1,000스텝 한계를 2,000스텝으로 평가하면 시간 초과가 불가능해져 끝난 에피소드가 전부 낙상으로 집계됩니다. 최소 3배 길이로 평가하십시오.
2. 서로 다른 길이로 잰 낙상률을 비교하지 마십시오 2,000스텝으로 잰 값과 3,500스텝으로 잰 값을 나란히 놓았다가 잘못된 결론을 냈습니다.
3. 윈도우에서 GPU 메모리 사용량은 믿을 수 없습니다 환경 2,048개가 4,096개보다 더 많은 메모리를 쓰는 것으로 보고됐습니다. 메모리 여유를 기준으로 실험을 멈추는 규칙은 세우지 마십시오.
4. 속성 이름이 틀렸는데 예외를 삼켜서 조용히 결측이 됐습니다 속도 값이 모든 높이에서 결측으로 나왔습니다. 맨 except가 오류를 먹고 있었습니다. 예외는 치명적으로 처리하십시오.
5. 월드 좌표 이동거리는 평균이 0이 됩니다 명령이 몸통 기준이고 초기 방향이 무작위라, 모두가 제대로 걸어도 월드 기준 X 변위 평균은 0.041m였습니다. 출발점 기준 평면 거리로 바꾸십시오.
6. 지표가 의도한 것을 재고 있는지 확인하십시오 계단을 몇 칸 올랐는지 재려던 지표가 모든 높이에서 같은 값이었습니다. 실은 걸을 때의 상하 흔들림을 재고 있었습니다. 결과에서 철회했습니다.
7. 점프 판정에 자세 검사를 넣으십시오 몸통이 거의 수평인 상태도 점프로 집계되고 있었습니다.
8. 실행 중인 스크립트 파일을 덮어쓰지 마십시오 bash는 스크립트를 파일 오프셋으로 읽습니다. 3시간짜리 학습이 도는 중에 같은 이름으로 배포했더니, 학습이 끝난 뒤 bash가 새 파일의 엉뚱한 위치부터 읽어 후처리 전체가 날아갔습니다. 학습 자체는 무사했지만 평가와 영상과 기록이 실행되지 않았습니다. 새 이름으로 배포하거나 끝날 때까지 기다리십시오.

운영에서 배운 것

1. 긴 학습은 세션에서 분리해 띄우십시오 대화형 세션의 백그라운드 작업이 두 번 통째로 종료됐습니다. 각각 13,205회차와 6,512회차에서였습니다. 250회마다 체크포인트를 남겨둔 덕에 둘 다 복구했습니다.
2. 의존성 잠금을 함부로 갱신하지 마십시오 구동기 모델이 가변 브랜치의 커밋에 묶여 있습니다. 잠금을 갱신하면 이미 학습한 모든 정책 아래에서 구동기 특성이 조용히 바뀝니다.
3. 체크포인트는 해시로 참조하고 복사하지 마십시오 결과물 디렉터리가 금방 수 기가바이트가 됩니다. 기록에는 해시만 남기고 실물은 원래 자리에 두십시오.

지금 상태

2026-09-05에 사용자 요청으로 학습을 일시 중지했고, 이후 평가와 시각 경로 정비, 기립 과제를 진행했습니다. 달리기 점프 4판은 17,250회차에서 멈춰 있습니다. 다음 단계는 착지 과제를 먼저 학습한 뒤 낙상 벌점을 단계적으로 올리는 커리큘럼입니다. 기준 궤적이 물리적으로 뜬다는 것은 확인했으므로, 남은 문제는 뛰는 법이 아니라 내려앉는 법입니다.