Physical AI · Training Log

MicroDuck 강화학습 훈련일지

소형 이족보행 로봇 MicroDuck의 움직임을 강화학습으로 구현하는 실험 기록입니다. 노트북 GPU 한 대에서 보행, 앉았다 일어서기, 점프, 낙상 후 기립을 시뮬레이션으로 학습하고 평가합니다.

비슷한 실험을 설계하는 사람이 참고할 수 있도록 실험 조건, 관측 결과, 결과에 대한 해석을 구분해 정리했습니다. 성능 변화뿐 아니라 평가 오류와 가설을 수정한 과정도 함께 기록합니다.

기록 범위는 2026년 9월 1일부터 현재까지의 시뮬레이션 실험이며, 매일 갱신합니다(마지막 갱신 2026-11-22). 아래 수치와 영상은 실제 로봇에서 검증한 결과를 뜻하지 않습니다.

실험 환경

로봇
MicroDuck · 소형 이족보행 플랫폼, 14자유도
시뮬레이터
MuJoCo 3.10 + mujoco-warp 3.8 · GPU 병렬 물리 시뮬레이션
학습 도구
mjlab 1.3 · rsl-rl 5.0.1 · PPO
장비·운영체제
RTX 4080 Laptop 12GB · i9-13900HX · WSL2 Ubuntu 24.04
기반 코드
pollen-robotics/microduck_rl · 실험에서는 커밋을 고정해 사용

실험 당시 의존성 잠금 파일은 Linux 환경에 CUDA 패키지를 지정하고 있었습니다. Windows에 직접 설치했을 때는 CPU용 PyTorch가 선택되어 GPU 초기화에 실패했고, 이후 WSL2에서 환경을 구성했습니다. 파일 입출력 성능은 작업 파일의 위치에도 영향을 받으므로, WSL의 Linux 파일시스템과 /mnt/c 중 어느 경로를 사용하는지 실행 조건에 함께 기록하는 것이 좋습니다.

주요 용어

아래 용어는 학습 설정과 날짜별 기록에서 같은 의미로 사용합니다.

PPO
Proximal Policy Optimization. 환경과의 상호작용으로 수집한 데이터로 정책을 갱신하는 강화학습 알고리즘입니다. 이 실험의 클리핑 설정은 새 정책과 이전 정책의 행동 확률비가 목적함수에 미치는 영향을 제한해 급격한 갱신을 억제합니다. 설정값은 0.2입니다. 알고리즘 원문
정책
관측값을 입력받아 로봇의 행동 명령을 출력하는 신경망입니다. 이 실험에서는 관절 제어에 사용할 14차원 행동을 생성합니다.
액터 · 크리틱
액터는 행동을 선택하는 정책이고, 크리틱은 앞으로 얻을 보상의 기대값을 추정해 학습을 돕습니다. 비대칭 구성에서는 크리틱에만 시뮬레이터 내부 정보를 추가로 제공하며, 실행용 정책에는 액터를 사용합니다.
학습 회차
병렬 환경에서 데이터를 수집한 뒤 정책을 갱신하는 한 주기입니다. 한 회차에는 여러 시뮬레이션 스텝과 여러 번의 최적화가 포함됩니다. 에피소드 수나 물리 시뮬레이션 스텝 수와는 다릅니다.
병렬 환경
독립적으로 실행되는 시뮬레이션 인스턴스입니다. 4,096개 환경은 로봇 4,096개체의 경험을 병렬로 수집한다는 뜻입니다.
웜스타트
이미 학습된 정책을 초기값으로 사용해 새 과제를 학습하는 방법입니다. 이 기록에서는 보행 정책이나 착지 정책에서 점프 학습을 시작했습니다.
체크포인트
학습 중간에 저장한 모델 상태입니다. 중단된 학습을 재개하거나 회차별 성능을 비교할 때 사용합니다. 이 실험의 저장 간격은 250회차입니다.
커리큘럼
학습 진행에 따라 과제 난도나 보상·벌점의 적용 범위를 조절하는 방법입니다. 점프 실험에서는 낙상 벌점을 단계적으로 도입하는 구성을 사용했습니다.
엔트로피
행동 분포의 퍼짐 정도를 나타내는 지표입니다. 동일한 행동 정의와 척도에서 값이 감소하면 탐색 범위가 좁아졌을 가능성을 살펴봅니다. 연속 분포의 엔트로피는 음수가 될 수 있으므로 부호만으로 학습 실패를 판정하지 않습니다.
도메인 무작위화
마찰, 질량, 센서 오차 등의 조건을 바꾸며 학습하는 방법입니다. 특정 시뮬레이션 조건에 대한 과적합을 줄이려는 목적이며, 실제 로봇에서의 성능은 별도로 평가해야 합니다.
ONNX
학습한 신경망을 다른 실행 환경에서 사용할 수 있도록 저장하는 모델 형식입니다. 이 구성에서는 관측 정규화 연산을 포함해 정책을 내보냅니다.

학습 구성

학습 알고리즘은 PPO이며, rsl-rl 5.0.1과 mjlab의 매니저 기반 환경을 사용했습니다. 아래 표는 기본 보행 구성입니다. 점프 과제의 기준 궤적 입력처럼 과제별로 추가한 항목은 해당 날짜의 설정에 따로 적었습니다.

항목값항목값
알고리즘PPO (비대칭 액터-크리틱)할인율0.99
액터 관측61차원GAE λ0.95
크리틱 관측76차원 (특권 정보 포함)PPO 클리핑0.2
액터 신경망61→512→256→128→14, ELU엔트로피 계수0.01
크리틱 신경망76→512→256→128→1, ELU학습률1e-3, 적응형
행동 분포가우시안, 스칼라 표준편차 (초기 1.0)목표 KL0.01
회차당 환경 스텝24에폭 / 미니배치5 / 4

액터의 입력은 고유수용 관측 48차원과 명령 13차원으로 구성됩니다. 고유수용 관측에는 각속도, 중력 투영 벡터, 관절 위치·속도, 직전 행동이 포함됩니다. 명령은 속도 3차원, 머리 자세 4차원, 몸통 자세 6차원입니다. 지면 높이 스캔은 입력하지 않으므로, 이 보행 정책은 지형 형상을 직접 관측하지 않습니다.

도메인 무작위화는 세 시점에 적용했습니다. 실행 시작 시에는 마찰·엔코더 편향·질량중심·관성을, 환경 초기화 시에는 질량중심·관절 마찰·관절 추가 관성(armature)·자세를 변화시켰습니다. 학습 중에는 주기적으로 외부 밀기 힘을 가했습니다. 기본 구성의 일곱 커리큘럼 항은 모두 2,000회차에서 최종 단계에 도달하며, 이후에는 해당 설정을 유지합니다.

보행 과제의 보상은 15개 항으로 구성되며, 별도의 낙상·종료 벌점은 없습니다. 초기 점프 과제에는 낙상 벌점 −500을 적용했고, 9월 23~24일의 v5·v6·v7은 이를 단계적으로 도입하도록 설정했습니다. 그러나 9월 30일에 확인한 바로는 웜스타트 시 학습 스텝 카운터가 복원되어 이 설정이 적용되지 않았고, 세 실행 모두 첫 회차부터 −500이 걸려 있었습니다(9월 30일 기록). 단계적 도입이 실제로 작동하는 첫 실행은 9월 30일에 시작한 v8입니다.

피지컬 AI 관점에서의 실험 범위

이 실험은 로봇이 자신의 상태와 명령을 관측하고, 행동의 결과를 보상으로 받아 움직임을 학습하는 과정을 다룹니다. 병렬 시뮬레이션에서 경험을 수집하고, 보상 설계와 초기 정책을 바꾸며 보행·점프·기립 성능을 비교합니다.

핵심은 동작의 외형뿐 아니라 정책이 어떤 조건에서 동작을 습득하고, 유지하거나 잃는지를 확인하는 데 있습니다. 보상값, 성공률, 낙상률과 함께 평가 기준이 의도한 움직임을 제대로 구분하는지도 검토합니다.

날짜별 실험 기록

2026-09-01

학습 환경 구축과 연속 실행 점검

수행 내용의존성을 설치하고 GPU 사용 여부를 확인했습니다. 5회차 길이의 짧은 실행을 다섯 차례 수행한 뒤, 1시간 연속 실행으로 온도와 처리량을 점검했습니다.
관측 결과1시간 동안 1,250회차를 수행했습니다. 이 구간에서 온도와 처리량이 안정적으로 유지되어 본 학습을 진행할 수 있는 상태임을 확인했습니다.
해석노트북 GPU의 장시간 처리량은 짧은 실행만으로 판단하기 어렵습니다. 본 실험에 앞서 연속 실행 구간을 두고 발열에 따른 속도 저하 여부를 확인할 필요가 있습니다.
실험 설정PPO · rsl-rl 5.0.1
평지 속도 추종 과제. 짧은 동작 점검 5회와 1시간 연속 실행으로 병렬 환경 수에 따른 처리량을 확인했습니다.

2026-09-02

보행 기준선 확보와 학습 후반의 성능 저하

수행 내용평지 속도 추종 과제를 두 시드에서 각각 약 6,000회차 학습하고, 한 시드는 9,500회차까지 연장했습니다. 험지 과제는 평지 정책에서 시작해 18,249회차까지 학습했습니다.
관측 결과험지 학습의 최종 평균 보상은 100.21이었습니다. 평지에서는 학습 후반에 성능이 저하됐으며, 6,000회차 체크포인트의 낙상률은 34~38%로 이전 체크포인트보다 높았습니다.
해석최종 체크포인트가 가장 좋은 정책은 아니었습니다. 낙상 벌점이 없는 보상 구성과 질량중심 무작위화 범위를 원인 후보로 검토했습니다. 질량중심 범위를 ±30mm까지 확대한 구성에서 지지 영역을 벗어날 가능성을 고려해 상한을 ±15mm로 조정했습니다. 다만 이 변경과 성능 저하의 인과관계는 분리 실험으로 확인하지 못했습니다.
실험 설정PPO · Mjlab-Velocity-Flat / -Rough
시드 42·43. 험지는 평지 정책에서 웜스타트했으며, 체크포인트는 250회차 간격으로 저장했습니다.

2026-09-03

계단 통과 한계 평가와 점프 높이 추정의 정정

수행 내용계단 높이를 바꾸며 기존 정책의 통과 성능을 평가했습니다. 점프의 물리적 가능성을 계산하고, 앉았다 일어서기 과제의 학습을 시작했습니다.
관측 결과낙상률 40% 미만을 기준으로 한 계단 높이의 한계는 약 1cm였습니다. 당시 학습 커리큘럼의 계단 범위를 성능 제한 요인으로 검토했습니다. 앉았다 일어서기는 13,000회차에서 한 사이클 성공률 66.4%를 기록했습니다.
정정·해석점프 높이의 상한을 처음에는 0.91cm로 계산했으나, 같은 날 계산 기준점의 오류를 확인했습니다. 발목 대신 발끝의 지면 접촉점을 기준으로 다시 계산한 낙관적 상한은 4~6cm였습니다. 이는 실제 도약 높이를 측정한 값이 아닌 계산상 추정치입니다. 초기 값과 정정 사유를 함께 남겼습니다.
실험 설정PPO · Mjlab-Stairs-Rough-MicroDuck · Mjlab-SitStand-Flat-MicroDuck
계단은 기존 정책의 조건별 평가입니다. 앉았다 일어서기는 2,048개 환경에서 새로 학습했으며, evaluate_squat.py의 128개 환경 평가 절차를 사용했습니다.

2026-09-04

제자리 점프의 학습 정체와 달리기 점프의 초기 결과

수행 내용제자리 점프를 8,000회차까지 학습했습니다. 도약이 나타나지 않아 보상을 수정한 v2를 구성하고, 달리기 점프 과제도 병행했습니다.
관측 결과제자리 점프에서는 8,000회차까지 이륙이 관측되지 않았습니다. 달리기 점프에서는 유효 점프 비율 11%, 평균 상승 높이 0.63cm를 기록했습니다.
해석14차원 행동 분포의 엔트로피가 −10.2까지 감소했습니다. 도약이 나타나지 않은 결과와 함께 보면 탐색 범위가 좁아졌을 가능성이 있습니다. 학습 시간을 늘리는 것과 별개로 행동 분포와 보상 구성을 점검할 필요가 있었습니다.
실험 설정PPO · Mjlab-Jump-Stand-MicroDuck v1·v2 · Mjlab-Jump-Run-MicroDuck v2
평지 보행 정책에서 웜스타트했습니다. 실행 스크립트는 jump_stand_run.sh, 주요 변수는 TASK·TAG·LOAD_RUN·LOAD_CK·ITERS입니다. 점프 명령에는 JumpTriggerCommand를 사용했습니다.

2026-09-05

기준 궤적의 도약 확인과 착지 안정성 문제

수행 내용웅크린 뒤 발끝으로 지면을 밀어내는 기준 궤적을 만들고, 피드백 없이 궤적을 재생하는 개루프 시험을 수행했습니다. 이 궤적을 관측에 추가한 v4 정책도 학습했습니다.
관측 결과개루프 시험에서 체공 시간 86밀리초, 도약 높이 4.75cm를 기록했으나 낙상률은 100%였습니다. 달리기 점프 v3는 유효 점프 비율 17%(주행 조건 약 22%), 최대 상승 높이 4.1cm를 기록했습니다. 제자리 점프 v4는 17,798회차에서 도약이 나타났다가 18,551회차에서 다시 감소했습니다.
시뮬레이션에서 도약하는 달리기 점프 v3 정책
달리기 점프 v3의 시뮬레이션 도약 장면.
제자리 점프 v4 정책의 시뮬레이션 자세
제자리 점프 v4. 학습 회차에 따라 도약 행동이 달라졌습니다.
해석도약 후 낙상이 잦고 낙상 벌점이 −500인 조건에서는, 도약을 줄이는 행동이 보상 측면에서 유리해질 수 있다고 해석했습니다. 이에 착지를 먼저 학습하는 방안을 후속 가설로 제안했습니다. 이 가설은 9월 23~24일의 비교 실험에서 기대한 개선으로 이어지지 않았습니다.
실험 설정PPO · Jump-Stand-v3·v4 · Jump-Run-v3·v4 · Mjlab-Land-Flat-MicroDuck 준비
v4에는 기준 궤적을 관측에 추가했습니다. 개루프 시험은 정책 학습 없이 궤적을 물리 시뮬레이션에 적용했으며, 정책 평가는 점프 신호 1,536회를 기준으로 자체 평가기를 사용했습니다.

2026-09-06

속도 추종 보상 비교와 시각 관측 인터페이스 구성

수행 내용속도 추종 보상 커널의 폭을 좁힌 미세조정 정책을 대조군과 비교했습니다. 별도로 단안 RGB 카메라를 입력받는 학생 정책의 관측 인터페이스를 구성했습니다.
관측 결과보상 커널 변경에 따른 추종 성능의 개선은 관측되지 않았고, 제자리 회전 성능은 저하됐습니다. 외부 밀기에 대한 강건성은 대조군과 유사했습니다.
해석이번 조건에서는 보상 커널을 좁히면 추종 성능이 개선된다는 가설이 지지되지 않았습니다. 시각 기반 정책의 경우, 실행 시 사용할 수 없는 깊이 정보나 특권 상태가 학생 관측에 포함되지 않도록 입력 항목을 점검했습니다.
실험 설정PPO · 속도 추종 미세조정 A/B 비교
커널 분산만 0.1에서 0.025로 변경했고, 두 실험군 모두 커리큘럼이 최종 단계에 도달한 동일 조건에서 시작했습니다. lab_vision/에 단안 RGB 학생 관측 구성을 추가하고 정보 누출 여부를 점검했습니다.

2026-09-08

카메라 시야 가림의 원인 확인과 방향 수정

수행 내용렌더링된 카메라 영상이 지속해서 어둡게 나타나는 원인을 조사했습니다.
관측 결과모델의 머리 카메라가 턱 외피 안쪽에서 뒤쪽을 향하고 있었습니다. CPU 레이캐스트로 시선과 가림을 확인한 뒤 전방을 보도록 방향을 수정했습니다. 수정 후 영상의 평균 밝기는 0~255 척도에서 약 70이었습니다.
카메라 방향 수정 전의 어두운 RGB 관측수정 전 · 09-06
카메라 방향 수정 후 전방 장면이 보이는 RGB 관측수정 후 · 09-08

학생 정책용 64×48 RGB 관측의 수정 전후 비교입니다. 수정 전에는 카메라 시야가 외피 내부에 가려져 있었습니다.

해석영상 이상을 진단할 때는 카메라의 위치·방향과 시야 가림을 먼저 확인하는 것이 유용했습니다. 센서 배치의 문제를 렌더링 처리 과정의 오류와 구분할 수 있었습니다.
실험 설정카메라 진단 · StandUp-Flat 학습 준비
카메라 진단에는 정책 학습을 수행하지 않았습니다. 별도로 기립 과제를 2,048개 환경의 PPO 구성으로 준비하고, 학습 전에 평가 기준을 문서화했습니다.

2026-09-09

낙상 후 기립 평가: 엎드린 자세와 누운 자세에서 미달

수행 내용기립 과제를 5,000회차 학습하고, 사전에 정한 초기 자세와 성공 기준으로 평가했습니다.
관측 결과앉은 자세에서 일어서기는 98.4%, 선 자세 유지는 100%였습니다. 반면 엎드린 자세와 누운 자세의 성공률은 각각 0%였습니다. 엎드린 자세에서는 몸통을 약 35도까지 들어 올린 뒤 멈췄습니다. 낙상 후 기립이라는 목표에는 도달하지 못했습니다.
해석앉은 자세의 기립 성능만으로 낙상 복구 성능을 대표할 수는 없습니다. 초기 자세별 결과를 분리해 평가해야 합니다. 평가기 오류를 수정할 때는 원자료를 보존하고 별도의 재채점 도구를 만들어 결과를 다시 산출했습니다.
실험 설정PPO · StandUp-Flat · 5,000회차
recov_eval.sh로 평가했습니다. 초기 자세를 고정하고, 일어선 뒤 자세를 유지한 경우를 성공으로 판정했습니다.

2026-09-23 → 09-24

제자리 점프의 초기 정책 비교: 보행 계열 정책과 착지 정책

수행 내용중단했던 연속 실험을 재개했습니다. 착지 정책을 3,000회차 학습한 뒤, 동일한 점프 과제를 서로 다른 초기 정책에서 학습했습니다. v5는 기존 달리기 정책, v6는 새로 학습한 착지 정책에서 시작했습니다. 두 구성 모두 낙상 벌점을 커리큘럼으로 도입했습니다.
관측 결과체크포인트별로 나누어 보면 세 실행 모두 학습 중 유효 점프 비율이 감소했습니다. 이 저장소는 웜스타트 시 회차 번호를 이어받으므로 각 실행의 첫 체크포인트는 학습 전 초기 정책에 해당합니다. v5는 첫 체크포인트(16,000회차) 16.1%에서 마지막(21,996회차) 3.6%로 감소했습니다. 같은 실행의 대조군은 4.3%입니다. v4도 15.9%에서 7.0%로 감소했고 대조군은 6.3%입니다. v6는 첫 체크포인트(9,000회차) 3.2%에서 마지막(14,997회차) 5.2%였고 대조군은 5.3%입니다. 즉 v5의 16.1%는 학습 결과가 아니라 초기 정책인 달리기 v3의 값이며, v6의 3.2%는 착지 정책의 값입니다.
해석이번 조건에서는 낙상 벌점의 단계적 도입과 착지 선행 학습 어느 쪽에서도 개선을 확인하지 못했습니다. 초기 정책을 기준으로 보면 v4와 v5는 학습이 진행될수록 초기 성능보다 낮아졌고, v6는 대조군 수준에서 크게 벗어나지 않았습니다. 이 항목은 처음에 v5의 16.1%를 벌점 커리큘럼의 성과로 기록했습니다. 후보 체크포인트를 고르는 기준을 학습 전에 정하지 않고 평가값이 가장 높은 체크포인트를 선택한 결과이며, 그 지점이 학습 전 초기 정책이었습니다. 정정합니다. 학습 후반의 감소 원인은 분리되지 않았습니다. 벌점 커리큘럼의 종료 시점, 초기 정책과 과제의 불일치, 탐색 축소 가운데 어느 것인지는 추가 실험이 필요합니다. 시드 43의 단일 실행이므로 재현성도 확인해야 합니다. 2026-09-30 정정. 이 항목의 v5·v6에는 낙상 벌점이 단계적으로 도입되지 않았습니다. 웜스타트 시 학습 스텝 카운터가 복원되어 벌점 가중치가 첫 회차부터 −500이었음을 학습 로그에서 확인했습니다. 따라서 "낙상 벌점의 단계적 도입에서 개선을 확인하지 못했다"는 문장은 "단계적 도입은 이 실행들에서 시험되지 않았다"로 고칩니다. 착지 선행 학습(v6)에 관한 관측은 그대로 유효합니다. 자세한 경위는 9월 30일 기록에 있습니다.
실험 설정PPO · Mjlab-Land-Flat-MicroDuck 3,000회차 → Mjlab-Jump-Stand-v5 · Jump-Run-v5 각 6,000회차, 초기 정책을 바꿔 두 차례 실행
4,096개 환경 · 시드 43 · 총 20시간 7분. chain_resume.sh는 원본에서 v4 완료 대기만 제거해 새 이름으로 배포한 사본입니다. Windows 작업 스케줄러로 대화형 세션과 분리해 실행했습니다. v5·v6는 이 기록에서 초기 정책을 구분하기 위한 표기입니다. 평가는 제자리 조건에서만 수행했고, 후보 체크포인트 선택 기준은 사전에 정의하지 않았습니다.

2026-09-24

단일 변수 비교 v7: 기준 궤적 보상의 강도는 초기 하락의 원인이 아니었음

수행 내용v5의 초기 하락 원인으로 "강화된 기준 궤적 보상"을 가설로 세우고, 사전 등록 계획서를 먼저 작성한 뒤 실험했습니다. v7은 v5에서 기준 궤적 보상 하나만 v4 값으로 되돌린 구성입니다(가중치 5.0 → 3.0, 허용 폭 σ 0.18 → 0.25 rad). 초기 정책(달리기 점프 v3의 15,997회차), 환경 수 4,096, 시드 43, 6,000회차는 v5와 같습니다. 판정 방법도 미리 고정했습니다. 사후 최고값 선택을 금지하고, 250회차 간격 체크포인트 25개 전량을 같은 평가기로 재채점해 곡선으로 비교하며, 대표값은 최종 체크포인트로 정했습니다. v5도 같은 방식으로 25개를 재채점했습니다.
관측 결과초기 정책의 유효 점프 비율은 v5 16.4%, v7 15.1%였고(같은 정책을 두 번 평가한 값이므로 차이는 평가 잡음), 최종 체크포인트에서는 v5 4.2%, v7 6.2%였습니다. 학습 시작 후 250회차 시점에는 v5 9.1%, v7 6.0%로, 두 구성 모두 첫 250회차 안에 물려받은 점프율의 약 60%를 잃었습니다. 경과 250~1,250회차 평균은 v5 9.9%, v7 5.5%였습니다. v7의 후반 곡선은 3.1% → 8.7% → 4.8% → 8.1% → 6.2%로 진동했습니다. 두 실행 모두 정상 종료했고 체크포인트 25개가 모두 남았습니다.
해석사전 등록한 지지 조건은 "하락 폭이 뚜렷이 작고, 특히 초반 구간의 급락이 완화된다"였습니다. 최종값 차이는 2.0%p로 판단 보류 경계(2%p)에 걸렸고, 초반 하락은 v7이 오히려 더 컸으므로 가설은 지지되지 않았습니다. 기준 궤적 보상의 강도는 초기 하락의 원인이 아닙니다. 이 시점의 보고서는 "이 구간의 낙상 벌점은 0이므로 벌점도 원인이 아니다"라고 적었으나, 이 전제는 9월 30일에 틀린 것으로 확인됐습니다(다음 항목).
실험 설정PPO · Mjlab-Jump-Stand-v7-MicroDuck · 6,000회차 · 4,096개 환경 · 시드 43 · 초기 정책 warm_run_v3/model_15997.pt
계획서 experiments/plans/20260924-ref-strength.yaml, 평가 evaluate_jump.py(제자리 조건, 평가 시드 1000, 신호 1,536회), 재채점 결과 reports/jump_eval_v5_dense.csv·jump_eval_v7_dense.csv. 시드 1회이므로 재현성은 주장하지 않습니다.

2026-09-30

v5·v6·v7의 벌점 커리큘럼은 작동하지 않았음: 웜스타트 시 스텝 카운터 복원이 원인, 수정 후 v8·v9 시작

수행 내용9월 24일까지의 결론을 다시 검토하기 위해 v5·v7의 학습 로그와 웜스타트에 쓴 체크포인트 파일을 직접 읽었습니다. 이어서 최근의 점프 학습 방법을 조사했고(아래 참고 자료), 발견한 결함을 고친 뒤 새 실행 두 개를 시작했습니다.
관측 결과벌점 커리큘럼이 한 번도 적용되지 않았습니다. 학습 도구(mjlab)의 러너는 체크포인트를 불러올 때 환경의 누적 스텝 카운터도 함께 복원합니다. 이는 중단한 학습을 재개할 때 커리큘럼 위치를 보존하기 위한 기능입니다. 그런데 v5·v7의 초기 정책 warm_run_v3/model_15997.pt에는 카운터 384,000이 저장돼 있고, 낙상 벌점 커리큘럼의 단계 경계는 36,000·60,000·84,000스텝(1,500·2,500·3,500회차)입니다. 복원된 카운터가 모든 경계를 넘어 있었으므로 벌점 가중치는 첫 회차부터 −500이었습니다. v6도 착지 정책의 카운터 216,000을 물려받아 같은 상태였습니다. 학습 로그가 이를 직접 보여 줍니다. v5와 v7 모두 첫 회차(15,997)에 Curriculum/fall_penalty_weight: -500이 기록돼 있고, 16,010회차에는 낙상 종료 4.2%와 함께 벌점 보상 −0.0104가 집계돼 있습니다. 가중치가 0이었다면 벌점 보상은 0이어야 합니다. 같은 이유로 도약 높이 보상의 척도도 계획한 2 → 4 → 6cm 단계 대신 처음부터 6cm였습니다. 따라서 9월 23~24일의 세 실행은 모두 v4와 같은 "첫 회차부터 −500" 조건에서 학습했습니다. v4에서 관측된 실패 양상(도약을 시도하다 벌점을 받고 도약을 포기)이 v5·v7에서 반복된 것이며, 9월 24일 보고서의 "벌점이 0인 구간에서도 하락했으므로 벌점은 원인이 아니다"라는 결론은 철회합니다. 원인이 벌점인지는 아직 확정되지 않았고, 아래의 v8이 그것을 검정합니다.
개선 사항1. 커리큘럼 기준 시점 수정. 랩 전용 러너 LabJumpRunner를 추가했습니다. 체크포인트를 불러온 직후의 스텝 카운터를 "실행 시작점"으로 기록하고, 커리큘럼 단계는 그 시작점부터의 경과 스텝으로 계산합니다. 기존 태스크(v5·v7 등)의 등록은 옛 러너를 유지해 이미 실행한 결과를 그대로 재현할 수 있게 두었습니다. 2. v8 — 벌점 커리큘럼을 실제로 적용한 v5. 보상 구성·초기 정책·환경 수·시드·회차는 v5와 같고, 벌점 가중치만 계획대로 0(시작) → −100(1,500회차) → −300(2,500회차) → −500(3,500회차)으로 진행합니다. 도약 높이 척도는 v5 실행이 실제로 가졌던 6cm로 고정해, v5 대비 바뀐 것이 벌점 스케줄 하나가 되도록 했습니다. 3. v9 — v8에 기준 상태 초기화 추가. 에피소드를 초기화할 때 25%는 기준 궤적의 웅크린 자세에 위 방향 속도 0.3~0.6 m/s를 주어 밀어 올리는 순간에서 시작하고, 15%는 선 높이보다 2~5cm 높은 공중에서 시작하며(수직 속도 ±0.2 m/s), 나머지 60%는 기존처럼 서서 시작합니다. 점프 신호의 시계는 각 상태에 맞는 기준 궤적 시점(0.40초, 0.55초)으로 맞춥니다. 정책이 스스로 도약에 도달하기 전에도 착지와 밀기 상태를 직접 연습하게 하려는 것으로, DeepMimic의 기준 상태 초기화와 기반 코드 저장소 PR #14의 60/25/15 혼합 비율을 따랐습니다. 관측 차원(61)은 바꾸지 않았습니다. 4. 검증. 구성 검사 54항목을 CPU에서 통과했습니다(v8과 v5의 차이가 도약 척도 고정뿐인지, v9와 v8의 차이가 초기화 이벤트 하나뿐인지, 카운터 384,000에서 단계가 0부터 시작하는지 등). 64개 환경 × 5회차의 짧은 실행에서 v8은 첫 회차 벌점 가중치 0.0을, v9는 공중에서 시작한 환경 덕분에 첫 회차부터 체공·상승 보상이 집계되는 것을 확인했습니다. 두 실행 모두 낙상 종료 0, NaN 0이었습니다. 5. 실행. 17시 36분에 v8을 4,096개 환경으로 시작했습니다. 학습 로그에 시작점 384,000 기록과 첫 회차 벌점 가중치 0.0000이 남았고, 회차당 약 3초로 진행 중입니다. v8 6,000회차 → 25개 체크포인트 전량 재채점 → v9 6,000회차 → 재채점 순서로 약 9시간 30분이 걸릴 예정이며, 결과는 다음 기록에 적습니다. 판정 기준(사전 등록). v8에서 벌점이 0인 경과 250~1,500회차의 평균 유효 점프 비율이 v5의 같은 구간(9.9%)을 뚜렷이 넘고 첫 250회차의 하락이 v5(−7.3%p)보다 작으면, 초기 하락의 원인이 벌점이었다는 가설을 지지합니다. v8도 같은 폭으로 하락하면 벌점은 원인이 아니며, 다음 검정은 초기 정책과 과제의 불일치(평지 보행 정책 웜스타트 대 무작위 초기화)입니다. v9는 v8보다 최종값이 2%p 이상 높고 낙상률이 나쁘지 않을 때 지지로 판정합니다. 두 실행 모두 시드 1회이므로 재현성은 주장하지 않습니다.
실험 설정PPO · Mjlab-Jump-Stand-v8-MicroDuck → Mjlab-Jump-Stand-v9-MicroDuck · 각 6,000회차 · 4,096개 환경 · 시드 43 · 초기 정책 warm_run_v3/model_15997.pt · 대조군 v5 실행
계획서 experiments/plans/20260930-curriculum-origin.yaml, 코드 lab_tasks/jump_env_cfg.py·lab_tasks/lab_runner.py, 검사 tests/test_jump_v8_cfg.py, 실행 스크립트 scripts/run_v8_v9.sh(Windows 작업 스케줄러, 실행당 6시간 제한). 참고 자료: 기반 코드 저장소 PR #14(두 발 호핑, 초기 상태 혼합 60/25/15, 약 3cm), PR #28(위상 기반 주기 호핑, 웅크림 → 이륙 속도 → 체공 순의 단계 보상), microduck-jump(1 → 6cm 높이 밴드 커리큘럼, 밴드 내 비율로 체크포인트 선택), happy-hop(실물 로봇에서 검증된 호핑), DeepMimic(기준 상태 초기화), Li 외, RSS 2023(Cassie 점프의 다단계 학습). 이들 중 실물에서 검증된 것은 happy-hop뿐이며, 나머지는 시뮬레이션 보고입니다.

2026-10-02 (10월 4일 작성)

v8·v9 판정: 낙상 벌점은 초기 하락의 원인이 아님(반박), 기준 상태 초기화는 하락을 늦추지만 끝까지 유지되지 않음(판단보류)

수행 내용9월 30일 저녁에 시작한 v8(6,000회차) → v9(6,000회차) 자동 체인이 10월 1일에 끝났습니다. 두 실행의 체크포인트 25개(250회차 간격, 첫 체크포인트는 학습 전 정책)를 전량 같은 조건으로 재채점했습니다(512개 환경 × 1에피소드 = 점프 신호 1,536회, 제자리 조건, 평가 시드 1000). 9월 30일에 사전 등록한 기준과 대조해 판정했고, 판정은 10월 2일에 실험 저장소에 기록했으나 이 페이지에는 오늘 반영합니다.
관측 결과경과 회차별 유효 점프 비율(%). v5·v7은 같은 방식으로 재채점한 값입니다.
경과 회차v5v7v8 (벌점 커리큘럼 실제 적용)v9 (v8 + 기준 상태 초기화)
0 (학습 전)16.415.113.615.8
2509.16.06.610.4
50012.85.47.011.0
1,5006.04.25.65.8
3,5004.44.14.04.0
최종 5,9964.26.24.46.0
벌점 가설(H1) 반박. 벌점 가중치가 실제로 0에서 시작한 v8도 첫 250회차에 −7.0%p(13.6 → 6.6%) 떨어졌습니다. v5의 하락 폭 −7.3%p와 같습니다. 벌점이 0인 경과 250~1,500회차의 평균 유효 점프 비율도 v8 6.8%로 v5의 9.3%보다 낮았습니다. 사전 등록 기준("v8의 벌점 0 구간 평균이 v5의 9.9%를 뚜렷이 넘고 첫 250회차 하락이 v5보다 작으면 지지")의 두 조건을 모두 충족하지 못했습니다. 기준 상태 초기화(H2) 판단보류. v9의 최종 유효 점프 6.0%는 v8의 4.4%보다 +1.6%p 높지만 사전 등록 기준 +2.0%p에 미치지 못했습니다. 초반 차이는 뚜렷합니다(250회차 10.4% 대 6.6%, 500회차 11.0% 대 7.0%). 신호당 낙상률은 v9 0.39%, v8 0.52%였습니다. 초기 하락을 늦추지만 3,500회차 이후에는 두 실행이 4.0%로 같아집니다. 네 실행(v5·v7·v8·v9) 모두 학습이 진행될수록 물려받은 점프 성능을 잃고 평지 보행 정책의 값(약 4~6%) 근처로 수렴했습니다. 벌점 스케줄, 기준 궤적 보상 강도, 기준 상태 초기화 가운데 어느 것도 이 수렴을 바꾸지 못했습니다. 모두 시드 1회이므로 재현성은 주장하지 않습니다.
개선 사항1. 9월 30일 기록의 미확정 사항을 확정. 9월 30일에는 "초기 하락의 원인이 벌점인지는 미확정이며 v8이 검정한다"고 적었습니다. 검정 결과 벌점은 원인이 아닙니다. 커리큘럼 기준 시점 수정(LabJumpRunner)은 그대로 유효하며, 벌점 가중치가 계획대로 0 → −100 → −300 → −500으로 진행된 것은 학습 로그로 확인했습니다. 2. 다음 변수는 초기 정책. 네 실행은 모두 달리며 뛰는 정책(warm_run_v3/model_15997)에서 출발해 제자리 과제를 학습했고, 모두 같은 양상으로 무너졌습니다. 출발 정책과 과제의 불일치가 원인이라는 가설을 (a) 평지 보행 정책 웜스타트, (b) 무작위 초기화로 검정합니다. 첫 250회차 하락이 달리기 정책 출발에서만 나타나면 불일치가 원인입니다. 3. 바뀌지 않은 것. 제자리 점프의 기준선은 여전히 없습니다. 대조군(평지 보행 정책 제로샷)을 학습 종료 시점에 넘는 제자리 점프 실행은 v1~v9 중 하나도 없습니다.
실험 설정PPO · Mjlab-Jump-Stand-v8-MicroDuck, Mjlab-Jump-Stand-v9-MicroDuck · 각 6,000회차 · 4,096개 환경 · 시드 43 · 초기 정책 warm_run_v3/model_15997.pt · 대조군 v5(v8의 대조군), v8(v9의 대조군)
계획서 experiments/plans/20260930-curriculum-origin.yaml, 재채점 결과 reports/jump_eval_v8_dense.csv·reports/jump_eval_v9_dense.csv(v5·v7은 jump_eval_v5_dense.csv·jump_eval_v7_dense.csv), 판정 기록 nightly/LOG.md. 표의 값은 이 CSV들에서 읽었습니다.

2026-10-04

자동 야간 실험 첫 밤: 초기 정책 검정(v10)을 준비했으나 스케줄러의 명령 전달 결함으로 학습이 시작되지 않음

수행 내용00시에 자동 세션이 시작됐습니다. 1단계(00:00~00:11)에서 (1) 최근 자료를 조사했습니다 — 사족 로봇의 점프를 보행 정책의 파인튜닝이 아니라 기준 상태 초기화로 따로 학습한 논문(arXiv 2510.24584), 기반 코드 저장소의 PR 목록(점프·웜스타트 관련 새 PR 없음), 커뮤니티의 점프 정책 모음(awesome-microduck). (2) 후보 세 가지(평지 보행 정책 웜스타트, 무작위 초기화, PR #28의 단계 보상)를 비교해 10월 2일 판정이 가리킨 첫 검정인 평지 보행 정책 웜스타트를 골랐습니다. (3) 계획서를 사전 등록하고, v9 환경 구성을 그대로 복제한 새 태스크 v10을 등록했으며(초기 정책만 다름), 구성 동일성 검사 28항목을 CPU에서 통과했습니다. (4) 64개 환경 × 5회차의 짧은 실행에서 정상 종료(NaN 없음), 커리큘럼 시작점 144,000(평지 보행 체크포인트의 스텝 카운터), 점프 보상 집계를 확인했습니다. (5) 런처를 작성해 00:11에 커밋했습니다. 2단계(판정)가 00:12에 시작됐습니다. 계획대로라면 03:42 이후여야 합니다. 학습이 한 번도 실행되지 않은 것을 확인하고 원인을 찾았습니다.
관측 결과학습 미실행. 스케줄러 로그에 런처 호출 00:11:39, 자식 프로세스 종료 00:12:39가 기록돼 있고, 런처가 써야 할 실행 로그는 0바이트, 체크포인트 0개, 평가 CSV 없음, GPU 메모리 1,604 MiB(유휴)였습니다. 원인. 스케줄러(Windows PowerShell 5.1)는 Start-Process wsl.exe -ArgumentList '-d',<배포판>,'--','bash','-lc',$cmd로 런처를 띄웁니다. 이 cmdlet은 공백이 든 인자를 따옴표로 감싸지 않으므로 bash는 $cmd의 첫 단어 DEADLINE_EPOCH=…만 명령으로 받았고(변수 대입이라 즉시 종료 코드 0), 나머지(bash '<런처>' >> '<로그>')는 쓰이지 않는 위치 인자가 됐습니다. 무해한 명령(touch /tmp/x)으로 같은 호출을 재현하면 touch: missing file operand가 나오고 파일이 생기지 않습니다. 명령을 파일에 적고 공백 없는 인자 bash <파일>로 띄우면 정상 동작합니다. 판정: 미완(미실행). 측정값이 없으므로 사전 등록 조건을 대조할 수 없습니다. 가설(출발 정책과 과제의 불일치가 초기 하락의 원인)은 검정되지 않았습니다.
개선 사항1. 실험 변수(미측정). 바꾼 것은 초기 정책 하나입니다 — warm_run_v3/model_15997(달리기 점프, 달리기 조건 22.3%) → warm_flat_s43/model_5999(평지 보행, 제자리 점프 제로샷 4.3~6.1%; 평가에 쓴 태스크 구성에 따라 다름). 보상·커리큘럼·초기화 이벤트·옵티마이저·환경 수·시드는 v9와 같습니다. 효과는 측정되지 않았습니다. 2. 인프라 결함 두 건째. 자동 루프는 10월 3일(프로세스 검사가 자기 자신을 잡아 GPU를 "사용 중"으로 판단, 당일 수정)과 10월 4일(이 결함)에 이틀 연속 학습을 시작하지 못했습니다. 두 결함 모두 준비 단계의 점검이 스케줄러와 다른 경로(WSL 안에서 직접 실행)로 이루어져 드러나지 않았습니다. 수정본 스케줄러는 명령을 파일에 적고 공백 없는 인자로 호출하도록 바꿨고, 실행 중인 스크립트를 덮어쓰지 않는 원칙에 따라 별도 파일로 두어 사람이 교체합니다. 교체 전에는 다음 밤도 같은 지점에서 실패합니다. 3. 사전 등록 조건은 그대로 둡니다. 지지: 최종 유효 점프 ≥ 8.0%이고 경과 1,500~3,000회차 평균이 v9의 같은 구간 평균 5.55%를 넘고 낙상률 ≤ 1.0%. 반박: 최종 ≤ 6.0%이고 구간 평균 ≤ 5.55%. 그 사이거나 조건이 갈리면 판단보류. 같은 계획을 다음 밤에 재시도하며 조건을 완화하지 않습니다. 4. 바뀌지 않은 것. 제자리 점프의 기준선은 없습니다. 오늘 새로 측정된 값은 없습니다.
실험 설정PPO · Mjlab-Jump-Stand-v10-MicroDuck(v9 구성 복제) · 예정 약 3,000회차(00:35~03:35 창에서 산정; v5~v9의 6,000회차의 절반이므로 대조군 v9는 같은 경과 회차에서 읽음: 경과 3,000 = 4.43%, 경과 1,500~3,000 평균 5.55%) · 4,096개 환경 · 시드 43 · 초기 정책 warm_flat_s43/model_5999.pt · 실제 실행 0회차
계획서 experiments/plans/20261004-init-policy-flat.yaml, 판정 보고서 experiments/reports/20261004-init-policy-flat.md, 검사 tests/test_init_policy_flat.py, 런처 nightly/2026-10-04/tonight.sh, 짧은 실행 로그 logs/smoke_20261004_init-policy-flat.log, 스케줄러 로그 microduck-nightly/logs/nightly_2026-10-04.log. 대조군 값은 reports/jump_eval_v9_dense.csv, 초기 정책의 제로샷 값은 reports/jump_eval_jump_stand_v5_s43.csv(4.3%)·jump_eval_jump_stand_v9_s43.csv(6.1%). 참고 자료: arXiv 2510.24584(사족 로봇의 점프·보행 분리 학습, 기준 상태 초기화), microduck_rl PR 목록, awesome-microduck. 모두 시뮬레이션 보고입니다.

2026-10-05

자동 야간 실험 첫 학습: 초기 정책 검정(v10, 평지 보행 정책에서 시작) — 판단보류, 곡선은 "수렴 지점은 레시피가 정한다"는 대립 가설과 일치

수행 내용10월 4일에 사전 등록한 계획을 조건 변경 없이 재시도했습니다. 00:00~00:05 준비 단계에서 (1) 기반 코드 저장소의 최신 커밋(점프·웜스타트 변경 없음)과 커뮤니티 점프 정책 목록(변화 없음)을 다시 확인하고, (2) 스케줄러 결함(공백이 든 인자를 따옴표 없이 전달)을 실행 중인 스크립트를 고치지 않고 우회했습니다 — WSL 로그인 셸 설정에 "인용 없이 들어온 런처 호출을 복원해 실행하는" 작은 블록을 추가하고 스케줄러와 같은 호출로 검증했습니다. (3) 64개 환경 × 5회차 짧은 실행(정상 종료, 커리큘럼 시작점 144,000)을 다시 통과시켰습니다. 00:05부터 02:39까지 v10을 3,750회차 학습했습니다(정상 종료, NaN 없음, 마감 03:35 전). 낙상 벌점 커리큘럼은 학습 로그에서 0 → −100(경과 1,500) → −300(2,500) → −500(3,500)으로 계획대로 진행된 것을 확인했습니다. 02:39~02:46에 체크포인트 17개(학습 전 1개 + 250회차 간격 16개)를 같은 조건으로 전량 재채점했습니다(512개 환경 × 1에피소드 = 점프 신호 1,536회, 제자리 조건, 평가 시드 1000). 마지막 체크포인트의 재생 영상 기록은 200초 제한에 걸려 실패했습니다(영상 없음).
관측 결과경과 회차별 유효 점프 비율(%). v9는 같은 레시피를 달리기 점프 정책에서 시작한 대조군이며 같은 경과 회차의 값입니다.
경과 회차0 (학습 전)2505007501,0001,5002,0002,5003,0003,500최종 3,749
v10 (평지 보행 정책에서 시작)6.055.605.018.594.173.913.584.044.693.657.36
v9 (달리기 점프 정책에서 시작)15.7610.4211.0011.006.775.795.796.124.433.976.71 (3,750)
사전 등록 조건 대조. (a) 최종 체크포인트 유효 점프 ≥ 8.0% — 7.36%, 미충족. (b) 경과 1,500~3,000회차 평균이 v9의 같은 구간 5.55%를 넘음 — 4.61%, 미충족. (c) 신호당 낙상률 ≤ 1.0% — 최종 0.26%, 전 구간 최대 0.78%, 충족. 반박 조건(최종 ≤ 6.0%이고 구간 평균 ≤ 5.55%)은 최종값 하나 때문에 성립하지 않습니다. 사전 등록된 "최종값이 6.0~8.0% 사이이거나 조건이 갈리는 경우"에 해당하므로 판단보류입니다. 조건은 사후에 바꾸지 않았습니다. 곡선이 말하는 것. 첫 250회차 하락은 없었습니다(6.05 → 5.60%, −0.45%p). 그러나 잃을 점프 성능이 애초에 없었으므로 이것은 두 가설을 가르지 못합니다. 가설의 두 번째 예측(과제가 일치하므로 v9의 같은 경과 구간보다 높이 올라간다)은 틀렸습니다 — 경과 250~3,000의 12개 지점 중 v10이 v9를 넘은 곳은 2곳(2,250회차 5.92 대 4.56, 3,000회차 4.69 대 4.43)뿐이고 구간 평균은 0.94%p 낮습니다. 학습된 16개 체크포인트는 모두 3.6~8.6%(평균 5.2%)로 v8·v9의 후반 구간(4~6%)과 같은 띠에 있습니다. 최종값 7.36%는 바로 앞 체크포인트 3.65%, 그 앞 6.45%에 이어 튄 값이며 이 실행의 체크포인트 간 변동폭 안에 있어 상승으로 읽지 않습니다. 학습 로그에서는 평균 최고 높이가 0.0183m(회차 6000) → 0.0031m(6250) → 0.0024m(이후)로, 체공 시간 평균이 0.085 → 0.039로 첫 250회차 안에 줄었고, 낙상 벌점이 0인 처음 1,500회차에 이미 "넘어지지 않고 서 있기"로 수렴했습니다. 최대 상승 높이도 학습 전 2.10cm를 학습 중 어느 체크포인트도 넘지 못했습니다(최종 1.24cm). 시드 1회이므로 재현성은 주장하지 않습니다.
개선 사항1. 실험 변수와 측정된 효과. 바꾼 것은 초기 정책 하나입니다 — warm_run_v3/model_15997(달리기 점프) → warm_flat_s43/model_5999(평지 보행). 효과: 초기 하락은 사라졌지만(잃을 것이 없었음) 학습 종료 시점의 값은 대조군 v9의 같은 경과(6.71%)와 +0.65%p 차이, 경과 1,500~3,000 평균은 −0.94%p로 같은 띠입니다. 세 실행(v8·v9·v10)이 서로 다른 출발점에서 같은 4~6% 띠로 모였다는 점에서, 수렴 지점을 정하는 것은 초기 정책이 아니라 보상 레시피라는 대립 가설 쪽에 가깝습니다. 다만 사전 등록 기준으로는 반박이 아니라 판단보류입니다. 2. 자동 루프가 처음으로 학습까지 수행. 10월 3일·4일의 두 결함 뒤 첫 완주입니다(준비 5분, 학습 2시간 34분, 재채점 7분, 판정 기록). 스케줄러 본체는 아직 교체되지 않았고 우회 블록이 대신 동작하고 있습니다. 교체 후에는 우회 블록이 실행되지 않습니다. 3. 측정 방법 두 가지를 고칩니다(다음 계획서부터). 첫째, 대조군의 "학습 전" 값은 같은 태스크 구성으로 잰 값만 씁니다. 계획서가 인용한 평지 보행 정책의 제로샷 4.2%는 v5 구성에서 잰 값이고, v10 구성(기준 상태 초기화 60/25/15 포함)에서 같은 체크포인트는 6.05%입니다. 평가 환경의 리셋 분포가 점프 판정 수를 바꾸므로 구성이 다른 값은 비교 대상이 아닙니다. 둘째, 단일 최종 체크포인트는 대표값으로 잡음이 큽니다(이 실행의 마지막 세 값 6.45 / 3.65 / 7.36%, 인접 차이 최대 4.4%p). 판정은 계획서대로 최종값으로 했지만, 다음 계획서부터 "마지막 4개 체크포인트 평균"(이번 실행 5.28%)을 보조 대표값으로 사전 등록합니다. 측정 오류 목록에 10항을 추가했습니다. 4. 다음에 바꿀 한 가지. 같은 가설의 두 번째 검정인 무작위 초기화(웜스타트 없음, v9 레시피·예산 동일)입니다. 세 출발점(달리기 점프·평지 보행·무작위)이 모두 같은 띠로 모이면 다음 변수는 보상 구조(PR #28의 단계 보상 또는 높이 밴드 커리큘럼)로 갑니다. v10을 6,000회차까지 잇는 안은 학습 도구가 재개 시 커리큘럼 시작점을 다시 잡아 벌점이 0부터 재시작되므로 시작점 고정 옵션(새 변수)이 먼저 필요해 오늘은 선택하지 않았습니다. 5. 바뀌지 않은 것. 제자리 점프의 기준선은 여전히 없습니다. 학습 종료 시점에 대조군 띠(약 4~6%)를 뚜렷이 넘는 제자리 점프 실행은 v1~v10 중 하나도 없습니다.
실험 설정PPO · Mjlab-Jump-Stand-v10-MicroDuck(v9 구성 복제, 초기 정책만 다름) · 3,750회차(5999 → 9748; v9의 6,000회차의 62%이므로 같은 경과 회차끼리만 비교) · 4,096개 환경 · 시드 43 · 초기 정책 warm_flat_s43/model_5999.pt · 대조군 v9(2026-09-30_22-25-37_jump_stand_v9_s43) · 실행 2026-10-05_00-05-43_jump_stand_v10_s43, 체크포인트 16개
계획서 experiments/plans/20261004-init-policy-flat.yaml(10-05 재시도·사후 기록 추가), 판정 보고서 experiments/reports/20261005-init-policy-flat.md, 재채점 결과 reports/jump_eval_v10_dense.csv(표의 v10 값), 대조군 reports/jump_eval_v9_dense.csv(표의 v9 값), 학습 로그 logs/train_jump_stand_v10_s43.log(커리큘럼·높이·체공 값), 실행 로그 logs/nightly_2026-10-05_run.log, 런처 nightly/2026-10-05/tonight.sh. 참고 자료: arXiv 2510.24584, microduck_rl 커밋 목록, awesome-microduck. 모두 시뮬레이션 보고입니다.

2026-10-07

초기 정책 검정 (b): 무작위 초기화(v11)는 250회차에 유효 점프 24.67%에 도달한 뒤 단조 감소해 같은 4~7% 띠로 수렴 — 판단보류, 감소 구간은 기반 코드 커리큘럼의 상승 구간과 겹침

수행 내용10월 5일 기록의 다음 후보였던 같은 가설의 두 번째 검정입니다. v9 레시피(기준 궤적, 기준 상태 초기화 60/25/15, 낙상 벌점 커리큘럼 0 → −100 → −300 → −500)를 그대로 두고 초기 정책만 바꿨습니다 — 이번에는 웜스타트 없이 무작위 초기화에서 시작합니다. 00:00~00:35 준비 단계에서 (1) 2025~2026년 문헌(arXiv 2510.24584: 점프 정책을 보행 정책 파인튜닝이 아니라 기준 상태 초기화로 처음부터 학습; arXiv 2302.09450: Cassie 제자리 점프를 다단계로 처음부터 학습)과 기반 코드 저장소의 최근 PR(#68~#71, 점프 관련 없음), 커뮤니티 점프 정책 목록(max-height-jump: PPO 처음부터 학습)을 확인하고, (2) v9 구성을 복제한 새 태스크 id와 "불러오기 없음" 실행 분기를 추가한 뒤 CPU 테스트와 64개 환경 × 5회차 실행으로 검증하고, (3) 판정 기준을 사전 등록했습니다(지지: 최종 ≥ 8.0%, 경과 1,500~3,000회차 평균 > 5.55%(v9)·> 4.61%(v10), 낙상률 ≤ 1.0%, 마지막 4개 평균 ≥ 7.0%; 대립 가설 확정: 최종 ≤ 6.0%이고 구간 평균 ≤ 5.55%; 학습 불가: 최종 ≤ 2.0% 또는 낙상률 > 5%). 10월 6일 밤은 세션 인증 만료로 준비 단계가 시작하지 못해 학습이 없었습니다. 00:07부터 02:39까지 v11을 3,750회차(0 → 3,749) 학습했습니다(정상 종료, NaN 없음). 02:40~02:47에 체크포인트 17개(참조 1개 + 무작위 초기화 후 1회차 1개 + 250회차 간격 15개)를 같은 조건으로 전량 재채점했습니다(512개 환경 × 1에피소드 = 점프 신호 1,536회, 제자리 조건, 평가 시드 1000). 재생 영상 기록은 두 밤 연속 시간 초과로 실패해 영상이 없습니다. 웜스타트와 분리되지 않는 차이. 기반 코드에는 스텝 수에 따라 올라가는 커리큘럼(행동 변화율 벌점 가중치 −0.1 → −1.0, 머리 자세 명령 범위 0.07 → 1.4, 머리 자세 편향 벌점 0 → 3.0)이 있습니다. v9·v10은 체크포인트의 스텝 카운터를 이어받아 첫 회차부터 최종 단계였고, v11은 카운터 0에서 시작해 학습 중 500~2,000회차에 걸쳐 올라갑니다. 계획서에 미리 적어 둔 대로 v11은 "무작위 초기화 + 커리큘럼 초기 단계"이며 둘을 가르지 않았습니다.
관측 결과경과 회차별 유효 점프 비율(%). v10·v9는 같은 레시피를 평지 보행 정책·달리기 점프 정책에서 시작한 대조군이며 같은 경과 회차의 값입니다. v11의 "0"은 무작위 초기화 후 1회차 학습한 정책입니다(학습 전 정책은 저장되지 않음).
경과 회차02505007501,0001,5002,0002,5003,0003,500최종 3,749
v11 (무작위 초기화)0.0024.6723.0518.0314.068.465.996.124.885.145.01
v10 (평지 보행 정책에서 시작)6.055.605.018.594.173.913.584.044.693.657.36
v9 (달리기 점프 정책에서 시작)15.7610.4211.0011.006.775.795.796.124.433.976.71 (3,750)
사전 등록 조건 대조. (a) 최종 유효 점프 ≥ 8.0% — 5.01%, 미충족. (b) 경과 1,500~3,000회차 평균 > 5.55%(v9)·> 4.61%(v10) — 6.05%, 충족(7개 값 8.46, 5.21, 5.99, 6.71, 6.12, 5.01, 4.88). (c) 신호당 낙상률 ≤ 1.0% — 최종 0.72%, 충족. (d) 마지막 4개 체크포인트 평균 ≥ 7.0% — 4.95%, 미충족. 대립 가설 확정 조건(최종 ≤ 6.0%이고 구간 평균 ≤ 5.55%)은 구간 평균 하나 때문에 성립하지 않습니다(아직 감소 중이던 1,500회차 값을 빼도 5.65%). 학습 불가 조건에도 해당하지 않습니다. 사전 등록된 "조건이 갈리는 경우"이므로 판단보류입니다. 조건은 사후에 바꾸지 않았습니다. 곡선이 말하는 것. 무작위 초기화 후 1회차 정책은 신호의 99.8%에서 넘어졌고 유효 점프는 0%였습니다. 250회차에는 낙상 0.07%, 유효 점프 24.67%로, 이 값은 제자리 점프 v4~v11의 모든 체크포인트와 달리기 점프 v3(제자리 조건 17%)보다 높습니다. 다만 단일 체크포인트·단일 시드이고 사후에 고른 값이므로 대표값이 아니며, 상승 높이는 평균 0.52cm·최대 2.07cm로 다른 실행과 같은 수준입니다 — "더 높이"가 아니라 "같은 작은 도약을 더 자주" 한 것입니다. 그 뒤 체크포인트마다 단조롭게 떨어져(23.05 → 18.03 → 14.06 → 11.20 → 8.46 → 5.21%) 경과 1,750회차부터는 v9·v10과 같은 4~7% 띠에 머물렀습니다. 학습 로그의 평균 최고 높이(0.0057 → 0.0017m, 250 → 1,000회차)와 체공 시간(0.047 → 0.029s)도 같은 구간에서 줄었습니다. 이 감소 구간(250~1,750회차)에서 낙상 벌점은 0이었고, 바뀐 것은 기반 코드의 커리큘럼(행동 변화율 벌점 10배, 머리 자세 편향 벌점 0 → 3)뿐입니다. 시기가 겹친다는 관측이며 원인은 분리되지 않았습니다. 낙상 벌점 단계(1,500·2,500·3,500회차)가 올라가도 평가 곡선은 바뀌지 않았습니다. 참조값의 재현 폭. 평지 보행 정책의 제로샷을 v11 태스크 id로 다시 재니 5.53%였고, v10 id에서는 6.05%였습니다. 환경 구성은 같으므로 이 0.52%p는 같은 정책·같은 평가 시드에서 평가 실행 간 재현 폭이며, 신호 1,536회의 이항 표준오차(약 ±0.6%p)와 같은 크기입니다. 체크포인트 간 1%p 이내 차이는 읽지 않습니다.
개선 사항1. 실험 변수와 측정된 효과. 바꾼 것은 초기 정책 하나입니다 — 평지 보행 정책 웜스타트(v10) → 무작위 초기화(v11). 효과: 학습 초반이 완전히 달라졌습니다. 웜스타트 실행들은 첫 250회차에 물려받은 성능을 잃거나(v9 15.76 → 10.42%) 처음부터 띠 안에 있었지만(v10 6.05 → 5.60%), v11은 0에서 24.67%로 올라갔습니다(같은 경과의 v9 10.42%, v10 5.60% 대비 +14.25%p·+19.07%p). 그러나 학습 종료 시점은 v10 대비 −2.35%p, v9의 같은 경과(6.71%) 대비 −1.70%p로 같은 띠이고, 경과 1,500~3,000회차 평균은 v10보다 1.44%p, v9보다 0.50%p 높지만 사전 등록한 지지 기준(최종 8.0%, 마지막 4개 평균 7.0%)에는 미치지 못합니다. "개선됐다"고 적지 않습니다. 2. 가설 판정의 현재 위치. 초기 정책·과제 불일치 가설(H3)이 설명하려던 "첫 250회차 하락"은 웜스타트에서만 보이는 현상이 맞습니다(v11은 첫 250회차에 상승). 그러나 그 뒤의 수렴 지점은 출발점과 무관해 보입니다 — 세 출발점(달리기 점프·평지 보행·무작위)의 종료 시점 값이 모두 4~7% 띠(v9 6.71%, v10 7.36%, v11 5.01%)입니다. 사전 등록 규칙상 대립 가설 확정으로 적지 않으며, 시드 1회이므로 재현성을 주장하지 않습니다. 3. 측정 메모(아래 "측정 오류" 절에 추가). 평가기의 jump_rate는 넘어지는 정책에서 쓸 수 없습니다. 무작위 초기화 후 1회차 정책은 jump_rate 94.0%, 낙상 99.8%, 착지 힘 결측으로 기록됐습니다 — 넘어지며 발이 뜨는 구간이 점프로 잡힙니다. 판정에는 계획대로 clean_jump_rate(유효 점프)만 썼습니다. 4. 다음에 바꿀 한 가지. 기반 코드 커리큘럼 고정입니다 — v11과 같은 무작위 초기화·예산에서 행동 변화율 벌점 가중치, 머리 자세 명령 범위, 머리 자세 편향 벌점, 무게중심 범위를 회차 0의 값에 고정한 v12를 돌립니다. 근거: 오늘 밤의 새 정보는 "이 레시피도 24.67%를 만들 수 있다"와 "그 뒤의 감소가 커리큘럼 상승 구간과 겹치며 낙상 벌점은 0이었다"입니다. 커리큘럼을 고정하면 감소가 커리큘럼 때문인지 학습의 자연 표류인지 변수 하나로 가를 수 있습니다. 행동 변화율·머리 자세 벌점 가중치는 보상 가중치이므로 이것은 10월 5일에 예고한 보상 구조 축의 첫 검정이기도 하며, PR #28의 단계 보상과 높이 밴드 커리큘럼은 그 뒤에 둡니다. 사전 등록 초안: 대조군 v11 같은 경과; 지지(커리큘럼 상승이 감소의 원인) = 경과 1,500~3,000 평균 ≥ 15%이고 마지막 4개 평균 ≥ 12%이고 낙상률 ≤ 2%; 반박 = 구간 평균 ≤ 8%. 머리 자세 명령 범위 고정은 과제를 쉽게 만들 수 있으므로 평가기가 머리 명령을 쓰는지 준비 단계에서 확인합니다. 5. 바뀌지 않은 것. 제자리 점프의 기준선은 여전히 없습니다. 학습 종료 시점에 대조군 띠(약 4~7%)를 사전 등록 기준만큼 넘는 제자리 점프 실행은 v1~v11 중 하나도 없습니다. 250회차의 24.67%는 종료 시점 값이 아니며, 재현되는지도 확인되지 않았습니다. 영상 기록 도구의 시간 초과(두 밤 연속)도 고치지 못했습니다.
실험 설정PPO · Mjlab-Jump-Stand-v11-MicroDuck(v9 구성 복제, 초기 정책만 다름: 웜스타트 없음) · 3,750회차(0 → 3,749; v9의 6,000회차의 62%이므로 같은 경과 회차끼리만 비교) · 4,096개 환경 · 시드 43 · 초기 정책 무작위 초기화(불러오기 없음) · 대조군 v10(2026-10-05_00-05-43_jump_stand_v10_s43)·v9(2026-09-30_22-25-37_jump_stand_v9_s43) · 실행 2026-10-07_00-07-00_jump_stand_v11_s43, 체크포인트 16개
계획서 experiments/plans/20261007-random-init.yaml, 판정 보고서 experiments/reports/20261007-random-init.md, 재채점 결과 reports/jump_eval_v11_dense.csv(표의 v11 값, 참조 행 포함), 대조군 reports/jump_eval_v10_dense.csv·reports/jump_eval_v9_dense.csv(표의 v10·v9 값), 학습 로그 logs/train_jump_stand_v11_s43.log(커리큘럼·높이·체공·낙상 값), 실행 로그 logs/nightly_2026-10-07_run.log, 런처 nightly/2026-10-07/tonight.sh. 참고 자료: arXiv 2510.24584, arXiv 2302.09450, microduck-max-height-jump, microduck_rl PR 목록, awesome-microduck. 모두 시뮬레이션 보고입니다.

2026-10-08

기반 코드 커리큘럼 고정(v12): 250회차 이후의 감소가 사라지고 경과 2,750회차부터 올라가 최종 유효 점프 48.37% — 사전 등록 기준 지지, 학습 종료 시점에 대조군을 넘은 첫 제자리 점프 실행(시드 1회)

수행 내용10월 7일 기록의 다음 후보였던 검정입니다. v11(무작위 초기화, v9 레시피)에서 바꾼 것은 하나 — 기반 코드에 들어 있는, 스텝 수에 따라 올라가는 커리큘럼 다섯 개(행동 변화율 벌점 가중치 −0.1 → −1.0, 머리 자세 명령 범위 ±0.07 → ±1.40 rad, 머리 자세 편향 벌점 0 → 3.0, 무게중심 무작위화 범위 0.003 → 0.015 m, 머리 무게중심 범위 0.003 → 0.010 m)를 회차 0의 값에 고정했습니다(새 태스크 id v12, 학습·재생 구성 모두). 나머지(기준 궤적, 기준 상태 초기화 60/25/15, 낙상 벌점 커리큘럼 0 → −100 → −300 → −500, 무작위 초기화, 4,096개 환경, 시드 43, 3,750회차 예산, 평가기)는 v11과 같습니다. 가설(H4): v11이 250회차 24.67%에서 단조 감소한 원인은 이 커리큘럼의 상승이다 — 감소 구간(500~1,500회차)에서 낙상 벌점은 0이었고 바뀐 것은 이 다섯 값뿐이었기 때문입니다. 준비 중 발견한 평가 교란(H4b). 이 저장소의 러너는 체크포인트를 불러올 때 스텝 카운터도 복원합니다. 그래서 v11 태스크 id로 평가하면 머리 자세 명령 범위가 체크포인트 번호를 따라 달라집니다(250회차 ±0.07 rad, 2,000회차 이후 ±1.40 rad). 10월 7일의 v11 곡선(24.67% → 5%)은 이 변화와 분리되지 않았습니다. 그래서 오늘 밤은 v12 체크포인트 16개에 더해 v11 체크포인트 16개를 v12 id(범위 고정)로 다시 재서 같은 CSV에 넣었습니다. 사전 등록: 경과 2,000~3,749회차 8개 지점에서 (재채점 − 원본) 평균이 +5.0%p 이상이면 "감소의 일부는 평가 조건 변화", 절댓값 2.0%p 미만이면 "교란 아님", 그 사이는 판단보류. H4 판정 기준: 경과 1,500~3,000회차 평균 ≥ 15%(v11 6.05%)이고 마지막 4개 체크포인트 평균 ≥ 12%(v11 4.95%)이고 최종 낙상률 ≤ 2%이면 지지; 구간 평균 ≤ 8%이면 반박; 최종 ≤ 2% 또는 낙상률 > 5%이면 학습 불가. 00:08부터 02:42까지 v12를 3,750회차(0 → 3,749) 학습했습니다(정상 종료, NaN 없음). 학습 로그에서 다섯 커리큘럼 값이 3,750회차 모두 회차 0의 값과 같았음을 자동 검사로 확인했습니다. 02:42~02:55에 체크포인트 33개(참조 1개 + v12 16개 + v11 16개)를 같은 조건으로 전량 재채점했습니다(512개 환경 × 1에피소드 = 점프 신호 1,536회, 제자리 조건, 평가 시드 1000). 재생 영상 기록은 480초를 줘도 시간 초과로 실패해(세 밤 연속) 영상이 없습니다.
관측 결과경과 회차별 유효 점프 비율(%). "v11 (범위 고정 재채점)"은 v11의 체크포인트를 오늘 밤 v12 id로 다시 잰 값이며 H4의 1차 대조군입니다. "v11 (원본)"은 10월 7일 기록의 값(머리 명령 범위가 체크포인트 번호에 따라 달랐던 평가)입니다. "0"은 무작위 초기화 후 1회차 학습한 정책입니다.
경과 회차02505007501,0001,5002,0002,5002,7503,0003,2503,500최종 3,749
v12 (커리큘럼 고정)0.0022.2724.5422.5324.1518.9523.1820.3129.6244.0850.5257.8148.37
v11 (범위 고정 재채점)0.0022.7923.2416.7311.785.012.863.783.193.063.652.733.26
v11 (원본, 10월 7일)0.0024.6723.0518.0314.068.465.996.125.014.884.755.145.01
사전 등록 조건 대조. (1) 경과 1,500~3,000회차 평균 ≥ 15% — 24.93%, 충족(7개 값 18.95, 19.79, 23.18, 18.55, 20.31, 29.62, 44.08). (2) 마지막 4개 체크포인트 평균 ≥ 12% — 50.20%, 충족(44.08, 50.52, 57.81, 48.37). (3) 최종 신호당 낙상률 ≤ 2% — 0.33%, 충족. 반박 조건(구간 평균 ≤ 8%; 또는 초반 최대 ≥ 15%인데 최종 ≤ 8%)과 학습 불가 조건에는 해당하지 않습니다. 세 조건이 모두 충족되어 지지입니다. 조건은 사후에 바꾸지 않았습니다. 시드 1회이므로 재현성은 주장하지 않습니다. 곡선이 말하는 것. 250~500회차는 두 실행이 같습니다(v12 22.27/24.54%, v11 재채점 22.79/23.24% — 이 구간에서는 v11의 커리큘럼도 아직 회차 0의 값입니다). 커리큘럼이 올라가는 500~2,000회차에서 v11은 23.24 → 2.86%로 떨어졌고, v12는 18.55~24.54% 띠에 머물렀습니다(단조 감소 없음, 인접 체크포인트 차이 최대 5.4%p). 학습 로그의 평균 최고 높이도 v11은 0.0057 → 0.0020m(250 → 1,500회차), v12는 0.0061 → 0.0039m입니다. 이 구간에서 낙상 벌점은 두 실행 모두 0이었습니다. 그 뒤 v12는 경과 2,750회차부터 올라갔습니다(29.62 → 44.08 → 50.52 → 57.81%), 최종 3,749회차는 48.37%입니다. 체공 시간 29.6 → 68.1ms, 평균 상승 0.52 → 0.79cm, 착지 힘 24.5 → 32.5N이 함께 올라갔습니다. 학습 후반은 수렴하지 않았습니다. 학습 로그에서 2,500 → 3,749회차에 평균 최고 높이 0.0046 → 0.0151m, 체공 0.043 → 0.058s가 오르는 동안 학습 에피소드의 낙상 종료 횟수는 0.79 → 5.25(3,500회차) → 3.04로, 평균 보상은 74.7 → −20.4 → −34.1로 바뀌었습니다. 정책이 더 높이·더 자주 뛰면서 학습 중에는 더 많이 넘어지고 −300/−500 벌점을 받고 있다는 뜻입니다(평가의 낙상률은 0.00~0.33%로 낮은데, 평가는 신호 1회·에피소드 1개이고 학습 에피소드는 깁니다). 3,500 → 3,749회차의 감소(57.81 → 48.37%)가 −500 벌점 단계(3,500회차) 진입에 따른 후퇴인지(9월 초 v4가 보인 패턴) 체크포인트 간 변동인지는 249회차뿐이라 확인되지 않았습니다. H4b — 평가 조건 변화는 v11 감소의 원인이 아닙니다. 경과 2,000~3,749회차 8개 지점에서 (범위 고정 재채점 − 원본) = −3.13, −3.72, −2.34, −1.82, −1.82, −1.10, −2.41, −1.75%p, 평균 −2.26%p로 모두 음수입니다. 사전 등록 문구로는 판단보류 구간(절댓값 2.0 이상, +5.0 미만)이지만, 가설의 방향("좁은 범위가 과제를 쉽게 만들어 점수를 올린다")과 부호가 반대입니다. 참조 정책(평지 보행 제로샷)도 v12 id 4.43% < v11 id 5.53% < v10 id 6.05%입니다. v12 id로 다시 재도 v11은 22.79 → 3.26%로 떨어지므로 감소는 평가 조건으로 설명되지 않고, 좁은 범위로 재는 것이 v12에 유리하게 작용했다는 증거도 없습니다. 넓은 범위(±1.40 rad)로 학습한 v11 정책이 좁은 범위에서 약간 낮게 나오는 이유(명령 분포 불일치 또는 리셋 순서 변화)는 분리되지 않았습니다.
개선 사항1. 실험 변수와 측정된 효과. 바꾼 것은 기반 코드 커리큘럼 다섯 개의 고정 하나입니다. 효과: 같은 레시피·같은 초기화·같은 예산에서 250회차 이후의 감소가 사라졌고(경과 1,500~3,000회차 평균 24.93% 대 v11 재채점 3.47%·원본 6.05%), 학습 종료 시점은 48.37%(마지막 4개 평균 50.20%)로 v11 재채점 3.26%·원본 5.01%, 참조 4.43%보다 높습니다. 사전 등록한 지지 기준(구간 평균 15%, 마지막 4개 평균 12%, 낙상률 2%)을 모두 통과했으므로 이 실행에 한해 "개선됐다"고 적습니다. 다만 시드 1회이며, 아래 3항의 분리되지 않은 요인이 있습니다. 2. 가설 판정의 현재 위치. 10월 2일부터 세운 가설 사슬 — 낙상 벌점(H1, 반박) → 기준 상태 초기화(H2, 판단보류) → 초기 정책(H3, 판단보류 두 번) → 기반 코드 커리큘럼(H4) — 에서 처음으로 사전 등록 기준을 통과한 것이 H4입니다. v1~v11이 모두 수렴했던 4~7% 띠는 레시피 고유의 한계가 아니라 기반 코드 커리큘럼이 올라간 뒤의 수렴 지점이었다는 해석과 일치합니다. 다만 다섯 항목(행동 변화율 벌점 10배, 머리 자세 편향 벌점, 머리 자세 명령 범위, 무게중심 범위 둘) 중 어느 것이 점프를 억제했는지는 가르지 않았습니다 — 한 변수(동결 전체)로 설계했기 때문입니다. 3. 분리되지 않은 요인. 머리 자세 명령 범위 고정은 "학습 중 커리큘럼 상승 유무"와 "머리 명령 분포의 폭"을 함께 바꿉니다. 평가 측면은 H4b로 쟀고 좁은 범위가 점수를 올리지 않았습니다. 학습 측면 — v12가 ±0.07 rad의 좁은 머리 명령 분포에서만 학습했고 넓은 범위에서는 평가되지 않았다는 점 — 은 분리되지 않았습니다. v12는 v9~v11의 최종 체크포인트보다 좁은 과제 조건에서 잰 값입니다. 상승 높이도 평균 0.79cm·최대 3.75cm로 달리기 점프 v3(제자리 조건 최대 4.1cm)에 못 미칩니다. 따라서 "기준선 후보"로 적고 "기준선 확정"으로 적지 않습니다. 4. 측정 메모(아래 "측정 오류" 절에 추가). 체크포인트 번호가 평가 조건을 바꿀 수 있습니다. 스텝 카운터를 복원하는 러너에서 스텝 기반 커리큘럼이 있는 태스크 id로 평가하면, 한 실행의 체크포인트들이 서로 다른 명령 분포에서 측정됩니다. 10월 7일의 v11 곡선이 그 예이고, 오늘 밤 범위를 고정해 다시 재니 모든 지점이 1.1~3.7%p 낮아졌습니다(방향은 반대였지만 크기는 체크포인트 간 비교 폭과 같은 수준). 앞으로 곡선은 커리큘럼이 상수인 태스크 id로 재거나, 평가 행마다 커리큘럼 단계를 함께 기록합니다. 5. 다음에 바꿀 한 가지. 변수를 더하기 전에 v12를 이어서 돌립니다(10월 4일에 정한 "6,000회차가 필요한 실험은 이틀 밤" 규칙). 마지막 체크포인트(3,749회차)에서 같은 v12 id로 약 3,750회차를 더 학습해 경과 6,000회차 지점을 포함시킵니다. 근거: 학습 곡선이 수렴하지 않았고(관측 결과의 학습 후반 문단), −500 벌점은 종료 249회차 전에야 시작됐으며, v4는 −500 아래서 뛰다가 후퇴했습니다. v12가 −500 아래서 유지되는지 후퇴하는지가 이 실행을 기준선으로 쓸 수 있는지를 정합니다. 사전 등록 초안: 경과 6,000회차 부근 마지막 4개 평균 ≥ 40%이고 낙상률 ≤ 2%이면 유지, ≤ 25%이면 후퇴. 그 다음 밤은 다섯 항목 중 행동 변화율 벌점 커리큘럼만 되살린 v13으로 원인 항목을 가릅니다(구간 평균 ≤ 8%이면 그 항목이 원인). 시드 44는 그 뒤입니다. 6. 바뀌지 않은 것. 시드는 여전히 1회입니다. 상승 높이는 1cm 미만이며 달리기 점프 v3의 최대 높이를 넘지 못했습니다. 평가는 제자리 조건뿐이고 주행 조건은 재지 않았습니다. 영상 기록 도구의 시간 초과(세 밤 연속)는 고치지 못했습니다. 실제 로봇에서 검증한 것은 없습니다.
실험 설정PPO · Mjlab-Jump-Stand-v12-MicroDuck(v11 구성 + 기반 코드 커리큘럼 5개를 회차 0 값에 고정: 행동 변화율 벌점 −0.1, 머리 자세 명령 범위 ±0.07 rad, 머리 자세 편향 벌점 0, 무게중심 범위 0.003 m, 머리 무게중심 범위 0.003 m) · 3,750회차(0 → 3,749; v11과 같은 예산, v5~v9의 62%) · 4,096개 환경 · 시드 43 · 초기 정책 무작위 초기화(불러오기 없음) · 낙상 벌점 커리큘럼 0 → −100(1,500) → −300(2,500) → −500(3,500) · 대조군 v11(2026-10-07_00-07-00_jump_stand_v11_s43, 16개 체크포인트를 v12 id로 재채점 + 10월 7일 원본) · 실행 2026-10-08_00-08-25_jump_stand_v12_s43, 체크포인트 16개
계획서 experiments/plans/20261008-freeze-curricula.yaml, 판정 보고서 experiments/reports/20261008-freeze-curricula.md, 재채점 결과 reports/jump_eval_v12_dense.csv(표의 v12 행과 v11 재채점 행, 참조 행 포함, 33행), v11 원본 reports/jump_eval_v11_dense.csv, 학습 로그 logs/train_jump_stand_v12_s43.log(커리큘럼·높이·체공·낙상·보상 값), 실행 로그 logs/nightly_2026-10-08_run.log(동결 검사), 런처 nightly/2026-10-08/tonight.sh, 테스트 tests/test_freeze_curricula.py. 참고 자료: arXiv 2302.09450(다단계 훈련), microduck_rl 커밋·PR 목록(커리큘럼 고정 사례 없음). 모두 시뮬레이션 보고입니다.

2026-10-09

v12 이어 학습(경과 3,749 → 7,248회차, 낙상 벌점 −500 유지): 첫 250회차에 50.98 → 39.45%로 내려간 뒤 28~40% 띠에서 수평, 최종 유효 점프 30.99% — 사전 등록 기준 판단보류(유지 40% / 후퇴 25% 사이), 같은 체크포인트를 다시 잰 차이 4.17%p(시드 1회)

수행 내용10월 8일 기록의 다음 후보였던 "v12 이어 돌리기"입니다(10월 4일에 정한 이틀 밤 규칙). 바꾼 것은 학습 예산 하나입니다. 10월 8일 v12 실행의 마지막 체크포인트(3,749회차)에서 같은 태스크 id(Mjlab-Jump-Stand-v12-MicroDuck)로 옵티마이저 상태와 회차 번호를 복원해 이어 학습했습니다. 환경·보상·동결한 커리큘럼 다섯 개·기준 상태 초기화·4,096개 환경·시드 43·평가기는 모두 10월 8일과 같습니다. 한 가지 주의할 점은 이 저장소의 러너가 체크포인트를 불러올 때 커리큘럼 원점을 복원된 스텝 카운터로 다시 잡아 낙상 벌점 커리큘럼이 0부터 재시작한다는 것이어서, 새 환경변수 플래그(LAB_CURRICULUM_ORIGIN=0, 설정하지 않으면 기존 동작 그대로)로 원점을 0에 두어 첫 회차부터 벌점 −500이 유지되게 했습니다. 짧은 검증 실행(64개 환경 × 5회차)과 학습 로그의 자동 검사로 확인했습니다(3,500회차 모두 −500.0000, 동결 값 5개와 정점 보상 배율 0.06 유지, 회차 번호 3,749부터 이어짐). 가설과 사전 등록 기준. H5(유지): v12가 2,750~3,500회차에 보인 상승(29.6 → 57.8%)은 −500 벌점 아래서도 유지되는 영역이며, 계속 학습하면 경과 6,000회차에서도 40% 이상에 머문다. 대안 H5-후퇴: −500 벌점 아래서 정책이 "서 있기"로 물러나 v5~v9가 6,000회차에서 수렴한 4~6% 띠로 내려간다(9월 초 v4의 패턴). 10월 8일의 3,500 → 3,749회차 감소(57.81 → 48.37%)와 학습 로그의 낙상 증가·보상 감소는 어느 쪽과도 양립했으므로 연장으로 가릅니다. 기준: 경과 5,250~6,000회차 4개 평균 ≥ 40%이고 마지막 4개 체크포인트 평균 ≥ 40%이고 최종 낙상률 ≤ 2%이면 유지(지지), 두 평균 중 하나라도 ≤ 25%이면 후퇴(반박), 그 사이는 판단보류. "개선됐다"는 최종 ≥ 55%일 때만. 또 10월 8일의 model_3749를 같은 조건으로 다시 재서(앵커) 10월 8일 값 48.37%와의 차이가 3%p를 넘으면 그 폭을 평가 재현 폭으로 모든 비교에 명시하기로 했습니다. 00:10부터 02:31까지 3,500회차(3,749 → 7,248; 계획서의 "약 3,750"보다 250회차 적은데 출발이 00:09라 마감에서 역산한 값입니다)를 학습했습니다(정상 종료, NaN 없음, 회차당 2.40초). 02:32~02:38에 앵커 1개 + 새 체크포인트 15개 = 16개를 전량 재채점했습니다(512개 환경 × 1에피소드 = 점프 신호 1,536회, 제자리 조건, 평가 시드 1000). 재생 영상은 세 밤 연속 시간 초과였으므로 계획서에서 미리 생략했습니다.
관측 결과경과 회차별 유효 점프 비율(%). "3,749 앵커"는 10월 8일 실행의 마지막 체크포인트를 오늘 밤 다시 잰 값이고 괄호 안이 10월 8일 밤의 값입니다. "3,750"은 이어 학습 1회차 뒤의 정책입니다.
경과 회차3,749 앵커3,7504,0004,2504,5004,7505,0005,2505,5005,7506,0006,2506,5006,7507,000최종 7,248
v12 이어 학습 (벌점 −500 유지)52.54 (48.37)50.9839.4535.4833.6638.8039.9136.2038.1532.7532.6835.2928.4529.8234.1130.99
신호당 낙상률 (%)0.330.330.070.260.070.200.130.130.000.000.200.130.200.130.000.20
체공 시간 (ms)52.650.740.238.330.833.836.234.134.035.032.131.630.830.330.832.1
사전 등록 조건 대조. (1) 경과 5,250~6,000회차 4개 평균 ≥ 40% — 34.95%, 미충족(36.20, 38.15, 32.75, 32.68). (2) 마지막 4개 체크포인트 평균 ≥ 40% — 30.84%, 미충족(28.45, 29.82, 34.11, 30.99). (3) 최종 낙상률 ≤ 2% — 0.20%, 충족. 후퇴 조건(두 평균 중 하나라도 ≤ 25%)에는 해당하지 않습니다. 두 평균이 모두 25~40% 사이이므로 판단보류입니다. 앵커 재채점은 52.54%로 10월 8일 값 48.37%보다 4.17%p 높아 재현 폭을 명시합니다 — 이 폭을 빼도(26.67 / 30.78) 25%에 닿지 않고 더해도(35.01 / 39.12) 40%에 닿지 않으므로 판정은 바뀌지 않습니다. 조건은 사후에 바꾸지 않았습니다. 시드 1회이므로 재현성은 주장하지 않습니다. 곡선이 말하는 것. 이어 학습 1회차 뒤(3,750회차)는 50.98%로 앵커와 1.6%p 차이입니다. 그 뒤 첫 250회차에서 39.45%로 내려갔습니다(−11.5%p, 재현 폭의 2.8배). 4,250회차부터 최종까지 13개 지점은 28.45~39.91% 안에서 뚜렷한 추세 없이 오르내립니다(5,000회차 39.91 → 6,500회차 28.45 → 7,000회차 34.11). 판정 창 평균 34.95%와 마지막 4개 평균 30.84%의 차이 4.1%p는 재현 폭과 같은 크기여서 7,248회차까지 더 내려갔다고는 말할 수 없습니다. 경과 6,000회차의 32.68%는 6,000회차까지 돌린 v5·v7·v8·v9의 같은 지점(4.2 / 6.2 / 4.4 / 6.0%)의 5배 이상이고 참조 정책(평지 보행 제로샷, v12 id) 4.43%의 7배입니다. 즉 v4식 후퇴는 아니지만 10월 8일의 48%(앵커 52.5%) 수준도 유지되지 않았습니다. 학습 로그는 "낮게·안전하게 뛰기"로 옮겨갔음을 보입니다. 500회차 구간 평균으로 학습 에피소드의 낙상 종료 횟수는 1.66(3,500~3,999) → 0.38 → 1.05 → 0.12 → 0.06 → 0.05 → 0.06 → 0.08(7,000~7,248), 평균 보상은 −16.1 → 44.5 → 10.3 → 71.0 → 97.8 → 100.6 → 100.9 → 95.7입니다. 평균 최고 높이는 0.0158m(3,749회차) → 0.0124(4,000) → 0.0096(4,500) → 0.0071(6,000) → 0.0072m(7,248), 평균 체공은 0.057 → 0.029초, 행동 표준편차는 1.50 → 0.86입니다. 10월 8일 후반의 "높이 뛰며 자주 넘어지는" 정책(낙상 5.25, 보상 −34)이 −500 벌점 아래서 낙상을 거의 0으로 줄이고 보상을 +100 근처로 올렸지만 그 대가로 최고 높이와 체공이 절반이 됐습니다. 평가도 같은 방향입니다: 체공 50.7 → 32.1ms, 평균 상승 0.82 → 0.55cm, 최대 상승 3.04 → 2.27cm, 착지 힘 31.3 → 24.2N.
개선 사항1. 실험 변수와 측정된 효과. 바꾼 것은 학습 예산(이어 학습 3,500회차)뿐입니다. 효과: 유효 점프는 앵커 52.54%(10월 8일 48.37%)에서 최종 30.99%로, 마지막 4개 평균은 50.20%(10월 8일)에서 30.84%로 내려갔고, 낙상률은 0.33 → 0.20%로 낮아졌으며 상승 높이·체공은 줄었습니다. 사전 등록한 유지 기준(40%)도 후퇴 기준(25%)도 넘지 않았으므로 "개선됐다"고도 "후퇴했다"고도 적지 않습니다 — 수치 변화만 적습니다. 2. 가설 판정의 현재 위치. 10월 8일에 "기준선 후보(시드 1회, 학습 곡선 미수렴)"로 적은 v12의 48%는 −500 벌점 아래의 정상 상태가 아니었습니다. 이어 학습하면 28~40% 띠로 내려앉고 그 띠에서 수평입니다. 이는 "3,500~3,749회차의 48~58%는 벌점 −300 아래의 과도 상태였고 −500 아래의 정상 상태는 28~40%"라는 해석과 일치합니다. 다만 v1~v11이 모두 수렴했던 4~7% 띠로는 가지 않았으므로 커리큘럼 고정(10월 8일 H4)의 효과 자체는 남아 있습니다. 기준선 후보의 수치는 "48%(3,750회차)"에서 "경과 6,000회차 32.68%, 마지막 4개 평균 30.84%(−500 벌점 하 정상 상태)"로 고쳐 적습니다. 3. 분리되지 않은 요인. 3,750 → 4,000회차의 감소(−11.5%p)에는 두 가지가 함께 들어갔습니다: (a) 낙상 벌점 −500 단계(10월 8일 밤에는 249회차뿐이었음), (b) 이어 학습 자체 — 옵티마이저 상태는 복원되지만 환경이 새로 만들어져 관측 정규화·롤아웃 버퍼·리셋 순서가 원래 실행의 연속이 아닙니다. 어느 쪽이 원인인지는 같은 체크포인트를 벌점 −300 고정으로 이어 돌리는 대조 실행이 있어야 갈립니다(5항). 시드는 1회이고, v12 계열은 머리 명령 범위 ±0.07 rad에서만 학습·평가됐습니다(10월 8일과 같음). 4. 측정 메모(아래 "측정 오류" 절에 추가). 같은 체크포인트·같은 태스크 id·같은 평가 시드·같은 평가기로 하루 차이를 두고 다시 재니 48.37 → 52.54%(+4.17%p)였습니다. 10월 7일에 참조 정책으로 잰 재현 폭은 약 0.5%p였는데 그것은 4~6% 수준의 값이었고, 50% 수준에서는 4%p까지 벌어집니다(신호 1,536회의 이항 표준오차만으로 약 1.3%p; 나머지는 리셋·잡음 난수의 비결정성으로 보이나 분리되지 않았습니다). 10월 8일 기록의 "3,500 → 3,749회차 감소(57.81 → 48.37%)"는 이 폭의 2배가 조금 넘는 수준이어서 당시 "확인되지 않았다"고 적은 것이 맞았습니다. 앞으로 계획서의 지지/반박 기준 간격은 재현 폭의 2배(약 8%p) 이상으로 잡고, 앵커 재채점을 매 밤 포함합니다. 5. 다음에 바꿀 한 가지. 벌점 상한을 −300으로 고정한 변형(v14 = v12 구성에서 벌점 커리큘럼의 −500 단계를 제거)으로, 같은 체크포인트(3,749회차)에서 같은 이어 학습 절차로 3,500회차를 돌립니다. 같은 체크포인트·같은 재개 절차에서 벌점만 다르므로 3항의 (a)와 (b)가 갈립니다. 대조군은 오늘 실행의 같은 경과 값(판정 창 평균 34.95%, 마지막 4개 평균 30.84%, 3,750 → 4,000회차 −11.5%p)과 앵커입니다. 사전 등록 초안: 경과 5,250~6,000회차 평균 ≥ 43%(오늘 34.95% + 재현 폭 2배)이면 "−500 단계가 원인", ≤ 39%이면 "원인 아님(이어 학습 자체 또는 자연 표류)", 낙상률 ≤ 2%는 유지. 새 태스크 id로 등록해 기존 id의 동작은 바꾸지 않습니다. 그 다음은 v13(행동 변화율 벌점 커리큘럼만 되살려 원인 항목 분리), 그 뒤 시드 44입니다. 6. 바뀌지 않은 것. 시드는 여전히 1회입니다. 상승 높이는 1cm 미만이고 최대 상승 2.27cm는 10월 8일(3.75cm)보다 낮습니다. 평가는 제자리 조건뿐이며 주행 조건은 재지 않았습니다. 영상은 계획대로 생략해 이번에도 없습니다. 실제 로봇에서 검증한 것은 없습니다.
실험 설정PPO · Mjlab-Jump-Stand-v12-MicroDuck(10월 8일과 같은 id·같은 구성) · 이어 학습 3,500회차(경과 3,749 → 7,248; 처음으로 v5~v9의 6,000회차를 넘는 경과, 6,000회차 체크포인트 포함) · 4,096개 환경 · 시드 43 · 초기 정책 2026-10-08_00-08-25_jump_stand_v12_s43/model_3749(--agent.resume True, 옵티마이저·회차 번호 복원) · 커리큘럼 원점 고정 플래그 LAB_CURRICULUM_ORIGIN=0(lab_tasks/lab_runner.py, 미설정 시 기존 동작) · 낙상 벌점 −500 전 회차(동결 커리큘럼 5개·정점 배율 0.06 유지) · 대조군 10월 8일 v12 곡선(reports/jump_eval_v12_dense.csv)과 앵커 재채점, 6,000회차 실행 v5·v7·v8·v9의 경과 5,996 값 · 실행 2026-10-09_00-09-59_jump_stand_v12_s43_ext, 체크포인트 15개
계획서 experiments/plans/20261009-extend-v12.yaml, 판정 보고서 experiments/reports/20261009-extend-v12.md, 재채점 결과 reports/jump_eval_v12ext_dense.csv(앵커 행 포함 16행), 학습 로그 logs/train_jump_stand_v12_s43_ext.log(커리큘럼·높이·체공·낙상·보상 값), 실행 로그 logs/nightly_2026-10-09_run.log(원점·벌점 검사), 검증 실행 로그 logs/smoke_20261009_extend-v12.log, 런처 nightly/2026-10-09/tonight.sh, 테스트 tests/test_extend_v12.py. 참고 자료: arXiv 2302.09450(다단계 훈련 — 앞 단계 정책을 이어받아 같은 과제에서 계속 학습), arXiv 2606.18625(SLIP 피드포워드 + RL 점프, 보상 구조 축의 후보), microduck_rl 커밋(점프·재개 관련 신규 커밋 없음), Hugging Face 'microduck' 검색(새 점프 정책 없음). 모두 시뮬레이션 보고입니다.

2026-10-12

v14 = v12 구성에서 낙상 벌점 상한을 −300으로(−500 단계 제거), 같은 3,749회차 체크포인트에서 같은 절차로 이어 학습(경과 3,749 → 7,248회차): 판정 창(5,250~6,000회차) 평균 35.48%로 −500 조건(34.95%)과 차이 없음 — 사전 등록 기준 반박("−500 단계가 감소의 원인" 아님). 판정 창 밖에서 6,500회차 이후 31.5 → 54.5%로 상승, 최종 54.49%(시드 1회)

수행 내용10월 9일 기록의 다음 후보였던 "벌점 상한 −300 고정 변형"입니다. 10월 9일에 v12를 이어 돌렸을 때 첫 250회차에 50.98 → 39.45%로 내려간 뒤 28~40% 띠에 머문 원인으로 두 가지가 겹쳐 있었습니다: (a) 이어 학습 시점부터 걸린 낙상 벌점 −500 단계, (b) 이어 학습 자체(환경이 새로 만들어져 리셋·잡음 난수와 롤아웃 버퍼가 원래 실행의 연속이 아님). 이 둘을 가르기 위해 바꾼 것은 벌점 커리큘럼의 마지막 단계 하나입니다. 새 태스크 id Mjlab-Jump-Stand-v14-MicroDuck은 v12 구성과 똑같되 낙상 벌점 커리큘럼이 0 → −100 → −300에서 멈추고 −500 단계가 없습니다(환경 구성 함수에 상한 인자 하나를 추가해 가중치가 상한 이상인 단계만 남김; 기존 id의 동작은 바꾸지 않았고 CPU 테스트 59개로 v12 불변·관측·행동·보상 항 동일을 확인). 초기 정책·재개 절차·환경 수·시드·동결 커리큘럼 5개·평가기는 10월 9일과 같습니다(10월 8일 v12 실행의 3,749회차 체크포인트, 옵티마이저·회차 번호 복원, 커리큘럼 원점 고정 플래그). 짧은 검증 실행(64개 환경 × 5회차)에서 첫 회차부터 벌점 −300·−500 없음·회차 번호 3,749부터를 확인했습니다. 가설과 사전 등록 기준. H6(벌점 단계가 원인): 같은 체크포인트를 벌점 −300에서 이어 돌리면 48~52% 수준이 유지된다. 대안 H6-null(이어 학습 자체가 원인): −300에서도 같은 28~40% 띠로 내려간다. 기준: 경과 5,250~6,000회차 4개 평균 ≥ 43%(10월 9일 34.95% + 재현 폭 4.17%p의 2배)이고 최종 낙상률 ≤ 2%이면 H6 지지, 4개 평균 ≤ 39%(재현 폭 안)이면 반박, 그 사이는 판단보류. 첫 250회차 변화량은 판정에 쓰지 않고 관측으로만 기록(재현 폭 안이면 "−500과 함께 사라짐", 8%p 이상이면 "이어 학습 자체에 감소 요인"). "개선됐다"는 최종 ≥ 57%일 때만. 앵커(3,749회차 체크포인트 재채점)가 10월 8일 48.37%·10월 9일 52.54% 둘 다와 3%p 넘게 다르면 새 재현 폭을 적용하기로 했습니다. 00:09부터 02:31까지 3,500회차(3,749 → 7,248; 10월 9일과 같은 경과)를 학습했습니다(정상 종료, NaN 없음, 회차당 2.47초, 학습 로그의 벌점 가중치 3,500회차 모두 −300.0000, −500 0회). 02:32~02:38에 앵커 1개 + 새 체크포인트 15개 = 16개를 전량 재채점했습니다(512개 환경 × 1에피소드 = 점프 신호 1,536회, 제자리 조건, 평가 시드 1000). 재생 영상은 계획대로 생략했습니다.
관측 결과경과 회차별 유효 점프 비율(%). "3,749 앵커"는 10월 8일 실행의 마지막 체크포인트를 오늘 밤 v14 id로 다시 잰 값이고 괄호 안이 10월 8일 / 10월 9일 밤의 값입니다. 둘째 행은 10월 9일 실행(벌점 −500)의 같은 경과 값입니다.
경과 회차3,749 앵커3,7504,0004,2504,5004,7505,0005,2505,5005,7506,0006,2506,5006,7507,000최종 7,248
v14 (벌점 −300)50.78 (48.37 / 52.54)51.3029.0432.8830.8643.7540.9539.3232.9434.6435.0332.0331.5141.6047.7954.49
10월 9일 v12 이어 학습 (벌점 −500)52.5450.9839.4535.4833.6638.8039.9136.2038.1532.7532.6835.2928.4529.8234.1130.99
v14 신호당 낙상률 (%)0.070.330.130.260.330.390.070.330.070.000.130.720.260.260.130.33
v14 체공 시간 (ms)48.953.830.834.133.936.037.235.331.034.532.735.932.135.140.948.8
사전 등록 조건 대조. 판정 창(경과 5,250~6,000회차) 4개 평균은 35.48%(39.32, 32.94, 34.64, 35.03)로 지지 기준 43%에 미치지 못하고 반박 기준 39% 아래입니다 → 반박. 10월 9일(−500)의 같은 창 34.95%와 0.53%p 차이로 재현 폭 안입니다. 최종 낙상률 0.33%는 2% 안(지지 조건 (2)만 충족). 첫 250회차 변화량은 51.30 → 29.04%, −22.3%p로 10월 9일(−11.5%p)보다 컸습니다 — 8%p를 넘으므로 "이어 학습 자체에 감소 요인이 있다"에 해당합니다(판정에는 쓰지 않음). 앵커 재채점 50.78%는 48.37%·52.54%와 각각 +2.41 / −1.76%p로 둘 다 3%p 안이므로 재현 폭 4.17%p를 그대로 둡니다. "개선" 조건(최종 ≥ 57%)은 미충족입니다. 조건은 사후에 바꾸지 않았습니다. 시드 1회이므로 재현성은 주장하지 않습니다. 곡선이 말하는 것. 경과 4,000~6,500회차의 11개 지점은 29.0~43.8%로 10월 9일의 같은 구간(28.5~39.9%)과 겹칩니다. 즉 벌점을 −300에 두어도 이어 학습 직후의 감소와 그 뒤의 띠는 그대로 나왔고 감소 폭은 오히려 컸습니다. 그런데 경과 6,500회차부터는 두 실행이 갈립니다: v14는 31.51 → 41.60 → 47.79 → 54.49%로 세 번 연속 올라 마지막 4개 평균 43.85%(10월 9일 30.84%, 차이 13.0%p로 재현 폭의 3배)를 기록했고, −500 조건은 28~34%에 머물렀습니다. 이 상승은 사전 등록한 판정 창 밖이고, 최종값이 상승 중의 끝점이어서 이 수준이 유지되는지는 알 수 없습니다. 10월 8일의 3,500 → 3,749회차(57.8 → 48.4%)와 같은 과도 상태일 가능성이 있습니다. 학습 로그는 "안전하게 수렴 → 다시 탐색"의 왕복 두 번을 보입니다. 500회차 구간 평균으로 학습 에피소드의 낙상 종료 횟수는 0.52(3,500~3,999) → 0.19 → 1.13(4,500~4,999) → 0.16 → 0.08 → 0.10 → 0.96(6,500~6,999) → 4.15(7,000~7,248; 마지막 10회차 7.9~10.2)입니다. 평균 최고 높이는 0.0158m(3,749회차) → 0.0079(4,000) → 0.0107(5,000) → 0.0070(6,000) → 0.0125(7,000) → 0.0149m(7,248), 평균 체공은 0.057 → 0.032 → 0.028 → 0.055초, 행동 표준편차는 1.50 → 0.88 → 0.83(6,000) → 1.92(7,248)입니다. 10월 9일(−500)에서는 낙상이 0.05~0.08로 내려간 뒤 끝까지 그대로였고 최고 높이도 0.0072m에 머물렀습니다. −300에서는 4,500~5,000회차와 6,500~7,248회차에 낙상·높이·행동 표준편차가 다시 올라갔고, 두 구간이 평가 곡선의 두 상승(4,750회차 43.75%, 6,750~7,248회차)과 겹칩니다. 또 평균 보상이 −1,000 아래로 떨어진 회차가 14회 있었습니다(최소 −7.36×10⁶; 수치 NaN은 0, 평가 곡선에 끊김 없음). 10월 9일 로그에는 0회였고 모두 낙상이 다시 늘어난 구간에 있습니다 — 어느 보상 항이 폭주했는지는 분리하지 않았습니다.
개선 사항1. 실험 변수와 측정된 효과. 바꾼 것은 낙상 벌점 커리큘럼의 마지막 단계(−500 → 없음, −300 유지)뿐입니다. 사전 등록한 1차 지표(판정 창 평균)에서는 효과가 없었습니다: 35.48% 대 34.95%. 첫 250회차 감소도 사라지지 않았습니다(−22.3%p). 따라서 10월 9일 3항의 두 요인 중 (a) −500 단계는 원인이 아니고, (b) 이어 학습 자체(또는 벌점 수준과 무관한 다른 요인)가 원인입니다. "개선됐다"는 쓰지 않습니다 — 최종 54.49%는 '개선' 조건 57%에 미치지 못하고 판정 창 밖의 값입니다. 2. 가설 판정의 현재 위치. 10월 9일에 "−500 아래의 정상 상태는 28~40%"로 적었던 해석은 절반만 남습니다. 28~40% 띠는 −300에서도 같은 자리에 나왔으므로 벌점 수준이 만든 것이 아니라 이어 학습 뒤 정책이 "낮게·안전하게" 옮겨간 결과입니다. 반면 그 띠에서 다시 올라오는지는 벌점 수준에 따라 달랐습니다: −500에서는 3,500회차 동안 한 번도 없었고, −300에서는 두 번 탐색이 되살아나 최종 54.49%에 이르렀습니다. 이것은 새 가설(H7: 벌점 수준은 이어 학습 직후의 감소가 아니라 그 뒤 회복 가능성에 작용)이며, 오늘 데이터(시드 1회, 이어 학습 1회, 판정 창 밖)로는 판정할 수 없습니다. 기준선 후보의 수치는 "−300 벌점에서 경과 7,248회차 54.49%(마지막 4개 평균 43.85%, 상승 중의 끝점, 유지 미확인)"로 적습니다. 3. 분리되지 않은 요인. 이어 학습 직후 감소의 메커니즘(환경 재생성으로 리셋·잡음 난수가 새로 시작, 롤아웃 버퍼 공백, 학습률 스케줄의 복원 여부)은 가르지 못했습니다. 시드 1회·이어 학습 1회입니다. 최종 상승이 유지되는지, −300과 −500 사이의 다른 값은 어떤지 보지 않았습니다. v12·v14 계열은 머리 명령 범위 ±0.07 rad에서만 학습·평가됐습니다. 학습 로그의 낙상 재상승(회차당 4~10회)과 평가 낙상률 0.33%의 괴리는 평가 조건(명령 범위·리셋 분포가 좁음)의 차이로 보이나 확인되지 않았습니다. 4. 측정 메모. 같은 체크포인트(3,749회차)를 세 밤에 걸쳐 재니 48.37 / 52.54 / 50.78%였습니다(v12 id 두 번, v14 id 한 번; 평가기는 보상 가중치를 쓰지 않으므로 두 id의 평가 조건은 같음). 세 값의 범위 4.17%p는 50% 수준에서의 평가 잡음으로, 앞으로도 기준 간격 8%p 이상·앵커 재채점 매 밤을 유지합니다. 10월 12일 값은 기존 두 값 사이에 있어 재현 폭을 바꾸지 않았습니다. 5. 다음에 바꿀 한 가지. v14를 7,248회차 체크포인트에서 같은 id·같은 절차로 3,500회차 더 이어 돌립니다(2일차, 10월 4일에 정한 이틀 밤 규칙). 변수는 더하지 않습니다. 질문 두 가지: (a) 마지막 750회차의 상승이 유지되는지 — 사전 등록 초안은 경과 9,000~9,750회차 4개 평균 ≥ 48%(마지막 4개 평균 43.85% + 재현 폭)이면 유지, ≤ 39%(10월 9일의 띠)이면 후퇴, 낙상률 ≤ 2% 유지; (b) 이어 학습 직후 감소가 두 번째 이어 학습에서도 나타나는지 — 7,250 → 7,500회차 변화량이 −8%p 이하이면 재현, 재현 폭 안이면 미재현. 앵커는 7,248회차 체크포인트의 재채점입니다. 이어 학습 감소의 원인 분리(같은 체크포인트를 시드 44로 재개, 또는 첫 250회차 학습률 0)는 그 뒤, v13과 시드 44는 그 다음입니다. 6. 바뀌지 않은 것. 시드는 1회입니다. 평균 상승 높이는 1cm 미만(0.72cm)이고 최대 상승 2.38cm는 10월 8일(3.75cm)보다 낮습니다. 평가는 제자리 조건뿐이며 주행 조건은 재지 않았습니다. 영상은 계획대로 생략했습니다. 실제 로봇에서 검증한 것은 없습니다.
실험 설정PPO · Mjlab-Jump-Stand-v14-MicroDuck(새 id: v12 구성 + 낙상 벌점 커리큘럼 상한 −300, 단계 0/−100/−300 at 0/1,500/2,500회차, −500 단계 없음; 기존 id 불변) · 이어 학습 3,500회차(경과 3,749 → 7,248, 10월 9일과 같은 경과) · 4,096개 환경 · 시드 43 · 초기 정책 2026-10-08_00-08-25_jump_stand_v12_s43/model_3749(--agent.resume True, 옵티마이저·회차 번호 복원) · 커리큘럼 원점 고정 플래그 LAB_CURRICULUM_ORIGIN=0 · 낙상 벌점 −300 전 회차(동결 커리큘럼 5개·정점 배율 0.06 유지) · 대조군 10월 9일 실행 2026-10-09_00-09-59_jump_stand_v12_s43_ext의 같은 경과 값(reports/jump_eval_v12ext_dense.csv)과 앵커 재채점 · 실행 2026-10-12_00-09-18_jump_stand_v14_s43, 체크포인트 15개
계획서 experiments/plans/20261012-penalty-cap-300.yaml, 판정 보고서 experiments/reports/20261012-penalty-cap-300.md, 재채점 결과 reports/jump_eval_v14_dense.csv(앵커 행 포함 16행), 학습 로그 logs/train_jump_stand_v14_s43.log(커리큘럼·높이·체공·낙상·보상 값), 실행 로그 logs/nightly_2026-10-12_run.log·logs/jump_stand_v14_s43_run.log, 검증 실행 로그 logs/smoke_20261012_penalty-cap-300.log, 테스트 tests/test_penalty_cap_300.py, 런처 nightly/2026-10-12/tonight.sh. 참고 자료: arXiv 2403.18765(CaT — 제약 벌점 가중치가 너무 크면 로봇이 움직이지 않음), arXiv 2302.09450(다단계 훈련), microduck_rl 커밋(점프·벌점·재개 관련 신규 커밋 없음), Hugging Face 'microduck' 검색(새 점프 정책 없음; pollen-robotics/microduck-policies는 보행·기립 등만). 모두 시뮬레이션 보고입니다.

2026-10-13

v14 2일차: 10월 12일의 7,248회차 체크포인트(유효 점프 54.49%)에서 같은 id·같은 절차로 이어 학습(경과 7,248 → 10,750회차) — 이어 학습 직후 250회차 안에 정책이 붕괴해 7,500회차부터 유효 점프 0%, 신호당 낙상 100%, 끝까지 복구 없음. 사전 등록 기준 반박("상승이 −300 아래서 유지되는 회복" 아님). 시드 1회

수행 내용10월 12일 기록의 다음 후보 (1)이자 10월 4일에 정한 "6,000회차가 필요한 실험은 이틀 밤에 나눈다" 규칙의 2일차입니다. 10월 12일 실행은 판정 창 밖인 6,500 → 7,248회차에서 31.5 → 54.5%로 올라선 채 끝났고, 그 값이 "−300 벌점 아래서 유지되는 회복"인지(H7) "탐색 재개 중의 일시적 고점"인지(H7-null)를 가르려면 그 체크포인트에서 더 돌려야 했습니다. 바꾼 것은 학습 회차의 연장뿐입니다. 태스크 id Mjlab-Jump-Stand-v14-MicroDuck, 환경 구성, 플래그, 시드 43, 4,096개 환경, 평가기 모두 10월 12일과 같고, 코드는 한 줄도 바꾸지 않았습니다. 시작 정책은 10월 12일 실행의 마지막 체크포인트 model_7248이고 재개 절차(러너 LabJumpRunner, 커리큘럼 원점 고정 LAB_CURRICULUM_ORIGIN=0, --agent.resume True로 옵티마이저·회차 번호 복원)도 10월 9일·12일과 같습니다. 가설과 사전 등록 기준. H7: 10월 12일 마지막 750회차의 상승이 −300 아래서 유지되는 회복이면 경과 9,000~9,750회차 4개 평균이 48% 이상(마지막 4개 평균 43.85% + 재현 폭 4.17%p)이고 최종 낙상률 ≤ 2%로 유지된다 → 지지. 4개 평균 ≤ 39%(10월 9일·12일의 28~40% 띠로 복귀)이면 반박, 그 사이는 판단보류. 이어 학습 직후 250회차(7,250 → 7,500) 변화량은 판정에 쓰지 않고 관측으로만 기록(−8%p 이하이면 "이어 학습 감소 3회째 재현", 재현 폭 안이면 "미재현"). "개선"은 최종 ≥ 59%일 때만. 앵커는 7,248회차 체크포인트의 재채점이고 10월 12일 값 54.49%와 4.17%p 넘게 다르면 새 재현 폭을 적용합니다. 조건은 사후에 바꾸지 않았습니다. 00:08부터 03:35까지 학습했습니다. 예산 3,750회차(목표 경과 10,998)였으나 회차당 3.4초(10월 12일 2.47초)로 느려져 03:35 마감에 10,801회차에서 중단(타임아웃)됐고, 250회차 간격 저장분 중 마지막인 10,750회차가 최종 체크포인트입니다(경과 7,248 → 10,750, +3,502회차; NaN 없음; 벌점 가중치 3,554회차 모두 −300.0000, −500 0회; 동결 커리큘럼 5개·정점 배율 0.06 전 회차 고정; 원점 고정 줄 "common_step_counter=174000" 확인). 03:35부터 앵커 1개 + 새 체크포인트 15개를 5개씩 4부로 나눠 재채점했습니다(512개 환경 × 1에피소드 = 점프 신호 1,536회, 제자리 조건, 평가 시드 1000). 이 글을 쓰는 03:48에는 1부(앵커, 7,250, 7,500, 7,750, 8,000)만 CSV로 확정되고 2부가 진행 중이었습니다 — 넘어지는 정책은 리셋이 많아 채점이 느립니다. 나머지 값은 평가가 끝나면 reports/jump_eval_v14d2_dense.csv에 자동 병합되며 다음 기록에서 확정값을 적습니다. 2026-10-15 정정. 평가가 04:01 세션 종료 전에 끝나지 않아 병합 CSV는 만들어지지 않았습니다(1부 5행만 확정). 8,250·8,500·8,750회차는 평가기 표준출력 값(0.0 / 0.1 / 0.0%)이고, 판정 창 9,000~9,750회차와 최종 10,750회차는 채점되지 않은 채로 남습니다. 판정(반박)은 학습 로그의 낙상 628~647/회차 상태에 근거하며 바뀌지 않습니다.
관측 결과경과 회차별 유효 점프 비율(%)과 신호당 낙상률(%). "7,248 앵커"는 10월 12일 실행의 마지막 체크포인트를 오늘 밤 다시 잰 값이고 괄호 안이 10월 12일 밤의 값입니다. 8,250~8,750은 평가기 표준출력에서 읽은 값(CSV 미확정), 9,000 이후는 보고 시점에 채점 전입니다.
경과 회차7,248 앵커7,2507,5007,7508,0008,2508,5008,7509,000~9,750 (판정 창)10,000~10,500최종 10,750
유효 점프 (%)54.43 (54.49)52.730.000.000.000.00.10.0채점 전채점 전채점 전
신호당 낙상률 (%)0.330.39100.00100.00100.00100.099.8100.0채점 전채점 전채점 전
체공 시간 (ms)48.746.70.00.00.00300———
학습 로그는 붕괴를 회차 단위로 보여 줍니다(회차: 회차당 낙상 종료 횟수 / 평균 에피소드 길이(스텝) / 평균 보상 / 행동 표준편차). 7,249: 8.0 / 33.1 / −24.9 / 1.92 → 7,300: 168 / 25.8 / −24.2 / 2.10 → 7,400: 337 / 13.3 / −14.8 / 2.30 → 7,500: 362 / 11.5 / −11.8 / 2.31 → 7,750: 489 / 8.1 → 8,000: 587 / 7.0 / −11.2 / 2.51 → 8,500: 647 / 6.8 / −8.3 / 1.60 → 9,000: 643 / 6.7 / −8.0 / 1.39 → 10,000: 631 / 6.7 / −7.8 / 1.36 → 10,750: 628 / 6.7 / −7.3 / 1.30 → 10,801: 630 / 6.3 / −7.3 / 1.30. 8,500회차부터 끝까지 4,096개 환경 거의 전부가 매 에피소드 6~7스텝 만에 넘어졌습니다. 판정 창(9,000~9,750)과 최종 체크포인트는 모두 이 구간 안에 있습니다. 평균 보상이 −25 → −7로 "오른" 것은 에피소드가 짧아져 다른 벌점의 누적이 줄어든 결과이며 성능 향상이 아닙니다. 로그의 평균 최고 높이 0.014 → 0.104m와 평가기의 jump_rate 100%는 넘어지며 몸통·발이 뜨는 구간이 잡힌 값으로, 10월 6일 측정 메모와 같은 종류의 오판입니다. 판정에는 clean_jump_rate(유효 점프)만 썼습니다. 사전 등록 조건 대조. 판정 창의 CSV 값은 보고 시점에 확정되지 않았으나, CSV로 확정된 7,500~8,000과 표준출력의 8,250~8,750이 모두 0.0~0.1%이고 학습 로그가 9,000~10,801회차 전 구간에서 낙상 628~647/회차로 같은 상태를 보이므로, 창 평균이 반박 기준 39% 아래라는 판정은 바뀌지 않습니다 → 반박(확정값은 다음 기록에 적음). 지지 조건 (1) ≥ 48%, (2) 최종 낙상 ≤ 2%는 둘 다 미충족입니다. 이어 학습 첫 250회차 변화량은 52.73 → 0.00%, −52.7%p로 10월 9일(−11.5)·12일(−22.3)에 이어 세 번째 재현이며, 이번에는 띠로 내려앉는 것이 아니라 붕괴였습니다. 앵커 재채점 54.43%는 54.49%와 0.06%p 차이로 재현 폭 4.17%p를 그대로 둡니다. "개선" 조건은 당연히 미충족입니다. 시드 1회이므로 재현성은 주장할 수 없습니다.
개선 사항1. 실험 변수와 측정된 효과. 바꾼 것은 학습 회차의 연장(이어 학습 1회 추가)뿐입니다. 효과는 "유지"가 아니라 붕괴였습니다: 유효 점프 54.49% → 0%, 낙상 0.33% → 100%. 10월 12일의 최종 54.49%는 적어도 이어 학습을 거치면 유지되지 않는 값이며, 이어 학습 없이 그대로 돌렸을 때 유지됐을지는 이 설계로는 알 수 없습니다(이틀 밤 분할에서는 이어 학습 사건이 항상 끼어듭니다). "개선됐다"고 쓰지 않습니다. 2. 가설 판정의 현재 위치. H7("벌점 수준이 이어 학습 뒤의 회복을 좌우한다")은 반박됐습니다 — −300에서도 회복이 유지되지 않았고 오히려 붕괴했습니다. 대신 세 밤의 관측이 한 방향을 가리킵니다: 이어 학습 직후 250회차의 감소가 세 번 모두 났고(−11.5 / −22.3 / −52.7%p), 크기는 시작 체크포인트의 상태에 따라 달랐습니다. 10월 9일·12일의 시작점(3,749회차)은 낙상 0.5/회차·행동 표준편차 1.5의 안정 상태였고 감소 뒤 띠에 안착했지만, 오늘의 시작점(7,248회차)은 10월 12일 기록에서 "탐색이 되살아난" 상태(낙상 4~10/회차, 행동 표준편차 1.92)였고 거기에 이어 학습 사건이 겹치자 낙상이 전 환경으로 퍼졌습니다. −300 벌점은 이것을 막지 못했습니다 — 모든 에피소드가 넘어지면 벌점이 "어떤 행동이 낙상을 만드는지"를 가르는 신호가 되지 못하고 회차당 −0.31~−0.42의 상수가 됩니다(학습 로그의 낙상 벌점 항). 이것은 가설이며 시드 1회·이어 학습 1회의 관측으로 확정할 수 없습니다. 3. 분리되지 않은 요인. 이어 학습 직후 감소의 메커니즘(환경 재생성으로 리셋·잡음 난수가 새로 시작, 롤아웃 버퍼 공백, 학습률 스케줄 복원 여부)은 여전히 가르지 못했습니다. 옵티마이저 상태는 체크포인트에 저장·복원되므로(키 optimizer_state_dict 확인) Adam 모멘트 초기화는 원인에서 제외됩니다. 시작 체크포인트의 "탐색 중" 상태가 붕괴의 필요조건인지는 다른 체크포인트로 재개해 보기 전에는 모릅니다. 시드 1회입니다. 4. 측정·운영 메모. (a) 회차당 시간이 2.47초(10월 12일) → 3.4초로 늘어 예산 산식(2.9초 가정)이 깨지고 타임아웃이 났습니다. 넘어지는 정책은 에피소드가 짧아 리셋이 잦고, 그것이 원인으로 보이나 분리되지 않았습니다. 다음 계획서부터 산식의 회차당 시간을 직전 실행의 실측값 또는 3.5초 중 큰 쪽으로 잡습니다. (b) 넘어지는 정책의 재채점도 느립니다(1부 5개 4분, 2부는 03:38부터 03:48까지 3개). 재채점 예산 1,500초는 안정 정책 기준이었습니다. (c) 같은 체크포인트(7,248회차) 재채점 54.49 → 54.43%: 50% 수준에서 하루 차이 0.06%p로, 10월 8일·9일의 4.17%p와 함께 재현 폭의 범위(0.06~4.17%p)를 보여 줍니다. 기준 간격 8%p 이상·앵커 매 밤 재채점은 유지합니다. 5. 다음에 바꿀 한 가지. 이어 학습 메커니즘 검정. 세 번 연속 재현된 이어 학습 직후 감소를 직접 가릅니다. 10월 8일 v12의 3,749회차 체크포인트(안정 상태, 48~52%)를 v14 id로 재개하되 첫 250회차의 학습률을 0으로 두어(정책은 고정, 롤아웃·관측 정규화만 다시 채움) 감소가 "환경 재생성 뒤 첫 업데이트"에서 오는지 봅니다. 사전 등록 초안: 3,750 → 4,000회차 변화량이 재현 폭 4.17%p 안이면 "학습률 0으로 사라짐"(지지), −8%p 이하이면 "학습 업데이트와 무관"(반박). 대조군은 10월 9일·12일의 같은 구간(−11.5 / −22.3%p). 러너의 학습률 스케줄 복원 코드를 먼저 확인합니다(구현이 어렵면 대안: 같은 체크포인트를 시드 44로 재개). 그다음 후보는 v14 레시피를 무작위 초기화에서 이어 학습 없이 돌리는 v14-scratch(하룻밤 예산으로는 분할이 필요하므로 메커니즘 검정 뒤), v12 시드 44, v13(행동 변화율 커리큘럼만 복원). 6. 바뀌지 않은 것. 기준선 후보는 여전히 10월 12일 7,248회차 체크포인트(54.49 / 54.43%)와 10월 8일 3,749회차 체크포인트(48.37 / 52.54 / 50.78%)이며, 둘 다 이어 학습을 거치면 유지되지 않았습니다. 시드는 1회입니다. 평가는 제자리 조건뿐입니다. 영상은 계획대로 생략했습니다. 실제 로봇에서 검증한 것은 없습니다.
실험 설정PPO · Mjlab-Jump-Stand-v14-MicroDuck(10월 12일과 같은 id; 코드·구성 무수정) · 이어 학습 2일차, 예산 3,750회차 중 10,801회차에서 타임아웃, 최종 체크포인트 10,750(경과 7,248 → 10,750) · 4,096개 환경 · 시드 43 · 초기 정책 2026-10-12_00-09-18_jump_stand_v14_s43/model_7248(--agent.resume True, 옵티마이저·회차 번호 복원) · 커리큘럼 원점 고정 플래그 LAB_CURRICULUM_ORIGIN=0(common_step_counter 174,000) · 낙상 벌점 −300 전 회차(동결 커리큘럼 5개·정점 배율 0.06 유지) · 대조군 앵커 재채점과 10월 12일 1일차 곡선(reports/jump_eval_v14_dense.csv) · 실행 2026-10-13_00-08-36_jump_stand_v14_s43_d2, 체크포인트 15개
계획서 experiments/plans/20261013-v14-day2.yaml, 판정 보고서 experiments/reports/20261013-v14-day2.md, 재채점 결과 reports/jump_eval_v14d2_dense.csv(앵커 행 포함; 보고 시점 1부 5행 확정, 나머지 자동 병합), 평가 로그 logs/eval_jump_stand_v14_s43_d2_dense.log, 학습 로그 logs/train_jump_stand_v14_s43_d2.log(커리큘럼·낙상·높이·보상 값), 실행 로그 logs/nightly_2026-10-13_run.log, 검증 실행 로그 logs/smoke_20261013_v14-day2.log, 테스트 tests/test_v14_day2.py, 런처 nightly/2026-10-13/tonight.sh. 참고 자료: google/brax #655(체크포인트 복원 뒤 성능 하락 — 옵티마이저 미저장 사례; 본 실험에는 해당 없음), arXiv 2302.09450(다단계 이어 학습), microduck_rl 커밋(점프·재개 관련 신규 커밋 없음), Hugging Face 'microduck' 검색(새 점프 정책 없음). 모두 시뮬레이션 보고입니다.

2026-10-15

이어 학습 사건 검정: 10월 8일 v12의 3,250회차 체크포인트(유효 점프 50.52%)에서 같은 id·같은 절차로 이어 학습해(경과 3,250 → 6,499회차), 원래 실행이 이어 학습 없이 지나간 3,500·3,749회차와 직접 비교 — 판정값 59.28% 대 대조군 54.19%로 사전 등록 기준 반박(이어 학습 자체는 체계적 감소를 만들지 않음). 인접 체크포인트 간 변동 ±15~30%p. 시드 1회

수행 내용10월 13일 기록의 다음 후보였던 "이어 학습 메커니즘 검정"입니다. 10월 9일·12일·13일 세 밤 모두 이어 학습 직후 250회차 안에 유효 점프가 내려갔지만(−11.5 / −22.3 / −52.7%p), 세 대조군은 전부 "다른 벌점·다른 밤의 이어 학습 실행"이었고 이어 학습 없이 같은 구간을 지나간 곡선이 한 번도 없었습니다. 10월 8일 v12 실행은 3,250회차(50.52%) → 3,500회차(57.81%) → 3,749회차(48.37%; 재채점 52.54 / 50.78%)를 한 프로세스 안에서 지나갔으므로, 오늘은 그 3,250회차 체크포인트에서 같은 태스크 id Mjlab-Jump-Stand-v12-MicroDuck, 같은 구성, 같은 벌점 일정(−300, 3,500회차부터 −500), 같은 시드 43, 같은 이어 학습 절차(러너 LabJumpRunner, 커리큘럼 원점 고정 LAB_CURRICULUM_ORIGIN=0, 옵티마이저·회차 번호 복원)로 다시 돌려 3,500·3,750회차 체크포인트를 같은 평가기로 쟀습니다. 바꾼 것은 이어 학습 사건 하나(프로세스 재시작: 환경 재생성, 4,096개 환경 동기 리셋, 롤아웃·난수 재시작)이고 코드는 한 줄도 바꾸지 않았습니다. 10월 13일 후보였던 "첫 250회차 학습률 0"은 준비 단계에서 접었습니다: rsl_rl 5.0.1의 적응형 학습률은 이어 학습과 무관하게 회차마다 1e-5~2e-3 사이를 오가므로(TensorBoard Loss/learning_rate; 10월 8일 마지막 5회차 2.6e-4 → 8.7e-4 → 5.8e-4 → 8.7e-4, 10월 9일 첫 회차 6.7e-4) 학습률 불연속은 설명력이 없고, 10월 12일 실행의 회차별 지표도 첫 수 회차의 충격 없이 250회차에 걸쳐 서서히 변했기 때문입니다. 가설과 사전 등록 기준. H9: 이어 학습 사건이 250회차 안에 유효 점프를 떨어뜨린다. 판정값 A = 이어 학습 실행의 3,500회차와 3,750회차 유효 점프의 평균, 대조군 C = 원래 실행의 같은 지점 평균 (57.81 + 50.56) / 2 = 54.19%(50.56은 3,749회차 세 번 재채점 평균). A ≤ 42.0%(= C − 재현 폭 4.17 − 8.0)이면 지지, A ≥ 50.0%(= C − 재현 폭)이면 반박, 사이는 판단보류. 원래 실행 자체의 인접 변동(50.5 → 57.8 → 48.4)이 크므로 간격을 넓게 잡았습니다. 앵커는 3,250·3,749회차 체크포인트의 재채점이고, 이어 학습 유효성(원점 고정 줄, 벌점 −300 → −500 전환 시점, 동결 커리큘럼 5개, 첫 체크포인트 번호)이 깨지면 판정하지 않습니다. 6,000회차 부근 값은 10월 9일(3,749회차에서 이어 학습, −500)과 나란히 적되 판정에 쓰지 않습니다. "개선"이라는 말은 쓰지 않습니다(개선 검정이 아님). 조건은 사후에 바꾸지 않았습니다. 00:12부터 02:23까지 3,250회차를 완주했습니다(경과 3,250 → 6,499; 회차당 2.35초; NaN 없음; 벌점 가중치 3,250~3,497회차 −300.0000, 3,498회차 전환 평균 −308.3, 3,499회차부터 −500.0000 — 원래 실행의 전환 스텝 84,000과 일치; 동결 커리큘럼 5개·정점 배율 0.06 전 회차 고정; 원점 고정 줄 "common_step_counter=78024" 확인). 02:23부터 앵커 2개 + 새 체크포인트 14개를 5개씩 4부로 나눠 재채점했고 02:29에 16개 모두 CSV로 확정됐습니다(512개 환경 × 1에피소드 = 점프 신호 1,536회, 제자리 조건, 평가 시드 1000). 이번에는 판정 체크포인트를 먼저 재채점하는 순서로 바꿔 10월 13일처럼 미채점으로 남는 일이 없었습니다.
관측 결과경과 회차별 유효 점프 비율(%)과 신호당 낙상률(%). "3,250 앵커"는 원래 실행(10월 8일)의 3,250회차 체크포인트를 오늘 밤 다시 잰 값이고 괄호 안이 10월 8일 값입니다. "원래 실행" 행은 이어 학습 없이 지나간 10월 8일 값(reports/jump_eval_v12_dense.csv)입니다.
경과 회차3,250 앵커3,250 (+1)3,5003,7504,0004,2504,5004,7505,0005,2505,5005,7506,0006,250최종 6,499
이어 학습 실행 유효 점프 (%)49.54 (50.52)47.5344.4774.0959.4452.9371.6858.4055.5351.3757.1651.2450.6542.1945.51
원래 실행 유효 점프 (%, 이어 학습 없음)50.52—57.8148.37 (3,749; 재채점 52.54 / 50.78 / 51.04)———————————
신호당 낙상률 (%)0.000.070.000.070.330.260.070.070.070.260.130.000.000.200.07
체공 시간 (ms)56.455.954.174.455.543.763.551.848.143.644.440.441.836.636.9
평균 상승 (cm)0.700.700.690.970.760.620.790.750.630.600.610.640.580.570.60
사전 등록 조건 대조. A = (44.47 + 74.09) / 2 = 59.28%, C = 54.19% → A가 반박 경계 50.0%를 넘으므로 반박(이어 학습 사건은 대조군보다 재현 폭 + 8%p 이상 낮은 값을 만들지 않았습니다). 지지 조건 A ≤ 42.0%는 미충족입니다. 앵커 재채점은 3,250회차 49.54%(10월 8일 50.52, −0.98%p), 3,749회차 51.04%(과거 세 값과 2.67%p 안)로 재현 폭 4.17%p를 그대로 둡니다. 이어 학습 직후 첫 체크포인트(+1회차)는 47.53%로 앵커와 2.01%p 차이입니다. 단, 두 판정 지점을 따로 보면 방향이 갈립니다: 3,500회차 44.47%는 원래 실행의 57.81%보다 13.34%p 낮고(이 점 하나로는 지지 경계 근처), 3,750회차 74.09%는 50.56%보다 23.53%p 높습니다(이 랩의 모든 체크포인트 중 최고값이나 사후값이며 대표값이 아닙니다). 시드 1회·이어 학습 1회이므로 재현성은 주장할 수 없습니다. 학습 로그(250회차 블록 평균: 회차당 낙상 종료 횟수 / 평균 최고 높이 m / 평균 에피소드 길이 스텝 / 평균 보상). 3,250~3,499: 2.33 / 0.0104 / 647 / 0.23 → 3,500~3,749(−500 시작): 4.33 / 0.0143 / 566 / −29.8 → 3,750~3,999: 2.98 / 0.0158 / 653 / −37.0 → 4,000~4,249: 1.00 / 0.0135 / 849 / −0.3 → 4,500~4,749: 1.84 / 0.0145 / 752 / −34.2 → 5,000~5,249: 0.65 / 0.0123 / 894 / 18.1 → 5,500~5,749: 0.35 / 0.0111 / 941 / 39.4 → 6,000~6,249: 0.09 / 0.0088 / 983 / 81.5 → 6,250~6,499: 0.10 / 0.0086 / 980 / 84.9. 마지막 회차 6,499: 보상 85.98, 에피소드 길이 985, 행동 표준편차 0.91. 평균 보상이 −1,000 아래로 떨어진 회차가 13회(4,250~5,000회차, 최저 −4.7×106; 10월 12일 v14(−300)에서도 14회) 있었고 NaN은 없습니다.
개선 사항1. 실험 변수와 측정된 효과. 바꾼 것은 이어 학습 사건 하나입니다. 측정된 효과는 "대조군보다 12%p 이상 낮은 값"이 아니었습니다: 판정값 59.28% 대 대조군 54.19%(+5.09%p). 이어 학습 직후 250회차의 변화는 −5.07%p(오늘 앵커 49.54 → 44.47)로 과거 세 밤(−11.5 / −22.3 / −52.7%p)보다 작고 재현 폭 4.17%p에 가깝습니다. "개선됐다"고 쓰지 않습니다 — 이것은 개선 검정이 아니고, 74.09%·71.68%는 중간의 사후값이며 대표값은 최종 45.51%입니다. 2. 가설 판정의 현재 위치. H9("이어 학습 사건이 감소를 만든다")는 반박됐습니다. 그러나 정확한 결론은 "이어 학습 실행이 원래 실행과 같은 곡선을 그린다"가 아니라 "이어 학습 뒤 궤적의 변동이 커서 단일 체크포인트의 감소를 이어 학습 효과로 읽을 수 없다"입니다. 같은 실행 안에서 3,500 → 3,750회차가 +29.6%p, 4,250 → 4,500이 +18.8%p, 4,500 → 4,750이 −13.3%p였습니다(원래 실행의 인접 변동은 ±7~9%p). 10월 9일(−11.5)·12일(−22.3)의 "이어 학습 첫 단계 감소"는 이 변동 폭 안에 들어갑니다. 10월 13일의 붕괴(−52.7%p, 낙상 100%)만 성질이 다르며, 오늘 같은 절차로 붕괴가 나지 않았으므로 그것을 이어 학습 사건만으로 설명할 수는 없습니다 — 출발 체크포인트의 상태("탐색 중": 낙상 4~10/회차, 행동 표준편차 1.9)와의 상호작용은 가설로 남습니다. 3. 더 큰 발견 — 출발점·궤적의 분산. 같은 원래 실행의 인접 체크포인트 두 개(3,250회차와 3,749회차, 499회차 차이)에서 같은 구성·같은 −500 일정으로 이어 학습한 두 실행(오늘과 10월 9일)의 경과 5,250~6,000회차 평균이 52.61% 대 34.95%(차 17.7%p), 최종이 45.51% 대 30.99%입니다. 출발 체크포인트 하나와 난수 궤적이 이만큼의 차이를 만듭니다. 지금까지의 모든 판정(지지 1, 반박 3, 판단보류 1)은 시드 1회·간격 8%p였고, 이 간격이 궤적 분산보다 넓은지는 확인된 적이 없습니다. 시드가 1회이므로 이 수치는 분산 추정이 아니라 관측입니다. 4. 바뀌지 않은 것. −500 벌점 아래의 궤적은 10월 9일과 같은 방향입니다: 낙상 4.3 → 0.1/회차, 에피소드 길이 566 → 980스텝, 최고 높이 0.0158 → 0.0086m, 체공 74 → 37ms, 유효 점프 74.09(3,750) → 45.51%(최종). "낮고 안전하게 뛰는" 쪽으로의 수렴은 재현됐고 수준만 다릅니다(10월 9일 최종 30.99%). 평균 보상이 −1,000 아래로 떨어지는 회차는 벌점 수준(−300/−500)과 무관하게 탐색 구간에서 납니다. 평가는 제자리 조건뿐이고, 영상은 계획대로 생략했으며, 실제 로봇에서 검증한 것은 없습니다. 5. 다음에 바꿀 한 가지. v12 시드 44(무작위 초기화, 이어 학습 없음, 3,250회차). 변수는 시드 하나입니다. 근거: (a) 계획서에 적어 둔 "반박이면 다음" 항목, (b) 위 3 — 유일한 지지 결과(v12, 10월 8일: 경과 1,500~3,000 평균 24.93% 대 v11 3.47%, 3,250회차 50.52%)의 두 번째 시드가 간격 8%p 규칙의 타당성 확인이자 v12 기준선 확정의 조건입니다, (c) 10월 13일의 붕괴를 이어 학습 사건으로 설명할 수 없게 됐으므로 이어 학습 절차를 바꾸는 검정(첫 50회차 업데이트 무효화 등)은 근거를 잃었습니다. 사전 등록 초안: 지지(v12 효과 재현) = 경과 1,500~3,000 평균 ≥ 15% 그리고 마지막 4개(2,500~3,250) 평균 ≥ 20%; 반박 = 구간 평균 ≤ 8%(v11 수준); 사이는 판단보류. 후반 상승(시드 43은 2,750 → 3,250에서 29.6 → 50.5%)의 시점은 시드마다 다를 수 있으므로 3,250회차 단일값은 관측만 합니다. 앵커는 시드 43의 3,250회차 체크포인트 재채점입니다. 그다음 후보는 v14-scratch(무작위 초기화, 벌점 상한 −300; 오늘 결과로 이틀 밤 분할을 허용)와 v13(행동 변화율 커리큘럼만 복원)입니다.
실험 설정PPO · Mjlab-Jump-Stand-v12-MicroDuck(10월 8일과 같은 id; 코드·구성 무수정) · 이어 학습 3,250회차(경과 3,250 → 6,499) · 4,096개 환경 · 시드 43 · 초기 정책 2026-10-08_00-08-25_jump_stand_v12_s43/model_3250(--agent.resume True, 옵티마이저·회차 번호 복원) · 커리큘럼 원점 고정 플래그 LAB_CURRICULUM_ORIGIN=0(common_step_counter 78,024) · 낙상 벌점 −300 → 3,499회차부터 −500(원래 실행과 같은 일정; 동결 커리큘럼 5개·정점 배율 0.06 유지) · 대조군 원래 실행의 3,500·3,749회차(reports/jump_eval_v12_dense.csv)와 앵커 재채점 2개, 참고 10월 9일 곡선(reports/jump_eval_v12ext_dense.csv) · 실행 2026-10-15_00-12-44_jump_stand_v12_s43_r3250, 체크포인트 14개
계획서 experiments/plans/20261015-resume-at-3250.yaml, 판정 보고서 experiments/reports/20261015-resume-at-3250.md, 재채점 결과 reports/jump_eval_v12r3250_dense.csv(앵커 2행 포함, 16행 전부 확정), 학습 로그 logs/train_jump_stand_v12_s43_r3250.log(커리큘럼·낙상·높이·보상 값), 실행 로그 logs/nightly_2026-10-15_run.log, 검증 실행 로그 logs/smoke_20261015_resume-at-3250.log, 테스트 tests/test_resume_at_3250.py, 런처 nightly/2026-10-15/tonight.sh. 참고 자료: rsl_rl 5.0.1 algorithms/ppo.py(load()는 옵티마이저 상태를 복원하지만 적응형 학습률 기준값은 설정값에서 재시작 — TensorBoard로 설명력 없음 확인), google/brax #655(체크포인트 복원 뒤 성능 하락 — 옵티마이저 미저장 사례; 본 실험에는 해당 없음), arXiv 2302.09450(다단계 이어 학습), microduck_rl 커밋(점프·재개 관련 신규 커밋 없음), Hugging Face 'microduck' 검색(새 점프 정책 없음). 모두 시뮬레이션 보고입니다.

2026-10-16

v12 시드 44: 유일한 지지 결과(10월 8일 v12, 시드 43)를 시드만 44로 바꿔 무작위 초기화에서 3,250회차 다시 학습 — 경과 1,500~3,000회차 평균 23.47%(시드 43 24.93%, v11 3.47%), 마지막 4개 평균 33.24%, 최종 46.42%·낙상 0%로 사전 등록 기준 지지. 시드 간 차는 모두 평가 재현 폭 4.17%p 안. 시드 2개 — 재현성 주장은 아직 불가

수행 내용10월 15일 기록의 다음 후보였던 "v12 시드 44"입니다. 지금까지의 모든 판정(지지 1, 반박 3, 판단보류 1)은 시드 1회에 간격 8%p였고, 10월 15일에는 같은 실행의 인접 체크포인트에서 출발한 두 이어 학습 실행이 판정 창에서 17.7%p, 한 실행의 인접 체크포인트가 29.6%p 갈려 "간격 8%p가 궤적 분산보다 넓은가"가 미해결로 남았습니다. 그래서 유일한 지지 결과인 v12(기반 코드의 스텝 커리큘럼 다섯 개를 회차 0 값에 고정, 무작위 초기화, 10월 8일 시드 43)를 시드 하나만 44로 바꿔 같은 태스크 id Mjlab-Jump-Stand-v12-MicroDuck, 같은 구성, 같은 무작위 초기화, 같은 3,250회차 예산으로 다시 학습했습니다. 이 저장소의 학습 스크립트는 --agent.seed 하나로 PPO 시드와 환경 시드를 함께 바꾸고 로그와 설정 파일에 기록합니다. 코드 변경은 야간 학습 보조 스크립트에 시드 환경변수를 추가한 것 하나이며(기본값 43이라 과거 밤과 동작 동일), 태스크 코드와 평가기는 손대지 않았습니다. 00:00~00:35 준비 단계에서 기반 코드 저장소(최신 커밋 8월 25일, 점프·시드·커리큘럼 관련 변경 없음)와 커뮤니티 점프 정책(새 정책 없음), 문헌(이족 점프 RL에서 시드 분산을 보고한 2025~2026년 논문 없음; 일반 근거로 Henderson 외 2018 "Deep RL that Matters")을 확인했습니다. 가설과 사전 등록 기준. H10: 10월 8일 시드 43의 곡선(250~2,500회차 18.6~24.5% 띠 → 2,750회차부터 상승 → 3,250회차 50.52%)은 커리큘럼 고정의 효과이며 시드 43 특유의 궤적이 아니다. 대립 가설: 시드 운이며 시드 44는 v11처럼 하락한다. 지지 = 경과 1,500~3,000회차 7개 평균 ≥ 15% 그리고 마지막 4개(2,500 / 2,750 / 3,000 / 3,249회차) 평균 ≥ 20% 그리고 최종 낙상률 ≤ 2%; 반박 = 구간 평균 ≤ 8%(v11을 같은 id로 재채점한 값 3.47% 수준); 사이는 판단보류. 대조군은 시드 43의 같은 경과 값(구간 평균 24.93%, 마지막 4개 36.13%, 3,250회차 50.52%)이고, 앵커는 시드 43의 3,250회차 체크포인트를 오늘 밤 다시 잰 값입니다. 후반 상승의 시점은 시드마다 다를 수 있으므로 3,250회차 단일값은 관측만 하고, 시드 간 차(구간 평균 차, 마지막 4개 평균 차)는 판정에 쓰지 않고 분산의 첫 관측값으로만 기록하기로 미리 적었습니다. 유효성 조건(로그의 seed=44, 체크포인트 불러오기 없음, 벌점 0 → −100 → −300 전환 회차, 동결 커리큘럼 5개, 첫 체크포인트 번호 0)이 깨지면 판정하지 않습니다. 짧은 검증 실행이 결함을 잡았습니다. 64개 환경 × 5회차의 1차 검증(00:04)은 정상 종료했지만 로그에 seed=43이 찍혔습니다 — 스크립트의 시드 치환이 매치되지 않아 43이 하드코딩된 채 남아 있었습니다. 수정 후 2차(00:06)에서 seed=44(로그·설정 파일 둘 다), 불러오기 줄 없음, 벌점 0, 동결 값 5개, NaN 없음을 확인하고 본 학습으로 넘어갔습니다. 검증 없이 돌렸다면 오늘 밤은 시드 43의 세 번째 반복이 됐을 것입니다. 00:14부터 02:25까지 3,250회차를 완주했습니다(회차당 2.44초; NaN 없음; 평균 보상 −1,000 이하 회차 0; 벌점 가중치 0.0000 × 1,499회차 → −100.0000 × 999 → −300.0000 × 750, 전환 회차 2개는 평균값, −500 단계 없음(3,500회차 전 종료); 동결 커리큘럼 5개·정점 배율 0.06 전 회차 고정; 불러오기 줄 0; 체크포인트 0부터). 02:25부터 앵커 1개 + 새 체크포인트 14개를 5개씩 3부로 나눠 재채점했고 02:31에 15개 모두 CSV로 확정됐습니다(512개 환경 × 1에피소드 = 점프 신호 1,536회, 제자리 조건, 평가 시드 1000; 판정 체크포인트 우선 순서).
관측 결과경과 회차별 유효 점프 비율(%). "시드 43" 행은 10월 8일 실행의 같은 경과 값(reports/jump_eval_v12_dense.csv), "v11" 행은 10월 7일 v11 실행을 v12 id로 재채점한 값(같은 CSV)입니다. 0회차는 학습 전 무작위 정책(세 실행 모두 0%, 낙상 100%)입니다.
경과 회차2505007501,0001,2501,5001,7502,0002,2502,5002,7503,000최종 3,249
시드 44 유효 점프 (%)23.9622.4019.7920.1823.1819.9217.9019.5320.3822.8525.4638.2246.42
시드 44 신호당 낙상률 (%)0.070.130.130.000.070.130.000.070.070.130.000.000.00
시드 44 체공 시간 (ms)35.034.431.233.734.634.334.231.430.933.033.546.757.6
시드 43 유효 점프 (%, 10월 8일)22.2724.5422.5324.1519.8618.9519.7923.1818.5520.3129.6244.0850.52 (3,250)
v11 유효 점프 (%, v12 id 재채점)22.7923.2416.7311.788.665.013.392.862.993.783.193.063.65 (3,250)
시드 44 − 시드 43 (%p)+1.69−2.14−2.74−3.97+3.32+0.97−1.89−3.65+1.83+2.54−4.16−5.86−4.10
판정 조건 세 가지: 경과 1,500~3,000회차 7개 평균 23.47%(기준 ≥ 15; 시드 43 24.93, v11 3.47), 마지막 4개 평균 33.24%(기준 ≥ 20; 시드 43의 2,500~3,250 36.13), 최종 낙상률 0.00%(기준 ≤ 2) — 모두 충족. 반박 조건(구간 평균 ≤ 8%)과 판단보류 조건은 해당 없습니다. 최종 3,249회차 체크포인트: 유효 점프 46.42%, 체공 57.6ms, 평균 상승 0.70cm(최대 3.80cm), 착지 충격 29.9N. 앵커(시드 43의 3,250회차 재채점) 51.04% — 10월 8일 50.52%, 10월 15일 49.54%와 1.5%p 안이어서 평가 재현 폭 4.17%p를 그대로 둡니다. 유효성 조건 5개 모두 충족. 학습 로그(500회차 블록 평균): 회차당 낙상 13.5 → 0.74 → 0.62 → 0.59 → 0.45 → 1.66 → 3.07(마지막 250회차); 평균 최고 높이 0.0063 → 0.0046 → 0.0041 → 0.0043 → 0.0041 → 0.0070 → 0.0106m. 벌점 −300이 걸린 2,500회차 뒤로 학습 중 낙상·높이·체공이 함께 늘고(2,500회차 낙상 0.58·높이 0.0040m → 3,249회차 2.83·0.0111m, 체공 0.039 → 0.060초) 평가 유효 점프가 22.85 → 46.42%로 올랐으며, 평균 보상은 낙상 벌점 때문에 87.9 → −4.4로 내려갔습니다. 10월 8일 시드 43의 2,750회차 이후와 같은 방향입니다.
개선 사항1. 실험 변수와 측정된 효과. 바꾼 것은 시드 하나(43 → 44)입니다. 측정된 효과는 "곡선이 같은 형태로 다시 나왔다"입니다: 250회차에 22~24%에 도달한 뒤(v11도 같음) v11이 500~1,750회차에서 23 → 3%로 내려가는 구간에서 시드 44는 17.9~23.2% 띠를 유지했고, 시드 43과 같은 2,750회차부터 올라 3,249회차에 46.42%에 도달했습니다. 사전 등록 기준 세 가지를 모두 넘어 지지입니다. "개선됐다"고 쓰지 않습니다 — 이것은 재현 검정이고, 수치는 시드 43보다 1.5~5.9%p 낮습니다. 2. 시드 간 차의 첫 관측값. 구간 평균 차 −1.46%p, 마지막 4개 평균 차 −2.89%p, 3,250회차 지점 차 −4.10%p로 세 요약값 모두 평가 재현 폭 4.17%p 안에 있고, 13개 체크포인트별 차의 범위는 −5.86~+3.97%p입니다. 10월 8일 원래 실행 안의 인접 체크포인트 변동(±7~9%p)과 10월 15일 이어 학습 실행의 ±15~30%p보다 작습니다. 따라서 지금까지 쓴 간격 8%p 규칙은 오늘 관측으로는 그대로 둡니다(규칙: 간격 ≥ max(8, 관측된 시드 차)). 단, 시드 두 개는 분산 "추정"이 아니라 관측 1회이고, 벌점 −500 구간(3,500회차 이후)은 오늘 실행이 들어가지 않아 그 아래의 시드 간 차는 보지 못했습니다. 3. 효과 크기 대 시드 차. v12와 v11의 구간 평균 차는 시드 44로 +20.00%p, 시드 43으로 +21.46%p이고, 시드 간 차는 최대 4.10%p입니다. "커리큘럼 고정의 효과가 시드 운보다 크다"가 처음으로 수치로 확인됐습니다(v11은 시드 43 하나뿐이라 v11 쪽 분산은 모릅니다). 10월 8일 보고서가 "원인 항목 분리(v13)"를 미뤄 둔 이유가 이 미확인이었으므로, 이제 다섯 항목을 하나씩 가르는 실험을 해석할 조건이 갖춰졌습니다. 4. 10월 15일 관측과의 관계. 10월 15일의 큰 변동(±15~30%p, 인접 출발점 17.7%p)은 이어 학습 실행·벌점 −500 구간에서 본 것이고, 오늘의 작은 시드 간 차는 이어 학습 없는 3,250회차 이하 구간에서 본 것입니다. 둘은 모순되지 않지만 "이어 학습 뒤 궤적이 더 흩어지는가"는 분리된 검정이 아니라 두 관측의 병치일 뿐입니다. 최종 46.42%는 상승 중에 끝난 값이며(최종값, 사후 선택 아님) 시드 43처럼 3,500회차에서 더 오를지는 확인되지 않았습니다 — 이어 학습 없이 보려면 처음부터 더 긴 예산이 필요하고, 이틀 밤 분할은 이어 학습 사건을 끼워 넣으므로 10월 13일·15일 결과상 같은 실험이 아닙니다. 5. 다음에 바꿀 한 가지. v13 = v12에서 행동 변화율 벌점 커리큘럼 하나만 복원(−0.1 → −1.0 스텝 커리큘럼을 되살리고 나머지 네 개는 고정 유지; 새 태스크 id, 무작위 초기화, 시드 43, 3,250회차). 변수는 동결 다섯 항목 중 하나의 해제입니다. 근거: (a) 계획서의 "지지이면 다음" 항목, (b) 위 3 — 효과 크기(약 20%p)가 시드 차(≤ 4.1%p)보다 커서 항목별 결과를 해석할 수 있게 됐습니다, (c) 하룻밤에 끝나고 이어 학습 사건이 없습니다(v14-scratch는 이틀 분할이 필요), (d) 행동 변화율 벌점은 다섯 항목 중 가중치 변화가 가장 크고(10배) v11의 하락 구간(500~1,500회차)과 상승 시점이 겹칩니다. 사전 등록 초안: 대조군 = v12 시드 43·44 두 곡선(구간 평균 24.93 / 23.47%, 마지막 4개 36.13 / 33.24%); v13 구간 평균 ≥ 15%이면 "이 항목은 원인 아님", ≤ 8%이면 "이 항목이 원인", 사이는 판단보류; 앵커는 시드 43의 3,250회차 재채점. 그다음 후보는 v14-scratch(무작위 초기화, 벌점 상한 −300, 이틀 분할 — 이어 학습 사건이 끼어듦을 계획서에 명시)와 v12 시드 45(세 번째 시드부터 분산 추정)입니다.
실험 설정PPO · Mjlab-Jump-Stand-v12-MicroDuck(10월 8일과 같은 id; 태스크 코드·구성 무수정) · 3,250회차 · 4,096개 환경 · 시드 44(단일 변수; PPO·환경 시드 함께) · 초기 정책 무작위 초기화(불러오기 없음) · 커리큘럼 5개 회차 0 값 고정(행동 변화율 −0.1, 머리 자세 범위 ±0.07rad, 머리 편향 0, 무게중심 0.003 / 0.003m), 정점 배율 0.06, 기준 상태 초기화 60/25/15, 낙상 벌점 0 → −100(1,500회차) → −300(2,500회차) · 대조군 시드 43 같은 경과(reports/jump_eval_v12_dense.csv, 10월 8일)와 v11 재채점(같은 CSV), 앵커 시드 43 3,250회차 재채점 · 실행 2026-10-16_00-14-27_jump_stand_v12_s44, 체크포인트 0~3,249 14개 · 평가 scripts/evaluate_jump.py 512개 환경 × 1에피소드, 점프 신호 1,536회, 제자리 조건, 평가 시드 1000 · 계획서 experiments/plans/20261016-v12-seed44.yaml · 보고서 experiments/reports/20261016-v12-seed44.md · CSV reports/jump_eval_v12s44_dense.csv · 로그 logs/train_jump_stand_v12_s44.log, logs/nightly_2026-10-16_run.log · 짧은 검증 logs/smoke_20261016_v12-seed44.log · 영상 생략 · 참고 Henderson 외 2018, Deep Reinforcement Learning that Matters, 기반 코드 저장소 커밋 목록. 시드 2개(43·44) — 재현성 주장 불가, 분산 추정 아님.

2026-10-17

v13: 커리큘럼을 고정한 v12에서 행동 변화율 벌점 커리큘럼(−0.1 → −1.0) 하나만 되살려 무작위 초기화로 3,250회차 학습 — 경과 1,500~3,000회차 평균 4.52%(v12 시드 43 24.93%·시드 44 23.47%, v11 3.47%), 마지막 4개 평균 3.79%, 최종 2.21%로 사전 등록 기준 지지. 행동 변화율 벌점 커리큘럼 하나만으로 v11의 하락 곡선이 재현됐습니다(시드 1회)

수행 내용10월 16일 기록의 다음 후보였던 "v13 — 동결 커리큘럼 다섯 개 중 행동 변화율 벌점 하나만 복원"입니다. 10월 8일 v12는 기반 코드의 스텝 커리큘럼 다섯 개(행동 변화율 벌점 가중치, 머리 자세 명령 범위, 머리 자세 편향 벌점, 무게중심 랜덤화 두 개)를 회차 0 값에 고정해 v11의 하락을 없앴고, 10월 16일 시드 44가 그 효과(약 +20%p)가 시드 간 차(≤ 4.1%p)보다 큼을 확인했습니다. 다섯 개 중 어느 항목이 하락을 만드는지는 분리되지 않았으므로 오늘은 행동 변화율 벌점 가중치의 커리큘럼 하나만 기반 코드대로 되살리고(−0.1에서 시작해 500 / 750 / 1,000 / 1,250 / 1,500회차에 −0.2 / −0.4 / −0.6 / −0.8 / −1.0으로 올라감) 나머지 네 개는 v12처럼 고정한 새 태스크 id Mjlab-Jump-Stand-v13-MicroDuck을 무작위 초기화·시드 43·3,250회차로 학습했습니다. 변수는 동결 항목 하나의 해제입니다. 코드 변경은 동결 함수에 "남겨 둘 항목" 인자를 추가하고 v13 id를 등록한 것이며(백업 보관), v12·v14 id의 동작이 변하지 않음을 104개 검사로 확인했습니다. 이 항목을 먼저 고른 근거: 다섯 항목 중 가중치 변화가 가장 크고(10배), v11의 하락 구간(500~1,500회차)과 상승 시점이 겹치며, 점프에 필수인 큰 관절 속도 변화를 직접 벌하는 유일한 보상 항입니다. 기반 코드 주석은 이 커리큘럼의 목적을 "보행이 자리 잡는 동안 부드럽게, 1,500회차까지 −1.0으로 조임"으로 적고 있습니다(보행용 설계; 점프에 적합한지 검정된 적 없음). 00:00~00:35 준비 단계에서 문헌(APRL arXiv 2310.17634: 행동 벌점이 탐색을 좁혀 학습을 빠르게 하되 과하면 비효율 탐색을 만든다; GPO arXiv 2601.20668: 초기 행동 공간 제한 → 확장 권고 — 기반 코드 커리큘럼과 반대 방향)과 커뮤니티 점프 정책(새 정책 없음)을 확인했고, 기반 코드 저장소는 이 밤 github.com 이름 해석 실패로 확인하지 못했습니다(고정 커밋 기준으로 진행). 가설과 사전 등록 기준. H11: 행동 변화율 벌점 가중치가 −0.1에서 −1.0으로 커지는 것이 점프를 억눌러 v11을 "서 있기"로 몰았다. 지지(이 항목이 원인) = 경과 1,500~3,000회차 7개 평균 ≤ 8%(v11을 같은 조건으로 재채점한 3.47% 수준) 또는 250~1,250회차 최대 ≥ 15%인데 마지막 4개 평균 ≤ 8%(초기 띠 도달 뒤 하락); 반박(이 항목은 원인이 아님) = 구간 평균 ≥ 16% 그리고 마지막 4개 평균 ≥ 16% 그리고 최종 낙상률 ≤ 2%; 8~16%는 판단보류. 지지 8 / 반박 16의 간격 8%p는 평가 재현 폭(4.17%p)의 두 배라는 규칙에 맞춘 것입니다. 대조군은 v12 시드 43·44의 같은 경과 값(구간 평균 24.93 / 23.47%, 마지막 4개 36.13 / 33.24%)과 v11 재채점 곡선, 앵커는 시드 43의 3,250회차 체크포인트를 v13 id로 다시 잰 값입니다. 유효성 조건(seed=43, 불러오기 없음, 행동 변화율 가중치의 단계별 회차 수, 나머지 네 개 고정, 벌점 0 → −100 → −300)이 깨지면 판정하지 않습니다. 짧은 검증(64개 환경 × 5회차, 00:04)은 1차에 통과했습니다(seed=43, 불러오기 줄 없음, 행동 변화율 가중치 −0.1 × 5 — 커리큘럼은 500회차부터 오르므로 검증 실행에서는 변하지 않고 단계 목록은 검사로 확인, 고정 네 개·정점 배율 0.06·벌점 0, NaN 없음). 본 학습은 00:11부터 02:20까지 3,250회차를 완주했습니다(회차당 2.49초; NaN 없음; 평균 보상 −1,000 이하 회차 0; 행동 변화율 가중치 −0.1000 × 500회차 → −0.2000 / −0.4000 / −0.6000 / −0.8000 각 250회차 → −1.0000 × 1,750회차, 전환 회차 중간값 없음; 벌점 0 × 1,499 → −100 × 999 → −300 × 750; 고정 커리큘럼 네 개·정점 배율 전 회차 고정; 불러오기 줄 0; 체크포인트 0부터). 02:21부터 앵커 1개 + 새 체크포인트 14개를 5개씩 3부로 재채점해 02:27에 15개 모두 CSV로 확정됐습니다(512개 환경 × 1에피소드 = 점프 신호 1,536회, 제자리 조건, 평가 시드 1000).
관측 결과경과 회차별 유효 점프 비율(%). "v12 시드 43" 행은 10월 8일 실행(reports/jump_eval_v12_dense.csv), "v12 시드 44" 행은 10월 16일 실행(reports/jump_eval_v12s44_dense.csv), "v11" 행은 10월 7일 v11 실행을 v12 id로 재채점한 값입니다. 0회차는 학습 전 무작위 정책(0%, 낙상 100%)입니다. 마지막 행은 그 구간에 적용된 행동 변화율 벌점 가중치입니다.
경과 회차2505007501,0001,2501,5001,7502,0002,2502,5002,7503,000최종 3,249
v13 유효 점프 (%)20.2526.7615.9512.305.275.734.234.234.494.363.784.822.21
v13 신호당 낙상률 (%)0.260.130.460.260.260.070.520.200.460.070.200.070.13
v13 체공 시간 (ms)33.837.429.429.326.728.223.423.125.223.624.123.022.9
v12 시드 43 유효 점프 (%, 10월 8일)22.2724.5422.5324.1519.8618.9519.7923.1818.5520.3129.6244.0850.52 (3,250)
v12 시드 44 유효 점프 (%, 10월 16일)23.9622.4019.7920.1823.1819.9217.9019.5320.3822.8525.4638.2246.42
v11 유효 점프 (%, v12 id 재채점)22.7923.2416.7311.788.665.013.392.862.993.783.193.063.65 (3,250)
v13 − v11 (%p)−2.54+3.52−0.78+0.52−3.39+0.72+0.84+1.37+1.50+0.58+0.59+1.76−1.44
행동 변화율 벌점 가중치−0.1−0.1 → −0.2−0.2 → −0.4−0.4 → −0.6−0.6 → −0.8−0.8 → −1.0−1.0−1.0−1.0−1.0−1.0−1.0−1.0
판정 조건: 경과 1,500~3,000회차 7개 평균 4.52%(지지 기준 ≤ 8; v12 시드 43 24.93, 시드 44 23.47, v11 3.47) — 충족. 500회차 최대 26.76% ≥ 15인데 마지막 4개(2,500 / 2,750 / 3,000 / 3,249회차) 평균 3.79% ≤ 8(시드 43 36.13, 시드 44 33.24) — 충족. 반박 조건(구간 평균 ≥ 16 그리고 마지막 4개 ≥ 16)은 해당 없습니다. 최종 3,249회차 체크포인트: 유효 점프 2.21%, 낙상률 0.13%, 체공 22.9ms, 평균 상승 0.30cm(최대 0.76cm), 착지 충격 19.7N. "학습 불가" 경계(최종 ≤ 2.0%)와 0.21%p 차이로, 마지막 4개 안의 변동(2.21~4.82%)을 보면 띠 안의 낮은 쪽 값이며 사전 등록대로 경계 위로 분류합니다. 앵커(시드 43의 3,250회차를 v13 id로 재채점) 50.59% — 10월 8일 50.52%, 10월 15일 49.54%, 10월 16일 51.04%와 1.1%p 안이어서 평가 재현 폭 4.17%p를 그대로 둡니다. 유효성 조건 5개 모두 충족. 학습 로그(500회차 블록 평균; 괄호는 10월 16일 v12 시드 44의 같은 블록): 행동 표준편차 0.84 → 0.49 → 0.30 → 0.25 → 0.25 → 0.26 → 0.25(시드 44: 0.83 → 0.76 → 0.73 → 0.76 → 0.73 → 0.98 → 1.22); 평균 최고 높이 0.0065 → 0.0026 → 0.0016 → 0.0019 → 0.0019 → 0.0019 → 0.0019m(시드 44: 0.0063 → 0.0046 → 0.0041 → 0.0043 → 0.0041 → 0.0070 → 0.0106m); 회차당 낙상 12.9 → 0.23 → 0.09 → 0.06 → 0.07 → 0.08 → 0.06(시드 44: 13.5 → 0.74 → 0.62 → 0.59 → 0.45 → 1.66 → 3.07); 평균 보상 44 → 101 → 131 → 139 → 139 → 136 → 139(시드 44: 46 → 77 → 84 → 81 → 87 → 39 → −2). 행동 변화율 벌점 항의 값은 가중치가 10배 커진 뒤에도 −1.9 수준으로 시드 44(가중치 −0.1 고정)의 −2.0과 비슷합니다 — 가중치로 나눈 원래의 행동 변화율이 약 10분의 1로 줄었다는 뜻입니다. 마지막 회차(3,249): 평균 보상 140.17, 행동 표준편차 0.26, 낙상 0, 에피소드 길이 1,000(최대).
개선 사항1. 실험 변수와 측정된 효과. 바꾼 것은 동결 커리큘럼 다섯 개 중 행동 변화율 벌점 하나의 해제입니다. 측정된 효과는 "v11의 하락 곡선이 그대로 다시 나왔다"입니다: 커리큘럼이 오르기 전(250~500회차)에는 v12·v11과 같은 20~27%에 도달했고, 가중치가 올라가는 750 / 1,000 / 1,250 / 1,500회차에 15.95 / 12.30 / 5.27 / 5.73%로 내려갔습니다(v11 같은 지점 16.73 / 11.78 / 8.66 / 5.01% — 네 지점 모두 3.4%p 안). 가중치가 −1.0에 고정된 1,750회차 이후에는 3.8~4.8% 띠에 머물렀고, v12 두 시드가 올라가기 시작하는 2,750회차 이후에도 오르지 않았습니다. 구간 평균은 v11과 1.05%p 차이(재현 폭 안), v12 두 시드와는 19~20%p 차이(시드 간 차 4.10%p·재현 폭 4.17%p보다 훨씬 큼)입니다. 사전 등록 기준 지지입니다. "개선됐다"고 쓰지 않습니다 — 원인 분리 검정이고 v13은 대조군보다 낮습니다. 2. 무엇이 확인됐고 무엇이 남았는가. 확인된 것은 "행동 변화율 벌점 커리큘럼 하나만 있어도 v11 수준으로 하락한다"(충분조건)입니다. 나머지 네 항목(머리 자세 명령 범위·편향 벌점, 무게중심 랜덤화 두 개)이 추가로 원인인지 — 즉 그 네 개만 되살려도 하락하는지 — 는 오늘 검정 밖입니다. v11의 하락이 다섯 항목의 상호작용인지 이 항목 단독인지도 "단독으로 충분하다"까지만 말할 수 있습니다. 시드 1회이므로 재현성 주장은 하지 않지만, v12 시드 간 차(≤ 4.10%p)와 v11·v13 간 차(≤ 1.76%p)가 모두 v12·v13 간 차(약 20%p)보다 한 자릿수 작아 시드 운으로 설명하기는 어렵습니다. 3. 기전에 대한 로그 관측(검정 아님). 행동 표준편차가 0.84에서 0.25로 내려간 시점(500~1,500회차)이 커리큘럼 구간과 일치하고, 벌점 항의 값이 가중치 10배 뒤에도 같은 수준이므로 정책은 행동 변화를 약 10분의 1로 줄여 보상을 맞췄습니다. 그 결과 학습 중 최고 높이 0.0019m, 회차당 낙상 0.06, 평균 보상 139 — 10월 9일 이어 학습에서 벌점 −500 아래 본 "낮게 안전하게"(보상 약 100, 낙상 약 0.05) 수렴이 −500 없이 행동 벌점 −1.0만으로 생겼습니다. 평균 보상은 v12 시드 44보다 높은데 점프는 하지 않습니다 — 이 과제의 보상 합은 점프 성공과 같은 방향이 아닙니다(10월 5일·9일 기록과 같은 관측). 4. 사후값 메모. 500회차 값 26.76%는 오늘 실행의 최고값이고 v12 두 시드·v11의 같은 지점(22.4~24.5%)보다 2.2~4.4%p 높지만 재현 폭(4.17%p)과 겹치므로 해석하지 않습니다. 커리큘럼 첫 단계(−0.2, 500~749회차)까지는 하락이 시작되지 않았고, 두 번째 단계(−0.4)부터 내려갔습니다. 어느 가중치 수준부터 점프가 사라지는지는 이 곡선만으로는 정하지 못합니다(단계가 250회차마다 바뀌어 수준과 시간이 겹침). 5. 다음에 바꿀 한 가지. v15 = v12에서 머리 자세 그룹 세 개(머리 자세 명령 범위 0.07 → 1.4rad, 머리 자세 편향 벌점 0 → 3.0, 머리 무게중심 랜덤화)의 커리큘럼만 되살리고 행동 변화율 벌점과 몸통 무게중심 랜덤화는 고정한 채 무작위 초기화·시드 43·3,250회차로 학습합니다(새 태스크 id). 변수는 한 그룹(세 항목)의 해제입니다. 근거: (a) 계획서의 "지지이면 다음" 항목, (b) 행동 변화율이 충분조건임이 확인됐으므로 남은 질문은 "다른 항목도 원인인가"이고, 머리 자세 세 항목은 머리 추종 과제를 함께 키우는 한 묶음이라 두 밤으로 다섯 항목을 세 그룹으로 가를 수 있습니다, (c) 하룻밤에 끝나고 이어 학습 사건이 없습니다. 주의할 점: 10월 8일에 확인한 평가 혼동(스텝 카운터를 복원하는 러너에서 커리큘럼이 있는 id로 평가하면 체크포인트마다 머리 명령 범위가 달라짐) 때문에 v15의 평가용 구성에서는 머리 명령 범위를 ±0.07rad으로 고정해야 v12 대조군과 비교할 수 있습니다 — 학습 구성만 커리큘럼을 두고 평가 구성은 고정하는 설계를 짧은 검증과 검사에서 확인합니다. 사전 등록 초안: 대조군 v12 시드 43·44(구간 평균 24.93 / 23.47%, 마지막 4개 36.13 / 33.24%), v11 3.47%, 오늘 v13 4.52%; 지지(머리 그룹도 원인) = 구간 평균 ≤ 8%, 반박 = 구간 평균 ≥ 16% 그리고 마지막 4개 ≥ 16% 그리고 낙상 ≤ 2%, 사이는 판단보류; 앵커는 시드 43의 3,250회차 재채점. 대안 후보는 행동 변화율 벌점을 커리큘럼 없이 −0.3 또는 −0.5 상수로 두어 점프와 양립하는 가중치 상한을 찾는 검정(하루 하나씩), 그리고 v13 시드 44(효과 크기가 시드 차보다 커서 우선순위 낮음)입니다.
실험 설정PPO · Mjlab-Jump-Stand-v13-MicroDuck(새 id; v12 구성에서 행동 변화율 벌점 커리큘럼만 기반 코드대로 복원 — −0.1 → −0.2 / −0.4 / −0.6 / −0.8 / −1.0 at 500 / 750 / 1,000 / 1,250 / 1,500회차; 나머지 네 개는 회차 0 값 고정: 머리 자세 범위 ±0.07rad, 머리 편향 0, 무게중심 0.003 / 0.003m) · 3,250회차 · 4,096개 환경 · 시드 43 · 초기 정책 무작위 초기화(불러오기 없음) · 정점 배율 0.06, 기준 상태 초기화 60/25/15, 낙상 벌점 0 → −100(1,500회차) → −300(2,500회차) · 대조군 v12 시드 43(reports/jump_eval_v12_dense.csv, 10월 8일)·시드 44(reports/jump_eval_v12s44_dense.csv, 10월 16일) 같은 경과와 v11 재채점(10월 8일 CSV), 앵커 시드 43 3,250회차를 v13 id로 재채점 · 실행 2026-10-17_00-11-10_jump_stand_v13_s43, 체크포인트 0~3,249 14개 · 평가 scripts/evaluate_jump.py 512개 환경 × 1에피소드, 점프 신호 1,536회, 제자리 조건, 평가 시드 1000 · 계획서 experiments/plans/20261017-restore-action-rate.yaml · 보고서 experiments/reports/20261017-restore-action-rate.md · CSV reports/jump_eval_v13_dense.csv · 로그 logs/train_jump_stand_v13_s43.log, logs/nightly_2026-10-17_run.log · 짧은 검증 logs/smoke_20261017_restore-action-rate.log · 검사 tests/test_restore_action_rate.py 104/104 · 영상 생략 · 참고 APRL (arXiv 2310.17634), GPO (arXiv 2601.20668), 기반 코드 저장소(이 밤 접속 불가, 고정 커밋 5946fd9 기준). 시드 1회 — 재현성 주장 불가.

2026-10-18

v15: 커리큘럼을 고정한 v12에서 머리 자세 그룹 세 개(머리 자세 명령 범위 0.07 → 1.4rad, 머리 자세 편향 벌점 0 → 3.0, 머리 무게중심 랜덤화 0.003 → 0.01m)의 커리큘럼만 학습용 구성에 되살려 무작위 초기화로 3,250회차 학습 — 경과 1,500~3,000회차 평균 32.57%(v12 시드 43 24.93%·시드 44 23.47%, v13 4.52%, v11 3.47%), 마지막 4개 평균 40.30%, 최종 39.84%·낙상 0.20%로 사전 등록 기준 반박. 머리 자세 그룹은 v11 하락의 원인이 아닙니다(시드 1회)

수행 내용10월 17일 기록의 다음 후보였던 "v15 — 동결 커리큘럼 다섯 개 중 머리 자세 그룹 세 개 복원"입니다. 10월 17일에 행동 변화율 벌점 커리큘럼 하나만 되살려도 v11의 하락 곡선이 그대로 나와(충분조건) 그 항목이 원인임이 확인됐고, 남은 질문은 나머지 네 항목도 각각 하락을 만드는가였습니다. 오늘은 네 개 중 묶음이 가장 큰 머리 자세 그룹 세 개 — 머리 자세 명령 범위(±0.07 → ±0.21 / 0.49 / 0.91 / 1.40rad at 500 / 1,000 / 1,500 / 2,000회차), 머리 자세 편향 벌점 가중치(0 → 1 / 2 / 3 at 600 / 1,000 / 1,500회차), 머리 무게중심 랜덤화(0.003 → 0.005 / 0.010m at 500 / 1,000회차) — 의 커리큘럼만 기반 코드대로 되살리고 행동 변화율 벌점(−0.1)과 몸통 무게중심 랜덤화(0.003m)는 v12처럼 고정한 새 태스크 id Mjlab-Jump-Stand-v15-MicroDuck을 무작위 초기화·시드 43·3,250회차로 학습했습니다. 변수는 한 그룹(세 항목)의 해제이며, 그룹 안의 어느 항목인지는 분리되지 않습니다. 평가용 구성은 v12와 같게 두었습니다(다섯 개 모두 고정, 머리 명령 ±0.07rad) — 학습 중 머리 명령 범위가 넓어지더라도 평가는 대조군과 같은 좁은 명령 조건에서 재야 비교가 되기 때문입니다(10월 8일 평가 혼동 메모). 따라서 오늘 수치는 "좁은 머리 명령에서의 점프"만 재며, 넓은 머리 명령에서의 점프 성능은 측정하지 않았습니다. 코드 변경은 동결 함수의 "남겨 둘 항목" 인자에 머리 그룹 세 개를 넘기는 v15 id 등록이며(백업 보관), v12·v13·v14 id의 동작은 변하지 않음을 검사로 확인했습니다. 이 그룹을 먼저 고른 근거: 관측(명령 범위)·보상(편향 벌점)·물리(머리 질량 분포)를 함께 바꾸는 가장 큰 묶음이고, 기반 코드의 주석이 머리 램프를 "보행이 자리 잡은 뒤" 켜도록 설계했을 뿐 점프 과제에서는 검정된 적이 없으며, 보행과 상체·말단 추종을 한 정책이 배우면 목표가 충돌한다는 보고(Vijayan 외, CoRL 2025; MLM, arXiv 2508.10538)가 "부가 자세 과제가 역동적 과제를 약화시킬 수 있다"는 방향을 가리켰기 때문입니다. 가설과 사전 등록 기준. H15: 머리 명령 범위가 ±1.1 / 1.4rad으로 넓어지면 머리 명령 추종과 편향 벌점(0 → 3.0)이 점프 보상과 경쟁하고 머리 무게중심 랜덤화가 착지를 흔들어 "서 있기 / 머리 맞추기"로 수렴한다. 지지(머리 그룹도 원인) = 경과 1,500~3,000회차 7개 평균 ≤ 8%(v11 3.47 / v13 4.52% 수준) 또는 250~1,250회차 최대 ≥ 15%인데 마지막 4개 평균 ≤ 8%; 반박(머리 그룹은 원인이 아님) = 구간 평균 ≥ 16% 그리고 마지막 4개 평균 ≥ 16% 그리고 최종 낙상률 ≤ 2%; 8~16%는 판단보류. 경계 8 / 16은 10월 17일과 같게 두어 두 밤을 같은 자로 읽습니다(간격 8%p = 재현 폭 4.17%p의 두 배). 대조군은 v12 시드 43·44의 같은 경과 값(구간 평균 24.93 / 23.47%, 마지막 4개 36.13 / 33.24%), v13(4.52 / 3.79%), v11 재채점 곡선이고, 앵커는 시드 43의 3,250회차 체크포인트를 v15 id로 다시 잰 값입니다(평가용 구성이 v12와 같으므로 50.5 근처여야 합니다). 유효성 조건(seed=43, 불러오기 없음, 머리 세 항목의 단계별 회차 수, 고정 두 개·정점 배율, 벌점 0 → −100 → −300)이 깨지면 판정하지 않습니다. "개선"이라는 말은 원인 분리 검정이므로 쓰지 않고, v15가 v12를 넘어도 수치 변화로만 적기로 미리 정했습니다. 짧은 검증(64개 환경 × 5회차, 00:06~00:07)은 1차에 통과했습니다(seed=43, 불러오기 줄 없음, 머리 범위 0.07·편향 0·머리 무게중심 0.003 × 5 — 램프는 500회차부터 오르므로 검증 실행에서는 변하지 않고 단계 목록은 검사로 확인, 고정 두 개·정점 배율 0.06·벌점 0, 머리 추종·편향 보상 항 기록, NaN 없음). 본 학습은 00:09부터 02:22까지 3,250회차를 완주했습니다(회차당 2.44초; NaN 없음; 머리 명령 범위 0.0700 × 499 → 0.2100 × 499 → 0.4900 × 499 → 0.9100 × 499 → 1.4000 × 1,250, 전환 회차마다 중간값 1회(0.0758 / 0.2217 / 0.5075 / 0.9304 — 계획서가 허용한 범위); 편향 가중치 0 × 600 → 1 × 400 → 2 × 500 → 3 × 1,750; 머리 무게중심 0.003 × 500 → 0.005 × 500 → 0.010 × 2,250; 행동 변화율 −0.1000·몸통 무게중심 0.0030·정점 배율 0.0600 전 회차 고정; 벌점 0 × 1,499 → −100 × 999 → −300 × 750; 불러오기 줄 0; 체크포인트 0부터). 02:22부터 앵커 1개 + 새 체크포인트 14개를 5개씩 3부로 재채점해 02:29에 15개 모두 CSV로 확정됐습니다(512개 환경 × 1에피소드 = 점프 신호 1,536회, 제자리 조건, 평가 시드 1000).
관측 결과경과 회차별 유효 점프 비율(%). "v12 시드 43" 행은 10월 8일 실행(reports/jump_eval_v12_dense.csv), "v12 시드 44" 행은 10월 16일 실행(reports/jump_eval_v12s44_dense.csv), "v13" 행은 10월 17일 실행(reports/jump_eval_v13_dense.csv), "v11" 행은 10월 7일 v11 실행을 v12 id로 재채점한 값입니다. 0회차는 학습 전 무작위 정책(0%, 낙상 99.8%)입니다. 마지막 행은 그 구간에 적용된 머리 명령 범위(rad 반폭) / 편향 가중치 / 머리 무게중심(m)입니다.
경과 회차2505007501,0001,2501,5001,7502,0002,2502,5002,7503,0003,249 (최종)
v15 유효 점프 (%)20.3825.6521.4223.3121.1623.2427.2127.8028.3929.9541.9949.4139.84
v15 신호당 낙상률 (%)0.070.130.070.260.070.000.000.000.000.200.000.000.20
v15 체공 시간 (ms)33.533.934.835.635.335.735.638.337.840.548.556.938.1
v12 시드 43 유효 점프 (%, 10월 8일)22.2724.5422.5324.1519.8618.9519.7923.1818.5520.3129.6244.0850.52 (3,250)
v12 시드 44 유효 점프 (%, 10월 16일)23.9622.4019.7920.1823.1819.9217.9019.5320.3822.8525.4638.2246.42
v13 유효 점프 (%, 10월 17일)20.2526.7615.9512.305.275.734.234.234.494.363.784.822.21
v11 유효 점프 (%, v12 id 재채점)22.7923.2416.7311.788.665.013.392.862.993.783.193.063.65 (3,250)
v15 − v12 시드 43 (%p)−1.89+1.11−1.11−0.84+1.30+4.29+7.42+4.62+9.84+9.64+12.37+5.33−10.68
머리 범위 / 편향 가중치 / 머리 무게중심0.07 / 0 / 0.0030.21 / 0 → 1 / 0.0050.21 / 1 / 0.0050.49 / 2 / 0.0100.49 / 2 / 0.0100.91 / 3 / 0.0100.91 / 3 / 0.0101.40 / 3 / 0.0101.40 / 3 / 0.0101.40 / 3 / 0.0101.40 / 3 / 0.0101.40 / 3 / 0.0101.40 / 3 / 0.010
판정 조건: 경과 1,500~3,000회차 7개 평균 32.57%(반박 기준 ≥ 16; v12 시드 43 24.93, 시드 44 23.47, v13 4.52, v11 3.47) — 충족. 마지막 4개(2,500 / 2,750 / 3,000 / 3,249회차) 평균 40.30% ≥ 16(시드 43 36.13, 시드 44 33.24, v13 3.79) — 충족. 최종 낙상률 0.20% ≤ 2 — 충족. 지지 조건(구간 평균 ≤ 8, 또는 초기 최대 ≥ 15 뒤 마지막 4개 ≤ 8)은 해당 없습니다(500회차 최대 25.65 ≥ 15이지만 마지막 4개 40.30). 최종 3,249회차 체크포인트: 유효 점프 39.84%, 낙상률 0.20%, 체공 38.1ms, 평균 상승 0.68cm(최대 2.19cm), 착지 충격 27.1N. 앵커(시드 43의 3,250회차를 v15 id로 재채점) 50.39% — 10월 8일 50.52%, 10월 15일 49.54%, 10월 16일 51.04%, 10월 17일 50.59%와 1.1%p 안이어서 평가 재현 폭 4.17%p를 그대로 두며, 평가용 구성이 v12와 같음도 이 값으로 확인됩니다. 유효성 조건 7개 모두 충족. 학습 로그(500회차 블록 평균; 괄호는 10월 16일 v12 시드 44의 같은 블록): 머리 명령 추종 보상 1.04 → 1.45 → 1.41 → 1.19 → 1.13 → 0.77 → 0.90 — 명령 범위가 0.49 → 0.91 → 1.40rad으로 넓어지는 1,500~2,500회차에서 1.41 → 0.77로 내려갔고(넓은 명령을 덜 따름), 머리 편향 벌점 항 0.000 → −0.048 → −0.136 → −0.242 → −0.324 → −0.296 → −0.347(가중치 0 → 3). 행동 표준편차 0.83 → 0.79 → 0.78 → 0.90 → 0.94 → 1.24 → 1.27(시드 44: 0.83 → 0.76 → 0.73 → 0.76 → 0.73 → 0.98 → 1.22); 평균 최고 높이 0.0063 → 0.0051 → 0.0052 → 0.0068 → 0.0075 → 0.0118 → 0.0138m(시드 44: 0.0063 → 0.0046 → 0.0041 → 0.0043 → 0.0041 → 0.0070 → 0.0106m); 회차당 낙상 13.8 → 0.95 → 1.04 → 1.74 → 1.66 → 3.91 → 2.64(시드 44: 13.5 → 0.74 → 0.62 → 0.59 → 0.45 → 1.66 → 3.07); 평균 보상 45 → 69 → 66 → 39 → 33 → −11 → −10(시드 44: 46 → 77 → 84 → 81 → 87 → 39 → −2). 10월 17일 v13의 "서 있기" 수렴(표준편차 0.25, 최고 높이 0.0019m, 보상 139)과는 반대 방향이고 v12 시드 44와 같은 형태입니다. 마지막 회차(3,249): 평균 보상 4.12, 행동 표준편차 1.19, 낙상 1.50, 에피소드 길이 807.
개선 사항1. 실험 변수와 측정된 효과. 바꾼 것은 동결 커리큘럼 다섯 개 중 머리 자세 그룹 세 개의 해제(학습용 구성만)입니다. 측정된 효과는 "하락이 나타나지 않았다"입니다: 커리큘럼이 오르기 전(250~1,250회차)에는 v12 두 시드·v13·v11과 같은 20~26% 띠에 있었고, 머리 범위가 ±0.91 → ±1.40rad으로 넓어지고 편향 가중치가 3.0에 이르는 1,500~2,500회차에도 23.24 → 27.21 → 27.80 → 28.39 → 29.95%로 내려가지 않았습니다(같은 구간 v12 시드 43 18.95~20.31, 시드 44 17.90~22.85; v13 4.23~5.73, v11 2.86~5.01). 2,750·3,000회차에는 41.99 → 49.41%로 올랐습니다(시드 43 29.62 → 44.08, 시드 44 25.46 → 38.22). 사전 등록한 반박 조건 세 개를 모두 충족하므로 머리 자세 그룹은 v11 하락의 원인이 아닙니다(이 조건에서는 필요하지 않음). 10월 17일과 합치면 동결 다섯 개의 분리 현황은: 행동 변화율 벌점 커리큘럼 = 하락의 충분조건(확인), 머리 자세 그룹 세 개 = 원인 아님(확인), 몸통 무게중심 랜덤화 한 개 = 미검정. 시드 1회이므로 재현성 주장은 하지 않습니다. 비교 대상인 v12 두 시드와 v13의 같은 경과 값은 바뀌지 않았습니다. 2. v12보다 높게 나온 구간에 대해. v15의 구간 평균 32.57%는 v12 시드 43·44보다 +7.64 / +9.10%p 높고, 마지막 4개 평균 40.30%도 +4.17 / +7.06%p 높습니다. 이 차이는 관측된 시드 간 차(≤ 4.10%p, 시드 2개)보다 크지만, 사전 등록한 검정이 아니고 시드 1회이며 최종 3,249회차는 오히려 −10.68 / −6.58%p 낮으므로(3,000회차는 +5.33 / +11.19) "머리 커리큘럼이 점프에 도움이 된다"로 읽지 않고 수치 변화로만 적습니다. 계획서에 미리 적은 대로 "개선"이라는 말은 쓰지 않습니다. 확인하려면 별도 사전 등록(v15 시드 44, 또는 v12와 v15를 같은 새 시드로 쌍 비교)이 필요합니다. 3,000 → 3,249회차의 −9.57%p는 10월 8일 v12 시드 43에서도 본 인접 체크포인트 변동(3,500 → 3,749회차 −9.44%p)과 같은 크기입니다. 3. 기전에 대한 로그 관측(검정 아님). 머리 명령 범위가 넓어진 1,500~2,500회차에 머리 추종 보상이 1.41 → 0.77로 내려가고 편향 벌점이 −0.14 → −0.35로 커지는 동안 유효 점프는 23 → 30 → 49%로 올랐습니다. 정책이 넓은 머리 명령을 덜 따르는 쪽을 택하고 점프 보상을 유지한 것으로 읽히지만, 머리 과제의 포기가 점프 상승의 조건인지 단지 같은 시기에 일어난 일인지는 분리되지 않았습니다. 가설 H15가 가정한 "머리 과제가 점프 보상과 경쟁해 서 있기로 수렴"은 일어나지 않았습니다 — 행동 표준편차(0.78 → 1.27)·최고 높이(0.0052 → 0.0138m)·낙상(1.0 → 2.6/회차)이 모두 v12 시드 44처럼 후반에 커지는 "점프 탐색" 방향이었습니다. 머리 과제 관련 보상의 절대 크기(추종 ≤ 1.45, 편향 ≥ −0.35)가 점프 관련 보상 합(수십)보다 한 자릿수 작다는 점이 한 가지 설명 후보이지만 확인되지 않았습니다. 4. 평가 조건 메모. 학습용 구성(머리 범위 램프)과 평가용 구성(머리 범위 ±0.07 고정)이 다른 첫 실험입니다. 앵커 50.39%가 v12 id의 50.52%와 0.13%p 차이로 일치해 평가용 구성이 v12와 같음은 확인됐지만, 오늘 곡선은 "좁은 머리 명령에서의 점프"입니다. v15 정책이 넓은 머리 명령(±1.4rad)을 받을 때의 점프 성능은 재지 않았고, 이 페이지의 다른 실행과 비교할 수 있는 수치도 아닙니다. 5. 다음에 바꿀 한 가지. v16 = v12에서 몸통 무게중심 랜덤화 커리큘럼 하나만 되살립니다(새 태스크 id, 무작위 초기화, 시드 43, 3,250회차, 평가용 구성은 고정 유지). 변수는 항목 하나의 해제이고, 동결 다섯 개 중 마지막 미검정 항목이어서 이것으로 항목별 판정이 끝납니다. 근거: 계획서의 "반박이면 다음" 항목. 사전 등록 초안은 오늘과 같은 경계(구간 평균 ≤ 8이면 원인, ≥ 16이고 마지막 4개 ≥ 16이고 낙상 ≤ 2이면 원인 아님, 사이는 판단보류), 앵커는 시드 43의 3,250회차 재채점, 기반 코드의 몸통 무게중심 단계 목록(회차·값)을 준비 단계에 유효성 조건으로 적습니다. 그 뒤는 행동 변화율 벌점의 고정값 수준 검정(−0.3 또는 −0.5 고정, 램프 없음)이며, 오늘 v12보다 높게 나온 구간의 시드 차 분리(v15 시드 44)는 대체안으로 둡니다.
실험 설정PPO · Mjlab-Jump-Stand-v15-MicroDuck(새 id; v12 구성에서 머리 자세 그룹 세 개의 커리큘럼만 학습용 구성에 기반 코드대로 복원 — 머리 명령 범위 ±0.07 → ±0.21 / 0.49 / 0.91 / 1.40rad at 500 / 1,000 / 1,500 / 2,000회차, 머리 편향 벌점 0 → 1 / 2 / 3 at 600 / 1,000 / 1,500회차, 머리 무게중심 0.003 → 0.005 / 0.010m at 500 / 1,000회차; 행동 변화율 벌점 −0.1·몸통 무게중심 0.003m 고정; 평가용 구성은 다섯 개 모두 고정, 머리 명령 ±0.07rad) · 3,250회차 · 4,096개 환경 · 시드 43 · 초기 정책 무작위 초기화(불러오기 없음) · 정점 배율 0.06, 기준 상태 초기화 60/25/15, 낙상 벌점 0 → −100(1,500회차) → −300(2,500회차) · 대조군 v12 시드 43(reports/jump_eval_v12_dense.csv, 10월 8일)·시드 44(reports/jump_eval_v12s44_dense.csv, 10월 16일)·v13(reports/jump_eval_v13_dense.csv, 10월 17일) 같은 경과와 v11 재채점(10월 8일 CSV), 앵커 시드 43 3,250회차를 v15 id로 재채점 · 실행 2026-10-18_00-09-26_jump_stand_v15_s43, 체크포인트 0~3,249 14개 · 평가 scripts/evaluate_jump.py 512개 환경 × 1에피소드, 점프 신호 1,536회, 제자리 조건, 평가 시드 1000 · 계획서 experiments/plans/20261018-restore-head-group.yaml · 보고서 experiments/reports/20261018-restore-head-group.md · CSV reports/jump_eval_v15_dense.csv · 로그 logs/train_jump_stand_v15_s43.log, logs/nightly_2026-10-18_run.log · 짧은 검증 logs/smoke_20261018_restore-head-group.log · 검사 tests/test_restore_head_group.py · 기반 코드 커리큘럼 단계 pollen-robotics/microduck_rl(커밋 5946fd9) · 참고 Vijayan 외, Multi-critic Learning for Whole-body End-effector Twist Tracking (CoRL 2025), MLM: Multi-task Loco-Manipulation Whole-Body Control (arXiv 2508.10538) · 영상 생략 · 시드 1회 — 재현성 주장 불가 · 실물 로봇 검증 아님.

2026-10-19

v16: 커리큘럼을 고정한 v12에서 몸통 무게중심 랜덤화 범위(0.003 → 0.005 / 0.010 / 0.015m at 500 / 1,000 / 1,500회차)의 커리큘럼 하나만 학습용 구성에 되살려 무작위 초기화로 3,250회차 학습 — 경과 1,500~3,000회차 평균 31.41%(v12 시드 43 24.93%·시드 44 23.47%, v13 4.52%, v15 32.57%, v11 3.47%), 마지막 4개 평균 39.99%, 최종 46.61%·낙상 0.07%로 사전 등록 기준 반박. 몸통 무게중심 랜덤화는 v11 하락의 원인이 아니며, 이것으로 동결 다섯 항목의 분리가 끝났습니다 — 원인은 행동 변화율 벌점 커리큘럼 하나입니다(시드 1회)

수행 내용10월 18일 기록의 다음 후보였던 "v16 — 동결 커리큘럼 다섯 개 중 몸통 무게중심 랜덤화 하나만 복원"입니다. 10월 17일에 행동 변화율 벌점 커리큘럼이 v11 하락의 충분조건임이, 10월 18일에 머리 자세 그룹 세 개가 원인이 아님이 확인됐고, 남은 미검정 항목은 몸통 무게중심 랜덤화 범위 하나였습니다. 오늘은 그 항목의 스텝 커리큘럼(반폭 ±0.003 → ±0.005 / 0.010 / 0.015m at 500 / 1,000 / 1,500회차)만 기반 코드대로 되살리고 나머지 네 개(행동 변화율 벌점 −0.1, 머리 명령 범위 ±0.07rad, 머리 편향 벌점 0, 머리 무게중심 0.003m)는 v12처럼 고정한 새 태스크 id Mjlab-Jump-Stand-v16-MicroDuck을 무작위 초기화·시드 43·3,250회차로 학습했습니다. 변수는 항목 하나의 해제입니다. 평가용 구성은 v12와 같게 두었습니다(다섯 개 모두 고정, 몸통 무게중심 ±0.003m) — 따라서 오늘 수치는 "무게중심 공칭 조건에서의 점프"만 재며, 넓은 무게중심 교란 아래의 점프 강건성은 측정하지 않았습니다. 코드 변경은 동결 함수의 "남겨 둘 항목" 인자에 몸통 무게중심 하나를 넘기는 v16 id 등록이며(백업 보관), v12·v13·v14·v15 id의 동작은 변하지 않음을 검사로 확인했습니다. 가설의 근거는 기반 코드의 2026년 7월 감사 주석이었습니다: 이전의 ±30mm 램프는 발꿈치가 발목 뒤 20mm뿐인 이 로봇의 지지 다각형 밖으로 무게중심을 내보내 "넓고 빠른 과민 보행"과 후진 균형 실패를 만들었고, 램프 증가 시점과 회귀 시점이 일치해 상한을 ±15mm로 내렸다는 기록입니다. 외부 문헌(Siekmann 외 2020, Xie 외 2020)에는 무게중심 랜덤화를 단독 변수로 분리한 이족 점프 비교가 없어, 오늘 검정은 내부 선례만 가진 분리 실험입니다. 가설과 사전 등록 기준. H16: 무게중심 랜덤화가 ±3mm에서 ±15mm로 넓어지면 착지 때 무게중심을 지지 다각형 안에 두기 어려워져 정책이 "낮게·안전하게"로 수렴한다. 지지(이 항목도 원인) = 경과 1,500~3,000회차 7개 평균 ≤ 8% 또는 250~1,250회차 최대 ≥ 15%인데 마지막 4개 평균 ≤ 8%; 반박(원인이 아님) = 구간 평균 ≥ 16% 그리고 마지막 4개 평균 ≥ 16% 그리고 최종 낙상률 ≤ 2%; 8~16%는 판단보류. 경계 8 / 16은 10월 17·18일과 같게 두어 세 밤을 같은 자로 읽습니다. 대조군은 v12 시드 43·44(구간 평균 24.93 / 23.47%, 마지막 4개 36.13 / 33.24%), v13(4.52 / 3.79%), v15(32.57 / 40.30%), v11 재채점 곡선이고, 앵커는 시드 43의 3,250회차 체크포인트를 v16 id로 다시 잰 값입니다. 유효성 조건(seed=43, 불러오기 없음, 무게중심 단계별 회차 수 500 / 500 / 500 / 1,750, 고정 네 개·정점 배율, 벌점 0 → −100 → −300)이 깨지면 판정하지 않습니다. "개선"이라는 말은 원인 분리 검정이므로 쓰지 않고, v16이 v12를 넘어도 수치 변화로만 적기로 미리 정했습니다. 짧은 검증(64개 환경 × 5회차, 00:05~00:06)은 1차에 통과했습니다(seed=43, 불러오기 줄 없음, 몸통 무게중심 0.003 × 5 — 램프는 500회차부터 오르므로 검증 실행에서는 변하지 않고 단계 목록은 검사로 확인, 고정 네 개·정점 배율 0.06·벌점 0, 정점 보상·낙상 벌점 항 기록, NaN 0). 본 학습은 00:08부터 02:19까지 3,250회차(회차당 2.39초), 종료 코드 0. 야간 스크립트의 자동 검사: 무게중심 값 0.0030 × 500 → 0.0050 × 500 → 0.0100 × 500 → 0.0150 × 1,750회차(중간값 없음), 고정 네 개와 정점 배율은 3,250회차 전부 회차 0 값, 벌점 0 × 1,499 → −100 × 999 → −300 × 750. 재채점은 앵커 1개와 새 체크포인트 14개 전량을 세 부분으로 나눠 02:19~02:25에 마쳤습니다.
관측 결과경과 회차별 유효 점프 비율(%). "v12 시드 43" 행은 10월 8일 실행(reports/jump_eval_v12_dense.csv), "v12 시드 44" 행은 10월 16일 실행(reports/jump_eval_v12s44_dense.csv), "v13" 행은 10월 17일(reports/jump_eval_v13_dense.csv), "v15" 행은 10월 18일(reports/jump_eval_v15_dense.csv), "v11" 행은 10월 7일 v11 실행을 v12 id로 재채점한 값입니다. 0회차(학습 전)는 모두 0%.
경과 회차2505007501,0001,2501,5001,7502,0002,2502,5002,7503,0003,249 (최종)
v16 유효 점프 (%)22.2716.7318.7518.0316.1522.5927.5426.6929.6925.8542.7744.7346.61
v16 신호당 낙상률 (%)0.000.000.130.130.000.070.070.000.000.000.070.000.07
v16 체공 시간 (ms)34.031.534.629.134.533.836.233.935.735.753.053.351.8
v12 시드 43 유효 점프 (%, 10월 8일)22.2724.5422.5324.1519.8618.9519.7923.1818.5520.3129.6244.0850.52 (3,250)
v12 시드 44 유효 점프 (%, 10월 16일)23.9622.4019.7920.1823.1819.9217.9019.5320.3822.8525.4638.2246.42
v13 유효 점프 (%, 10월 17일)20.2526.7615.9512.305.275.734.234.234.494.363.784.822.21
v15 유효 점프 (%, 10월 18일)20.3825.6521.4223.3121.1623.2427.2127.8028.3929.9541.9949.4139.84
v11 유효 점프 (%, v12 id 재채점)22.7923.2416.7311.788.665.013.392.862.993.783.193.063.65 (3,250)
v16 − v12 시드 43 (%p)0.00−7.81−3.78−6.12−3.71+3.64+7.75+3.51+11.14+5.54+13.15+0.65−3.91
몸통 무게중심 반폭 (m)0.0030.0050.0050.0100.0100.0150.0150.0150.0150.0150.0150.0150.015
판정 조건: 경과 1,500~3,000회차 7개 평균 31.41%(반박 기준 ≥ 16; v12 시드 43 24.93, 시드 44 23.47, v13 4.52, v15 32.57, v11 3.47) — 충족. 마지막 4개(2,500 / 2,750 / 3,000 / 3,249회차) 평균 39.99% ≥ 16(시드 43 36.13, 시드 44 33.24, v13 3.79, v15 40.30) — 충족. 최종 낙상률 0.07% ≤ 2 — 충족. 지지 조건(구간 평균 ≤ 8, 또는 초기 최대 ≥ 15 뒤 마지막 4개 ≤ 8)은 해당 없습니다(250회차 최대 22.27 ≥ 15이지만 마지막 4개 39.99). 최종 3,249회차 체크포인트: 유효 점프 46.61%, 낙상률 0.07%, 체공 51.8ms, 평균 상승 0.76cm(최대 5.11cm), 착지 충격 31.9N. 앵커(시드 43의 3,250회차를 v16 id로 재채점) 49.02% — 10월 8일 50.52%, 10월 15일 49.54%, 10월 16일 51.04%, 10월 17일 50.59%, 10월 18일 50.39%와 2.1%p 안이어서 평가 재현 폭 4.17%p를 그대로 두며, 평가용 구성이 v12와 같음도 이 값으로 확인됩니다. 유효성 조건 5개 모두 충족. 학습 로그(500회차 블록 평균; 괄호는 10월 18일 v15의 같은 블록): 회차당 낙상 13.62 → 0.71 → 0.66 → 1.35 → 1.11 → 3.33 → 2.24(v15 13.78 → 0.95 → 1.04 → 1.74 → 1.66 → 3.91 → 2.64), 평균 최고 높이 0.0064 → 0.0047 → 0.0044 → 0.0062 → 0.0064 → 0.0107 → 0.0125m(v15 0.0063 → … → 0.0118 → 0.0138), 행동 표준편차 0.83 → 0.76 → 0.74 → 0.86 → 0.87 → 1.19 → 1.23(v15 0.83 → … → 1.24 → 1.27), 평균 보상 45 → 78 → 81 → 55 → 55 → 2 → 0(v15 45 → 69 → 66 → 39 → 33 → −11 → −10). 무게중심 램프가 0.005 → 0.010 → 0.015m로 오르는 500~1,500회차의 학습 낙상과 높이는 v15의 같은 블록과 1.2배 안에 있어, 교란 확대가 학습 낙상을 늘린 흔적은 이 해상도에서 보이지 않습니다. 후반(2,500회차 이후)의 낙상·높이·행동 표준편차 재상승은 v12 시드 44·v15와 같은 형태이고, v13의 "서 있기" 수렴(표준편차 0.25, 높이 0.0019m, 보상 139)과 반대 방향입니다. 수치 NaN 0.
개선 사항1. 실험 변수와 측정된 효과. 바꾼 것은 동결 커리큘럼 다섯 개 중 몸통 무게중심 랜덤화 범위 하나의 해제(학습용 구성만)이고, 측정된 효과는 "하락 없음"입니다. 램프가 ±15mm에 도달한 1,500회차부터 구간 평균 31.41%로 v12 두 시드(24.93 / 23.47%)와 v15(32.57%)의 띠 위에 있었고, 행동 변화율 벌점만 되살린 v13(4.52%)과는 26.9%p 차이입니다. 따라서 몸통 무게중심 랜덤화는 v11 하락의 원인 항목이 아닙니다(이 조건에서 필요하지 않음). 10월 17·18일과 합치면 동결 다섯 항목의 분리가 끝났습니다: 행동 변화율 벌점 커리큘럼 = 하락의 충분조건, 머리 자세 그룹 세 개 = 원인 아님, 몸통 무게중심 랜덤화 = 원인 아님. v11의 하락은 다섯 항목 중 하나로 설명됩니다. 시드 1회 — 재현성 주장 불가. 이 검정은 무게중심 공칭 조건(±3mm)에서의 점프만 재며, 넓은 무게중심 교란 아래의 점프 강건성은 측정하지 않았습니다. 2. 램프 구간과 v12보다 높게 나온 구간에 대해. 램프가 오르는 500~1,250회차에서 v16은 v12 시드 43보다 3.71~7.81%p 낮았습니다(16.73 / 18.75 / 18.03 / 16.15% 대 24.54 / 22.53 / 24.15 / 19.86%). 이 구간은 판정에 쓰지 않기로 미리 정했고, 램프 중의 일시 저하인지 시드 차인지는 분리되지 않았습니다. 반대로 램프 완료 뒤의 구간 평균 31.41%는 v12 시드 43·44보다 +6.48 / +7.94%p 높고 마지막 4개 평균 39.99%도 +3.86 / +6.75%p 높습니다. 어제의 v15(+7.64 / +9.10%p)에 이어 두 밤 연속 "항목 하나를 되살린 실행"이 v12 동결 실행보다 높은 구간 평균을 보였지만, 둘 다 사전 등록한 검정이 아니고 시드 1회이며 최종 3,249회차는 −3.91 / +0.19%p로 차이가 없으므로 "램프를 되살리면 점프에 도움이 된다"로 읽지 않고 수치 변화로만 적습니다. v12 시드 43·44가 낮은 쪽 시드였을 가능성과 분리되지 않았고, 계획서에 미리 적은 대로 "개선"이라는 말은 쓰지 않습니다. 3. 기전에 대한 로그 관측(검정 아님). 기반 코드 주석의 우려("무게중심이 지지 다각형 밖으로 나가 과민 보행")는 ±30mm 램프에서의 관찰이었고, 현재 상한 ±15mm에서는 점프 과제의 학습 낙상(500~1,500회차 블록 0.71 → 0.66 → 1.35)이 머리 그룹을 되살린 v15의 같은 블록(0.95 → 1.04 → 1.74)보다 오히려 낮았습니다. 최종 체크포인트의 최대 상승 5.11cm는 이 페이지의 제자리 점프 체크포인트 중 가장 높은 관측값이지만 사후값이고 단일 체크포인트의 값이어서 판정에 쓰지 않습니다. 4. 평가 조건 메모. 학습용 구성(무게중심 램프)과 평가용 구성(무게중심 ±3mm 고정)이 다른 두 번째 실험입니다. 앵커 49.02%가 v12 id의 50.52%와 1.5%p 차이로 일치해 평가용 구성이 v12와 같음은 확인됐지만, v16 정책이 ±15mm 무게중심 교란을 받을 때의 점프 성능은 재지 않았습니다. 5. 다음에 바꿀 한 가지. 행동 변화율 벌점 가중치의 고정값 수준 검정입니다: v12 구성에서 행동 변화율 벌점을 램프 없이 −0.3 상수로 두고(새 태스크 id, 무작위 초기화, 시드 43, 3,250회차, 평가용 구성은 고정 유지) 어느 가중치부터 점프가 사라지는지를 하루 한 수준씩(−0.3, 그 다음 −0.5) 잽니다. 근거: 계획서의 "반박이면 다음" 항목이고, 다섯 항목의 분리가 끝나 원인이 행동 변화율 벌점 하나로 좁혀졌으므로 다음 질문은 "점프와 양립하는 가중치 상한"입니다(v12는 −0.1 고정, v13은 −1.0 도달에서 소실). 사전 등록 초안: 구간 평균 ≤ 8이면 "−0.3에서도 소실"(지지), ≥ 16이고 마지막 4개 ≥ 16이고 낙상 ≤ 2이면 "−0.3은 양립"(반박), 사이는 판단보류; 앵커는 시드 43의 3,250회차 재채점; 유효성은 가중치 −0.3이 3,250회차 전부 고정. 대안 후보는 v15 또는 v16의 시드 44(두 밤 연속 관측된 "복원 실행 > v12" +6.5~9.1%p의 시드 차 분리)이며, 둘 다 v12보다 높으면 "v11에서 행동 변화율 벌점만 고정한 구성"(v12의 동결 다섯 개 중 하나만 필요한가)을 검정합니다.
실험 설정PPO · Mjlab-Jump-Stand-v16-MicroDuck(새 id; v12 구성에서 몸통 무게중심 랜덤화 반폭의 커리큘럼만 학습용 구성에 기반 코드대로 복원 — ±0.003 → ±0.005 / 0.010 / 0.015m at 500 / 1,000 / 1,500회차; 행동 변화율 벌점 −0.1·머리 명령 범위 ±0.07rad·머리 편향 벌점 0·머리 무게중심 0.003m 고정; 평가용 구성은 다섯 개 모두 고정, 몸통 무게중심 ±0.003m) · 3,250회차 · 4,096개 환경 · 시드 43 · 초기 정책 무작위 초기화(불러오기 없음) · 정점 배율 0.06, 기준 상태 초기화 60/25/15, 낙상 벌점 0 → −100(1,500회차) → −300(2,500회차) · 대조군 v12 시드 43(reports/jump_eval_v12_dense.csv, 10월 8일)·시드 44(reports/jump_eval_v12s44_dense.csv, 10월 16일)·v13(reports/jump_eval_v13_dense.csv, 10월 17일)·v15(reports/jump_eval_v15_dense.csv, 10월 18일) 같은 경과와 v11 재채점(10월 8일 CSV), 앵커 시드 43 3,250회차를 v16 id로 재채점 · 실행 2026-10-19_00-08-37_jump_stand_v16_s43, 체크포인트 0~3,249 14개 · 평가 scripts/evaluate_jump.py 512개 환경 × 1에피소드, 점프 신호 1,536회, 제자리 조건, 평가 시드 1000 · 계획서 experiments/plans/20261019-restore-com-range.yaml · 보고서 experiments/reports/20261019-restore-com-range.md · CSV reports/jump_eval_v16_dense.csv · 로그 logs/train_jump_stand_v16_s43.log, logs/nightly_2026-10-19_run.log · 짧은 검증 logs/smoke_20261019_restore-com-range.log · 검사 tests/test_restore_com_range.py · 기반 코드 커리큘럼 단계와 2026년 7월 감사 주석 pollen-robotics/microduck_rl(커밋 5946fd9) · 참고 Siekmann 외, Learning Memory-Based Control for Human-Scale Bipedal Locomotion (arXiv 2006.02402), Xie 외, Dynamics Randomization Revisited (arXiv 2010.12070) · 영상 생략 · 시드 1회 — 재현성 주장 불가 · 실물 로봇 검증 아님.

2026-10-20

v17: 커리큘럼을 고정한 v12에서 행동 변화율 벌점 가중치만 −0.1에서 −0.3 상수(램프 없음)로 바꿔 무작위 초기화로 3,250회차 학습 — 경과 1,500~3,000회차 평균 9.00%(v12 시드 43 24.93%·시드 44 23.47%, v13 4.52%, v11 3.47%), 마지막 4개 평균 8.64%, 최종 7.42%·낙상 0.13%로 사전 등록 기준 판단보류. 지지 경계(≤ 8%)를 1.0%p 넘고 반박 경계(≥ 16%)에는 7.0%p 못 미치는 "부분 효과" 구간입니다 — −0.3은 점프를 약화시키지만 v13 수준의 소실은 아니며, 경계와의 차가 평가 재현 폭 안이라 시드 1회로는 더 가를 수 없습니다

수행 내용10월 19일 기록의 다음 후보였던 "행동 변화율 벌점 가중치의 고정값 수준 검정"의 첫 단계입니다. 10월 17~19일에 v12가 고정한 다섯 커리큘럼 중 v11 하락의 원인이 행동 변화율 벌점 커리큘럼(−0.1 → −0.2 / −0.4 / −0.6 / −0.8 / −1.0 at 500 / 750 / 1,000 / 1,250 / 1,500회차) 하나로 좁혀졌습니다. 남은 질문은 "가중치의 수준이 문제인가, 학습 중 가중치가 바뀌는 램프가 문제인가"와 "점프와 양립하는 가중치의 상한은 어디인가"입니다. 오늘은 램프를 쓰지 않고 가중치를 처음부터 끝까지 −0.3 상수(v12의 3배, 램프의 750회차 값 −0.4 바로 아래)로 둔 새 태스크 id Mjlab-Jump-Stand-v17-MicroDuck을 무작위 초기화·시드 43·3,250회차로 학습했습니다. 변수는 상수 하나입니다(보상 구성의 초기값과 커리큘럼의 단일 단계 둘 다 −0.3; 나머지 네 항목 — 머리 명령 범위 ±0.07rad, 머리 편향 벌점 0, 몸통 무게중심 0.003m, 머리 무게중심 0.003m — 과 정점 배율 0.06, 낙상 벌점 일정은 v12 그대로). 평가용 구성의 물리·명령·관측은 v12와 같습니다(평가 지표는 보상 가중치를 읽지 않으므로 가중치 −0.3은 평가값에 영향이 없고, 이는 앵커 재채점으로 확인합니다). 코드 변경은 환경 구성 함수에 "행동 변화율 가중치 고정값" 인자를 더한 v17 id 등록이며(백업 보관), v12~v16 id의 동작은 변하지 않음을 검사로 확인했습니다. 외부 문헌(2026년 10월 20일 검색)은 방향만 줍니다: Athena-WBC(arXiv 2607.04837)는 평활 벌점을 빼면 추적 성공률이 오르고 행동 변화율이 약 3배가 된다고 보고해 "평활 벌점은 보수적인 정책을 만든다"는 쪽이고, Cassie 다목적 보행(arXiv 2401.16889)은 평활 처리를 빼면 점프 정책이 떨린다고 보고하지만, 이족 점프에서 행동 변화율 가중치를 수준별로 비교한 자료는 찾지 못했습니다. 오늘 검정은 내부 수준 탐색의 1단계입니다. 가설과 사전 등록 기준. H17: 점프의 토크 전환(웅크림 → 밀기 → 착지)은 본질적으로 행동 변화율이 크므로 −0.3만 돼도 "움직이지 않는" 정책이 유리해져 점프가 사라진다. 지지(수준 자체가 원인) = 경과 1,500~3,000회차 7개 평균 ≤ 8% 또는 250~1,250회차 최대 ≥ 15%인데 마지막 4개 평균 ≤ 8%; 반박(−0.3은 양립) = 구간 평균 ≥ 16% 그리고 마지막 4개 평균 ≥ 16% 그리고 최종 낙상률 ≤ 2%; 8~16%는 판단보류("−0.3은 약화시키지만 소실은 아님"으로 서술하기로 미리 정함). 경계 8 / 16은 10월 17·18·19일과 같게 두어 네 밤을 같은 자로 읽습니다. 대조군은 v12 시드 43·44(−0.1 고정; 구간 평균 24.93 / 23.47%, 마지막 4개 36.13 / 33.24%), v13(램프; 4.52 / 3.79%), v11 재채점 곡선이고, 앵커는 시드 43의 3,250회차 체크포인트를 v17 id로 다시 잰 값입니다. 유효성 조건(seed=43, 불러오기 없음, 로그의 가중치가 3,250회차 전부 −0.3000, 고정 네 개·정점 배율, 벌점 0 → −100 → −300)이 깨지면 판정하지 않습니다. "개선"이라는 말은 수준 검정이므로 쓰지 않습니다. 짧은 검증(64개 환경 × 5회차, 00:11)은 1차에 통과했습니다(seed=43, 불러오기 줄 없음, 가중치 −0.3000 × 5 — 0회차부터, 고정 네 개·정점 배율 0.06·벌점 0, 행동 변화율·정점·낙상 벌점 항 기록, NaN 0). 본 학습은 00:14부터 02:26까지 3,250회차(회차당 2.29초), 종료 코드 0. 야간 스크립트의 자동 검사: 가중치 −0.3000 × 3,250회차(−0.1000 0회, 다른 값 없음), 고정 네 개와 정점 배율은 3,250회차 전부 회차 0 값, 벌점 0 × 1,499 → −100 × 999 → −300 × 750. 재채점은 앵커 1개와 새 체크포인트 14개 전량을 세 부분으로 나눠 02:26~02:32에 마쳤습니다.
관측 결과경과 회차별 유효 점프 비율(%). "v12 시드 43" 행은 10월 8일 실행(reports/jump_eval_v12_dense.csv), "v12 시드 44" 행은 10월 16일 실행(reports/jump_eval_v12s44_dense.csv), "v13" 행은 10월 17일(reports/jump_eval_v13_dense.csv), "v11" 행은 10월 7일 v11 실행을 v12 id로 재채점한 값입니다. 0회차(학습 전)는 모두 0%. 마지막 행은 각 실행이 그 회차에 쓰던 행동 변화율 벌점 가중치입니다(v12·v11 초기값 −0.1; v13·v11은 램프).
경과 회차2505007501,0001,2501,5001,7502,0002,2502,5002,7503,0003,249 (최종)
v17 유효 점프 (%)15.8212.378.793.457.758.985.738.9212.249.709.647.817.42
v17 신호당 낙상률 (%)0.910.780.590.720.520.260.200.260.000.330.260.000.13
v17 체공 시간 (ms)33.327.726.127.928.927.828.926.727.026.628.526.523.7
v12 시드 43 유효 점프 (%, 10월 8일)22.2724.5422.5324.1519.8618.9519.7923.1818.5520.3129.6244.0850.52 (3,250)
v12 시드 44 유효 점프 (%, 10월 16일)23.9622.4019.7920.1823.1819.9217.9019.5320.3822.8525.4638.2246.42
v13 유효 점프 (%, 10월 17일, 램프)20.2526.7615.9512.305.275.734.234.234.494.363.784.822.21
v11 유효 점프 (%, v12 id 재채점)22.7923.2416.7311.788.665.013.392.862.993.783.193.063.65 (3,250)
v17 − v12 시드 43 (%p)−6.45−12.17−13.74−20.70−12.11−9.97−14.06−14.26−6.31−10.61−19.98−36.27−43.10
v17 − v13 (%p)−4.43−14.39−7.16−8.85+2.48+3.25+1.50+4.69+7.75+5.34+5.86+2.99+5.21
행동 변화율 가중치 v17 / v13−0.3 / −0.1−0.3 / −0.2−0.3 / −0.4−0.3 / −0.6−0.3 / −0.8−0.3 / −1.0−0.3 / −1.0−0.3 / −1.0−0.3 / −1.0−0.3 / −1.0−0.3 / −1.0−0.3 / −1.0−0.3 / −1.0
판정 조건: 경과 1,500~3,000회차 7개 평균 9.00% — 지지 기준 ≤ 8을 1.00%p 넘고 반박 기준 ≥ 16에 7.00%p 못 미침(v12 시드 43 24.93, 시드 44 23.47, v13 4.52, v11 3.47). 지지 (2): 250회차 최대 15.82 ≥ 15이지만 마지막 4개(2,500 / 2,750 / 3,000 / 3,249회차) 평균 8.64% > 8(0.64%p 초과) — 미충족. 반박 (a)(b) 미충족, (c) 최종 낙상률 0.13% ≤ 2는 충족. 따라서 사전 등록의 "구간 평균 8~16% = 판단보류" 구간입니다. 최종 3,249회차 체크포인트: 유효 점프 7.42%, 낙상률 0.13%, 체공 23.7ms, 평균 상승 0.39cm(최대 1.48cm), 착지 충격 21.5N. 앵커(시드 43의 3,250회차를 v17 id로 재채점) 48.89% — 10월 8일 50.52%, 10월 15일 49.54%, 10월 16일 51.04%, 10월 17일 50.59%, 10월 18일 50.39%, 10월 19일 49.02%와 2.2%p 안이어서 평가 재현 폭 4.17%p를 그대로 두며, 평가용 구성이 v12와 같음(가중치 −0.3이 평가값에 영향 없음)도 이 값으로 확인됩니다. 유효성 조건 5개 모두 충족. 학습 로그(500회차 블록 평균; 괄호는 v12 시드 43 / v13의 같은 블록, 각 학습 로그에서 재계산): 행동 표준편차 0.49 → 0.42 → 0.42 → 0.43 → 0.42 → 0.46 → 0.45(v12 0.83 → 0.77 → 0.72 → 0.77 → 0.77 → 1.05 → 1.19 / v13 0.84 → 0.49 → 0.30 → 0.25 → 0.25 → 0.26 → 0.25), 행동 가속도 지표 1.00 → 0.93 → 0.94 → 0.95 → 0.95 → 1.02 → 1.00(v12 1.74 → … → 2.28 → 2.45 / v13 1.76 → 1.10 → 0.62 → 0.50 → 0.51 → 0.52 → 0.50), 가중치를 곱한 행동 변화율 벌점 합 −1.66 → −1.83 → −1.86 → −1.90 → −1.87 → −2.15 → −2.02(v12 −1.65 → … → −2.74 → −3.19 / v13 −1.66 → … → −1.88) — 가중치가 3배인데 벌점 합이 v12와 같은 크기이므로 가중치 없는 행동 변화율 자체가 약 3분의 1인 상태로 학습이 진행됐습니다. 회차당 낙상 17.20 → 0.23 → 0.24 → 0.23 → 0.20 → 0.27 → 0.20(v12 13.43 → 0.75 → … → 2.08 → 2.43 / v13 12.92 → 0.23 → 0.09 → 0.06 → 0.07 → 0.08 → 0.06), 평균 최고 높이 0.0033 → 0.0017 → 0.0018 → 0.0018 → 0.0017 → 0.0020 → 0.0019m(v12 0.0062 → 0.0047 → … → 0.0077 → 0.0098 / v13 0.0065 → 0.0026 → 0.0016 → 0.0019 × 4), 평균 보상 76 → 118 → 117 → 115 → 117 → 104 → 111(v12 47 → 77 → 87 → 77 → 80 → 25 → 3 / v13 44 → 101 → 131 → 139 → 139 → 136 → 139), 에피소드 길이 728 → 962 → 960 → 961 → 965 → 952 → 966(v12 642 → … → 733 → 695 / v13 635 → 960 → … → 990). 학습 높이·낙상·에피소드 길이는 v13의 "서 있기" 수렴과 같은 띠이고, 행동 표준편차와 평균 보상은 v12와 v13의 사이입니다 — 로그와 평가(구간 평균 9.00%, v12 24.93과 v13 4.52의 사이)가 같은 방향의 "중간"을 가리킵니다. v12 시드 43·44가 2,750회차부터 보인 후반 상승(행동 표준편차·높이·낙상 재상승과 함께 29.62 → 44.08 → 50.52 / 25.46 → 38.22 → 46.42)은 v17에 없습니다(9.64 → 7.81 → 7.42). 수치 NaN 0.
개선 사항1. 실험 변수와 측정된 효과. 바꾼 것은 행동 변화율 벌점 가중치 하나(−0.1 → −0.3 상수)이고, 측정된 효과는 "구간 평균 9.00% — v12 두 시드보다 14.5~15.9%p 낮고 v13·v11보다 4.5~5.5%p 높은 중간 띠"입니다. 사전 등록대로 판단보류이며, 계획서에 미리 적은 서술 규칙에 따라 "−0.3 상수는 점프를 약화시키지만(v12 대비 구간 −14.5~−15.9%p, 후반 상승 없음) v13·v11 수준의 소실(구간 3~5%)은 아니다"로 적습니다. 다만 지지 경계와의 차(구간 평균 1.00%p, 마지막 4개 0.64%p)는 평가 재현 폭 4.17%p·관측된 시드 간 차 4.10%p보다 작으므로 "소실이 아니다"를 적극적으로 주장하지 않습니다 — 시드 1회로는 지지와 판단보류를 가를 수 없습니다. v17이 v13보다 높은 폭(구간 +4.48, 마지막 4개 +4.85, 최종 +5.21%p)도 같은 이유로 "v17 > v13"으로 읽지 않습니다. 경계는 사후에 옮기지 않습니다. 시드 1회 — 재현성 주장 불가. 2. 수준인가 램프인가(검정 아님). v13의 하락은 램프가 −0.4 → −1.0으로 오르는 750~1,500회차에 집중됐는데, v17은 가중치가 한 번도 바뀌지 않았는데도 250회차부터 낮았습니다(15.82%; 같은 지점에서 −0.1이던 v12 시드 43·44, v13, v11은 20.25~23.96%). 이는 10월 17일의 "램프 = 하락의 충분조건"이 램프라는 비정상성보다 가중치 수준으로 설명되는 쪽에 가깝다는 관측이지만, 한 수준·시드 1회라 확정하지 못합니다. 250회차 하나의 차(4.4~8.1%p)는 시드 차와 분리되지 않았습니다. 학습 로그에서 행동 표준편차와 행동 가속도가 첫 블록부터 v12의 0.55~0.6배였다는 점은 "−0.3이 점프에 필요한 큰 토크 전환을 처음부터 억제한다"는 H17의 기전과 모순되지 않지만, 그것이 구간 9%의 원인이라는 것은 분리되지 않았습니다. 3. 아직 모르는 것. −0.1(점프, v12)과 −0.3(약화) 사이의 경계값, −0.3 위의 상한(−0.5, −1.0 상수)은 재지 않았습니다. 오늘 결과만으로는 "−0.3에서 소실"과 "부분 효과"를 가를 수 없으므로 수준을 옮기기 전에 같은 수준의 두 번째 시드가 먼저입니다. 4. 평가 조건 메모. 학습용 구성과 평가용 구성의 보상 가중치가 모두 −0.3이지만 평가 지표(유효 점프·낙상·체공·상승·착지 충격)는 보상 가중치를 읽지 않으며, 앵커 48.89%가 v12 id의 50.52%와 1.6%p 차이로 일치해 평가 물리·명령이 v12와 같음이 확인됐습니다. 5. 다음에 바꿀 한 가지. v17의 시드 44입니다(같은 id, 시드만 43 → 44, 무작위 초기화, 3,250회차, 평가용 구성 동일). 근거: 계획서의 "판단보류이면 다음" 항목이고, 구간 평균 9.00%가 지지 경계 8%와 1%p 차이이므로 시드 띠 폭(지금까지 n=2, ≤ 4.10%p)을 재지 않으면 "−0.3에서 소실"과 "부분 효과"를 구분할 수 없습니다. 사전 등록 초안: 시드 44의 구간 평균 ≤ 8%이면 "−0.3에서 소실"(지지; 두 시드 중 하나 ≤ 8, 하나 9.00, 두 시드 평균 ≤ 8.5), 8~16%이면 "부분 효과 두 시드 확인"(소실 아님)으로 판정하고 다음 밤 −0.2(경계 탐색) 또는 −0.5로, ≥ 16%이면 시드 띠 폭이 검정 간격을 넘는 것이므로 판단보류로 두고 설계를 재검토합니다. 앵커는 시드 43의 3,250회차를 v17 id로 재채점, 유효성은 가중치 −0.3000이 3,250회차 전부. 대안은 −0.2 상수(v18)이고, 대체안은 v15 또는 v16의 시드 44(두 밤 연속 "복원 실행 > v12" +6.5~9.1%p의 시드 차 분리)와 v12 시드 45입니다.
실험 설정PPO · Mjlab-Jump-Stand-v17-MicroDuck(새 id; v12 구성에서 행동 변화율 벌점 가중치만 −0.1 → −0.3 상수, 램프 없음 — 보상 구성 초기값과 커리큘럼 단일 단계 둘 다 −0.3; 머리 명령 범위 ±0.07rad·머리 편향 벌점 0·몸통 무게중심 0.003m·머리 무게중심 0.003m 고정; 평가용 구성의 물리·명령·관측은 v12와 동일) · 3,250회차 · 4,096개 환경 · 시드 43 · 초기 정책 무작위 초기화(불러오기 없음) · 정점 배율 0.06, 기준 상태 초기화 60/25/15, 낙상 벌점 0 → −100(1,500회차) → −300(2,500회차) · 대조군 v12 시드 43(reports/jump_eval_v12_dense.csv, 10월 8일)·시드 44(reports/jump_eval_v12s44_dense.csv, 10월 16일)·v13(reports/jump_eval_v13_dense.csv, 10월 17일) 같은 경과와 v11 재채점(10월 8일 CSV), 앵커 시드 43 3,250회차를 v17 id로 재채점 · 실행 2026-10-20_00-14-15_jump_stand_v17_s43, 체크포인트 0~3,249 14개 · 평가 scripts/evaluate_jump.py 512개 환경 × 1에피소드, 점프 신호 1,536회, 제자리 조건, 평가 시드 1000 · 계획서 experiments/plans/20261020-action-rate-fixed-03.yaml · 보고서 experiments/reports/20261020-action-rate-fixed-03.md · CSV reports/jump_eval_v17_dense.csv · 로그 logs/train_jump_stand_v17_s43.log, logs/nightly_2026-10-20_run.log · 짧은 검증 logs/smoke_20261020_action-rate-fixed-03.log · 검사 tests/test_action_rate_fixed_03.py · 기반 코드 행동 변화율 초기값·램프 단계 pollen-robotics/microduck_rl(커밋 5946fd9) · 참고 Athena-WBC (arXiv 2607.04837), arXiv 2401.16889, arXiv 2607.18135 · 영상 생략 · 시드 1회 — 재현성 주장 불가 · 실물 로봇 검증 아님.

2026-10-24

v17 시드 44: 행동 변화율 벌점 가중치 −0.3 상수(램프 없음)의 두 번째 시드 — 코드 변경 없이 시드만 43 → 44로 바꿔 무작위 초기화로 3,250회차 학습. 경과 1,500~3,000회차 평균 7.57%(시드 43 9.00%; v12 시드 43 24.93%·시드 44 23.47%, v13 4.52%), 두 시드 평균 8.29%, 마지막 4개 평균 7.80%, 최종 8.01%·낙상 0.13%로 사전 등록 기준 지지 — "−0.3 수준은 램프 없이도 점프를 소실시킨다"가 두 시드로 서술됩니다. 두 시드가 지지 경계 8%를 양쪽으로 끼고 있고(+1.00 / −0.43%p) 둘 다 평가 재현 폭 안이라는 점을 함께 적습니다

수행 내용10월 20일 기록의 다음 후보였던 "같은 수준(−0.3)의 두 번째 시드"입니다. 10월 20일 v17(시드 43)은 구간 평균 9.00%로 지지 경계 8%를 1.0%p 넘겨 판단보류였고, 그 차가 평가 재현 폭(4.17%p)·관측된 시드 간 차(4.10%p)보다 작아 "−0.3에서 소실"과 "부분 효과"를 시드 1회로는 가를 수 없었습니다. 10월 21~23일에는 자동 세션이 없었습니다. 오늘은 코드를 바꾸지 않고 같은 태스크 id Mjlab-Jump-Stand-v17-MicroDuck·같은 구성·같은 회차 예산으로 시드만 43 → 44로 바꿔(10월 16일 v12 시드 44와 같은 절차) 무작위 초기화·3,250회차로 학습했습니다. 변수는 PPO·환경 시드 하나입니다(학습 로그 "seed=44", 저장된 설정 파일 seed 44 확인). 외부 조사(2026년 10월 24일): 기반 코드 저장소는 8월 25일 이후 커밋이 없고, Hugging Face의 "microduck" 최신 30개 저장소에 점프·호핑 정책은 없으며, 문헌의 행동 변화율 가중치는 논문마다 5e-3(arXiv 2506.09588)·−0.01(arXiv 2310.07744)·−2.0(arXiv 2507.10164)으로 약 400배 차이가 나면서 다른 보상 척도에 묶여 있고, 이족 점프에서 이 가중치의 시드 민감도를 보고한 자료는 찾지 못했습니다 — 내부 두 시드 반복이 유일한 분리 수단이었습니다. 가설과 사전 등록 기준. H17s: 가중치 −0.3 수준 자체가 점프를 소실시킨다. 지지 = 시드 44의 경과 1,500~3,000회차 7개 평균 ≤ 8% 그리고 두 시드 구간 평균 (9.00 + 시드 44)/2 ≤ 8.5%; 반박(−0.3은 부분 효과, 소실 아님 — 두 시드로 확정) = 시드 44 구간 평균 8~16% 그리고 마지막 4개 평균 > 8% 그리고 최종 낙상률 ≤ 2%; 시드 44 구간 평균 ≥ 16%이면 시드 띠 폭이 검정 간격(8%p)을 넘는 것이므로 판단보류·설계 재검토. 경계 8 / 16은 10월 17~20일과 같습니다. 1차 대조군은 v17 시드 43(구간 평균 9.00%, 마지막 4개 8.64%, 최종 7.42%), 2차 대조군은 v12 시드 43·44(−0.1 고정; 24.93 / 23.47%)와 v13(램프; 4.52%)이고, 앵커는 v12 시드 43의 3,250회차 체크포인트를 v17 id로 다시 잰 값입니다. 유효성 조건(seed=44, 불러오기 없음, 로그의 가중치가 3,250회차 전부 −0.3000, 고정 네 개·정점 배율, 벌점 0 → −100 → −300)이 깨지면 판정하지 않습니다. "개선"이라는 말은 수준 검정의 반복이므로 쓰지 않고, 시드 44가 시드 43을 넘어도 "시드 차"로만 적기로 미리 정했습니다. 짧은 검증(64개 환경 × 5회차, 00:03~00:04)은 1차에 통과했습니다(seed=44, 불러오기 줄 없음, 가중치 −0.3000 × 5, 고정 네 개·정점 배율 0.06·벌점 0, 행동 변화율·정점·낙상 벌점 항 기록, NaN 0). 본 학습은 00:08부터 02:14까지 3,250회차(회차당 평균 2.29초), 종료 코드 0. 야간 스크립트의 자동 검사: 가중치 −0.3000 × 3,250회차(−0.1000 0회, 다른 값 없음), 고정 네 개와 정점 배율은 3,250회차 전부 회차 0 값, 벌점 0 × 1,499 → −100 × 999 → −300 × 750, 첫 체크포인트 0, 수치 NaN 0. 재채점은 앵커 1개와 새 체크포인트 14개 전량을 세 부분으로 나눠 02:15~02:21에 마쳤습니다.
관측 결과경과 회차별 유효 점프 비율(%). "v17 시드 44" 행이 오늘 실행(reports/jump_eval_v17s44_dense.csv), "v17 시드 43" 행은 10월 20일(reports/jump_eval_v17_dense.csv), "v12 시드 43" 행은 10월 8일(reports/jump_eval_v12_dense.csv), "v12 시드 44" 행은 10월 16일(reports/jump_eval_v12s44_dense.csv), "v13" 행은 10월 17일(reports/jump_eval_v13_dense.csv)입니다. 0회차(학습 전)는 모두 0%.
경과 회차2505007501,0001,2501,5001,7502,0002,2502,5002,7503,0003,249 (최종)
v17 시드 44 유효 점프 (%)10.296.7110.039.187.366.646.647.948.595.9910.616.588.01
v17 시드 44 신호당 낙상률 (%)0.390.200.070.200.260.130.260.330.200.590.200.130.13
v17 시드 44 체공 시간 (ms)32.827.025.727.229.225.128.624.626.728.726.925.329.4
v17 시드 43 유효 점프 (%, 10월 20일)15.8212.378.793.457.758.985.738.9212.249.709.647.817.42
시드 44 − 시드 43 (%p)−5.53−5.66+1.24+5.73−0.39−2.34+0.91−0.98−3.65−3.71+0.97−1.23+0.59
v12 시드 43 유효 점프 (%, 10월 8일, −0.1)22.2724.5422.5324.1519.8618.9519.7923.1818.5520.3129.6244.0850.52 (3,250)
v12 시드 44 유효 점프 (%, 10월 16일, −0.1)23.9622.4019.7920.1823.1819.9217.9019.5320.3822.8525.4638.2246.42
v13 유효 점프 (%, 10월 17일, 램프)20.2526.7615.9512.305.275.734.234.234.494.363.784.822.21
v17 시드 44 − v12 시드 43 (%p)−11.98−17.83−12.50−14.97−12.50−12.31−13.15−15.24−9.96−14.32−19.01−37.50−42.51
v17 시드 44 − v13 (%p)−9.96−20.05−5.92−3.12+2.09+0.91+2.41+3.71+4.10+1.63+6.83+1.76+5.80
판정 조건: 시드 44의 경과 1,500~3,000회차 7개 평균 7.57% ≤ 8 — 지지 (1) 충족(경계 아래 0.43%p); 두 시드 구간 평균 (9.00 + 7.57) / 2 = 8.29% ≤ 8.5 — 지지 (2) 충족. 반박 조건(구간 평균 8~16%이고 마지막 4개 평균 > 8%)은 마지막 4개(2,500 / 2,750 / 3,000 / 3,249회차) 평균 7.80%로 미충족, 최종 낙상률 0.13% ≤ 2는 충족. 판단보류 조건(구간 평균 ≥ 16%, 회차 부족, 미채점, 유효성 위반) 해당 없음. 최종 3,249회차 체크포인트: 유효 점프 8.01%, 낙상률 0.13%, 체공 29.4ms, 평균 상승 0.35cm(최대 1.44cm), 착지 충격 22.6N. 앵커(v12 시드 43의 3,250회차를 v17 id로 재채점) 49.22% — 10월 20일 48.89%와 0.33%p, 10월 8일 50.52%와 1.30%p 차이여서 평가 재현 폭 4.17%p를 그대로 둡니다. 유효성 조건 5개 모두 충족. 시드 간 차(시드 44 − 시드 43)는 구간 평균 −1.43%p, 마지막 4개 −0.84%p, 최종 +0.59%p로 모두 재현 폭 안이고, 체크포인트별로는 −5.66 ~ +5.73%p(250·500회차에서 −5.5~−5.7, 1,000회차에서 +5.73; 1,250회차 이후 13개 중 11개가 3.71%p 안)입니다. 학습 로그(500회차 블록 평균; 괄호는 시드 43의 같은 블록, 각 학습 로그에서 재계산): 행동 표준편차 0.49 → 0.42 → 0.42 → 0.42 → 0.42 → 0.46 → 0.46(시드 43 0.49 → 0.42 → 0.42 → 0.43 → 0.42 → 0.46 → 0.45), 행동 가속도 지표 1.00 → 0.93 → 0.93 → 0.94 → 0.94 → 1.01 → 1.01(0.93 ~ 1.02), 가중치를 곱한 행동 변화율 벌점 합 −1.67 → −1.82 → −1.83 → −1.85 → −1.87 → −2.12 → −2.07(−1.66 ~ −2.15), 회차당 낙상 17.17 → 0.23 → 0.21 → 0.19 → 0.22 → 0.24 → 0.21(17.20 → 0.20 ~ 0.27), 평균 최고 높이 0.0034 → 0.0017 → 0.0017 → 0.0017 → 0.0017 → 0.0019 → 0.0019m(0.0033 → 0.0017 ~ 0.0020), 평균 보상 76 → 118 → 118 → 118 → 117 → 106 → 109(76 → 104 ~ 118), 에피소드 길이 725 → 961 → 964 → 968 → 962 → 958 → 963(728 → 952 ~ 966). 일곱 블록 × 여덟 지표에서 두 시드의 차는 행동 표준편차 0.01, 낙상 0.03, 높이 0.0001m, 보상 3 안이어서 학습 로그로는 두 시드가 구별되지 않습니다. v12 시드 43·44가 2,750회차부터 보인 후반 상승(29.62 → 44.08 → 50.52 / 25.46 → 38.22 → 46.42)은 시드 44에도 없습니다(10.61 → 6.58 → 8.01). 수치 NaN 0.
개선 사항1. 실험 변수와 측정된 효과. 바꾼 것은 시드 하나(43 → 44)이고, 측정된 효과는 "같은 구성의 두 번째 시드가 구간 평균 7.57% — 시드 43의 9.00%보다 1.43%p 낮고, v12 두 시드보다 15.9~17.4%p 낮고, v13보다 3.05%p 높은 띠"입니다. 사전 등록 기준 두 개(시드 44 구간 평균 ≤ 8%, 두 시드 평균 ≤ 8.5%)를 모두 충족하므로 지지이며, 계획서에 미리 적은 판정문 규칙에 따라 "행동 변화율 벌점 가중치 −0.3 수준은 램프 없이도 점프를 v13 램프와 같은 소실 띠로 보낸다(두 시드)"로 적습니다. 두 시드의 결과는 n=2이므로 재현성 주장은 하지 않습니다. 2. 함께 적어야 하는 단서(검정 아님). 첫째, 시드 43은 경계 8% 위 1.00%p, 시드 44는 아래 0.43%p로 두 시드가 경계를 양쪽으로 끼고 있고 둘 다 평가 재현 폭(4.17%p) 안입니다 — 사전 등록 규칙은 이 경우를 두 시드 평균(8.29 ≤ 8.5)으로 지지로 분류하도록 미리 정해져 있었고 그 규칙을 그대로 적용한 결과이며, 사후에 경계를 옮기지 않았습니다. 둘째, "v13과 같은 소실 띠"는 사전 등록의 라벨이고, 수치로는 시드 44 − v13이 구간 +3.05, 마지막 4개 +4.01, 최종 +5.80%p(두 시드 평균 − v13 구간 +3.77%p)로 v13보다 3~6%p 높은 띠입니다 — 재현 폭 크기이므로 "v13과 같다"도 "v13보다 높다"도 단정하지 않습니다. 셋째, 두 시드가 학습 로그 여덟 지표에서 블록 단위로 구별되지 않고 평가 곡선도 1,250회차 이후 3.71%p 안에서 겹치므로, −0.3 수준에서의 시드 띠 폭은 v12 수준(≤ 4.10%p)과 같은 크기였습니다(n=2 관측). 넷째, 시드 43의 "250 → 1,000회차 하락(15.82 → 3.45%)"은 시드 44에 없고(10.29 → 9.18%) 처음부터 6~10% 띠여서, 10월 20일의 "−0.3이 초기 학습을 늦춘다"는 관측은 시드 차와 분리되지 않았음이 확인됐습니다. 3. 수준 검정의 현재 상태. 행동 변화율 벌점 가중치 −0.1(v12, 두 시드, 구간 23~25%)과 −0.3(v17, 두 시드, 구간 7.6~9.0%)의 두 끝값이 측정됐고, 두 끝 모두 시드 간 차가 재현 폭 안입니다. 10월 17일 v13(램프 → −1.0, 구간 4.52%)과 합치면 "가중치가 −0.3 이상이면 램프 여부와 무관하게 점프가 v12 띠에 오르지 못한다"가 두 시드로 서술됩니다. 모르는 것은 −0.1과 −0.3 사이의 경계값과 −0.3 위에서의 추가 변화(−0.5, −1.0 상수)입니다. 4. 다음에 바꿀 한 가지. v18 = 행동 변화율 벌점 가중치 −0.2 상수(램프 없음), 새 태스크 id, 시드 43, 무작위 초기화, 3,250회차, 평가용 구성은 v12와 동일. 근거: 계획서의 "지지이면 다음" 항목이고, 두 끝값(−0.1 점프 / −0.3 소실)이 각각 두 시드로 측정됐으므로 중간값 하나를 재면 경계가 0.1 단위로 좁혀집니다. 구현은 10월 20일에 더한 "가중치 고정값" 인자에 −0.2를 넣은 id 등록이며 v12~v17 id는 바꾸지 않습니다. 사전 등록 초안: 구간 평균 ≥ 16%이고 마지막 4개 평균 ≥ 16%이고 낙상 ≤ 2%이면 "−0.2는 v12 띠(경계는 −0.2~−0.3 사이)", 구간 평균 ≤ 8%이면 "−0.2도 소실(경계는 −0.1~−0.2 사이)", 8~16%이면 판단보류(중간 띠; 시드 44 추가). 대조군은 v12 시드 43·44, v17 시드 43·44, v13이고, 앵커는 v12 시드 43의 3,250회차를 v18 id로 재채점, 유효성은 가중치 −0.2000이 3,250회차 전부. 대안은 −0.5 상수(상한 탐색; −0.3이 이미 소실이어서 정보량이 작음), 대체안은 v15 또는 v16의 시드 44와 v12 시드 45입니다.
실험 설정PPO · Mjlab-Jump-Stand-v17-MicroDuck(10월 20일 등록 그대로, 코드 변경 없음; v12 구성에서 행동 변화율 벌점 가중치만 −0.3 상수, 램프 없음; 머리 명령 범위 ±0.07rad·머리 편향 벌점 0·몸통 무게중심 0.003m·머리 무게중심 0.003m 고정; 평가용 구성의 물리·명령·관측은 v12와 동일) · 3,250회차 · 4,096개 환경 · 시드 44(단일 변수) · 초기 정책 무작위 초기화(불러오기 없음) · 정점 배율 0.06, 기준 상태 초기화 60/25/15, 낙상 벌점 0 → −100(1,500회차) → −300(2,500회차) · 대조군 v17 시드 43(reports/jump_eval_v17_dense.csv, 10월 20일), v12 시드 43(reports/jump_eval_v12_dense.csv, 10월 8일)·시드 44(reports/jump_eval_v12s44_dense.csv, 10월 16일), v13(reports/jump_eval_v13_dense.csv, 10월 17일) 같은 경과, 앵커 v12 시드 43 3,250회차를 v17 id로 재채점 · 실행 2026-10-24_00-08-48_jump_stand_v17_s44, 체크포인트 0~3,249 14개 · 평가 scripts/evaluate_jump.py 512개 환경 × 1에피소드, 점프 신호 1,536회, 제자리 조건, 평가 시드 1000 · 계획서 experiments/plans/20261024-v17-seed44.yaml · 보고서 experiments/reports/20261024-v17-seed44.md · CSV reports/jump_eval_v17s44_dense.csv · 로그 logs/train_jump_stand_v17_s44.log, logs/nightly_2026-10-24_run.log · 짧은 검증 logs/smoke_20261024_v17-seed44.log · 검사 tests/test_v17_seed44.py · 기반 코드 pollen-robotics/microduck_rl(커밋 5946fd9) · 참고 arXiv 2506.09588, arXiv 2310.07744, arXiv 2507.10164, arXiv 2606.18625 · 영상 생략 · 시드 43·44 각 1회(n=2) — 재현성 주장 불가 · 실물 로봇 검증 아님.

2026-10-25

v18: 커리큘럼을 고정한 v12에서 행동 변화율 벌점 가중치만 −0.2 상수(램프 없음)로 두고 무작위 초기화로 3,250회차 학습 — −0.1(점프, 두 시드)과 −0.3(소실, 두 시드) 사이의 경계 탐색. 경과 1,500~3,000회차 평균 9.58%(v17 시드 43 9.00%·시드 44 7.57%; v12 시드 43 24.93%·시드 44 23.47%; v13 4.52%), 마지막 4개 평균 11.93%, 최종 15.23%·낙상 0.26%로 사전 등록 기준 판단보류 — 지지 경계 16%에 6.4%p 못 미치고 소실 경계 8%는 1.6%p 넘는 "부분 효과" 구간이며, −0.3 두 시드와의 차가 평가 재현 폭 안이어서 분리되지 않았습니다

수행 내용10월 24일 기록의 다음 후보였던 "행동 변화율 벌점 가중치 −0.2 상수"입니다. 10월 8·16일 v12(−0.1 고정, 두 시드)는 구간 평균 23~25%, 10월 20·24일 v17(−0.3 고정, 두 시드)은 7.6~9.0%였으므로, 점프가 사라지는 가중치 경계는 −0.1과 −0.3 사이에 있습니다. 오늘은 그 중간값 −0.2를 처음부터 끝까지 고정해 경계가 어느 쪽에 있는지 쟀습니다. 새 태스크 id Mjlab-Jump-Stand-v18-MicroDuck는 10월 20일 v17과 같은 구성에서 10월 20일에 더한 "가중치 고정값" 인자만 −0.2로 바꾼 것이고(보상 설정 초기값과 커리큘럼 단일 단계 둘 다 −0.2), 머리 명령 범위·머리 편향 벌점·몸통 무게중심·머리 무게중심 네 개는 v12처럼 회차 0 값에 고정, 평가용 구성의 물리·명령·관측은 v12와 동일합니다. v12~v17 id는 바꾸지 않았습니다(검사 통과). 변수는 가중치 상수 하나이고, 무작위 초기화·시드 43·3,250회차·4,096개 환경은 10월 17~24일과 같습니다. 외부 조사(2026년 10월 25일): 기반 코드 저장소는 8월 25일 이후 커밋이 없고, 새 커뮤니티 점프·호핑 정책도 없으며, 이족 점프에서 행동 변화율 가중치를 수준별로 스윕한 논문은 찾지 못했습니다(arXiv 2606.18625는 위상 기계·속도 보상만 소거 실험, arXiv 2607.04837은 평활 항 유무 비교, arXiv 2602.18312는 "표준 행동 변화 벌점은 상당한 튜닝이 필요"라고만 기술) — 내부 스윕이 유일한 정보원입니다. 가설과 사전 등록 기준. H18: 상수 −0.2는 점프와 양립한다(경계는 −0.2~−0.3 사이). 지지 = 경과 1,500~3,000회차 7개 평균 ≥ 16% 그리고 마지막 4개 평균 ≥ 16% 그리고 최종 낙상률 ≤ 2%; 반박(−0.2도 소실, 경계는 −0.1~−0.2 사이) = 구간 평균 ≤ 8%, 또는 250~1,250회차 최대 ≥ 15%인데 마지막 4개 평균 ≤ 8%; 구간 평균 8~16%는 판단보류("−0.2는 약화시키지만 소실은 아님"으로 서술, 시드 44 추가). 경계 8 / 16은 10월 17~24일과 같고 방향만 뒤집혔습니다(오늘의 가설은 "양립"이므로 ≥ 16이 지지). 대조군은 v12 시드 43·44(−0.1; 24.93 / 23.47%), v17 시드 43·44(−0.3; 9.00 / 7.57%), v13(램프; 4.52%)이고, 앵커는 v12 시드 43의 3,250회차 체크포인트를 v18 id로 다시 잰 값입니다. 유효성 조건(seed=43, 불러오기 없음, 로그의 가중치가 3,250회차 전부 −0.2000, 고정 네 개·정점 배율, 벌점 0 → −100 → −300)이 깨지면 판정하지 않습니다. "개선"이라는 말은 수준 검정이므로 쓰지 않기로 미리 정했습니다. 짧은 검증(64개 환경 × 5회차, 00:02~00:03)은 1차에 통과했습니다(seed=43, 불러오기 줄 없음, 가중치 −0.2000 × 5, 고정 네 개·정점 배율 0.06·벌점 0, 행동 변화율·정점·낙상 벌점 항 기록, NaN 0). 본 학습은 00:08부터 02:16까지 3,250회차(회차당 평균 2.33초), 종료 코드 0. 야간 스크립트의 자동 검사: 가중치 −0.2000 × 3,250회차(−0.1000·−0.3000 0회, 다른 값 없음), 고정 네 개와 정점 배율은 3,250회차 전부 회차 0 값, 벌점 0 × 1,499 → −100 × 999 → −300 × 750, 첫 체크포인트 0, 수치 NaN 0. 재채점은 앵커 1개와 새 체크포인트 14개 전량을 세 부분으로 나눠 02:16~02:22에 마쳤습니다.
관측 결과경과 회차별 유효 점프 비율(%). "v18" 행이 오늘 실행(reports/jump_eval_v18_dense.csv), "v17 시드 43" 행은 10월 20일(reports/jump_eval_v17_dense.csv), "v17 시드 44" 행은 10월 24일(reports/jump_eval_v17s44_dense.csv), "v12 시드 43" 행은 10월 8일(reports/jump_eval_v12_dense.csv), "v12 시드 44" 행은 10월 16일(reports/jump_eval_v12s44_dense.csv), "v13" 행은 10월 17일(reports/jump_eval_v13_dense.csv)입니다. 0회차(학습 전)는 모두 0%.
경과 회차2505007501,0001,2501,5001,7502,0002,2502,5002,7503,0003,249 (최종)
v18 유효 점프 (%, −0.2)13.6713.4813.879.387.818.076.9010.688.929.4411.3311.7215.23
v18 신호당 낙상률 (%)0.850.780.330.330.590.460.130.330.200.070.070.130.26
v18 체공 시간 (ms)32.629.729.827.927.531.828.724.928.826.625.528.829.1
v17 시드 43 유효 점프 (%, 10월 20일, −0.3)15.8212.378.793.457.758.985.738.9212.249.709.647.817.42
v17 시드 44 유효 점프 (%, 10월 24일, −0.3)10.296.7110.039.187.366.646.647.948.595.9910.616.588.01
v12 시드 43 유효 점프 (%, 10월 8일, −0.1)22.2724.5422.5324.1519.8618.9519.7923.1818.5520.3129.6244.0850.52 (3,250)
v12 시드 44 유효 점프 (%, 10월 16일, −0.1)23.9622.4019.7920.1823.1819.9217.9019.5320.3822.8525.4638.2246.42
v13 유효 점프 (%, 10월 17일, 램프)20.2526.7615.9512.305.275.734.234.234.494.363.784.822.21
v18 − v17 시드 43 (%p)−2.15+1.11+5.08+5.93+0.06−0.91+1.17+1.76−3.32−0.26+1.69+3.91+7.81
v18 − v17 시드 44 (%p)+3.38+6.77+3.84+0.20+0.45+1.43+0.26+2.74+0.33+3.45+0.72+5.14+7.22
v18 − v12 시드 43 (%p)−8.60−11.06−8.66−14.77−12.05−10.88−12.89−12.50−9.63−10.87−18.29−32.36−35.29
행동 변화율 가중치 v12 / v18 / v17−0.1 / −0.2 / −0.3 (셋 다 3,250회차 전부 상수)
판정 조건: 경과 1,500~3,000회차 7개 평균 9.58% — 지지 기준 ≥ 16을 6.42%p 밑돌고(마지막 4개 평균 11.93%도 ≥ 16 미달), 반박 기준 ≤ 8은 1.58%p 넘습니다. 반박의 두 번째 조건(250~1,250회차 최대 ≥ 15%인데 마지막 4개 ≤ 8%)은 초기 최대 13.87%로 해당하지 않습니다. 따라서 사전 등록의 "구간 평균 8~16% = 부분 효과, 판단보류"입니다. 최종 3,249회차 체크포인트: 유효 점프 15.23%, 낙상률 0.26%, 체공 29.1ms, 평균 상승 0.45cm(최대 1.88cm), 착지 충격 24.7N. 앵커(v12 시드 43의 3,250회차를 v18 id로 재채점) 51.37% — 10월 8일 50.52%와 0.85%p, 10월 24일 49.22%와 2.15%p 차이여서 평가 재현 폭 4.17%p를 그대로 둡니다. 유효성 조건 5개 모두 충족. v18 − v17은 구간 평균 +0.58%p(시드 43 기준) / +2.01%p(시드 44 기준), 마지막 4개 +3.29 / +4.13%p로 모두 재현 폭 안이고, 최종 한 점만 +7.81 / +7.22%p로 폭을 넘습니다(인접 3,000회차는 +3.91 / +5.14). v18 − v12는 전 구간 −8.6 ~ −35.3%p이고, v12 두 시드가 2,750회차부터 보인 후반 상승(29.62 → 44.08 → 50.52 / 25.46 → 38.22 → 46.42)에 견줄 것은 없습니다(11.33 → 11.72 → 15.23). 학습 로그(500회차 블록 평균, 마지막 블록은 250회차; 괄호는 v17 두 시드 / v12 시드 43의 같은 블록): 행동 표준편차 0.58 → 0.51 → 0.50 → 0.51 → 0.51 → 0.55 → 0.63(v17 0.49 → 0.42~0.46; v12 0.83 → 0.72~1.19), 행동 가속도 지표 1.22 → 1.15 → 1.15 → 1.16 → 1.17 → 1.28 → 1.40(v17 0.93~1.02; v12 1.7~2.4), 가중치를 곱한 행동 변화율 벌점 합 −1.67 → −1.85 → −1.84 → −1.87 → −1.89 → −2.11 → −2.47(v17 −1.66 → −1.82~−2.15), 회차당 낙상 15.48 → 0.29 → 0.28 → 0.29 → 0.25 → 0.32 → 0.64(v17 17.2 → 0.19~0.27), 평균 최고 높이 0.0038 → 0.0022 → 0.0021 → 0.0022 → 0.0022 → 0.0026 → 0.0034m(v17 0.0017~0.0020; v12 0.0030~0.0046), 평균 보상 68 → 108 → 110 → 108 → 108 → 98 → 75(v17 76 → 104~118), 에피소드 길이 710 → 948 → 953 → 950 → 957 → 946 → 896. 행동 표준편차와 행동 가속도는 −0.1 / −0.2 / −0.3 순서대로 놓여 평활 정도는 가중치 수준에 단조인데, 가중치를 곱한 벌점 합은 v17과 같고(가중치 2/3 × 원시 변화율 약 1.5배), 평가 점프율은 그 순서를 따르지 않고 v17 띠에 붙어 있습니다. 마지막 250회차 블록에서 표준편차 0.55 → 0.63·낙상 0.32 → 0.64·보상 98 → 75로 움직인 구간이 평가 곡선의 11.72 → 15.23과 겹치지만, 블록 하나이고 낙상·보상은 나빠졌으므로 "후반 상승의 시작"으로 읽지 않습니다. 수치 NaN 0.
개선 사항1. 실험 변수와 측정된 효과. 바꾼 것은 행동 변화율 벌점 가중치 하나(−0.1 / −0.3 → −0.2 상수)이고, 측정된 효과는 "구간 평균 9.58% — v12 두 시드보다 13.9~15.4%p 낮고, v17 두 시드보다 0.6~2.0%p 높은 띠"입니다. 사전 등록의 지지 기준(≥ 16)과 반박 기준(≤ 8) 어느 쪽에도 닿지 않아 판단보류이며, 계획서에 미리 적은 대로 "−0.2는 약화시키지만 소실은 아님" 구간으로만 서술하고 경계를 사후에 옮기지 않습니다. 시드 1회이므로 재현성 주장은 하지 않습니다. 2. 함께 적어야 하는 단서(검정 아님). 첫째, v18과 v17 두 시드의 구간·마지막 4개 차(+0.6~+4.1%p)는 모두 평가 재현 폭(4.17%p)·관측된 시드 간 차(≤ 4.10%p) 안이어서 "−0.2는 −0.3과 다르다"를 주장할 수 없습니다. 이것은 10월 20일 v17 시드 43(9.00%)과 같은 "중간 띠" 사례이고, 10월 24일에 그 시드 44가 7.57%로 소실 쪽에 떨어진 전례가 있습니다. 둘째, 반대로 최종 15.23%(v17 +7.2~7.8%p)와 마지막 4개 11.93%(+3.3~4.1%p)는 −0.3 두 시드보다 높은 쪽으로 치우쳐 있어 "−0.2도 소실"도 단정할 수 없습니다. 셋째, 250회차 13.67%는 −0.1 구간이던 네 실행(20.25~23.96%)보다 6.6~10.3%p 낮고 v17 두 시드(15.82 / 10.29%) 사이여서, 초기 띠부터 v17 쪽입니다. 넷째, 학습 로그의 평활 지표가 가중치에 단조인데 점프율은 −0.1과 −0.2 사이에서 급락하는 그림은 "점프에 필요한 토크 전환의 허용 폭이 −0.1과 −0.2 사이에 있다"는 읽기와 맞지만, 시드 1회의 그림이므로 서술만 합니다. 3. 수준 검정의 현재 상태. −0.1(v12, 두 시드, 23~25%) / −0.2(v18, 한 시드, 9.58%) / −0.3(v17, 두 시드, 7.6~9.0%) / 램프 → −1.0(v13, 한 시드, 4.52%). 경계가 −0.1과 −0.2 사이일 가능성이 커졌지만 시드 44 없이는 경계 위치를 적지 않습니다. 4. 다음에 바꿀 한 가지. v18의 시드 44입니다(같은 id, 시드만 43 → 44, 코드 변경 없음, 무작위 초기화, 3,250회차; 계획서의 "판단보류이면 다음" 항목, 10월 20일 → 24일과 같은 절차). 사전 등록 초안(두 시드 평균 규칙, 간격 8%p 유지): 시드 44 구간 평균 ≤ 8%이고 두 시드 평균 ≤ 9%이면 "−0.2도 소실(경계는 −0.1~−0.2 사이)", 시드 44 구간 평균 ≥ 16%이고 두 시드 평균 ≥ 13%이면 "−0.2는 양립(경계는 −0.2~−0.3 사이)", 그 외(시드 44도 8~16%)이면 "−0.2는 두 시드 모두 중간 띠"로 수준 스윕을 끝내고 v12 레시피의 평활 상한을 −0.1로 기록합니다. 대조군은 오늘의 v18 시드 43(구간 9.58%, 마지막 4개 11.93%, 최종 15.23%), v17 시드 43·44, v12 시드 43·44, v13이고, 앵커는 v12 시드 43의 3,250회차를 v18 id로 재채점(오늘 51.37%), 유효성은 seed=44와 가중치 −0.2000이 3,250회차 전부. 대안은 −0.15 상수(시드 44 뒤), 대체안은 v15 또는 v16의 시드 44와 v12 시드 45입니다.
실험 설정PPO · Mjlab-Jump-Stand-v18-MicroDuck(새 id; v12 구성에서 행동 변화율 벌점 가중치만 −0.2 상수, 램프 없음, 보상 설정 초기값과 커리큘럼 단일 단계 둘 다 −0.2; 머리 명령 범위 ±0.07rad·머리 편향 벌점 0·몸통 무게중심 0.003m·머리 무게중심 0.003m 고정; 평가용 구성의 물리·명령·관측은 v12와 동일; v12~v17 id 불변) · 3,250회차 · 4,096개 환경 · 시드 43 · 초기 정책 무작위 초기화(불러오기 없음) · 정점 배율 0.06, 기준 상태 초기화 60/25/15, 낙상 벌점 0 → −100(1,500회차) → −300(2,500회차) · 대조군 v17 시드 43(reports/jump_eval_v17_dense.csv, 10월 20일)·시드 44(reports/jump_eval_v17s44_dense.csv, 10월 24일), v12 시드 43(reports/jump_eval_v12_dense.csv, 10월 8일)·시드 44(reports/jump_eval_v12s44_dense.csv, 10월 16일), v13(reports/jump_eval_v13_dense.csv, 10월 17일) 같은 경과, 앵커 v12 시드 43 3,250회차를 v18 id로 재채점 · 실행 2026-10-25_00-08-09_jump_stand_v18_s43, 체크포인트 0~3,249 14개 · 평가 scripts/evaluate_jump.py 512개 환경 × 1에피소드, 점프 신호 1,536회, 제자리 조건, 평가 시드 1000 · 계획서 experiments/plans/20261025-action-rate-fixed-02.yaml · 보고서 experiments/reports/20261025-action-rate-fixed-02.md · CSV reports/jump_eval_v18_dense.csv · 로그 logs/train_jump_stand_v18_s43.log, logs/nightly_2026-10-25_run.log · 짧은 검증 logs/smoke_20261025_action-rate-fixed-02.log · 검사 tests/test_action_rate_fixed_02.py · 기반 코드 pollen-robotics/microduck_rl(커밋 5946fd9) · 참고 arXiv 2606.18625, arXiv 2607.04837, arXiv 2602.18312 · 영상 생략 · 시드 1회 — 재현성 주장 불가 · 실물 로봇 검증 아님.

2026-10-26

v18 시드 44: 행동 변화율 벌점 가중치 −0.2 상수(램프 없음)의 두 번째 시드 — 코드 변경 없이 시드만 43 → 44로 바꿔 무작위 초기화로 3,250회차 학습. 경과 1,500~3,000회차 평균 12.07%(시드 43 9.58%; v17 시드 43 9.00%·시드 44 7.57%; v12 시드 43 24.93%·시드 44 23.47%; v13 4.52%), 두 시드 평균 10.83%, 마지막 4개 평균 10.97%, 최종 8.46%·낙상 0.00%로 사전 등록 기준 판단보류 — 소실 경계 8%와 양립 경계 16% 사이의 "부분 효과" 구간이 두 시드에서 반복됐으므로, 계획서에 미리 적은 대로 행동 변화율 가중치 수준 스윕을 여기서 끝내고 v12 레시피의 평활 상한을 −0.1로 기록합니다

수행 내용10월 25일 기록의 다음 후보였던 "v18 시드 44"입니다. 10월 25일 v18(−0.2 상수, 시드 43)의 구간 평균 9.58%는 소실 경계 8%와 양립 경계 16% 사이의 "중간 띠"였고, v17 두 시드(9.00 / 7.57%)와의 차가 평가 재현 폭 4.17%p 안이어서 경계가 −0.1~−0.2 사이인지 −0.2~−0.3 사이인지 적을 수 없었습니다. 10월 20일 v17 시드 43(9.00%)이 같은 중간 띠였다가 10월 24일 시드 44(7.57%)로 소실 쪽에 떨어진 전례가 있으므로, 오늘은 코드를 바꾸지 않고 같은 태스크 id Mjlab-Jump-Stand-v18-MicroDuck·같은 구성·같은 회차 예산에서 시드만 44로 바꿨습니다(10월 16일 v12 시드 44, 10월 24일 v17 시드 44와 같은 절차). 변수는 시드 하나이고, 무작위 초기화·3,250회차·4,096개 환경은 10월 17~25일과 같습니다. 외부 조사(2026년 10월 26일): 기반 코드 저장소 develop 브랜치의 최신 커밋은 10월 12일(기립·회전 개선)이고 열린 PR 37개의 제목에 점프·호핑·행동 변화율·보상 가중치는 없습니다(pulls; #78 MicroDuck 2.0 시뮬레이터는 별개). Hugging Face의 "microduck" 최신 30개 저장소는 보폭·경주·오르기·구르기·공중제비 류이고 이름에 점프·호핑이 있는 것은 없습니다. 이족 점프에서 행동 변화율 가중치의 수준별 다중 시드 민감도를 보고한 논문은 여전히 찾지 못했습니다(arXiv 2603.10878, arXiv 2605.24975는 항의 정의만) — 내부 두 시드 반복이 유일한 분리 수단입니다. 가설과 사전 등록 기준. H18s: 상수 −0.2도 점프를 소실시킨다(경계는 −0.1~−0.2 사이). 지지 = 시드 44의 경과 1,500~3,000회차 7개 평균 ≤ 8% 그리고 두 시드 평균 (9.58 + 시드 44)/2 ≤ 9%; 반박(−0.2는 양립, 경계는 −0.2~−0.3 사이) = 시드 44 구간 평균 ≥ 16% 그리고 두 시드 평균 ≥ 13% 그리고 최종 낙상률 ≤ 2%; 그 외(시드 44 구간 평균 8~16%)는 "부분 효과 재현"이라는 이름으로 적고 "−0.2는 두 시드 모두 중간 띠(약화, 소실 아님, 양립 아님)"로 서술한 뒤 수준 스윕을 종료하고 v12 레시피의 평활 상한(점프와 양립하는 최대 가중치 크기)을 −0.1로 기록하며, −0.15 / −0.25로 더 쪼개지 않습니다. 경계 8 / 16은 10월 17~25일과 같고, 두 시드 평균 경계 9 / 13은 10월 25일 보고서의 초안 그대로입니다. 대조군은 v18 시드 43(9.58%), v17 시드 43·44(9.00 / 7.57%), v12 시드 43·44(24.93 / 23.47%), v13(4.52%)이고, 앵커는 v12 시드 43의 3,250회차 체크포인트를 v18 id로 다시 잰 값(10월 25일 51.37%)입니다. 유효성 조건(seed=44, 불러오기 없음, 로그의 가중치가 3,250회차 전부 −0.2000, 고정 네 개·정점 배율, 벌점 0 → −100 → −300)이 깨지면 판정하지 않습니다. "개선"이라는 말은 쓰지 않고, 시드 44가 시드 43을 넘어도 시드 차로만 적기로 미리 정했습니다. 짧은 검증(64개 환경 × 5회차, 00:07~00:08)은 1차에 통과했습니다(seed=44, 불러오기 줄 없음, 가중치 −0.2000 × 5, 고정 네 개·정점 배율 0.06·벌점 0, 행동 변화율·정점·낙상 벌점 항 기록, NaN 0). 본 학습은 00:10부터 02:25까지 3,250회차(회차당 평균 2.45초), 종료 코드 0. 야간 스크립트의 자동 검사: seed=44(로그와 설정 파일 둘 다), 가중치 −0.2000 × 3,250회차(다른 값 없음), 고정 네 개와 정점 배율은 3,250회차 전부 회차 0 값, 벌점 0 × 1,499 → −100 × 999 → −300 × 750, 첫 체크포인트 0, 수치 NaN 0. 재채점은 앵커 1개와 새 체크포인트 14개 전량을 세 부분으로 나눠 02:26~02:32에 마쳤습니다.
관측 결과경과 회차별 유효 점프 비율(%). "시드 44" 행이 오늘 실행(reports/jump_eval_v18s44_dense.csv), "시드 43" 행은 10월 25일(reports/jump_eval_v18_dense.csv), "v17 시드 43 / 44" 행은 10월 20일·24일(reports/jump_eval_v17_dense.csv, reports/jump_eval_v17s44_dense.csv), "v12 시드 43 / 44" 행은 10월 8일·16일(reports/jump_eval_v12_dense.csv, reports/jump_eval_v12s44_dense.csv), "v13" 행은 10월 17일(reports/jump_eval_v13_dense.csv)입니다. 0회차(학습 전)는 모두 0%.
경과 회차2505007501,0001,2501,5001,7502,0002,2502,5002,7503,0003,249 (최종)
v18 시드 44 유효 점프 (%, −0.2)11.5213.8010.1613.1513.3512.7014.5211.8510.0311.0013.4810.948.46
v18 시드 44 신호당 낙상률 (%)0.520.200.390.260.070.520.070.330.200.390.000.130.00
v18 시드 44 체공 시간 (ms)28.129.827.931.627.128.427.427.329.626.731.725.826.8
v18 시드 43 유효 점프 (%, 10월 25일, −0.2)13.6713.4813.879.387.818.076.9010.688.929.4411.3311.7215.23
v17 시드 43 유효 점프 (%, 10월 20일, −0.3)15.8212.378.793.457.758.985.738.9212.249.709.647.817.42
v17 시드 44 유효 점프 (%, 10월 24일, −0.3)10.296.7110.039.187.366.646.647.948.595.9910.616.588.01
v12 시드 43 유효 점프 (%, 10월 8일, −0.1)22.2724.5422.5324.1519.8618.9519.7923.1818.5520.3129.6244.0850.52 (3,250)
v12 시드 44 유효 점프 (%, 10월 16일, −0.1)23.9622.4019.7920.1823.1819.9217.9019.5320.3822.8525.4638.2246.42
v13 유효 점프 (%, 10월 17일, 램프)20.2526.7615.9512.305.275.734.234.234.494.363.784.822.21
시드 44 − 시드 43 (%p)−2.15+0.32−3.71+3.77+5.54+4.63+7.62+1.17+1.11+1.56+2.15−0.78−6.77
시드 44 − v17 시드 43 (%p)−4.30+1.43+1.37+9.70+5.60+3.72+8.79+2.93−2.21+1.30+3.84+3.13+1.04
시드 44 − v12 시드 43 (%p)−10.75−10.74−12.37−11.00−6.51−6.25−5.27−11.33−8.52−9.31−16.14−33.14−42.06
행동 변화율 가중치 v12 / v18 / v17−0.1 / −0.2 / −0.3 (셋 다 3,250회차 전부 상수; v18은 두 시드 모두 −0.2000 × 3,250)
판정 조건: 시드 44의 경과 1,500~3,000회차 7개 평균 12.07% — 소실 지지 기준 ≤ 8을 4.07%p 넘고, 양립 반박 기준 ≥ 16에는 3.93%p 못 미칩니다. 두 시드 평균 (9.58 + 12.07)/2 = 10.83%는 ≤ 9와 ≥ 13 어느 쪽도 아닙니다. 따라서 사전 등록의 "시드 44 구간 평균 8~16% = 부분 효과 재현, 판단보류"입니다. 마지막 4개 평균 10.97%(시드 43 11.93%), 최종 3,249회차 체크포인트: 유효 점프 8.46%, 낙상률 0.00%, 체공 26.8ms, 평균 상승 0.46cm(최대 1.58cm), 착지 충격 22.1N. 앵커(v12 시드 43의 3,250회차를 v18 id로 재채점) 50.33% — 10월 25일 51.37%와 1.04%p, 10월 8일 50.52%와 0.19%p 차이여서 평가 재현 폭 4.17%p를 그대로 둡니다. 유효성 조건 5개 모두 충족. 시드 차(시드 44 − 시드 43)는 구간 평균 +2.49%p, 마지막 4개 −0.96%p, 최종 −6.77%p이고, 체크포인트별로는 −6.77 ~ +7.62%p로 13개 중 4개(1,250 / 1,500 / 1,750 / 3,249회차)가 재현 폭 4.17%p를 넘습니다 — 지금까지 관측된 시드 차 최대(v12 4.10, v17 5.73)보다 큽니다. 두 시드의 끝 방향은 반대입니다(시드 43은 11.33 → 11.72 → 15.23으로 올라가고, 시드 44는 13.48 → 10.94 → 8.46으로 내려갑니다). v18 두 시드 평균 − v17 두 시드 평균 = +2.54%p(재현 폭 안), v18 두 시드 평균 − v12 두 시드 평균(24.20%) = −13.37%p(재현 폭과 시드 띠를 모두 넘음). v12 두 시드가 2,750회차부터 보인 후반 상승에 견줄 것은 두 시드 모두 없습니다. 학습 로그(500회차 블록 평균, 마지막 블록은 250회차; 괄호는 시드 43의 같은 블록): 행동 표준편차 0.57 → 0.49 → 0.49 → 0.52 → 0.51 → 0.55 → 0.57(0.58 → 0.51 → 0.50 → 0.51 → 0.51 → 0.55 → 0.63), 행동 가속도 지표 1.20 → 1.14 → 1.15 → 1.19 → 1.18 → 1.27 → 1.28(1.22 → 1.15 → 1.15 → 1.16 → 1.17 → 1.28 → 1.40), 가중치를 곱한 행동 변화율 벌점 합 −1.68 → −1.78 → −1.81 → −1.90 → −1.87 → −2.08 → −2.19(−1.67 → −1.85 → −1.84 → −1.87 → −1.89 → −2.11 → −2.47), 회차당 낙상 13.79 → 0.23 → 0.24 → 0.31 → 0.26 → 0.30 → 0.32(15.48 → 0.29 → 0.28 → 0.29 → 0.25 → 0.32 → 0.64), 평균 최고 높이 0.0037 → 0.0021 → 0.0020 → 0.0022 → 0.0022 → 0.0025 → 0.0027m(… → 0.0026 → 0.0034), 평균 보상 74.7 → 112.8 → 112.2 → 106.0 → 108.8 → 99.0 → 94.5(68 → 108 → 110 → 108 → 108 → 98 → 75). 여섯 블록까지 두 시드의 차는 표준편차 ≤ 0.02, 보상 ≤ 7로 구별되지 않습니다. 시드 43의 마지막 블록에서 보였던 움직임(표준편차 0.55 → 0.63, 낙상 0.32 → 0.64, 보상 98 → 75)은 시드 44에 없습니다(0.55 → 0.57, 0.30 → 0.32, 99.0 → 94.5) — 10월 25일에 "후반 상승의 시작으로 읽지 않는다"고 적은 판단과 맞고, 평가 곡선에서도 시드 44의 최종은 8.46%로 내려갔습니다. 수치 NaN 0.
개선 사항1. 실험 변수와 측정된 효과. 바꾼 것은 시드 하나(43 → 44)이고, 측정된 효과는 "구간 평균 12.07% — 시드 43의 9.58%와 같은 중간 띠(차 +2.49%p, 재현 폭 안)"입니다. 사전 등록의 소실 기준(≤ 8)과 양립 기준(≥ 16) 어느 쪽에도 두 시드가 닿지 않아 판단보류이며, 계획서에 미리 적은 "부분 효과 재현" 분기대로 행동 변화율 가중치의 수준 스윕을 여기서 끝냅니다. −0.15나 −0.25로 더 쪼개지 않고, v12 레시피의 평활 상한(점프와 양립하는 최대 가중치 크기)을 −0.1로 기록합니다. 두 시드(n=2)이므로 재현성 주장은 하지 않습니다. 2. 함께 적어야 하는 단서(검정 아님). 첫째, −0.2 두 시드(9.58 / 12.07%)와 −0.3 두 시드(9.00 / 7.57%)의 두 시드 평균 차 +2.54%p는 재현 폭 안이어서 "−0.2는 −0.3과 다르다"를 주장할 수 없고, 반대로 −0.1 두 시드(24.93 / 23.47%)와의 차 −13.37%p는 재현 폭과 시드 띠를 모두 넘어 "−0.2는 −0.1과 다르다"는 두 시드로 서술할 수 있습니다. 둘째, 10월 25일에 "−0.2도 소실이라고 단정할 수 없다"의 근거로 적었던 시드 43의 최종 15.23%는 시드 44에서 재현되지 않았습니다(8.46%) — 이 수준에서 단일 체크포인트의 시드 차는 최대 7.62%p이므로, 최종값 한 점의 상향 치우침은 시드 노이즈로 적습니다. 셋째, 학습 로그의 평활 지표(행동 표준편차·가속도)는 두 시드에서 구별되지 않고 −0.1 / −0.2 / −0.3 순서를 유지하는데, 점프율은 −0.1 → −0.2에서 24.2 → 10.8%(두 시드 평균)로 떨어지고 −0.2 → −0.3에서는 10.8 → 8.3%로 재현 폭 안입니다 — "점프율은 −0.1과 −0.2 사이에서 급락한다"는 10월 25일의 그림이 두 시드로 유지됩니다(서술만). 넷째, −0.2 수준의 체크포인트별 시드 차(최대 7.62%p)는 v12(≤ 4.10)·v17(≤ 5.73)보다 커서, 창 평균(시드 차 2.49%p)만 판정에 쓴 사전 등록 규칙이 이 수준에서는 특히 필요했습니다. 3. 수준 검정의 최종 상태. −0.1(v12, 두 시드, 24.93 / 23.47%) / −0.2(v18, 두 시드, 9.58 / 12.07%) / −0.3(v17, 두 시드, 9.00 / 7.57%) / 램프 → −1.0(v13, 한 시드, 4.52%). 측정된 수준 중 점프와 양립하는 것은 −0.1뿐이고, −0.1과 −0.2 사이의 연속 경계값은 측정하지 않은 채 남겨둡니다(계획서대로). 4. 다음에 바꿀 한 가지. v15의 시드 44입니다(10월 18일 v15: v12에서 머리 자세 그룹 세 개의 커리큘럼만 되살린 구성; 같은 id, 시드만 43 → 44, 코드 변경 없음, 무작위 초기화, 3,250회차; 계획서의 "부분 효과 재현이면 다음" 항목의 대체안). 근거: 10월 18일 v15(구간 평균 32.57%)와 10월 19일 v16(31.41%)은 "v11 하락의 원인이 아님"으로 반박 판정이 났지만, 두 실행 모두 v12 두 시드 평균(24.20%)보다 7.2~8.4%p 높았고 이 초과분은 사전 등록 검정이 아니었습니다. 행동 변화율 수준 스윕이 끝났으므로 남은 미분리 관측 중 가장 큰 것(v15)을 시드 44로 가릅니다. 변수는 시드 하나입니다. 사전 등록 초안(두 시드 평균 규칙, 간격 8%p 유지): 시드 44 구간 평균 ≥ 32.2%(v12 두 시드 평균 + 8)이고 두 시드 평균 ≥ 30%이면 "머리 그룹 커리큘럼은 v12보다 높은 구간을 만든다" 지지, 시드 44 구간 평균 ≤ 28.4%(v12 두 시드 평균 + 재현 폭 4.17) 또는 두 시드 평균 ≤ 28%이면 반박, 그 외 판단보류(시드 띠 폭 보고). 대조군은 v15 시드 43(구간 32.57%, 마지막 4개 40.30%, 최종 39.84%), v12 시드 43·44, v16 시드 43이고, 앵커는 v12 시드 43의 3,250회차를 v15 id로 재채점, 유효성은 seed=44와 머리 그룹 세 개의 램프 전환 회차가 10월 18일 로그와 같고 행동 변화율 가중치 −0.1000·몸통 무게중심 0.0030이 3,250회차 전부. 평가용 구성의 머리 명령 범위는 ±0.07rad 고정을 유지합니다(10월 17일 교훈). 대안은 v16의 시드 44(같은 규칙), 대체안은 v12 레시피를 이틀에 나눈 6,000회차 또는 v12 시드 45입니다.
실험 설정PPO · Mjlab-Jump-Stand-v18-MicroDuck(10월 25일 등록 그대로; v12 구성에서 행동 변화율 벌점 가중치만 −0.2 상수, 램프 없음; 머리 명령 범위 ±0.07rad·머리 편향 벌점 0·몸통 무게중심 0.003m·머리 무게중심 0.003m 고정; 평가용 구성의 물리·명령·관측은 v12와 동일; 코드 변경 없음) · 3,250회차 · 4,096개 환경 · 시드 44(변수) · 초기 정책 무작위 초기화(불러오기 없음) · 정점 배율 0.06, 기준 상태 초기화 60/25/15, 낙상 벌점 0 → −100(1,500회차) → −300(2,500회차) · 대조군 v18 시드 43(reports/jump_eval_v18_dense.csv, 10월 25일), v17 시드 43(reports/jump_eval_v17_dense.csv, 10월 20일)·시드 44(reports/jump_eval_v17s44_dense.csv, 10월 24일), v12 시드 43(reports/jump_eval_v12_dense.csv, 10월 8일)·시드 44(reports/jump_eval_v12s44_dense.csv, 10월 16일), v13(reports/jump_eval_v13_dense.csv, 10월 17일) 같은 경과, 앵커 v12 시드 43 3,250회차를 v18 id로 재채점 · 실행 2026-10-26_00-10-39_jump_stand_v18_s44, 체크포인트 0~3,249 14개 · 평가 scripts/evaluate_jump.py 512개 환경 × 1에피소드, 점프 신호 1,536회, 제자리 조건, 평가 시드 1000 · 계획서 experiments/plans/20261026-v18-seed44.yaml · 보고서 experiments/reports/20261026-v18-seed44.md · CSV reports/jump_eval_v18s44_dense.csv · 로그 logs/train_jump_stand_v18_s44.log, logs/nightly_2026-10-26_run.log · 짧은 검증 logs/smoke_20261026_v18-seed44.log · 검사 tests/test_v18_seed44.py · 기반 코드 pollen-robotics/microduck_rl(커밋 5946fd9) · 참고 arXiv 2603.10878, arXiv 2605.24975 · 영상 생략 · 시드 2회(43·44) — 재현성 주장 불가 · 실물 로봇 검증 아님.

2026-10-27

v19 창 밖 전용 행동 변화율 벌점: v12 구성에 "점프 신호 창(1.5초) 밖에서만" 걷히는 두 번째 평활 항(가중치 −0.9)을 더해 창 안은 v12와 같은 −0.1, 창 밖은 기반 코드 보행의 끝값 −1.0이 되게 하고 무작위 초기화·시드 43으로 3,250회차 학습. 경과 1,500~3,000회차 평균 10.05%(v12 시드 43 / 44 24.93 / 23.47%; v18 9.58 / 12.07%; v17 9.00 / 7.57%; v13 4.52%), 마지막 4개 평균 8.64%, 최종 0.00%·낙상 100%로 사전 등록 기준 판단보류(지지 ≥ 16 / 반박 ≤ 8 모두 미충족) — 그리고 2,775회차부터 모든 에피소드가 첫 스텝에 넘어지는 붕괴가 일어나 "학습 불가" 조건을 함께 기록합니다

수행 내용10월 26일 주간 검토에서 다음 밤 실험으로 정한 "v19 위상 게이트 평활"입니다. 10월 17~26일의 열 밤은 v12 레시피에서 행동 변화율 벌점 가중치를 전역으로 −0.1보다 크게 두면(−0.2 / −0.3 / 램프 → −1.0) 점프가 중간 띠(8~16%) 또는 소실 띠(≤ 8%)로 떨어진다는 결론으로 끝났습니다. 그런데 기반 코드 보행 정책의 이 가중치 끝값은 −1.0이고, Pollen의 spring_v2 호핑 문서도 −1.0을 실물 이전(sim2real) 보호 수준으로 둔 채 "−1.0 → −0.5가 +11%, 유일한 제한 요인"이라고 적었습니다(experiments/reviews/20261026-rl-review.md 4절). 즉 −0.1은 점프에는 맞지만 배포 예산에는 못 미칩니다. 오늘의 질문은 "같은 −1.0 예산을 점프 신호 창 밖에만 두면 점프가 v12 띠에 남는가"입니다. 새 태스크 id Mjlab-Jump-Stand-v19-MicroDuck(10월 26일 등록, 오늘 코드 변경 없음)은 v12 구성 전체(다섯 개 고정, 정점 배율 0.06, 기준 상태 초기화 60/25/15, 벌점 0 → −100 → −300)를 그대로 두고 보상 항 하나 action_rate_l2_outside_window(가중치 −0.9, 신호 창 1.5초 밖의 스텝에서만 연속 행동 차의 제곱합)를 더했습니다. 기본 항 −0.1은 창 안·밖 모두 그대로이므로 창 안 합계는 −0.1(v12와 같음), 창 밖 합계는 −1.0입니다. 변수는 "창 밖 추가 평활 −0.9" 하나이고, 무작위 초기화·시드 43·3,250회차·4,096개 환경·평가용 구성의 물리·명령·관측은 10월 8일 v12와 같습니다. 외부 조사(2026년 10월 27일 00:00): 기반 코드 저장소 develop 브랜치의 최신 커밋은 여전히 10월 12일(기립·회전)이고 행동 변화율·호핑·점프 커밋은 없습니다(commits). Hugging Face의 "microduck" 정책과 공식 과제 표(보행·기립·앉았다 일어서기·물건 집기·공 차기·구르기·롤러)에 점프 과제·정책은 없습니다. 2026년 이족 점프 논문(SRL, 2606.18625)은 위상 게이트 평활이나 행동 변화율 가중치를 보고하지 않습니다 — 외부에 직접 선례가 없어 내부 결과만이 설계 근거입니다. 가설과 사전 등록 기준(experiments/plans/20261027-window-gated-action-rate.yaml, 00:00~00:20 등록, 사후 변경 없음). H19(위상 게이트 양립): 경과 1,500~3,000회차 7개 평균 ≥ 16% 그리고 마지막 4개 평균 ≥ 16% 그리고 최종 낙상률 ≤ 2%이면 "−1.0 평활 예산이 창 밖에 있으면 점프는 유지된다" 지지. H19-null(게이트 무관 — 창 밖 평활이 창 안 행동까지 끌어내린다): 구간 평균 ≤ 8%이면 반박(v17 / v18 / v13과 같은 소실 띠). 그 사이(8~16%)는 판단보류로 시드 44를 추가합니다. 별도로 "최종 ≤ 2% 또는 최종 낙상 > 5%"는 학습 불가로 따로 기록합니다. 경계 8 / 16은 10월 17~26일과 같고, "개선"이라는 말은 쓰지 않기로 미리 정했습니다(지지는 "소실 띠에서 떨어져 있음"의 뜻일 뿐). 대조군은 v12 시드 43·44(구간 24.93 / 23.47%), v18 시드 43·44(9.58 / 12.07%), v17 시드 43·44(9.00 / 7.57%), v13(4.52%), 앵커는 v12 시드 43의 3,250회차를 v19 id로 재채점한 값(10월 26일 v18 id 50.33%). 유효성 조건 여섯 개(seed=43, 불러오기 없음, 로그의 창 안 가중치가 3,250회차 전부 −0.1000, 창 밖 항이 매 회차 기록되고 양수 없음, 고정 네 개·정점 배율, 벌점 0 → −100 → −300)가 깨지면 판정하지 않습니다. 보조 지표로 10월 26일에 만든 품질 프로브(체공 ≥ 40ms이고 상승 ≥ 5mm인 신호 비율, 좌우 발 첫 이탈 차)를 최종·앵커에 기록하되 판정에는 쓰지 않습니다. 짧은 검증(64개 환경 × 5회차, 00:01~00:02)은 1차에 통과했습니다(seed=43, 불러오기 줄 없음, 창 안 가중치 −0.1000 × 5, 고정 네 개·정점 배율 0.06·벌점 0, 창 안 항과 창 밖 항이 둘 다 다섯 회차 기록되고 비는 2~8배, NaN 0). 검사 58/58 통과. 본 학습은 00:08부터 02:15까지 3,250회차(회차당 평균 2.31초), 종료 코드 0. 야간 스크립트의 자동 검사: seed=43(로그와 설정 파일), 창 안 가중치 −0.1000 × 3,250회차(다른 값 없음), 창 밖 항 3,250줄(창 안 항과 같은 수, 양수 0), 고정 네 개와 정점 배율은 3,250회차 전부 회차 0 값, 벌점 0 × 1,499 → −100 × 999 → −300 × 750, 첫 체크포인트 0, 수치 NaN 0. 재채점은 앵커 1개와 새 체크포인트 14개 전량을 세 부분으로 나눠 02:15~02:23에 마쳤고, 품질 프로브는 02:24에 최종·앵커 두 개에 실행했습니다.
관측 결과경과 회차별 유효 점프 비율(%). "v19" 행이 오늘 실행(reports/jump_eval_v19_dense.csv), "v12 시드 43 / 44" 행은 10월 8일·16일(reports/jump_eval_v12_dense.csv, reports/jump_eval_v12s44_dense.csv), "v18 시드 43" 행은 10월 25일(reports/jump_eval_v18_dense.csv), "v17 시드 43" 행은 10월 20일(reports/jump_eval_v17_dense.csv), "v13" 행은 10월 17일(reports/jump_eval_v13_dense.csv)입니다. 0회차(학습 전)는 모두 0%.
경과 회차2505007501,0001,2501,5001,7502,0002,2502,5002,7503,0003,249 (최종)
v19 유효 점프 (%, 창 밖 −0.9)0.721.822.414.758.856.259.7713.286.4511.4623.110.000.00
v19 신호당 낙상률 (%)63.5454.8233.0742.321.040.526.380.2614.845.6012.63100.00100.00
v19 체공 시간 (ms)29.122.922.225.824.029.629.229.427.132.238.00.00.0
v12 시드 43 유효 점프 (%, 10월 8일, 전역 −0.1)22.2724.5422.5324.1519.8618.9519.7923.1818.5520.3129.6244.0850.52 (3,250)
v12 시드 44 유효 점프 (%, 10월 16일, 전역 −0.1)23.9622.4019.7920.1823.1819.9217.9019.5320.3822.8525.4638.2246.42
v18 시드 43 유효 점프 (%, 10월 25일, 전역 −0.2)13.6713.4813.879.387.818.076.9010.688.929.4411.3311.7215.23
v17 시드 43 유효 점프 (%, 10월 20일, 전역 −0.3)15.8212.378.793.457.758.985.738.9212.249.709.647.817.42
v13 유효 점프 (%, 10월 17일, 램프 → −1.0)20.2526.7615.9512.305.275.734.234.234.494.363.784.822.21
v19 − v12 시드 43 (%p)−21.55−22.72−20.12−19.40−11.01−12.70−10.02−9.90−12.10−8.85−6.51−44.08−50.52
v19 − v13 (%p)−19.53−24.94−13.54−7.55+3.58+0.52+5.54+9.05+1.96+7.10+19.33−4.82−2.21
행동 변화율 가중치v19 창 안 −0.1 / 창 밖 −1.0(3,250회차 전부 상수) · v12 −0.1 · v18 −0.2 · v17 −0.3 · v13 −0.1 → −1.0(500~1,500회차 램프)
판정 조건: 경과 1,500~3,000회차 7개 평균 10.05% — 지지 기준 ≥ 16에 5.95%p 못 미치고, 반박 기준 ≤ 8은 2.05%p 넘습니다(평가 재현 폭 4.17%p 안). 마지막 4개 평균 8.64%(≥ 16 미달), 최종 3,249회차 체크포인트: 유효 점프 0.00%, 낙상률 100.00%(1,536 신호 전부), 체공 0ms, 상승 0cm. 따라서 사전 등록의 "8 < 구간 평균 < 16 = 판단보류 → 시드 44"에 해당하고, 동시에 "최종 ≤ 2% 또는 낙상 > 5%"의 학습 불가 조건에도 해당해 함께 기록합니다. 앵커(v12 시드 43의 3,250회차를 v19 id로 재채점) 49.67% — 10월 26일 50.33%와 0.66%p, 10월 8일 50.52%와 0.85%p 차이여서 재현 폭 4.17%p를 그대로 둡니다. 유효성 조건 여섯 개 모두 충족. 곡선의 세 구간: (1) 250~1,000회차는 유효 점프 0.7~4.8%에 신호당 낙상 33~64% — 다른 모든 실행(250회차 10~27%, 낙상 ≤ 0.6%)과 전혀 다른 출발입니다. (2) 1,250회차에 낙상이 1%로 내려온 뒤 1,500~2,750회차는 6.3~23.1%로 올라왔고(붕괴 전 6개 평균 11.72%), 2,750회차의 23.11%는 v12 시드 44의 같은 경과(25.46%)와 2.35%p 차였지만 낙상 12.63%를 동반했습니다(v12 띠는 0.0~0.5%). 낙상은 1,750 / 2,250 / 2,500 / 2,750회차에도 6.4 / 14.8 / 5.6 / 12.6%로 되풀이됐습니다. (3) 3,000·3,249회차 체크포인트는 모든 신호에서 즉시 넘어집니다. 품질 프로브: v19 최종은 유효 점프가 0이어서 모든 지표가 0, 앵커(창 1.5초)는 체공 ≥ 40ms·상승 ≥ 5mm 비율 27.3%, 좌우 발 첫 이탈 차 ≥ 3스텝 73.8%로 10월 26일 v12 두 시드(25.7~26.7 / 71.3~72.3%; 단, 그때는 창 1.2초)와 같은 띠입니다. 학습 로그(logs/train_jump_stand_v19_s43.log, 500회차 블록 평균, 마지막 블록은 250회차; 괄호는 v12 시드 43의 같은 블록을 같은 방식으로 재계산한 값): 회차당 낙상 종료 수 70.3 → 17.2 → 31.9 → 24.3 → 14.8 → 136.0 → 444.0(13.4 → 0.75 → 0.52 → 0.70 → 0.57 → 2.08) — 벌점 0 구간(0~1,500회차)에서도 v12의 20~50배. 회차별로는 2,750회차 26.6 → 2,775회차 82.5 → 2,800회차 237 → 3,000회차 371 → 3,249회차 501이고 평균 에피소드 길이는 153.8 → 60.9 → 20.6 → 10.4 → 8.36스텝으로, −300 벌점 단계(2,500회차)가 걸린 뒤 275회차 만에 "첫 스텝에 넘어지기"로 수렴했습니다. 250회차 블록 평균 보상은 2,500~2,749회차 −40.4(전 구간 최저) → 2,750~2,999회차 −13.5 → 3,000~3,249회차 −11.4로, 붕괴 뒤가 붕괴 직전보다 높습니다(서 있다가 가끔 넘어지는 쪽보다 즉시 넘어지는 쪽이 에피소드 보상이 덜 음수인 상태). 창 안 평활 항(가중치 −0.1, v12와 같음)의 블록 평균 −0.11 → −0.34 → −0.32 → −0.50 → −0.53 → −0.33 → −0.01(−1.65 → −2.02 → −1.94 → −2.07 → −2.07 → −2.74) — 같은 가중치인데 크기가 v12의 1/4~1/6입니다. 창 밖 항(가중치 −0.9) −0.70 → −1.83 → −1.68 → −2.59 → −2.70 → −1.76 → −0.12로 창 안 항의 5.1~7.7배(가중치 비 9 × 창 밖 시간 비율)이며, 학습 중 줄지 않고 점프 시도가 늘수록 함께 커졌습니다. 행동 표준편차 0.49 → 0.51 → 0.47 → 0.56 → 0.58 → 0.72 → 0.85(0.83 → 0.77 → 0.72 → 0.77 → 0.77 → 1.05) — 처음 다섯 블록은 v17 / v18의 띠(0.42~0.58). 마지막 블록의 두 평활 항이 거의 0인 것은 에피소드가 8스텝으로 짧아진 결과이지 게이트 효과가 아닙니다. 수치 NaN 0.
개선 사항1. 실험 변수와 측정된 효과. 바꾼 것은 "신호 창 밖에서만 걷히는 추가 평활 −0.9" 하나이고, 측정된 효과는 "구간 평균 10.05% — 전역 −0.2(v18 두 시드 평균 10.83%)·−0.3(v17 8.29%)과 재현 폭 안, 전역 −0.1(v12 두 시드 24.20%)보다 14.15%p 아래, 그리고 2,775회차부터 붕괴"입니다. 사전 등록의 지지(≥ 16)·반박(≤ 8) 어느 쪽에도 닿지 않아 판단보류이고, 최종 체크포인트가 유효 점프 0%·낙상 100%여서 학습 불가 조건을 따로 기록합니다 — 무작위 초기화로 시작한 3,250회차 실행이 붕괴로 끝난 첫 사례입니다(10월 13일 v14 2일차의 붕괴는 이어 학습 실행이었습니다). 시드 1회이므로 재현성은 주장하지 않으며, "개선"은 쓰지 않습니다. 2. 함께 적어야 하는 단서(검정 아님). 첫째, 창 안 가중치를 −0.1로 지켰는데도 창 안 평활 항의 크기가 v12의 1/4~1/6이고 행동 표준편차가 전역 −0.2 / −0.3 실행의 띠에 있습니다 — 정책 하나가 창 안·밖을 공유하므로 창 밖 벌점이 창 안 행동까지 매끄럽게 만들었다는 H19-null의 그림과 맞습니다(게이트 자체는 창 밖 / 창 안 비 5~8배로 작동했습니다). 둘째, 붕괴는 −300 단계 뒤 275회차 만에 일어났지만, v19는 벌점이 0인 처음 1,500회차에서도 학습 낙상이 v12의 20~50배, 평가 낙상이 33~64%였습니다. "−300이 붕괴를 일으켰다"가 아니라 "낙상이 잦은 정책에 −300이 걸리자 즉시 넘어지기가 보상상 유리해졌다"가 로그와 맞는 서술이며, 창 밖 −0.9가 낙상을 늘렸는지 시드 사건인지는 분리되지 않았습니다. 셋째, 2,750회차의 23.11%는 v12 시드 44와 2.35%p 차였지만 낙상 12.63%를 동반하고 250회차 뒤 0이 됐으므로 대표값으로 쓰지 않습니다(사후 최고값 선택 금지). 넷째, 외부 근거로 삼은 Pollen spring_v2의 −1.0 보호 수준은 보행·호핑 과제의 값이고, 본 랩의 점프 창 밖에 그대로 옮긴 결과는 적어도 이 시드에서 점프와 양립하지 않았습니다. 3. 위상 게이트 검정의 현재 상태. 측정된 것은 창 밖 −0.9 한 수준·한 시드뿐입니다. 전역 수준 검정(−0.1 / −0.2 / −0.3 / 램프 −1.0, 10월 8~26일)과 달리 게이트 수준은 상한·하한을 재지 않았으므로, 시드 44가 중간 띠를 재현하더라도 "게이트 방식 포기"로 적지 않고 창 밖 −0.4를 한 번 더 잽니다. 4. 다음에 바꿀 한 가지. v19의 시드 44입니다(같은 태스크 id, 코드 변경 없이 시드만 43 → 44, 무작위 초기화, 3,250회차; 계획서의 "판단보류이면 다음" 항목 그대로). 변수는 시드 하나입니다. 사전 등록 초안(두 시드 평균 규칙, 간격 8%p 유지): 시드 44 구간 평균 ≥ 16%이고 마지막 4개 평균 ≥ 16%이고 최종 낙상 ≤ 2%이고 두 시드 구간 평균 ≥ 16%(시드 43이 10.05%이므로 시드 44 ≥ 21.95%)이면 지지, 시드 44 구간 평균 ≤ 8% 또는 두 시드 평균 ≤ 8%이면 반박, 그 외는 "창 밖 −0.9는 두 시드 모두 중간 띠"로 적고 창 밖 −0.4(v19b)로 넘어갑니다. 판정과 별도로 두 가지를 관측합니다: (a) 2,500회차 뒤 회차당 낙상 > 200·평가 낙상 100%의 붕괴가 재현되는지(재현되면 v19b는 예산을 2,500회차 안에 두거나 벌점 상한 −100을 함께 검토), (b) 250~1,000회차의 낙상 33~64%와 학습 낙상 17~70이 재현되는지. 대조군은 v19 시드 43(reports/jump_eval_v19_dense.csv), v12·v18·v17 시드 43·44, v13이고, 앵커는 v12 시드 43의 3,250회차를 v19 id로 재채점(오늘 49.67%), 유효성은 오늘의 여섯 개에 seed=44. 대안은 창 밖 −0.4(v19b, 새 id, 시드 43), 대체안은 v20(정점 높이 밴드 커리큘럼) 또는 v15 시드 44입니다.
실험 설정PPO · Mjlab-Jump-Stand-v19-MicroDuck(10월 26일 등록, 오늘 코드 변경 없음; v12 구성 + 보상 항 action_rate_l2_outside_window 가중치 −0.9 — 점프 신호 창 1.5초 밖의 스텝에서만; 기본 행동 변화율 벌점 −0.1 고정 → 창 안 −0.1 / 창 밖 −1.0; 머리 명령 범위 ±0.07rad·머리 편향 벌점 0·몸통 무게중심 0.003m·머리 무게중심 0.003m 고정; 평가용 구성의 물리·명령·관측은 v12와 동일) · 3,250회차 · 4,096개 환경 · 시드 43 · 초기 정책 무작위 초기화(불러오기 없음) · 정점 배율 0.06, 기준 상태 초기화 60/25/15, 낙상 벌점 0 → −100(1,500회차) → −300(2,500회차) · 대조군 v12 시드 43(reports/jump_eval_v12_dense.csv, 10월 8일)·시드 44(reports/jump_eval_v12s44_dense.csv, 10월 16일), v18 시드 43·44(reports/jump_eval_v18_dense.csv, reports/jump_eval_v18s44_dense.csv), v17 시드 43·44(reports/jump_eval_v17_dense.csv, reports/jump_eval_v17s44_dense.csv), v13(reports/jump_eval_v13_dense.csv) 같은 경과, 앵커 v12 시드 43 3,250회차를 v19 id로 재채점 · 실행 2026-10-27_00-08-21_jump_stand_v19_s43, 체크포인트 0~3,249 14개 · 평가 scripts/evaluate_jump.py 512개 환경 × 1에피소드, 점프 신호 1,536회, 제자리 조건, 평가 시드 1000 · 보조 scripts/jump_quality_probe.py(reports/jump_quality_20261027.csv, 창 1.5초) · 계획서 experiments/plans/20261027-window-gated-action-rate.yaml · 보고서 experiments/reports/20261027-window-gated-action-rate.md · CSV reports/jump_eval_v19_dense.csv · 로그 logs/train_jump_stand_v19_s43.log, logs/nightly_2026-10-27_run.log · 짧은 검증 logs/smoke_20261027_window-gated-action-rate.log · 검사 tests/test_window_gated_action_rate.py(58개) · 기반 코드 pollen-robotics/microduck_rl(커밋 5946fd9) · 참고 experiments/reviews/20261026-rl-review.md(Pollen spring_v2 호핑 문서 인용), 2606.18625 · 영상 생략 · 시드 1회 — 재현성 주장 불가 · 실물 로봇 검증 아님.

2026-10-28

v19 시드 44: 10월 27일의 "창 밖 전용 행동 변화율 벌점 −0.9"(창 안 −0.1 / 창 밖 −1.0) 구성을 코드 변경 없이 시드만 43 → 44로 바꿔 무작위 초기화·3,250회차 학습. 경과 1,500~3,000회차 평균 13.77%(시드 43 10.05%; 두 시드 평균 11.91%; v12 시드 43 / 44 24.93 / 23.47%; v18 9.58 / 12.07%; v17 9.00 / 7.57%; v13 4.52%), 마지막 4개 평균 18.54%, 최종 20.12%·낙상 7.16%로 사전 등록 기준 판단보류(부분 효과 재현: 지지 ≥ 16 / 반박 ≤ 8 모두 미충족) — 시드 43의 2,775회차 붕괴는 재현되지 않았고 두 시드는 2,750회차까지 0.43%p 차의 같은 곡선이었습니다

수행 내용10월 27일 계획서가 "판단보류이면 다음"으로 미리 정해 둔 두 번째 시드입니다. 10월 27일 v19(시드 43)는 구간 평균 10.05%로 소실 경계 8%와 양립 경계 16% 사이였고, 동시에 2,775회차부터 모든 에피소드가 첫 스텝에 넘어지는 붕괴로 끝났습니다. 한 시드로는 "10.05%가 이 구성의 성질인지 시드 하단인지", "붕괴가 구성의 성질인지 시드 사건인지"를 적을 수 없으므로 10월 16일(v12)·24일(v17)·26일(v18)과 같은 절차로 같은 태스크 id Mjlab-Jump-Stand-v19-MicroDuck를 시드 44로 돌렸습니다. 변수는 시드 하나이고(scripts/nightly_train.sh SEED=44, 학습 로그 "Training with: device=cuda:0, seed=44"), 구성 전체 — v12의 다섯 개 고정(행동 변화율 벌점 −0.1, 머리 명령 범위 ±0.07rad, 머리 편향 벌점 0, 무게중심 두 개 0.003), 정점 배율 0.06, 기준 상태 초기화 60/25/15, 낙상 벌점 0 → −100 → −300, 창 밖 전용 추가 평활 −0.9 — 와 무작위 초기화·4,096개 환경·3,250회차·평가용 구성은 10월 27일과 같습니다. 외부 조사(2026년 10월 28일 00:02): 기반 코드 저장소 develop 브랜치에 10월 27일 커밋 5개가 올라왔으나 모두 학습 번들 공유·증류 교사 기본값·ONNX 소스 탐색에 관한 것이고 점프·호핑·행동 변화율·보상 가중치 변경은 없습니다(commits; 고정 커밋 5946fd9 유지). Hugging Face "microduck" 최신 30개(달리기·차기·줄다리기·백플립·플라밍고 등)에 점프·호핑 정책은 없습니다. 이족 점프 RL 문헌(Li et al. 2023, Yang et al. CoRL 2023)은 시드 분산이나 위상 게이트 평활 가중치를 보고하지 않아, 내부 두 시드 반복이 유일한 분리 수단입니다. 가설과 사전 등록 기준(experiments/plans/20261028-v19-seed44.yaml, 00:00~00:08 등록, 사후 변경 없음; 10월 27일 보고서의 초안 그대로). 지지(위상 게이트 양립, 두 시드 평균): 시드 44 구간 평균 ≥ 16%이고 마지막 4개 평균 ≥ 16%이고 최종 낙상 ≤ 2%이고 두 시드 구간 평균 (10.05 + 시드 44) / 2 ≥ 16%(시드 44 ≥ 21.95%). 반박(게이트 무관, 소실 띠): 시드 44 구간 평균 ≤ 8% 또는 두 시드 평균 ≤ 8%. 그 외는 "부분 효과 재현(partial_band): 창 밖 −0.9는 두 시드 모두 중간 띠"로 적고 게이트 검정을 끝내지 않은 채 창 밖 −0.4(v19b)로 넘어갑니다(수준 하나만 쟀기 때문). 판정과 별도로 (a) 2,500회차 뒤 회차당 학습 낙상 > 200 또는 평가 낙상 100%의 붕괴가 재현되는지, (b) 250~1,000회차의 평가 낙상 33~64%와 벌점 0 구간의 학습 낙상이 재현되는지를 관측합니다. "학습 불가"(최종 ≤ 2% 또는 최종 낙상 > 5%)는 별도 기록, 앵커는 v12 시드 43의 3,250회차를 v19 id로 재채점, 유효성 조건 여섯 개(seed=44, 불러오기 없음, 창 안 가중치 −0.1 상수, 창 밖 항 매 회차 기록·양수 없음, 고정 네 개·정점 배율 상수, 벌점 단계)는 10월 27일과 같습니다. 대조군: v19 시드 43(1차), v12·v18·v17 시드 43·44, v13. 짧은 검증(64개 환경 × 5회차, 00:06~00:07)은 1차에 통과했습니다(seed=44, 불러오기 줄 없음, 창 안 가중치 −0.1000 × 5, 고정 네 개·정점 배율 0.06·벌점 0, 창 안 항 −0.02~−0.07과 창 밖 항 −0.08~−0.47 둘 다 × 5 기록·양수 없음, NaN 0). 본 학습은 00:09:24에 시작해 02:18에 정상 종료했습니다(3,250회차, 회차당 평균 2.35초, 총 319,488,000 스텝, 수치 NaN 0). 재채점은 앵커 → 구간 7개 → 나머지 순으로 15개 체크포인트 전량(02:19~02:26), 보조 품질 프로브는 최종·앵커 두 개에 실행했습니다. 테스트 tests/test_v19_seed44.py 111/111 통과. 영상은 계획대로 생략.
관측 결과경과 회차별 유효 점프 비율(%). "v19 시드 44" 행이 오늘 실행(reports/jump_eval_v19s44_dense.csv), "v19 시드 43" 행은 10월 27일(reports/jump_eval_v19_dense.csv), 나머지 대조군 행은 10월 27일 표와 같은 값입니다(각 CSV). 굵은 칸이 판정 구간(1,500~3,000회차)입니다.
경과 회차2505007501,0001,2501,5001,7502,0002,2502,5002,7503,0003,249 (최종)
v19 시드 44 유효 점프 (%, 창 밖 −0.9)0.720.913.659.057.817.2912.7610.7411.5911.5918.9523.5020.12
v19 시드 44 신호당 낙상률 (%)61.2056.3838.0212.501.1133.720.720.9111.650.460.652.417.16
v19 시드 44 체공 시간 (ms)27.321.422.534.731.830.431.627.230.030.935.433.735.1
v19 시드 44 평균 상승 높이 (cm)0.000.170.390.550.520.490.490.480.530.520.610.620.71
v19 시드 43 유효 점프 (%, 10월 27일)0.721.822.414.758.856.259.7713.286.4511.4623.110.000.00
v19 시드 43 신호당 낙상률 (%)63.5454.8233.0742.321.040.526.380.2614.845.6012.63100.00100.00
v12 시드 43 유효 점프 (%, 10월 8일, 전역 −0.1)22.2724.5422.5324.1519.8618.9519.7923.1818.5520.3129.6244.0850.52 (3,250)
v12 시드 44 유효 점프 (%, 10월 16일, 전역 −0.1)23.9622.4019.7920.1823.1819.9217.9019.5320.3822.8525.4638.2246.42
v18 시드 43 유효 점프 (%, 10월 25일, 전역 −0.2)13.6713.4813.879.387.818.076.9010.688.929.4411.3311.7215.23
v17 시드 43 유효 점프 (%, 10월 20일, 전역 −0.3)15.8212.378.793.457.758.985.738.9212.249.709.647.817.42
v13 유효 점프 (%, 10월 17일, 램프 → −1.0)20.2526.7615.9512.305.275.734.234.234.494.363.784.822.21
시드 44 − 시드 43 (%p)0.00−0.91+1.24+4.30−1.04+1.04+2.99−2.54+5.14+0.13−4.16+23.50+20.12
시드 44 − v12 시드 43 (%p)−21.55−23.63−18.88−15.10−12.05−11.66−7.03−12.44−6.96−8.72−10.67−20.58−30.40
행동 변화율 가중치v19 창 안 −0.1 / 창 밖 −1.0(두 시드 모두 3,250회차 전부 상수) · v12 −0.1 · v18 −0.2 · v17 −0.3 · v13 −0.1 → −1.0(500~1,500회차 램프)
판정 조건: 시드 44 구간 평균 13.77% — 지지 기준 ≥ 16에 2.23%p 못 미치고(평가 재현 폭 4.17%p 안), 반박 기준 ≤ 8은 5.77%p 넘습니다. 두 시드 구간 평균 11.91%(지지 기준 16에 4.09%p 미달, 반박 기준 8을 3.91%p 초과). 마지막 4개 평균 18.54%는 지지 조건 네 개 중 유일하게 충족된 항목이고, 최종 낙상 7.16%는 ≤ 2% 조건에 미달합니다. 따라서 사전 등록의 "부분 효과 재현" 분기입니다. 붕괴 관측: 시드 44의 2,500~3,249회차 학습 낙상은 회차당 최대 43.4(250회차 블록 평균 4.1 / 18.3 / 15.7; 시드 43 같은 구간 최대 501.8, 블록 평균 136 → 444)이고 평가 낙상은 3,000회차 2.41%·최종 7.16%여서, 미리 정한 재현 기준(회차당 > 200 또는 평가 낙상 100%)에 해당하지 않습니다 — 시드 43의 붕괴는 "시드 사건(n=1)"으로 적습니다. 다만 시드 44도 벌점 −300 단계 뒤(2,750회차~) 평균 에피소드 길이가 583 → 266스텝으로 줄고 평균 보상이 +1.95 → −34.47로 내려갔으며 최종 평가 낙상이 2.41 → 7.16%로 올랐습니다. 이것이 붕괴의 전조인지는 3,250회차에서 끝나 확인되지 않았습니다. "학습 불가" 조건은 둘째 절(최종 낙상 > 5%)에 형식상 해당하지만 최종 유효 점프 20.12%는 10월 27일의 붕괴 상태(0% / 100%)가 아니므로, 조건을 사후에 완화하지 않고 이 사실을 그대로 적습니다. 앵커(v12 시드 43의 3,250회차, v19 id 재채점) 48.63%는 10월 27일 49.67%와 1.04%p 차로 재현 폭 4.17%p 안입니다. 유효성 여섯 개 모두 충족(seed=44, 불러오기 줄 0, 창 안 가중치 −0.1000 × 3,250, 창 밖 항 3,250 / 3,250 기록·양수 0, 고정 네 개·정점 배율 상수, 벌점 0 × 1,499 → −100 × 999 → −300 × 750). 학습 로그(logs/train_jump_stand_v19_s44.log, 500회차 블록 평균, 마지막 블록은 250회차; 괄호 안은 시드 43 / v12 시드 44의 같은 블록): 회차당 낙상 종료 75.3 / 21.2 / 29.6 / 22.3 / 17.7 / 11.2 / 15.7(시드 43 70.3 / 17.2 / 31.9 / 24.3 / 14.7 / 136.0 / 444.0; v12 13.5 / 0.7 / 0.6 / 0.6 / 0.5 / 1.7 / 3.1), 창 안 행동 변화율 항 −0.100 / −0.171 / −0.329 / −0.456 / −0.530 / −0.603 / −0.384(시드 43 −0.114 / −0.341 / −0.323 / −0.502 / −0.531 / −0.330 / −0.015; v12 −1.648 / −2.022 / −1.957 / −2.053 / −1.977 / −2.583 / −3.075), 창 밖 항 −0.62 / −1.00 / −1.73 / −2.37 / −2.68 / −3.09 / −2.06, 행동 표준편차 0.494 / 0.511 / 0.502 / 0.537 / 0.563 / 0.681 / 0.704(v12 0.828 / 0.763 / 0.734 / 0.757 / 0.735 / 0.982 / 1.219), 최고 높이 평균 0.0070 / 0.0039 / 0.0046 / 0.0052 / 0.0053 / 0.0075 / 0.0092m. 1,000~2,499회차 사이에 회차당 낙상이 241~262까지 치솟았다가 바로 회복한 단일 회차가 세 번 있었고(블록 평균 25~42), 평가 낙상이 튄 1,500회차(33.72%)·2,250회차(11.65%)가 그 근처이지만 같은 사건인지는 분리되지 않았습니다. 보조 프로브(reports/jump_quality_20261028.csv, 판정 무관): 최종 체크포인트의 "40ms·5mm 이상" 점프 비율 8.27%(유효 점프의 33.5%), 체공 중앙값 20ms(90분위 60ms), 상승 중앙값 7.2mm; 앵커는 27.80%(50.9%), 40ms(120ms), 6.5mm.
개선 사항1. 실험 변수와 측정된 효과. 바꾼 것은 시드(43 → 44) 하나이고, 측정된 것은 "창 밖 −0.9 구성의 구간 평균 13.77% — 시드 43의 10.05%와 3.72%p 차(평가 재현 폭 4.17%p 안), 두 시드 평균 11.91%"입니다. 두 시드는 붕괴 전 여섯 지점(1,500~2,750회차) 평균이 12.15 / 11.72%로 0.43%p 차이이고 체크포인트별 차는 최대 5.14%p(2,250회차)여서, 10월 27일의 중간 띠 결과는 시드 하단이 아니라 이 구성의 성질로 적습니다(시드 2회 — 재현성 주장은 하지 않습니다). 전역 −0.2(v18 두 시드 평균 10.83%)·전역 −0.3(v17 8.29%)과 구별되지 않고, v12 두 시드(24.20%)보다 구간 평균 10~11%p, 최종 26~30%p 아래입니다. 시드 44가 시드 43보다 높은 것은 "개선"이 아니라 시드 차로만 적습니다. 2. 붕괴에 관해 달라진 것. 10월 27일에는 "무작위 초기화 실행의 첫 붕괴"를 구성의 성질로 의심해 다음 실험의 예산을 2,500회차로 줄이거나 벌점 상한을 −100으로 낮추는 안을 함께 적어 두었습니다. 시드 44에서 같은 구간에 붕괴가 없었으므로(회차당 낙상 최대 43.4, 평가 낙상 2.41 → 7.16%) 이 예산 축소는 필요하지 않게 됐고, 시드 43의 붕괴는 시드 사건(n=1)으로 기록합니다. 다만 두 시드 모두 벌점 −300 단계 뒤에 에피소드 길이가 반으로 줄고 평균 보상이 크게 음수로 내려간 것은 같으며, 시드 44의 최종 낙상 7.16%가 "학습 불가" 조건의 둘째 절에 걸린 점은 그대로 둡니다. 10월 27일 기록의 "학습 불가" 표기는 시드 43의 사실이므로 고치지 않습니다. 3. 두 시드에서 재현된 단서(검정 아님). 첫째, 창 안 가중치를 v12와 같은 −0.1로 두었는데도 창 안 행동 변화율 항의 크기가 v12의 1/4~1/6이고 행동 표준편차가 0.49~0.70(v12 0.73~1.22)인 것은 두 시드에서 같습니다 — 창 밖 평활이 창 안 행동까지 끌어내렸다는 10월 27일의 해석과 일치하지만, 인과는 분리되지 않았습니다. 둘째, 250~1,000회차 평가 낙상 38~61%(시드 43 33~64%; v12 두 시드 0.6% 이하)와 벌점 0 구간의 학습 낙상 17~75(v12 0.5~13.5)도 두 시드에서 같아, "창 밖 −0.9가 초기 낙상을 늘린다"는 두 시드 서술이 됩니다. 셋째, 두 시드 모두 2,750회차부터 유효 점프가 올라갔으나(18.95 → 23.50% / 23.11%) v12의 같은 구간 상승(29.62 → 44.08%)의 절반 크기입니다. 4. 다음에 바꿀 한 가지. v19b — 창 밖 전용 평활을 −0.9에서 −0.4로 낮춘 구성(창 안 −0.1 / 창 밖 합계 −0.5)입니다. 계획서의 "부분 효과 재현이면 다음" 항목 그대로이며, 게이트 수준을 하나만 쟀기 때문에 게이트 방식 자체를 접기 전에 낮은 수준 하나를 더 잽니다(전역 스윕 −0.1 / −0.2 / −0.3의 간격과 비슷하게 창 밖 합계 −1.0 → −0.5). 새 태스크 id Mjlab-Jump-Stand-v19b-MicroDuck(v19 등록 블록 복제, 창 밖 가중치만 −0.4, 새 테스트·짧은 검증), 시드 43, 무작위 초기화, 3,250회차, 예산 축소 없음. 사전 등록 초안(간격 8%p 유지): 구간 평균 ≥ 16%이고 마지막 4개 평균 ≥ 16%이고 최종 낙상 ≤ 2%이면 지지, 구간 평균 ≤ 8%이면 반박, 그 외는 "게이트 수준 두 개(−0.9 / −0.4) 모두 중간 띠"로 게이트 검정을 끝냅니다. 대조군은 v19 시드 43·44(두 시드 평균 11.91%), v12·v18 시드 43·44, v13이고 앵커는 v12 시드 43의 3,250회차를 v19b id로 재채점. 별도 관측: 250~1,000회차 낙상과 벌점 0 구간 학습 낙상이 −0.4에서 줄어드는지. 대체안은 v15 시드 44, 보류는 v20(정점 높이 밴드 커리큘럼)입니다.
실험 설정PPO · Mjlab-Jump-Stand-v19-MicroDuck(10월 26일 등록, 오늘 코드 변경 없음; v12 구성 + 보상 항 action_rate_l2_outside_window 가중치 −0.9 — 점프 신호 창 1.5초 밖의 스텝에서만; 기본 항 −0.1 상수, 머리 명령 범위 ±0.07rad·머리 편향 벌점 0·무게중심 0.003·머리 무게중심 0.003 고정, 정점 배율 0.06, 기준 상태 초기화 60/25/15, 낙상 벌점 0 → −100(1,500) → −300(2,500)) · 4,096개 환경 · 시드 44(10월 27일은 43) · 3,250회차(00:09 → 02:18, 회차당 2.35초, 총 319,488,000 스텝) · 무작위 초기화(불러오기 없음) · 체크포인트 model_0, 250, …, 3000, 3249 · 평가 scripts/evaluate_jump.py(512개 환경 × 1 에피소드, 평가 시드 1000, 신호 1,536회, 제자리 조건, 평가용 구성의 물리·명령·61차원 관측은 v12와 동일) · 앵커 v12 시드 43 model_3250을 v19 id로 재채점 48.63% · 초기 정책 = 무작위 초기화 후 학습 전(0회차, 유효 점프 0%·낙상 100%) → 최종 20.12%. 실행 2026-10-28_00-09-24_jump_stand_v19_s44, 저장소 커밋 c5ea79e / a853a6c(계획·테스트·런처), 86ddfce(보고서). 계획서 experiments/plans/20261028-v19-seed44.yaml, 보고서 experiments/reports/20261028-v19-seed44.md, CSV reports/jump_eval_v19s44_dense.csv·reports/jump_quality_20261028.csv, 로그 logs/train_jump_stand_v19_s44.log·logs/nightly_2026-10-28_run.log. 대조군 CSV: reports/jump_eval_v19_dense.csv(시드 43), jump_eval_v12_dense.csv·jump_eval_v12s44_dense.csv, jump_eval_v18_dense.csv·jump_eval_v18s44_dense.csv, jump_eval_v17_dense.csv·jump_eval_v17s44_dense.csv, jump_eval_v13_dense.csv. 참고: microduck_rl develop 커밋, Hugging Face microduck 검색, Li et al. 2023 (Cassie 점프). 시드 2회(43·44) — 재현성 주장 불가. 모든 수치는 시뮬레이션 평가이며 실제 로봇 검증을 뜻하지 않습니다.

2026-10-29

v19b: 10월 27·28일의 "창 밖 전용 행동 변화율 벌점" 구성에서 창 밖 가중치만 −0.9에서 −0.4로 낮춰(창 안 −0.1 / 창 밖 합계 −0.5) 새 태스크 id로 무작위 초기화·시드 43·3,250회차 학습. 경과 1,500~3,000회차 평균 27.49%(v19 시드 43 / 44 10.05 / 13.77%; v12 시드 43 / 44 24.93 / 23.47%; v18 9.58 / 12.07%; v17 9.00 / 7.57%; v13 4.52%), 마지막 4개 평균 35.97%, 최종 41.60%·낙상 0.39%로 사전 등록 지지 조건 세 개를 모두 충족 — 판정 지지(시드 1회, 재현성 주장 불가). 구간 평균이 20% 이상이어서 "v12 띠와 구별되지 않음"을 함께 적습니다.

수행 내용10월 28일 계획서가 "부분 효과 재현이면 다음"으로 미리 정해 둔 검정입니다. 창 밖 전용 평활 −0.9(v19)는 두 시드 모두 구간 평균 10~14%의 중간 띠였고 게이트 수준을 하나만 쟀으므로, 게이트 방식 자체를 접기 전에 낮은 수준 하나를 더 쟀습니다. 바꾼 것은 보상 항 action_rate_l2_outside_window의 가중치 하나(−0.9 → −0.4; 점프 신호 창 1.5초 밖에서만 걷히므로 창 안 평활은 v12와 같은 −0.1, 창 밖 합계는 −1.0 → −0.5)이고, 전역 스윕(−0.3 → −0.2 → −0.1)과 비슷한 한 단계입니다. 새 태스크 id Mjlab-Jump-Stand-v19b-MicroDuck는 v19 등록 블록을 복제해 가중치 상수만 바꾼 것으로 환경 구성 함수·보상 함수·관측(61차원)은 손대지 않았고, 기존 id(v12~v19)의 동작은 테스트 132개로 고정했습니다. 나머지(머리 명령 범위 ±0.07rad·머리 편향 벌점 0·무게중심 0.003·머리 무게중심 0.003 고정, 정점 배율 0.06, 기준 상태 초기화 60/25/15, 낙상 벌점 0 → −100(1,500회차) → −300(2,500회차), 4,096개 환경, 시드 43, 무작위 초기화, 평가기)는 v19와 같습니다. 가설과 사전 등록 기준(experiments/plans/20261029-v19b-outside-04.yaml, 00:00~00:35 등록, 사후 변경 없음; 10월 28일 보고서의 초안 그대로). 지지(게이트는 수준에 민감 — 낮은 창 밖 수준은 점프와 양립): 구간 평균 ≥ 16%이고 마지막 4개 평균 ≥ 16%이고 최종 낙상 ≤ 2%. 반박(게이트 무관 — 창 밖 평활은 수준과 무관하게 창 안 행동을 끌어내림): 구간 평균 ≤ 8%. 그 외는 "게이트 수준 두 개 모두 중간 띠"로 게이트 검정 종료. 부가 서술(판정 아님): 구간 평균 ≥ 20%이면 "v12 띠와 구별되지 않음"을 덧붙입니다. 별도 관측: 250~1,000회차 낙상과 벌점 0 구간의 학습 낙상이 −0.4에서 줄어드는지, 창 안 평활 항 크기가 v12에 가까워지는지, 2,500회차 이후 붕괴가 있는지. 외부 확인(00:03): 기반 코드 저장소의 10월 27일 커밋 5개는 학습 공유·증류 번들 관련으로 점프·평활 변경이 없고, 커뮤니티 정책 목록 최신 30개에 점프·호핑 이름이 없으며, 2025~2026년 문헌에서 위상 게이트 평활 가중치의 수준을 보고한 논문은 찾지 못했습니다 — 수준은 내부 검정으로만 정합니다. 짧은 검증(64개 환경 × 5회차, 00:07)은 1차에 통과했습니다(seed=43, 불러오기 줄 없음, 창 안 가중치 −0.1000 × 5, 설정 표에 창 밖 항 −0.4, 고정 네 개·정점 배율 0.06·벌점 0, 창 안 항 −0.03~−0.06과 창 밖 항 −0.03~−0.23 둘 다 × 5 기록·양수 없음, NaN 0). 본 학습은 00:10:41에 시작해 02:21에 정상 종료했습니다(3,250회차, 회차당 평균 2.37초, 수치 NaN 0). 재채점은 앵커 → 구간 7개 → 나머지 순으로 15개 체크포인트 전량(02:21~02:27), 보조 품질 측정 2개(02:28). 학습 로그 자동 검사 여섯 항목(시드 43, 불러오기 없음, 창 안 가중치 −0.1000 × 3,250, 창 밖 항 3,250회 기록·양수 0, 고정 네 개·정점 배율 전 회차, 벌점 0 × 1,499 → −100 × 999 → −300 × 750)은 모두 충족했습니다.
관측 결과경과 회차별 유효 점프 비율(%). "v19b" 행이 오늘 실행(reports/jump_eval_v19b_dense.csv), v19 시드 43 / 44 행은 10월 27·28일(reports/jump_eval_v19_dense.csv·jump_eval_v19s44_dense.csv), 나머지 대조군 행은 10월 28일 표와 같은 값입니다(각 CSV). 굵은 칸이 판정 구간(1,500~3,000회차)입니다.
경과 회차2505007501,0001,2501,5001,7502,0002,2502,5002,7503,0003,249 (최종)
v19b 유효 점프 (%, 창 밖 −0.4)11.3312.4315.4919.7312.6313.8021.8827.2127.2829.6933.6638.9341.60
v19b 신호당 낙상률 (%)5.273.848.980.650.720.200.651.171.241.630.780.460.39
v19b 체공 시간 (ms)39.429.930.333.227.928.936.341.242.841.452.046.543.7
v19b 평균 상승 높이 (cm)0.580.550.560.540.660.520.480.630.670.660.770.701.07
v19 시드 43 유효 점프 (%, 10월 27일, 창 밖 −0.9)0.721.822.414.758.856.259.7713.286.4511.4623.110.000.00
v19 시드 44 유효 점프 (%, 10월 28일, 창 밖 −0.9)0.720.913.659.057.817.2912.7610.7411.5911.5918.9523.5020.12
v12 시드 43 유효 점프 (%, 10월 8일, 전역 −0.1)22.2724.5422.5324.1519.8618.9519.7923.1818.5520.3129.6244.0850.52 (3,250)
v12 시드 44 유효 점프 (%, 10월 16일, 전역 −0.1)23.9622.4019.7920.1823.1819.9217.9019.5320.3822.8525.4638.2246.42
v18 시드 43 유효 점프 (%, 10월 25일, 전역 −0.2)13.6713.4813.879.387.818.076.9010.688.929.4411.3311.7215.23
v17 시드 43 유효 점프 (%, 10월 20일, 전역 −0.3)15.8212.378.793.457.758.985.738.9212.249.709.647.817.42
v13 유효 점프 (%, 10월 17일, 램프 → −1.0)20.2526.7615.9512.305.275.734.234.234.494.363.784.822.21
v19b − v19 시드 43 (%p, 같은 시드)+10.61+10.61+13.08+14.98+3.78+7.55+12.11+13.93+20.83+18.23+10.55+38.93+41.60
v19b − v12 시드 43 (%p)−10.94−12.11−7.04−4.42−7.23−5.15+2.09+4.03+8.73+9.38+4.04−5.15−8.92
행동 변화율 가중치v19b 창 안 −0.1 / 창 밖 −0.5(3,250회차 전부 상수) · v19 창 안 −0.1 / 창 밖 −1.0 · v12 −0.1 · v18 −0.2 · v17 −0.3 · v13 −0.1 → −1.0(500~1,500회차 램프)
판정 조건: 구간 평균 27.49%(지지 기준 ≥ 16을 11.49%p 초과), 마지막 4개 평균 35.97%(≥ 16을 19.97%p 초과), 최종 낙상 0.39%(≤ 2) — 지지 조건 세 개 모두 충족, 반박 기준(≤ 8)과는 19.49%p 차이. 구간 평균이 20% 이상이므로 부가 서술 "v12 띠와 구별되지 않음"에 해당합니다: v12 시드 43 / 44의 같은 구간 24.93 / 23.47%와의 차 +2.56 / +4.02%p는 평가 재현 폭 4.17%p 안이고, 마지막 4개 평균 35.97%는 v12의 36.13 / 33.24% 사이이며, 최종 41.60%는 v12의 50.52(3,250회차) / 46.42%보다 8.92 / 4.82%p 낮습니다(3,000회차 이후는 v12가 위). 붕괴 없음: 2,500~3,249회차 회차당 학습 낙상 최대 8.6(v19 시드 43 501.8, 시드 44 43.4), 평가 낙상 3,000회차 0.46% · 최종 0.39%. "학습 불가" 조건(최종 ≤ 2% 또는 낙상 > 5%) 해당 없음. 앵커(v12 시드 43의 3,250회차를 v19b id로 재채점) 50.00%(10월 28일 v19 id 48.63%, 10월 8일 v12 id 50.52%; 폭 4.17%p 유지). 학습 로그(logs/train_jump_stand_v19b_s43.log, 500회차 블록 평균, 마지막 블록은 250회차; 괄호 안은 v19 시드 43 / v12 시드 44의 같은 블록): 회차당 낙상 종료 45.0 / 10.3 / 11.8 / 6.6 / 7.4 / 5.3 / 4.9(v19 70.3 / 17.2 / 31.9 / 24.3 / 14.7 / 136.0 / 444.0; v12 13.5 / 0.7 / 0.6 / 0.6 / 0.5 / 1.7 / 3.1), 창 안 행동 변화율 항 −0.33 / −0.68 / −0.76 / −0.87 / −0.81 / −1.21 / −1.31(v19 −0.11 / −0.34 / −0.32 / −0.50 / −0.53 / −0.33 / −0.02; v12 −1.65 / −2.02 / −1.96 / −2.05 / −1.98 / −2.58 / −3.08), 창 밖 항 −0.85 / −1.63 / −1.79 / −2.10 / −1.94 / −2.86 / −3.08(창 밖/창 안 비 2.35~2.6; v19 4~8), 행동 표준편차 0.62 / 0.67 / 0.67 / 0.78 / 0.79 / 0.90 / 0.94(v19 시드 44 0.49~0.70; v12 0.73~1.22), 에피소드 길이 254 / 500 / 532 / 452 / 416 / 503 / 516. 보조 품질 측정(reports/jump_quality_20261029.csv, 판정 무관): 최종 체크포인트의 "체공 ≥ 40ms·상승 ≥ 5mm" 점프 23.31%(유효 점프의 51.3%), 체공 중앙값 40ms(상위 10% 80ms), 상승 중앙값 10.9mm; 앵커 26.04%(49.1%), 40ms(120ms), 6.6mm; 10월 28일 v19 시드 44 최종은 8.27%, 20ms, 7.2mm였습니다.
개선 사항1. 실험 변수와 측정된 효과. 바꾼 것은 창 밖 전용 평활 가중치 하나(−0.9 → −0.4)이고, 측정된 것은 "구간 평균 27.49%·마지막 4개 35.97%·최종 41.60%·낙상 0.39%로 사전 등록 지지 조건 세 개 충족"입니다. 사전 등록 기준을 통과했으므로 "개선"이라는 말을 쓰되 뜻은 그것뿐입니다 — 즉 창 밖 합계 −0.5는 점프와 양립하고(시드 1회), 10월 27·28일의 창 밖 합계 −1.0은 두 시드 모두 중간 띠였으므로 위상 게이트 평활은 수준에 민감하며 양립 상한은 창 밖 합계 −0.5와 −1.0 사이에 있습니다. 같은 시드(43)의 v19 대비 구간 평균 +17.44%p, 붕괴 전 여섯 지점 평균 25.59 대 11.72%, 체크포인트별 +7.55~+20.83%p로 모두 v19의 시드 차(최대 5.14%p)와 재현 폭(4.17%p)을 넘지만, 시드 1회이므로 "수준 차(시드 차와 분리되지 않음)"로만 적습니다. 재현성 주장 불가. 2. 바뀌지 않은 것 — v12와의 차이. 구간 평균 27.49%는 v12 두 시드(24.93 / 23.47%)와 재현 폭 안이고, 최종은 v12보다 4.8~8.9%p 낮으며 3,000회차 전후의 상승 폭도 v12(29.62 → 44.08%)보다 완만합니다(33.66 → 38.93%). 즉 창 밖 평활 −0.4를 얹어도 점프율은 v12(전역 −0.1)에 대해 오르지도 내리지도 않았습니다. 다만 이 구성이 창 밖(서 있는 구간)의 동작을 실제로 더 부드럽게 만들었는지는 확인되지 않았습니다 — 평가기에 창 밖 행동 지표(창 밖 행동 변화율·관절 속도)가 없어 "점프는 그대로 두고 창 밖만 평활해졌다"는 해석을 지금 자료로는 쓸 수 없습니다. 학습 로그의 창 밖 항 절대값은 v19처럼 학습 중 커졌고(−0.85 → −3.08, 점프 시도 증가와 동행) 벌점 가중치가 다르므로 두 실행의 항 크기를 직접 비교할 수 없습니다. 3. 관측(검정 아님). 첫째, 10월 27·28일에 두 시드로 재현된 "창 밖 평활이 창 안 행동까지 끌어내린다"는 단서는 수준을 낮추자 같은 방향으로 움직였습니다: 창 안 평활 항 크기는 v12의 1/4~1/6(v19)에서 1/2.1~1/2.5(v19b, 1,500회차 이후)로, 행동 표준편차는 0.49~0.70에서 0.62~0.94로 v12 쪽으로 올라왔습니다(인과 미분리). 둘째, 초기 낙상도 v19와 v12 사이입니다 — 250~1,000회차 평가 낙상 5.27 / 3.84 / 8.98 / 0.65%(v19 33~64%, v12 0.6% 이하), 벌점 0 구간의 학습 낙상은 v12의 3~20배(v19 30~50배). 셋째, 1,000~1,249회차 블록에 회차당 낙상 171.5의 단일 급증이 하나 있었고 바로 회복했습니다(v19 시드 44의 241~262 급증과 비슷한 형태, 관계 미분리). 넷째, 최종 평균 상승 높이 1.07cm는 이 계열의 최고치이지만 단일 체크포인트 값(3,000회차 0.70cm)이라 대표값으로 쓰지 않습니다. 4. 다음에 바꿀 한 가지. v19b의 시드 44입니다(같은 태스크 id, 코드 변경 없이 시드만 43 → 44, 무작위 초기화, 3,250회차; 계획서의 "지지이면 다음" 항목 그대로). 지지가 시드 1회이고 이 계열의 체크포인트별 시드 차가 최대 5.14%p(v19)·7.62%p(v18)였으므로, 10월 16일(v12)·24일(v17)·26일(v18)·28일(v19)과 같은 절차로 두 번째 시드를 돌려야 "게이트는 수준에 민감"을 기록으로 남길 수 있습니다. 사전 등록 초안(간격 8%p 유지): 시드 44 구간 평균 ≥ 16%이고 마지막 4개 평균 ≥ 16%이고 최종 낙상 ≤ 2%이면 지지(두 시드 평균 ≥ 16%는 시드 44 ≥ 4.51%로 자동 충족), 시드 44 구간 평균 ≤ 8%이면 반박, 그 외는 "창 밖 −0.4는 시드 의존". 별도 관측: v12 두 시드와의 차(구간·마지막 4개·최종)가 4.17%p 안인지, 초기 낙상·창 안 항 크기가 재현되는지. 두 시드가 지지이면 그다음은 창 밖 행동 지표를 평가기에 추가하는 것(지금은 창 밖 평활 효과를 재는 지표가 없음)이고, 그 뒤에 창 밖 −0.65(합계 −0.75)로 상한을 좁힙니다. 대체안은 v15 시드 44, 보류는 v20(정점 높이 밴드 커리큘럼)입니다.
실험 설정PPO · Mjlab-Jump-Stand-v19b-MicroDuck(10월 29일 등록; v19 구성에서 보상 항 action_rate_l2_outside_window 가중치만 −0.9 → −0.4 — 점프 신호 창 1.5초 밖의 스텝에서만; 기본 항 −0.1 상수, 머리 명령 범위 ±0.07rad·머리 편향 벌점 0·무게중심 0.003·머리 무게중심 0.003 고정, 정점 배율 0.06, 기준 상태 초기화 60/25/15, 낙상 벌점 0 → −100(1,500) → −300(2,500)) · 4,096개 환경 · 시드 43 · 3,250회차(회차당 2.37초, 00:10:41 → 02:21) · 초기 정책 무작위 초기화(불러오기 없음) · 평가 scripts/evaluate_jump.py 512개 환경 × 1에피소드, 평가 시드 1000, 신호 1,536회, 제자리 조건(v12 평가 구성과 동일) · 체크포인트 15개 전량 재채점(앵커 포함) · 실행 2026-10-29_00-10-41_jump_stand_v19b_s43 · 랩 커밋 b304df7(학습 시점) / 6243b8b(보고) · 계획서 experiments/plans/20261029-v19b-outside-04.yaml · 보고서 experiments/reports/20261029-v19b-outside-04.md · CSV reports/jump_eval_v19b_dense.csv·reports/jump_quality_20261029.csv · 대조군 CSV reports/jump_eval_v19_dense.csv·jump_eval_v19s44_dense.csv·jump_eval_v12_dense.csv·jump_eval_v12s44_dense.csv·jump_eval_v18_dense.csv·jump_eval_v17_dense.csv·jump_eval_v13_dense.csv · 로그 logs/train_jump_stand_v19b_s43.log·logs/nightly_2026-10-29_run.log · 외부 확인 microduck_rl develop 커밋, HF microduck 모델 검색 · 영상 생략(10월 9일 결정 유지) · 시드 1회 — 재현성 주장 불가 · 실제 로봇 검증 아님.

2026-10-30

v19b 시드 44: 10월 29일의 "창 밖 전용 행동 변화율 벌점 −0.4" 구성(창 안 −0.1 / 창 밖 합계 −0.5)을 코드 변경 없이 시드만 43 → 44로 바꿔 무작위 초기화·3,250회차 학습. 시드 44의 경과 1,500~3,000회차 평균 30.85%(시드 43 27.49%; 두 시드 평균 29.17%; v19 시드 43 / 44 10.05 / 13.77%; v12 시드 43 / 44 24.93 / 23.47%), 마지막 4개 평균 37.94%, 최종 49.22%·낙상 0.39%로 사전 등록 지지 조건 네 개를 모두 충족 — 판정 지지(두 시드, n=2, 재현성 주장 불가). 10월 29일에 덧붙인 "v12 띠와 구별되지 않음"은 시드 44의 구간 평균에서는 재현되지 않았습니다(v12 두 시드보다 +5.92 / +7.38%p, 재현 폭 4.17%p 초과; 주장이 아니라 관측).

수행 내용10월 29일 계획서가 "지지이면 다음"으로 미리 정해 둔 두 번째 시드입니다. 10월 29일의 지지는 시드 1회였고 이 계열의 체크포인트별 시드 차가 최대 5.14%p(v19)·7.62%p(v18)였으므로, 10월 16일(v12)·24일(v17)·26일(v18)·28일(v19)과 같은 절차로 시드 44를 돌려 "창 밖 −0.4는 점프와 양립"이 시드와 무관한지 가립니다. 바꾼 것은 시드 하나(43 → 44, 학습 스크립트의 SEED 환경변수; 학습 도구가 환경 시드도 같은 값으로 전파)이고, 태스크 id Mjlab-Jump-Stand-v19b-MicroDuck·보상·커리큘럼 고정·평가기·회차 예산은 10월 29일과 같습니다(코드 변경 없음, 랩 저장소의 태스크·스크립트 디렉터리는 10월 29일 커밋 그대로). CPU 테스트 117개로 v19b 설정(−0.4)·v19 설정(−0.9)·v12 대비 보상 차(창 밖 항 하나)·61차원 관측·시드 배관·계획서 숫자를 고정했습니다. 가설과 사전 등록 기준(experiments/plans/20261030-v19b-seed44.yaml, 00:00~00:35 등록, 사후 변경 없음; 10월 29일 보고서의 초안 그대로). 지지(양립 재현, 두 시드): 시드 44 구간 평균 ≥ 16%이고 마지막 4개 평균 ≥ 16%이고 최종 낙상 ≤ 2%이고 두 시드 구간 평균 ≥ 16%(시드 44 ≥ 4.51%로 첫 조건에 포함). 반박(시드 사건 — 시드 43의 27.49%는 시드 상단이고 −0.4도 소실 띠): 시드 44 구간 평균 ≤ 8%. 그 외는 "창 밖 −0.4는 시드 의존". 별도 관측(판정 아님): v12 두 시드와의 차가 4.17%p 안인지("v12 띠와 구별되지 않음" 재현), 250~1,000회차 낙상과 창 안 평활 항 크기가 시드 43과 같은 띠인지, 2,500회차 이후 붕괴가 있는지. 시드 반복이므로 "개선"이라는 말은 쓰지 않기로 미리 적었습니다. 외부 확인(00:05): 기반 코드 저장소에는 10월 29일 이후 새 커밋이 없고, 커뮤니티 정책 목록 최신 30개에 점프·호핑 이름이 없으며, 2025~2026년 이족 점프 문헌에서 위상 게이트 평활 수준이나 시드 분산을 보고한 논문은 찾지 못했습니다. 짧은 검증(64개 환경 × 5회차, 00:06)은 1차에 통과했습니다(seed=44, 불러오기 줄 없음, 창 안 가중치 −0.1000 × 5, 설정 표에 창 밖 항 −0.4, 고정 네 개·정점 배율 0.06·벌점 0, 창 안 항 −0.02~−0.07과 창 밖 항 −0.04~−0.20 둘 다 × 5 기록·양수 없음, NaN 0). 본 학습은 00:08:33에 시작해 02:17에 정상 종료했습니다(3,250회차, 회차당 평균 2.33초, 수치 NaN 0). 재채점은 앵커 → 구간 7개 → 나머지 순으로 15개 체크포인트 전량(02:17~02:23), 보조 품질 측정 2개(02:23). 학습 로그 자동 검사 여섯 항목(시드 44, 불러오기 없음, 창 안 가중치 −0.1000 × 3,250, 창 밖 항 3,250회 기록·양수 0, 고정 네 개·정점 배율 전 회차, 벌점 0 × 1,499 → −100 × 999 → −300 × 750)은 모두 충족했습니다.
관측 결과경과 회차별 유효 점프 비율(%). "시드 44" 행이 오늘 실행(reports/jump_eval_v19bs44_dense.csv), "시드 43" 행은 10월 29일(reports/jump_eval_v19b_dense.csv), 나머지 대조군 행은 10월 29일 표와 같은 값입니다(각 CSV). 굵은 칸이 판정 구간(1,500~3,000회차)입니다.
경과 회차2505007501,0001,2501,5001,7502,0002,2502,5002,7503,0003,249 (최종)
v19b 시드 44 유효 점프 (%, 창 밖 −0.4)10.2914.9712.1119.5311.7220.8332.6226.6333.3331.6434.7036.2049.22
v19b 시드 44 신호당 낙상률 (%)1.820.856.580.590.330.201.301.170.520.780.000.260.39
v19b 시드 44 체공 시간 (ms)31.529.028.532.931.739.747.038.343.241.647.447.252.6
v19b 시드 44 평균 상승 높이 (cm)0.430.500.600.490.490.500.670.590.620.560.660.670.81
v19b 시드 43 유효 점프 (%, 10월 29일)11.3312.4315.4919.7312.6313.8021.8827.2127.2829.6933.6638.9341.60
v19 시드 44 유효 점프 (%, 10월 28일, 창 밖 −0.9)0.720.913.659.057.817.2912.7610.7411.5911.5918.9523.5020.12
v19 시드 43 유효 점프 (%, 10월 27일, 창 밖 −0.9)0.721.822.414.758.856.259.7713.286.4511.4623.110.000.00
v12 시드 43 유효 점프 (%, 10월 8일, 전역 −0.1)22.2724.5422.5324.1519.8618.9519.7923.1818.5520.3129.6244.0850.52 (3,250)
v12 시드 44 유효 점프 (%, 10월 16일, 전역 −0.1)23.9622.4019.7920.1823.1819.9217.9019.5320.3822.8525.4638.2246.42
v18 시드 43 유효 점프 (%, 10월 25일, 전역 −0.2)13.6713.4813.879.387.818.076.9010.688.929.4411.3311.7215.23
v17 시드 43 유효 점프 (%, 10월 20일, 전역 −0.3)15.8212.378.793.457.758.985.738.9212.249.709.647.817.42
v13 유효 점프 (%, 10월 17일, 램프 → −1.0)20.2526.7615.9512.305.275.734.234.234.494.363.784.822.21
시드 44 − 시드 43 (%p, 시드 차)−1.04+2.54−3.38−0.20−0.91+7.03+10.74−0.58+6.05+1.95+1.04−2.73+7.62
v19b 시드 44 − v19 시드 44 (%p, 같은 시드)+9.57+14.06+8.46+10.48+3.91+13.54+19.86+15.89+21.74+20.05+15.75+12.70+29.10
v19b 시드 44 − v12 시드 43 (%p)−11.98−9.57−10.42−4.62−8.14+1.88+12.83+3.45+14.78+11.33+5.08−7.88−1.30
행동 변화율 가중치v19b 창 안 −0.1 / 창 밖 −0.5(3,250회차 전부 상수, 두 시드 같음) · v19 창 안 −0.1 / 창 밖 −1.0 · v12 −0.1 · v18 −0.2 · v17 −0.3 · v13 −0.1 → −1.0(500~1,500회차 램프)
판정 조건: 시드 44 구간 평균 30.85%(지지 기준 ≥ 16을 14.85%p 초과), 마지막 4개 평균 37.94%(≥ 16을 21.94%p 초과), 최종 낙상 0.39%(≤ 2), 두 시드 구간 평균 29.17%(≥ 16) — 지지 조건 네 개 모두 충족, 반박 기준(≤ 8)과는 22.85%p 차이. 시드 차(시드 44 − 43)는 구간 평균 +3.36, 마지막 4개 +1.97, 최종 +7.62%p이고 체크포인트별로는 −2.73~+10.74%p(1,750회차)로, 이 계열의 종전 최대 시드 차 7.62%p(v18)를 넘는 지점이 하나 있습니다. 별도 관측 "v12 띠와 구별되지 않음"(차 ≤ 4.17%p)은 구간 평균에서 재현되지 않았습니다: 시드 44의 30.85%는 v12 시드 43 / 44의 24.93 / 23.47%보다 +5.92 / +7.38%p 높고(1,750 +12.83, 2,250 +14.78, 2,500 +11.33%p가 폭을 넘음; 1,500·2,000·2,750은 안), 두 시드 평균도 29.17 대 24.20%(+4.97). 마지막 4개 평균 37.94%는 v12 36.13 / 33.24%에 +1.81 / +4.70, 최종 49.22%는 50.52 / 46.42%에 −1.30 / +2.80%p로 폭 안팎이 섞여 있고, 3,000회차 이후는 v12가 같거나 위입니다. 붕괴 없음(두 시드): 2,500~3,249회차 회차당 학습 낙상 최대 8.17(250회차 블록 평균 4.64 / 5.00 / 4.87), 평가 낙상 3,000회차 0.26% · 최종 0.39%. "학습 불가" 조건 해당 없음. 앵커(v12 시드 43의 3,250회차를 v19b id로 재채점) 52.60%(10월 29일 50.00%, 10월 8일 v12 id 50.52%; 폭 4.17%p 유지). 학습 로그(logs/train_jump_stand_v19b_s44.log, 500회차 블록 평균, 마지막 블록은 250회차; 괄호 안은 시드 43 / v12 시드 44의 같은 블록): 회차당 낙상 종료 44.9 / 16.6 / 14.5 / 8.2 / 7.4 / 4.8 / 4.9(시드 43 45.0 / 10.3 / 11.8 / 6.6 / 7.4 / 5.3 / 4.9; v12 13.5 / 0.7 / 0.6 / 0.6 / 0.5 / 1.7 / 3.1), 창 안 행동 변화율 항 −0.36 / −0.71 / −0.79 / −0.80 / −0.79 / −1.26 / −1.32(시드 43 −0.33 / −0.68 / −0.76 / −0.87 / −0.81 / −1.21 / −1.31; v12 −1.65 / −2.02 / −1.96 / −2.05 / −1.98 / −2.58 / −3.08), 창 밖 항 −0.92 / −1.70 / −1.87 / −1.96 / −1.90 / −2.93 / −3.05(창 밖/창 안 비 2.31~2.52; 시드 43 2.35~2.6), 행동 표준편차 0.61 / 0.66 / 0.66 / 0.79 / 0.79 / 0.89 / 0.92(시드 43 0.62~0.94), 에피소드 길이 309 / 531 / 558 / 413 / 413 / 530 / 528. 벌점 0 구간(1,500회차 이전)에 회차당 낙상이 200을 넘는 단일 급증이 세 번 있었고(388~400회차 최대 267.0, 702~716회차 260.3, 1,106~1,117회차 259.8) 각각 15회차 안에 회복했습니다(시드 43은 한 번 171.5, v19 시드 44는 한 번 241~262; 벌점 구간에서는 없음). 보조 품질 측정(reports/jump_quality_20261030.csv, 판정 무관): 최종 체크포인트의 "체공 ≥ 40ms·상승 ≥ 5mm" 점프 31.25%(유효 점프의 59.2%), 체공 중앙값 40ms(상위 10% 100ms), 상승 중앙값 8.1mm; 앵커 28.39%(54.0%), 40ms(120ms), 6.8mm; 시드 43 최종은 23.31%, 40ms(80ms), 10.9mm였습니다.
개선 사항1. 실험 변수와 측정된 효과. 바꾼 것은 시드 하나(43 → 44)이고, 측정된 것은 "시드 44도 구간 평균 30.85%·마지막 4개 37.94%·최종 49.22%·낙상 0.39%로 지지 조건을 모두 충족, 두 시드 구간 평균 29.17%"입니다. 시드 반복이므로 "개선"이라는 말은 쓰지 않습니다 — 기록하는 것은 "창 밖 합계 −0.5는 점프와 양립(두 시드)"이고, 같은 게이트의 창 밖 −0.9(v19)가 두 시드 모두 중간 띠(두 시드 평균 11.91%)였으므로 "위상 게이트 평활은 수준에 민감하며 양립 상한은 창 밖 합계 −0.5와 −1.0 사이"는 이제 두 수준 모두 n=2입니다. 같은 시드(44)에서 v19b − v19는 구간 평균 +17.08%p(체크포인트별 +12.70~+21.74), 두 시드 평균 차 +17.26%p로 두 시드 모두 시드 차 최대(10.74%p)와 재현 폭(4.17%p)을 넘습니다. 시드 44가 시드 43보다 높은 것(구간 +3.36, 최종 +7.62%p)은 시드 차로만 적습니다. n=2 — 재현성 주장 불가. 2. 10월 29일 서술의 정정 — "v12 띠와 구별되지 않음"은 구간 평균에서 재현되지 않았습니다. 10월 29일에는 시드 43의 구간 평균 27.49%가 v12 두 시드(24.93 / 23.47%)와 재현 폭 4.17%p 안이어서 "오르지도 내리지도 않았다"고 적었습니다. 시드 44는 v12 두 시드보다 +5.92 / +7.38%p 높고, v19b 두 시드 평균(29.17%)도 v12 두 시드 평균(24.20%)보다 4.97%p 높습니다. 다만 (1) 이것은 사전 등록 검정이 아니라 "같은가"를 재던 별도 관측이고, (2) 마지막 4개·최종에서는 폭 안팎이 섞여 있으며, (3) 3,000회차 이후는 v12가 같거나 위(최종 −1.30 / +2.80%p)이므로 "v19b가 v12보다 높다"는 주장이 아니라 다음 검정 후보로만 적습니다(두 구성 모두 n=2). 창 밖 동작이 실제로 더 부드러워졌는지는 10월 29일과 같이 확인되지 않았습니다(평가기에 창 밖 행동 지표가 없음). 3. 관측(검정 아님) — 두 시드에서 재현된 것. 첫째, 학습 로그의 창 안 평활 항 크기(v12의 약 1/2, 첫 블록은 1/4.5)·창 밖/창 안 비(2.3~2.5)·행동 표준편차(0.61~0.92)가 시드 43과 블록 단위로 ±0.1 안에서 겹칩니다 — "창 밖 평활을 낮추면 창 안 행동 변화량이 v12 쪽으로 돌아온다"는 10월 29일 서술은 두 시드 재현입니다(인과 미분리). 둘째, 초기 낙상도 같은 띠입니다 — 250~1,000회차 평가 낙상 1.82 / 0.85 / 6.58 / 0.59%(시드 43 0.65~8.98%; v19 33~64%; v12 0.6% 이하). 셋째, 벌점 0 구간의 "넘어졌다 회복" 급증이 시드 44에서는 세 번(시드 43 한 번, v19 시드 44 한 번) 나타났습니다 — 게이트 계열 세 실행째 반복되는 형태이고 v12 시드 44 로그에는 없으며, 원인은 분리되지 않았습니다. 넷째, 붕괴는 두 시드 어디에서도 없었습니다(v19 시드 43의 2,775회차 붕괴는 v19b에서 재현되지 않음). 다섯째, 시드 43 최종의 평균 상승 높이 1.07cm는 시드 44에서 0.81cm로, 단일 체크포인트 값이라는 10월 29일의 주의가 맞았습니다. 4. 다음에 바꿀 한 가지. 평가기에 창 밖 행동 지표를 추가하는 것입니다(점프 신호 창 1.5초 밖과 안의 스텝에서 행동 변화율·관절 속도 RMS·발 접촉 전환 수를 따로 집계; 학습 없이 기존 체크포인트 — v12 시드 43·44, v19b 시드 43·44, v19 시드 44, v18·v17 시드 43 — 를 재채점). 근거: v19b의 지지가 두 시드로 확정됐지만 "창 밖 평활이 실제로 얻어졌는가"를 재는 지표가 없어 10월 29일·30일 보고서가 모두 "확인되지 않았다"로 끝났고, 10월 29일 계획서도 "두 시드 지지이면 평가기 추가가 먼저"로 순서를 정해 두었습니다. 사전 등록 초안: v19b 두 시드의 창 밖 행동 변화율이 v12 두 시드의 0.8배 이하이고 창 안 값은 0.8~1.25배(재현 폭 안)이면 지지, 창 밖 비 ≥ 0.95(평활 효과 없음) 또는 창 안 비 ≤ 0.8(창 안까지 끌어내림)이면 반박; 재현 폭은 같은 체크포인트를 평가 시드 1000·1001로 두 번 재채점해 먼저 잽니다. 그 뒤에는 창 밖 −0.65(합계 −0.75, 새 id, 시드 43, 지지 ≥ 16 / 반박 ≤ 8)로 양립 상한을 좁히거나, 위 2의 "v19b > v12(구간)"를 v19b·v12 시드 45(두 밤)로 세 시드 검정에 올립니다(상한 탐색이 먼저). 평가기 작업이 준비 시간 35분 안에 끝나지 않으면 대체안은 v19c(−0.65) 바로 실행, 보류는 v20(정점 높이 밴드)·v15 시드 44입니다.
실험 설정PPO · Mjlab-Jump-Stand-v19b-MicroDuck(10월 29일 등록 그대로; v12 구성 + 보상 항 action_rate_l2_outside_window −0.4 — 점프 신호 창 1.5초 밖의 스텝에서만; 기본 항 −0.1 상수, 머리 명령 범위 ±0.07rad·머리 편향 벌점 0·무게중심 0.003·머리 무게중심 0.003 고정, 정점 배율 0.06, 기준 상태 초기화 60/25/15, 낙상 벌점 0 → −100(1,500) → −300(2,500)) · 4,096개 환경 · 시드 44(코드 변경 없음, SEED 환경변수) · 3,250회차(회차당 2.33초, 00:08:33 → 02:17) · 초기 정책 무작위 초기화(불러오기 없음) · 평가 scripts/evaluate_jump.py 512개 환경 × 1에피소드, 평가 시드 1000, 신호 1,536회, 제자리 조건(v12 평가 구성과 동일) · 체크포인트 15개 전량 재채점(앵커 포함) · 실행 2026-10-30_00-08-33_jump_stand_v19b_s44 · 랩 커밋 c30921f / 194fdf7(학습 시점) / 4a589e1(보고) · 계획서 experiments/plans/20261030-v19b-seed44.yaml · 보고서 experiments/reports/20261030-v19b-seed44.md · 테스트 tests/test_v19b_seed44.py 117개 · CSV reports/jump_eval_v19bs44_dense.csv·reports/jump_quality_20261030.csv · 대조군 CSV reports/jump_eval_v19b_dense.csv·jump_eval_v19_dense.csv·jump_eval_v19s44_dense.csv·jump_eval_v12_dense.csv·jump_eval_v12s44_dense.csv·jump_eval_v18_dense.csv·jump_eval_v17_dense.csv·jump_eval_v13_dense.csv · 로그 logs/train_jump_stand_v19b_s44.log·logs/nightly_2026-10-30_run.log · 외부 확인 microduck_rl develop 커밋, HF microduck 모델 검색 · 영상 생략(10월 9일 결정 유지) · 시드 2회(43·44), n=2 — 재현성 주장 불가 · 실제 로봇 검증 아님.

2026-10-31

v19c: 창 밖 전용 행동 변화율 벌점을 −0.4 → −0.65로 올려(창 안 −0.1 / 창 밖 합계 −0.75) 게이트 양립 상한을 이분. 새 태스크 id, 시드 43, 무작위 초기화·3,250회차. 경과 1,500~3,000회차 평균 17.02%(v19b 시드 43 / 44 27.49 / 30.85%, v19 시드 43 / 44 10.05 / 13.77%, v12 시드 43 / 44 24.93 / 23.47%), 마지막 4개 평균 24.75%, 최종 32.55%·낙상 0.91%로 사전 등록 지지 조건 세 개를 충족 — 판정 지지(시드 1회, 재현성 주장 불가). 다만 구간 평균과 지지 경계 16%의 차 1.02%p는 평가 재현 폭 4.17%p 안이어서, 시드 44로 확인되기 전까지는 "경계값 지지"입니다.

수행 내용10월 29일·30일에 창 밖 −0.4(합계 −0.5)가 두 시드 모두 양립, 10월 27일·28일에 창 밖 −0.9(합계 −1.0)가 두 시드 모두 중간 띠였으므로, 양립 상한은 합계 −0.5와 −1.0 사이에 있습니다. 10월 30일 보고서는 다음 후보로 (1) 평가기에 창 밖 행동 지표 추가, (2) 창 밖 −0.65로 상한 탐색을 적었고, (1)은 지표 설계·재현 폭 측정·테스트를 준비 시간 35분 안에 끝낼 수 없어 보고서의 대체안대로 (2)를 먼저 돌렸습니다((1)은 다음 후보로 유지). 바꾼 것은 창 밖 전용 항의 가중치 하나(−0.4 → −0.65, 구간의 중점)이고, 새 태스크 id Mjlab-Jump-Stand-v19c-MicroDuck는 등록만 했을 뿐 보상 함수·관측·커리큘럼 고정·평가기·회차 예산은 v19b와 같습니다(v12~v19b id는 CPU 테스트 139개로 불변 고정). 시드는 v19b 시드 43·v19 시드 43과 같은 43입니다. 가설과 사전 등록 기준(experiments/plans/20261031-v19c-outside-065.yaml, 00:00~00:35 등록, 사후 변경 없음; 10월 30일 보고서의 초안 그대로). 지지(합계 −0.75도 양립, 상한은 −0.75와 −1.0 사이): 구간 평균 ≥ 16%이고 마지막 4개 평균 ≥ 16%이고 최종 낙상 ≤ 2%. 반박(합계 −0.75는 소실, 상한은 −0.5와 −0.75 사이): 구간 평균 ≤ 8%. 그 사이(8 < 구간 평균 < 16, 또는 지지 조건 중 하나라도 미충족)는 "합계 −0.75는 v19(−1.0)와 같은 중간 띠"로 적습니다. 별도 관측(판정 아님): 250~1,000회차 낙상이 v19b 띠인지 v19 띠인지, 창 안 평활 항 크기와 창 밖/창 안 비, 2,500회차 이후 붕괴 여부, 벌점 0 구간의 단일 급증 횟수. 외부 확인(00:02): 기반 코드 저장소 main의 최신 커밋은 8월 25일(릴리스 정리, 점프·평활 무관), 커뮤니티 정책 목록 최신 30개에 새 점프·호핑 정책 없음, 2025~2026년 이족 점프 문헌에서 위상 게이트 평활 수준을 보고한 논문은 찾지 못했습니다. 짧은 검증(64개 환경 × 5회차, 00:08)은 1차에 통과했습니다(seed=43, 불러오기 줄 없음, 창 안 가중치 −0.1000 × 5, 설정 표에 창 밖 항 −0.65, 고정 네 개·정점 배율 0.06·벌점 0, 창 안 항 −0.03~−0.06과 창 밖 항 −0.04~−0.38 둘 다 × 5 기록·양수 없음, NaN 0). 본 학습은 00:09:58에 시작해 02:19에 정상 종료했습니다(3,250회차, 회차당 평균 2.36초, 수치 NaN 0). 재채점은 앵커 → 구간 7개 → 나머지 순으로 15개 체크포인트 전량(02:19~02:26), 보조 품질 측정 2개(02:27). 학습 로그 자동 검사 여섯 항목(시드 43, 불러오기 없음, 창 안 가중치 −0.1000 × 3,250, 창 밖 항 3,250회 기록·양수 0, 고정 네 개·정점 배율 전 회차, 벌점 0 × 1,499 → −100 × 999 → −300 × 750)은 모두 충족했습니다.
관측 결과경과 회차별 유효 점프 비율(%). "v19c" 행이 오늘 실행(reports/jump_eval_v19c_dense.csv), 대조군 행은 각 CSV의 10월 30일 표와 같은 값입니다. 굵은 칸이 판정 구간(1,500~3,000회차)입니다.
경과 회차2505007501,0001,2501,5001,7502,0002,2502,5002,7503,0003,249 (최종)
v19c 유효 점프 (%, 창 밖 −0.65)3.393.975.349.969.059.0514.0012.2417.3821.4820.9624.0232.55
v19c 신호당 낙상률 (%)50.7243.0334.512.990.911.170.590.782.860.780.390.850.91
v19c 체공 시간 (ms)36.923.924.128.431.929.534.032.934.235.241.138.744.7
v19c 평균 상승 높이 (cm)0.980.550.490.500.450.480.510.590.490.520.640.710.58
v19b 시드 43 유효 점프 (%, 10월 29일, 창 밖 −0.4)11.3312.4315.4919.7312.6313.8021.8827.2127.2829.6933.6638.9341.60
v19b 시드 44 유효 점프 (%, 10월 30일, 창 밖 −0.4)10.2914.9712.1119.5311.7220.8332.6226.6333.3331.6434.7036.2049.22
v19 시드 43 유효 점프 (%, 10월 27일, 창 밖 −0.9)0.721.822.414.758.856.259.7713.286.4511.4623.110.000.00
v19 시드 44 유효 점프 (%, 10월 28일, 창 밖 −0.9)0.720.913.659.057.817.2912.7610.7411.5911.5918.9523.5020.12
v12 시드 43 유효 점프 (%, 10월 8일, 전역 −0.1)22.2724.5422.5324.1519.8618.9519.7923.1818.5520.3129.6244.0850.52 (3,250)
v12 시드 44 유효 점프 (%, 10월 16일, 전역 −0.1)23.9622.4019.7920.1823.1819.9217.9019.5320.3822.8525.4638.2246.42
v18 시드 43 유효 점프 (%, 10월 25일, 전역 −0.2)13.6713.4813.879.387.818.076.9010.688.929.4411.3311.7215.23
v19c − v19b 시드 43 (%p, 같은 시드, 수준 차)−7.94−8.46−10.15−9.77−3.58−4.75−7.88−14.97−9.90−8.21−12.70−14.91−9.05
v19c − v19 시드 43 (%p, 같은 시드)+2.67+2.15+2.93+5.21+0.20+2.80+4.23−1.04+10.93+10.02−2.15+24.02 (붕괴)+32.55 (붕괴)
행동 변화율 가중치v19c 창 안 −0.1 / 창 밖 −0.75(3,250회차 전부 상수) · v19b 창 안 −0.1 / 창 밖 −0.5 · v19 창 안 −0.1 / 창 밖 −1.0 · v12 −0.1 · v18 −0.2 · v17 −0.3 · v13 −0.1 → −1.0(램프)
판정 조건: 구간 평균 17.02%(지지 기준 ≥ 16을 1.02%p 초과 — 평가 재현 폭 4.17%p 안; 구간 7개 중 1,500·1,750·2,000의 세 지점은 16 아래, 2,250~3,000의 네 지점은 위), 마지막 4개 평균 24.75%(≥ 16을 8.75%p 초과), 최종 낙상 0.91%(≤ 2) — 지지 조건 세 개 충족, 반박 기준(≤ 8)과는 9.02%p 차이. 구간 평균 ≥ 20일 때 덧붙이기로 한 "v12 띠와 구별되지 않음"은 해당 없고, 오히려 v12 시드 43 / 44보다 −7.91 / −6.45%p 낮습니다. 같은 시드(43)의 v19b 대비 구간 평균 −10.47, 마지막 4개 −11.22, 최종 −9.05%p이고 13개 지점 모두 음수(체크포인트별 −3.58~−14.97%p)입니다 — v19b의 구간 평균 시드 차(+3.36)와 재현 폭(4.17)은 넘지만 체크포인트별 최대 시드 차(10.74)와 같은 크기이므로 시드 1회에서는 "수준 차(시드 차와 분리되지 않음)"로만 적습니다. v19 시드 43 / 44 대비 구간 평균 +6.97 / +3.25%p(시드 43의 붕괴 전 여섯 지점 기준 +4.13)는 재현 폭 크기입니다. 창 밖 합계 세 수준의 구간 평균은 −0.5 29.17%(두 시드) / −0.75 17.02%(한 시드) / −1.0 11.91%(두 시드)로 수준에 단조입니다. 붕괴 없음: 2,500~3,249회차 회차당 학습 낙상 최대 36.75(250회차 블록 평균 4.39 / 17.28 / 6.79), 평가 낙상 3,000회차 0.85% · 최종 0.91%. "학습 불가" 조건 해당 없음. 앵커(v12 시드 43의 3,250회차를 v19c id로 재채점) 49.61%(10월 30일 v19b id 52.60%, 10월 29일 50.00%, 10월 8일 v12 id 50.52%; 폭 4.17%p 유지). 학습 로그(logs/train_jump_stand_v19c_s43.log, 500회차 블록 평균, 마지막 블록은 250회차; 괄호 안은 v19b 시드 43 / v19 시드 43의 같은 블록): 회차당 낙상 종료 68.2 / 15.9 / 27.5 / 14.7 / 9.5 / 10.8 / 6.8(v19b 45.0 / 10.3 / 11.8 / 6.6 / 7.4 / 5.3 / 4.9; v19 70.3 / 17.2 / 31.9 / 24.3 / 14.7 / 136.0 / 444.0) — 벌점 0 구간의 첫 세 블록은 v19와 거의 같고 벌점 구간(1,500회차 이후)은 v19b 띠이며 v19의 붕괴는 없습니다. 창 안 행동 변화율 항 −0.17 / −0.43 / −0.44 / −0.62 / −0.69 / −0.74 / −0.82(v19b −0.33 / −0.68 / −0.76 / −0.87 / −0.81 / −1.21 / −1.31; v12 시드 44 −1.65 / −2.02 / −1.96 / −2.05 / −1.98 / −2.58 / −3.08 → v12의 1/9.7, 이후 1/2.9~1/4.7), 창 밖 항 −0.74 / −1.67 / −1.68 / −2.37 / −2.54 / −2.80 / −2.99(v19b −0.85 / −1.63 / −1.79 / −2.10 / −1.94 / −2.86 / −3.08 — 가중치가 1.6배인데 항 크기가 비슷하므로 창 밖의 원시 행동 변화량은 v19b보다 작음), 창 밖/창 안 비 3.66~4.33(v19b 2.31~2.6, v19 4~8), 에피소드 길이 191 / 445 / 470 / 541 / 519 / 413 / 441. 행동 표준편차는 오늘 로그에서 키가 추출되지 않아 기록하지 못했습니다. 벌점 0 구간(1,500회차 이전)에 회차당 낙상이 200을 넘는 단일 급증이 세 번 있었고(720~726회차 최대 213.8, 1,044~1,059회차 256.4, 1,413~1,419회차 212.1) 각각 7~16회차 안에 회복했습니다(v19b 시드 44 세 번, 시드 43 한 번, v19 시드 44 한 번; 벌점 구간에서는 없음). 보조 품질 측정(reports/jump_quality_20261031.csv, 판정 무관): 최종 체크포인트의 "체공 ≥ 40ms·상승 ≥ 5mm" 점프 10.61%(유효 점프의 29.1%), 체공 중앙값 40ms(상위 10% 80ms), 상승 중앙값 5.05mm; 앵커 28.65%(52.0%), 40ms(100ms), 6.43mm; v19b 최종은 시드 43 23.31%(51.3%)·10.9mm, 시드 44 31.25%(59.2%)·8.1mm였습니다.
개선 사항1. 실험 변수와 측정된 효과. 바꾼 것은 창 밖 전용 행동 변화율 벌점의 가중치 하나(−0.4 → −0.65, 창 밖 합계 −0.5 → −0.75)이고, 측정된 것은 "구간 평균 17.02%·마지막 4개 24.75%·최종 32.55%·낙상 0.91%로 사전 등록 지지 조건 세 개를 충족"입니다. 계획서 문구대로 "창 밖 합계 −0.75는 점프와 양립(시드 1회), 양립 상한은 −0.75와 −1.0 사이"로 기록합니다. 다만 구간 평균과 경계 16%의 차 1.02%p는 재현 폭 4.17%p 안이고 구간 7개 중 3개가 16% 아래이므로, 시드 44로 확인되기 전까지 이 판정은 "경계값 지지"이며 중간 띠(8~16%)와 재현 폭 안에서 갈리지 않습니다. 같은 시드의 v19b보다 13개 지점 모두 낮고 v12 두 시드보다도 낮으므로 "개선"이라는 말은 쓰지 않습니다 — 시드 1회에서는 "수준 차(시드 차와 분리되지 않음)"입니다. 세 수준의 구간 평균 29.17 / 17.02 / 11.91%는 수준에 단조이고, 전역 스윕(−0.1 양립 / −0.2·−0.3 중간·소실)과 같은 "수준에 민감" 형태를 위상 게이트 계열에서도 세 번째 지점으로 확인했습니다(두 수준 n=2, 한 수준 n=1). 시드 1회 — 재현성 주장 불가. 2. 관측(검정 아님) — 초기 구간은 v19 띠, 후반은 v19b와 v19 사이. 250~1,000회차의 평가 낙상 50.72 / 43.03 / 34.51 / 2.99%는 v19b 두 시드(0.59~8.98%)가 아니라 v19 두 시드(33~64%) 쪽이고, 학습 로그의 벌점 0 구간 낙상 종료(68.2 / 15.9 / 27.5)도 v19 시드 43(70.3 / 17.2 / 31.9)과 거의 같습니다. 반면 1,000회차에 낙상이 2.99%로 내려간 뒤에는 v19 시드 43의 2,775회차 붕괴 같은 일이 없었고 벌점 구간의 낙상 종료는 v19b 띠(5~11)였습니다. 창 안 평활 항 크기(v12의 1/9.7 → 1/2.9~1/4.7)와 창 밖/창 안 비(3.7~4.3)도 v19b(1/4.5 → 1/2~1/3, 2.3~2.6)와 v19(1/4~1/6, 4~8) 사이입니다 — 창 안 가중치를 −0.1로 같게 두어도 창 밖 가중치가 오르면 창 안 행동 변화량까지 내려가는 10월 27일의 서술이 세 번째 수준에서도 같은 방향입니다(인과 미분리). 보조 품질 측정에서는 v19c 최종의 "체공 ≥ 40ms·상승 ≥ 5mm" 점프가 유효 점프의 29%로 v19b 두 시드(51~59%)와 앵커(52%)의 절반이고 상승 중앙값 5.05mm가 v19b(8.1 / 10.9mm)보다 낮습니다 — 유효 점프로 세어지는 동작의 높이가 낮다는 뜻이지만 이 측정의 시드·재현 폭은 재지 않았습니다. 창 밖 동작이 실제로 더 부드러워졌는지는 10월 29일·30일과 같이 확인되지 않았습니다(평가기에 창 밖 행동 지표가 없음). 3. 바뀌지 않은 것. v12 기준선(시드 43·44 두 곡선)은 그대로입니다. 벌점 0 구간의 "넘어졌다 회복" 급증은 이 게이트 계열 네 실행째 반복됐고(오늘 세 번) 원인은 분리되지 않았습니다. 평가 재현 폭 4.17%p(앵커 49.61%, 여섯 id의 앵커 값 48.63~52.60% 모두 폭 안)와 판정 자(소실 8 / 양립 16)는 10월 17일 이후 그대로입니다. 4. 다음에 바꿀 한 가지. v19c 시드 44입니다(같은 태스크 id, 코드 변경 없이 시드만 43 → 44, 무작위 초기화, 3,250회차). 근거: 오늘의 지지가 경계값(+1.02%p < 재현 폭 4.17%p)이라 시드 1회로는 중간 띠와 갈리지 않고, 계획서가 "지지이면 v19c 시드 44(두 시드 규칙 ≥ 16 / ≤ 8)"를 미리 적어 두었습니다. 사전 등록 초안(10월 28일·30일의 두 시드 규칙 그대로): 시드 44 구간 평균 ≥ 16%이고 마지막 4개 ≥ 16%이고 최종 낙상 ≤ 2%이고 두 시드 구간 평균 ≥ 16%이면 지지("합계 −0.75는 양립(두 시드), 상한은 −0.75와 −1.0 사이"); 시드 44 구간 평균 ≤ 8%이면 반박("−0.65는 시드 의존·소실 띠, 상한은 −0.5와 −0.75 사이"); 그 외는 "합계 −0.75는 중간 띠의 시작점, 상한은 −0.5와 −0.75 사이". 별도 관측은 초기 낙상이 다시 v19 띠인지, 벌점 0 구간 급증 횟수, 창 안 항 크기·창 밖/창 안 비가 시드 43과 겹치는지입니다. 그 뒤에는 평가기에 창 밖 행동 지표를 추가해(학습 없음, 세 수준 × 두 시드의 기존 체크포인트 재채점) "창 밖 평활이 실제로 얻어졌는가"를 처음으로 재거나, 시드 44가 지지이면 −0.8(합계 −0.9)로 상한을 한 번 더 좁힙니다. 대체안은 v19b 시드 45, 보류는 v20(정점 높이 밴드)·v15 시드 44입니다.
실험 설정PPO · Mjlab-Jump-Stand-v19c-MicroDuck(10월 31일 등록; v19b 구성에서 보상 항 action_rate_l2_outside_window 가중치만 −0.4 → −0.65 — 점프 신호 창 1.5초 밖의 스텝에서만; 기본 항 −0.1 상수, 머리 명령 범위 ±0.07rad·머리 편향 벌점 0·무게중심 0.003·머리 무게중심 0.003 고정, 정점 배율 0.06, 기준 상태 초기화 60/25/15, 낙상 벌점 0 → −100(1,500) → −300(2,500)) · 4,096개 환경 · 시드 43 · 3,250회차(회차당 2.36초, 00:09:58 → 02:19) · 초기 정책 무작위 초기화(불러오기 없음) · 평가 scripts/evaluate_jump.py 512개 환경 × 1에피소드, 평가 시드 1000, 신호 1,536회, 제자리 조건(v12 평가 구성과 동일) · 체크포인트 15개 전량 재채점(앵커 포함) · 실행 2026-10-31_00-09-58_jump_stand_v19c_s43 · 랩 커밋 1fb0408(학습 시점) / e0ca8d0(보고) · 계획서 experiments/plans/20261031-v19c-outside-065.yaml · 보고서 experiments/reports/20261031-v19c-outside-065.md · 테스트 tests/test_v19c_outside_065.py 139개 · CSV reports/jump_eval_v19c_dense.csv·reports/jump_quality_20261031.csv · 대조군 CSV reports/jump_eval_v19b_dense.csv·jump_eval_v19bs44_dense.csv·jump_eval_v19_dense.csv·jump_eval_v19s44_dense.csv·jump_eval_v12_dense.csv·jump_eval_v12s44_dense.csv·jump_eval_v18_dense.csv·jump_eval_v17_dense.csv·jump_eval_v13_dense.csv · 로그 logs/train_jump_stand_v19c_s43.log·logs/nightly_2026-10-31_run.log · 외부 확인 microduck_rl main 커밋, HF microduck 모델 검색, arXiv 2503.16197 · 영상 생략(10월 9일 결정 유지) · 시드 1회(43), n=1 — 재현성 주장 불가 · 실제 로봇 검증 아님.

2026-11-01

v19c 시드 44: 10월 31일 구성(창 밖 전용 행동 변화율 벌점 −0.65, 창 안 −0.1 / 창 밖 합계 −0.75)을 코드 변경 없이 시드 44로 반복. 무작위 초기화·3,250회차. 경과 1,500~3,000회차 평균 20.89%(시드 43 17.02%, 두 시드 18.96%; v19b 두 시드 29.17%, v19 두 시드 11.91%, v12 시드 43 / 44 24.93 / 23.47%), 마지막 4개 평균 28.89%, 최종 30.73%·낙상 1.76%로 사전 등록 지지 조건 네 개를 모두 충족 — 판정 지지(두 시드). 시드 44의 구간 평균은 지지 경계 16%를 재현 폭 4.17%p 밖(+4.89%p)에서 넘었지만, 두 시드 평균(+2.96%p)과 최종 낙상(−0.24%p)은 폭 안의 경계값입니다.

수행 내용10월 31일의 v19c(창 밖 −0.65)는 지지 조건 세 개를 충족했으나 구간 평균 17.02%가 지지 경계 16%와 1.02%p 차(재현 폭 4.17%p 안)여서 "경계값 지지"였고, 같은 수준 스윕의 다른 두 점(v19b −0.5, v19 −1.0)은 모두 두 시드였습니다. 10월 31일 계획서와 보고서가 다음 검정으로 미리 적어 둔 대로 바꾼 것은 시드 하나(43 → 44)이고 코드는 바꾸지 않았습니다(lab_tasks/·scripts/ 불변, 같은 태스크 id, 같은 평가기·회차 예산). 평가기에 창 밖 행동 지표를 추가하는 후보는 지표 설계·재현 폭·테스트를 준비 시간 35분 안에 끝낼 수 없어 다시 다음 후보로 넘겼고, −0.8(합계 −0.9)은 −0.75의 양립이 두 시드로 확정된 뒤에만 뜻이 있어 보류했습니다. 가설과 사전 등록 기준(experiments/plans/20261101-v19c-seed44.yaml, 00:00~00:12 등록, 사후 변경 없음; 10월 28일·30일의 두 시드 규칙 그대로). 지지(합계 −0.75는 시드와 무관하게 양립, 상한은 −0.75와 −1.0 사이): 시드 44 구간 평균 ≥ 16%이고 마지막 4개 평균 ≥ 16%이고 최종 낙상 ≤ 2%이고 두 시드 구간 평균 ≥ 16%. 반박(−0.65는 시드 의존·소실 띠, 상한은 −0.5와 −0.75 사이): 시드 44 구간 평균 ≤ 8%. 그 사이는 "합계 −0.75는 중간 띠의 시작점, 상한은 −0.5와 −0.75 사이"로 적습니다. 별도 관측(판정 아님): 250~1,000회차 낙상이 다시 v19 띠(30% 이상)인지, 벌점 0 구간의 단일 급증 횟수, 창 안 평활 항 크기·창 밖/창 안 비·행동 표준편차가 시드 43과 겹치는지, 2,750~2,999회차 학습 낙상 블록(시드 43 17.28)이 재현되는지, 2,500회차 이후 붕괴 여부. 외부 확인(00:03): 기반 코드 저장소 main의 최신 커밋은 8월 25일(점프·평활 무관), 커뮤니티 정책 목록 최신 30개에 새 점프·호핑 정책 없음, 2025~2026년 이족 점프 문헌에서 위상 게이트 평활 수준이나 시드 분산을 보고한 논문은 찾지 못했습니다. 짧은 검증(64개 환경 × 5회차, 00:06)은 1차에 통과했습니다(seed=44, 불러오기 줄 없음, 창 안 가중치 −0.1000 × 5, 설정 표에 창 밖 항 −0.65, 고정 네 개·정점 배율 0.06·벌점 0, 창 안 항 −0.02~−0.07과 창 밖 항 −0.06~−0.38 둘 다 × 5 기록·양수 없음, NaN 0). 본 학습은 00:08:25에 시작해 02:17에 정상 종료했습니다(3,250회차, 회차당 평균 2.34초, 수치 NaN 0). 재채점은 앵커 → 구간 7개 → 나머지 순으로 15개 체크포인트 전량(02:17~02:24), 보조 품질 측정 2개(02:25). 학습 로그 자동 검사 여섯 항목(시드 44, 불러오기 없음, 창 안 가중치 −0.1000 × 3,250, 창 밖 항 3,250회 기록·양수 0, 고정 네 개·정점 배율 전 회차, 벌점 0 × 1,499 → −100 × 999 → −300 × 750)은 모두 충족했습니다.
관측 결과경과 회차별 유효 점프 비율(%). "v19c 시드 44" 행이 오늘 실행(reports/jump_eval_v19cs44_dense.csv), 대조군 행은 각 CSV의 10월 31일 표와 같은 값입니다. 굵은 칸이 판정 구간(1,500~3,000회차)입니다.
경과 회차2505007501,0001,2501,5001,7502,0002,2502,5002,7503,0003,249 (최종)
v19c 시드 44 유효 점프 (%, 창 밖 −0.65)6.329.2411.788.205.0813.1510.8719.0818.2917.7725.9841.0830.73
v19c 시드 44 신호당 낙상률 (%)32.884.690.911.6931.180.9812.430.8511.722.931.042.671.76
v19c 시드 44 체공 시간 (ms)40.030.729.928.126.730.031.533.434.332.839.644.242.3
v19c 시드 44 평균 상승 높이 (cm)0.410.350.520.430.600.410.550.460.580.630.680.710.69
v19c 시드 43 유효 점프 (%, 10월 31일, 창 밖 −0.65)3.393.975.349.969.059.0514.0012.2417.3821.4820.9624.0232.55
v19c 시드 44 − 시드 43 (%p, 시드 차)+2.93+5.27+6.44−1.76−3.97+4.10−3.13+6.84+0.91−3.71+5.02+17.06−1.82
v19b 시드 43 유효 점프 (%, 10월 29일, 창 밖 −0.4)11.3312.4315.4919.7312.6313.8021.8827.2127.2829.6933.6638.9341.60
v19b 시드 44 유효 점프 (%, 10월 30일, 창 밖 −0.4)10.2914.9712.1119.5311.7220.8332.6226.6333.3331.6434.7036.2049.22
v19c 시드 44 − v19b 시드 44 (%p, 같은 시드, 수준 차)−3.97−5.73−0.33−11.33−6.64−7.68−21.75−7.55−15.04−13.87−8.72+4.88−18.49
v19 시드 43 유효 점프 (%, 10월 27일, 창 밖 −0.9)0.721.822.414.758.856.259.7713.286.4511.4623.110.000.00
v19 시드 44 유효 점프 (%, 10월 28일, 창 밖 −0.9)0.720.913.659.057.817.2912.7610.7411.5911.5918.9523.5020.12
v12 시드 43 유효 점프 (%, 10월 8일, 전역 −0.1)22.2724.5422.5324.1519.8618.9519.7923.1818.5520.3129.6244.0850.52 (3,250)
v12 시드 44 유효 점프 (%, 10월 16일, 전역 −0.1)23.9622.4019.7920.1823.1819.9217.9019.5320.3822.8525.4638.2246.42
행동 변화율 가중치v19c 창 안 −0.1 / 창 밖 −0.75(두 시드 모두 3,250회차 전부 상수) · v19b 창 안 −0.1 / 창 밖 −0.5 · v19 창 안 −0.1 / 창 밖 −1.0 · v12 −0.1
판정 조건: 시드 44 구간 평균 20.89%(지지 기준 ≥ 16을 4.89%p 초과 — 재현 폭 4.17%p 밖; 구간 7개 중 1,500·1,750의 두 지점은 16 아래, 2,000~3,000의 다섯 지점은 위), 마지막 4개 평균 28.89%(≥ 16을 12.89%p 초과), 최종 낙상 1.76%(≤ 2를 0.24%p 차로 충족 — 경계값; 3,000회차 2.67%·2,500회차 2.93%는 2를 넘음), 두 시드 구간 평균 18.96%(≥ 16을 2.96%p 초과 — 재현 폭 안) — 지지 조건 네 개 모두 충족, 반박 기준(≤ 8)과는 12.89%p 차이. 시드 차(시드 44 − 시드 43)는 구간 평균 +3.87, 마지막 4개 +4.14, 최종 −1.82%p이고 체크포인트별로는 −3.97~+17.06%p입니다 — 3,000회차의 +17.06은 이 계열의 체크포인트별 최대 시드 차(10월 30일 10.74)를 넘고, 구간 평균 차 +3.87 중 +2.44가 이 한 지점에서 왔습니다(3,000을 뺀 여섯 지점 평균은 17.52 / 15.85%; 사후 제외는 판정에 쓰지 않고 서술만). 같은 시드(44)의 v19b 대비 구간 평균 −9.96, 마지막 4개 −9.05, 최종 −18.49%p이고 13개 지점 중 12개 음수(3,000만 +4.88) — 10월 31일의 시드 43 차(−10.47)와 같은 방향·크기이며 두 시드 평균 차는 −10.21%p입니다(n=2, 수준 차). v19 시드 44 대비 구간 평균 +7.12, 두 시드 +7.05%p. v12 시드 43 / 44 대비 시드 44 구간 평균 −4.04 / −2.58(폭 안), 두 시드 −5.97 / −4.51(폭 밖) — 수치만 적습니다. 창 밖 합계 세 수준의 두 시드 구간 평균은 −0.5 29.17% / −0.75 18.96% / −1.0 11.91%로 수준에 단조이며 이제 세 수준 모두 두 시드입니다. 붕괴 없음(두 시드): 2,500~3,249회차 회차당 학습 낙상 최대 16.96(250회차 블록 평균 5.86 / 11.97 / 8.71), 평가 낙상 3,000회차 2.67% · 최종 1.76%. "학습 불가" 조건 해당 없음. 앵커(v12 시드 43의 3,250회차를 v19c id로 재채점) 49.80%(10월 31일 49.61%, 10월 30일 v19b id 52.60%; 폭 4.17%p 유지). 학습 로그(logs/train_jump_stand_v19c_s44.log, 500회차 블록 평균, 마지막 블록은 250회차; 괄호 안은 시드 43의 같은 블록): 회차당 낙상 종료 56.6 / 27.3 / 18.1 / 16.2 / 9.8 / 8.9 / 8.7(시드 43 68.2 / 15.9 / 27.5 / 14.7 / 9.5 / 10.8 / 6.8; v19b 시드 43 45.0 / 10.3 / 11.8 / 6.6 / 7.4 / 5.3 / 4.9) — 첫 블록은 v19b와 v19 사이, 벌점 구간은 v19b 띠. 창 안 행동 변화율 항 −0.16 / −0.36 / −0.54 / −0.62 / −0.63 / −0.71 / −0.70(시드 43 −0.17 / −0.43 / −0.44 / −0.62 / −0.69 / −0.74 / −0.82 → v12 시드 44의 1/10.4, 이후 1/3.1~1/5.6), 창 밖 항 −0.69 / −1.43 / −2.05 / −2.38 / −2.38 / −2.73 / −2.62(시드 43 −0.74 / −1.67 / −1.68 / −2.37 / −2.54 / −2.80 / −2.99), 창 밖/창 안 비 3.75~4.34(시드 43 3.66~4.33), 행동 표준편차 0.546 / 0.547 / 0.545 / 0.634 / 0.667 / 0.776 / 0.791(시드 43 0.554 / 0.562 / 0.542 / 0.612 / 0.651 / 0.772 / 0.790 — 10월 31일에 "추출되지 않음"으로 적었던 값을 오늘 같은 키로 소급 추출; 블록별 차 0.022 이하), 에피소드 길이 184 / 401 / 580 / 496 / 455 / 391 / 378. 벌점 0 구간(1,500회차 이전)에 회차당 낙상이 200을 넘는 단일 급증이 두 번 있었고(893~912회차 최대 265.2, 1,267~1,286회차 249.0; 시드 43은 세 번) 각각 20회차 안에 회복했습니다(벌점 구간 최대 193.4, 급증 없음). 평가 낙상은 250회차 32.88%(시드 43은 750회차까지 34~51%)만 v19 띠이고 500회차부터 v19b 띠인 대신, 1,250 · 1,750 · 2,250회차 체크포인트에서 31.18 / 12.43 / 11.72%의 급증이 있습니다(시드 43의 1,250회차 이후 최대 2.86%; 1,250은 학습 급증 1,267회차 직전 저장분이고 나머지 둘은 학습 로그에 대응 급증이 없음, 인접 체크포인트는 2.93% 이하). 보조 품질 측정(reports/jump_quality_20261101.csv, 판정 무관): 최종 체크포인트의 "체공 ≥ 40ms·상승 ≥ 5mm" 점프 11.91%(유효 점프의 36.0%; 시드 43 29.1%), 체공 중앙값 20ms(상위 10% 80ms; 시드 43 40 / 80), 상승 중앙값 6.65mm(시드 43 5.05); 앵커 27.15%(50.7%), 40ms(120ms), 6.64mm — 이 측정의 재현 폭은 재지 않았고 앵커도 하루 사이 체공 상위 10%가 100 → 120ms로 움직였습니다.
개선 사항1. 실험 변수와 측정된 효과. 바꾼 것은 시드 하나(43 → 44)이고, 측정된 것은 "시드 44 구간 평균 20.89%·마지막 4개 28.89%·최종 낙상 1.76%·두 시드 구간 평균 18.96%로 사전 등록 지지 조건 네 개를 모두 충족"입니다. 계획서 문구대로 "창 밖 합계 −0.75는 점프와 양립(두 시드), 양립 상한은 −0.75와 −1.0 사이"로 기록합니다. 경계와의 거리는 조건마다 다릅니다 — 시드 44 단독 구간 평균(+4.89%p)은 이 계열에서 처음으로 재현 폭 밖이지만, 두 시드 평균(+2.96%p)과 최종 낙상(−0.24%p)은 폭 안이고 구간 평균 차의 상당 부분이 3,000회차 한 지점에서 왔습니다. 10월 31일의 "경계값 지지"는 시드 44로 "두 시드 지지"가 됐지만 두 시드 평균 기준으로는 여전히 경계 근처입니다. 시드 반복이므로 "개선"이라는 말은 쓰지 않고, 같은 시드의 v19b보다 13개 지점 중 12개가 낮은 것(구간 −9.96, 최종 −18.49%p)은 10월 31일과 같은 방향·크기의 "수준 차"로 두 시드에서 반복됐습니다(n=2). 세 수준의 두 시드 구간 평균 29.17 / 18.96 / 11.91%는 수준에 단조이며 이제 세 점 모두 두 시드입니다. 시드 2회 — 재현성 주장 불가. 2. 관측(검정 아님) — 시드 43과 같은 것과 다른 것. 같은 것: 창 안 평활 항 크기(v12의 약 1/10 → 1/3~1/6), 창 밖/창 안 비(3.7~4.3), 행동 표준편차(0.55 → 0.79), 벌점 구간의 학습 낙상 종료(v19b 띠), 2,750~2,999회차 블록이 v19b보다 높은 것(11.97 / 17.28 대 4.6~5.0), 붕괴 없음. 다른 것: 초기 평가 낙상이 시드 43은 750회차까지 v19 띠(34~51%)였으나 시드 44는 250회차(32.88%)만 그렇고 500회차부터 v19b 띠이며, 대신 벌점 구간의 세 체크포인트(1,250 / 1,750 / 2,250)에 평가 낙상 급증(11.7~31.2%)이 있었습니다 — 1,250은 학습 로그의 급증 직전 저장분으로 설명되지만 1,750·2,250은 학습 로그에 대응하는 급증이 없어 분리되지 않았습니다. 벌점 0 구간의 "넘어졌다 회복" 급증은 두 번(시드 43 세 번)으로 이 게이트 계열 다섯 실행째 반복됐고 원인은 분리되지 않았습니다. 창 밖 동작이 실제로 더 부드러워졌는지는 두 시드 모두 확인되지 않았습니다(평가기에 창 밖 행동 지표가 없음). 3. 바뀌지 않은 것. v12 기준선(시드 43·44 두 곡선)은 그대로입니다. 평가 재현 폭 4.17%p(앵커 49.80%, 일곱 id의 앵커 값 48.63~52.60% 모두 폭 안)와 판정 자(소실 8 / 양립 16)는 10월 17일 이후 그대로입니다. 3,000회차 한 지점의 시드 차 +17.06%p는 이 계열에서 본 가장 큰 체크포인트별 시드 차이며, 인접 체크포인트 간 변동(3,000 → 3,249 −10.35%p)이 재현 폭의 두 배를 넘을 수 있음을 다시 보여줍니다 — 그래서 판정은 구간 평균과 마지막 4개 평균으로 하고 최고값을 고르지 않습니다. 4. 다음에 바꿀 한 가지. 평가기에 창 밖 행동 지표를 추가하는 학습 없는 밤입니다(10월 30일·31일에 두 번 미룬 항목). 근거: 세 수준 × 두 시드의 수준 검정이 모두 끝났지만 "창 밖 평활이 실제로 얻어졌는가"는 한 번도 재지 않았고, 다음 수준(−0.8)을 재더라도 이 지표 없이는 수준 차의 뜻이 서지 않습니다. 학습이 없으므로 준비 시간 35분 제한이 적용되지 않고 새벽 창 전체를 지표 구현·재현 폭 측정·재채점에 쓸 수 있습니다. 내용: 점프 신호 창 1.5초 밖과 안의 스텝에서 행동 변화율·관절 속도 RMS·발 접촉 전환 수를 따로 집계하는 열을 평가기에 더하고(기존 열·기본 동작 불변), 같은 체크포인트를 평가 시드 1000·1001로 두 번 재채점해 재현 폭을 먼저 잰 뒤 v12 두 시드, v19b 두 시드, v19c 두 시드, v19 시드 44, v18·v17 시드 43의 최종 체크포인트를 재채점합니다. 사전 등록 초안(10월 30일 그대로): v19b 두 시드의 창 밖 행동 변화율이 v12 두 시드의 0.8배 이하이고 창 안 값은 0.8~1.25배이면 지지(창 밖만 평활), 창 밖 비 ≥ 0.95이면 반박, 창 안 비 ≤ 0.8이면 "창 안까지 끌어내림"으로 기록하고 v19c·v19는 수준별로 서술합니다. 그 뒤(또는 이 작업이 막히면) v19d 창 밖 −0.8(합계 −0.9, 새 id, 시드 43, 16 / 8 규칙)로 상한을 한 번 더 좁힙니다 — 두 시드 평균 18.96%가 경계와 2.96%p 차라 −0.9는 중간 띠일 가능성이 높습니다. 대체안은 v19c 시드 45(세 시드) 또는 v19b 시드 45, 보류는 v20(정점 높이 밴드)·v15 시드 44입니다.
실험 설정PPO · Mjlab-Jump-Stand-v19c-MicroDuck(10월 31일 등록 그대로; v12 구성 + 보상 항 action_rate_l2_outside_window −0.65 — 점프 신호 창 1.5초 밖의 스텝에서만; 기본 항 −0.1 상수, 머리 명령 범위 ±0.07rad·머리 편향 벌점 0·무게중심 0.003·머리 무게중심 0.003 고정, 정점 배율 0.06, 기준 상태 초기화 60/25/15, 낙상 벌점 0 → −100(1,500) → −300(2,500)) · 4,096개 환경 · 시드 44(코드 변경 없음, SEED=44) · 3,250회차(회차당 2.34초, 00:08:25 → 02:17) · 초기 정책 무작위 초기화(불러오기 없음) · 평가 scripts/evaluate_jump.py 512개 환경 × 1에피소드, 평가 시드 1000, 신호 1,536회, 제자리 조건(v12 평가 구성과 동일) · 체크포인트 15개 전량 재채점(앵커 포함) · 실행 2026-11-01_00-08-25_jump_stand_v19c_s44 · 랩 커밋 cb470b0(학습 시점) / 5211987(보고) · 계획서 experiments/plans/20261101-v19c-seed44.yaml · 보고서 experiments/reports/20261101-v19c-seed44.md · 테스트 tests/test_v19c_seed44.py · CSV reports/jump_eval_v19cs44_dense.csv·reports/jump_quality_20261101.csv · 대조군 CSV reports/jump_eval_v19c_dense.csv·jump_eval_v19b_dense.csv·jump_eval_v19bs44_dense.csv·jump_eval_v19_dense.csv·jump_eval_v19s44_dense.csv·jump_eval_v12_dense.csv·jump_eval_v12s44_dense.csv · 로그 logs/train_jump_stand_v19c_s44.log·logs/nightly_2026-11-01_run.log · 외부 확인 microduck_rl main 커밋, HF microduck 모델 검색, arXiv 2503.16197 · 영상 생략(10월 9일 결정 유지) · 시드 2회(43·44), n=2 — 재현성 주장 불가 · 실제 로봇 검증 아님.

2026-11-02

평가기에 창 밖/창 안 행동 지표 추가(학습 없음): 점프 신호 창 1.5초(학습 보상이 쓰는 게이트 그대로) 밖과 안의 행동 변화율·관절 속도 RMS·발 접촉 전환 수를 따로 집계하는 열 9개를 평가기에 더하고 기존 체크포인트 32개를 재채점. v19b 두 시드 최종 정책의 창 밖 행동 변화율은 v12 두 시드의 0.486배(지지 경계 0.80 이하), 창 안은 1.059배(0.80~1.25 안) — 판정 지지("창 밖 전용 항은 창 밖 행동만 부드럽게 했다", 두 시드 평균·평가 1회). 평가 시드 재현 폭 0.045 / 0.041(관문 0.15), 앵커 49.48%(11월 1일 49.80%, −0.32%p)로 기존 열은 그대로입니다.

수행 내용10월 27일부터 v19 계열(점프 신호 창 밖에서만 걷히는 행동 변화율 벌점)은 세 수준(창 밖 합계 −0.5 / −0.75 / −1.0) × 두 시드로 유효 점프 수준 검정을 쌓았지만, 그 벌점이 설계 의도대로 "서 있을 때의 행동만 부드럽게 하고 점프 1.5초 안은 v12 그대로"인지는 한 번도 재지 않았습니다(10월 30일·31일·11월 1일 세 번 미룬 항목). 학습 로그의 보상 합은 가중치가 곱해진 값이라 수준 간 비교가 되지 않습니다. 오늘은 학습 없이 평가기 scripts/evaluate_jump.py에 열 9개를 더했습니다: 점프 신호 항의 게이트(in_window(), 신호 뒤 1.5초 — 보상 항 action_rate_l2_outside_window가 쓰는 바로 그 판정)로 스텝을 창 안/창 밖으로 갈라, 행동 변화율(정책 출력의 연속 차 제곱합 — 보상 항이 곱하는 양 그대로, 리셋 직후 이전 행동 0, 낙상 환경 포함)·관절 속도 RMS·발 접촉 전환 수(Hz)·창 안 스텝 비율을 따로 집계합니다. 기존 13열의 식은 바꾸지 않았고(백업 .bak_20261102, 테스트 70/70), 64개 환경 스모크(rc=0, 열 22개, NaN 0)를 거쳐 스케줄러가 00:10:40부터 00:24:04까지 세 패스를 돌렸습니다 — 최종 체크포인트 11개(v12 시드 43·44, v19b 43·44, v19c 43·44, v19 43·44, v18·v17·v13 시드 43; 평가 시드 1000), 그중 5개를 평가 시드 1001로 다시(재현 폭), 창 체크포인트 16개(v12·v19b·v19c 시드 43, v19 시드 44의 1,500 / 2,000 / 2,500 / 3,000회차). 재채점 id는 v19c(보상 가중치는 지표에 들어가지 않고 물리·명령·관측은 v12 평가 구성과 같음)입니다. 가설과 사전 등록 기준(experiments/plans/20261102-eval-outside-metric.yaml, 00:00~00:12 등록, 사후 변경 없음; 규칙은 10월 30일·11월 1일 보고서의 초안 그대로, 재현 폭 관문만 추가). 비 R_out = v19b 두 시드 최종의 창 밖 행동 변화율 평균 ÷ v12 두 시드 최종의 같은 값, R_in = 창 안의 같은 비. 지지(창 밖만 평활): R_out ≤ 0.80이고 0.80 ≤ R_in ≤ 1.25. 반박: R_out ≥ 0.95(항이 행동을 바꾸지 못함) 또는 R_in ≤ 0.80(창 안까지 느려짐 — 그러면 수준 스윕의 점프 손실은 창 안 평활 탓). 유효성 우선: 평가 시드 1000 대 1001의 상대 차 최대값 W가 0.15를 넘으면 경계 간격(0.80~0.95)이 재현 폭보다 작아 판정 보류; 앵커·v19c 최종의 유효 점프가 종전 값과 4.17%p 넘게 다르면 평가기 회귀로 무효. v19c·v19·전역 평활(v18/v17/v13)의 비는 수준별 서술(판정 아님). 외부 확인(00:02): 기반 코드 저장소 main 최신 커밋 8월 25일(점프 무관), 커뮤니티 정책에 새 점프·호핑 없음, 위상 게이트 평활의 행동 지표를 보고한 이족 점프 논문 없음.
관측 결과최종 체크포인트의 게이트 지표(reports/jump_eval_gate_finals_dense.csv, 평가 시드 1000, 512개 환경 × 1에피소드, 신호 1,536회). 괄호는 v12 두 시드 평균에 대한 비. 창 안 스텝 비율은 정상 정책 모두 37.6~38.7%(붕괴 정책 16.1%)로 같습니다.
정책 (최종 체크포인트)유효 점프 %낙상/신호 %행동 변화율 창 안행동 변화율 창 밖관절 속도 RMS 안 / 밖접촉 전환 Hz 안 / 밖
v12 시드 43 (3,250회차, 앵커, 전역 −0.1)49.480.001.5901.2132.22 / 1.9814.26 / 11.32
v12 시드 44 (3,249회차)45.510.071.4351.0991.86 / 1.6712.57 / 10.47
v12 두 시드 평균 (분모)47.500.031.5131.1562.04 / 1.8313.41 / 10.89
v19b 시드 43 (창 밖 −0.4, 합계 −0.5)41.990.201.6860.5531.93 / 1.4711.25 / 7.09
v19b 시드 4450.390.651.5180.5702.02 / 1.6711.77 / 8.63
v19b 두 시드 평균 (판정 대상)46.190.421.602 (R_in 1.059)0.562 (R_out 0.486)1.97 / 1.57 (0.97 / 0.86)11.51 / 7.86 (0.86 / 0.72)
v19c 두 시드 평균 (창 밖 −0.65, 합계 −0.75; 개별 34.18 / 30.99)32.581.341.505 (0.995)0.339 (0.294)1.92 / 1.40 (0.94 / 0.77)9.94 / 6.33 (0.74 / 0.58)
v19 시드 44 (창 밖 −0.9, 합계 −1.0)21.166.641.624 (1.073)0.222 (0.192)1.93 / 1.27 (0.95 / 0.70)10.14 / 5.67 (0.76 / 0.52)
v19 시드 43 (붕괴 정책, 서술 제외)0.00100.0014.7731.6373.89 / 5.084.74 / 13.34
v18 시드 43 (전역 −0.2 상수)13.090.000.556 (0.367)0.379 (0.328)1.19 / 0.985.14 / 4.95
v17 시드 43 (전역 −0.3 상수)8.270.070.383 (0.253)0.318 (0.275)1.02 / 0.934.47 / 4.23
v13 시드 43 (전역 램프 −0.1 → −1.0)2.540.000.127 (0.084)0.115 (0.100)0.76 / 0.713.89 / 3.81
평가 시드 재현 폭 W (1000 대 1001, 5개 체크포인트, reports/jump_eval_gate_seed1001.csv)창 안 0.041 · 창 밖 0.045(관문 0.15); 유효 점프의 평가 시드 차 최대 3.32%p(v19b 시드 44; 종전 재현 폭 4.17 안)
창 체크포인트 (1,500 / 2,000 / 2,500 / 3,000회차, 시드 1개, reports/jump_eval_gate_window.csv)행동 변화율 창 안 / 창 밖 — v12 시드 43: 0.76 / 0.66 · 0.80 / 0.65 · 0.83 / 0.65 · 1.94 / 1.47 · v19b 시드 43: 0.65 / 0.32 · 0.94 / 0.34 · 0.94 / 0.41 · 1.54 / 0.50 · v19c 시드 43: 0.38 / 0.23 · 0.66 / 0.28 · 0.84 / 0.29 · 1.37 / 0.31 · v19 시드 44: 0.46 / 0.08 · 0.50 / 0.25 · 0.52 / 0.22 · 1.52 / 0.25
기존 열 회귀(종전 값 대비): 앵커 49.48%(11월 1일 49.80, −0.32%p), v19c 시드 43 34.18(10월 31일 32.55, +1.63), 시드 44 30.99(11월 1일 30.73, +0.26) — 관문 4.17 안. 다른 id로 쟀던 나머지 7개도 최대 |2.14|%p(v18)입니다.
개선 사항1. 실험 변수와 측정된 효과. 바꾼 것은 평가 지표 하나이고 학습 결과는 바뀌지 않았으므로 "개선"이라는 말은 쓰지 않습니다. 측정된 것은 R_out 0.486(≤ 0.80), R_in 1.059(0.80~1.25)로 사전 등록 지지 조건 두 개 충족 — 계획서 문구대로 "창 밖 전용 항은 창 밖 행동만 부드럽게 했다(두 시드 평균, 평가 1회)"로 기록합니다. 경계와의 거리는 R_out −0.314, R_in 하한 +0.259·상한 −0.191로 재현 폭(0.04~0.05)의 5배 이상이고, 반박 두 갈래(R_out ≥ 0.95, R_in ≤ 0.80)도 같은 만큼 떨어져 있습니다. 유효성 관문(W ≤ 0.15, 기존 열 회귀 ≤ 4.17%p, 세 패스 완료)을 모두 통과했습니다. 10월 29일·30일·31일·11월 1일 네 보고서가 "확인되지 않았다"로 남겨 둔 문장은 오늘 "확인됐다(두 시드 최종 정책, 행동 변화율 기준)"로 바뀝니다. 2. 수준별 서술(판정 아님). 창 밖 비는 창 밖 합계 −0.5 / −0.75 / −1.0에서 0.486 / 0.294 / 0.192로 단조이고(v19b·v19c 두 시드, v19 시드 1), 창 안 비는 1.059 / 0.995 / 1.073으로 세 수준 모두 0.80~1.25 안입니다 — 창 안 행동 변화율은 어느 수준의 최종 정책에서도 v12와 구분되지 않습니다. 반면 창 구분이 없는 전역 벌점은 창 안을 함께 줄였습니다(v18 −0.2 0.367, v17 −0.3 0.253, v13 램프 0.084). 창 밖을 비슷하게 줄인 v18(0.379)과 v19c(0.339)를 나란히 두면 창 안은 0.556 대 1.505, 유효 점프는 13.09% 대 34.18 / 30.99%입니다(v18 시드 1). 따라서 11월 1일까지의 수준 스윕에서 유효 점프 구간 평균이 29.17 / 18.96 / 11.91%로 내려간 것은 최종 정책의 창 안 행동 변화율 탓이 아닙니다. 다만 창 안에서 다른 축은 변했습니다: 발 접촉 전환 수는 창 안에서도 0.86 / 0.74 / 0.76으로 줄었고(관절 속도 RMS는 0.97 / 0.94 / 0.95로 거의 같음), 1.5초 창이 착지·정착 구간을 포함하므로 창 끝 직후의 벌점을 예상해 일찍 정착하는 쪽으로 바뀌었을 가능성이 있으나 오늘 지표로는 분리되지 않았습니다. 3. 관측(검정 아님) — 창 체크포인트. 창 안 행동 변화율은 네 실행 모두 2,500 → 3,000회차에서 1.6~2.9배 뜁니다(v12 0.83 → 1.94, v19b 0.94 → 1.54, v19c 0.84 → 1.37, v19 0.52 → 1.52) — 낙상 벌점 −300 단계와 유효 점프 급등(v12 19.73 → 45.31%) 구간입니다. 창 밖은 v12가 같이 뛰지만(0.65 → 1.47) 게이트 계열은 거의 그대로입니다(v19b 0.41 → 0.50, v19c 0.29 → 0.31). 즉 "점프를 잘하게 되면 창 안 행동이 빨라진다"가 공통이고, 게이트 계열은 그때 창 밖을 묶어 둡니다. 중간 체크포인트의 창 안 비는 최종보다 낮은 구간이 있습니다(v19b 시드 43 0.80~1.17, v19c 시드 43 0.50~1.01; 시드 1개) — 판정은 사전 등록대로 최종 두 시드이며 이 관측으로 판정을 바꾸지 않습니다. 붕괴 정책(v19 시드 43)은 창 안 스텝 비율 16.1%·창 안 행동 변화율 14.77로 넘어진 채 흔드는 행동이라 사전 등록대로 제외했습니다. 4. 바뀌지 않은 것. 학습 결과·체크포인트·판정 자(소실 8 / 양립 16)는 그대로입니다. 평가기의 기존 13열은 식이 바뀌지 않았고 회귀 관문을 통과했습니다. 게이트 창(1.5초)은 채점 창(1.2초)과 다르며 후자는 바꾸지 않았습니다. 창 안 스텝 비율이 스크립트 신호만의 35.4%보다 큰 38.6%인 것은 평가 구성의 기준 상태 초기화(웅크림·비행 리셋)가 에피소드 시작 직후 게이트를 여는 몫으로, 학습 게이트와 같은 동작이며 지표 정의의 일부로 기록했습니다. 두 시드 평균·평가 1회(재현 5개) — 재현성 주장은 W 안에서만. 5. 다음에 바꿀 한 가지. v19d 창 밖 −0.8(합계 −0.9, 새 태스크 id, 시드 43, 무작위 초기화, 약 3,250회차) — 계획서 next_if_support·11월 1일 보고서 (2). 양립 상한을 −0.75와 −1.0 사이에서 한 번 더 좁히고, 오늘 지표가 자동으로 붙으므로 창 밖 비가 0.294와 0.192 사이에 단조로 놓이는지·창 안 비가 0.80~1.25를 유지하는지도 같은 밤에 서술됩니다. 사전 등록 초안: 구간 평균 ≥ 16% 지지("합계 −0.9 양립, 상한 −0.9~−1.0") / ≤ 8% 반박("상한 −0.75~−0.9") / 사이는 중간 띠. 두 시드 평균 18.96%가 경계 +2.96%p라 중간 띠 가능성이 높고, 그 경우 "상한은 −0.75와 −0.9 사이"로 좁혀집니다. 보류: 게이트 창을 2.0초로 늘린 v19e(창 안 접촉 전환 감소가 조기 정착인지 분리). 대체(스모크 2회 실패): v19b 또는 v19c 시드 45.
실험 설정학습 없음 · 재채점 id Mjlab-Jump-Stand-v19c-MicroDuck(물리·명령·61-D 관측 = v12 평가 구성; 보상 가중치는 지표에 무관) · 평가 scripts/evaluate_jump.py(2026-11-02 판, 열 22개; 백업 scripts/evaluate_jump.py.bak_20261102) 512개 환경 × 1에피소드, 신호 1,536회, 제자리 조건 · 게이트 = 점프 신호 항 in_window()(신호 뒤 1.5초) · 행동 변화율 = 정책 출력의 연속 차 제곱합(스텝 평균) · 패스 A 최종 11개(평가 시드 1000) / 패스 B 5개(평가 시드 1001) / 패스 C 창 체크포인트 16개(평가 시드 1000), 00:10:40 → 00:24:04 · 스모크 64개 환경(rc=0, NaN 0) · 테스트 tests/test_eval_outside_metric.py 70/70 · 랩 커밋 17e6ea8(준비) / 110fb1c(보고) · 계획서 experiments/plans/20261102-eval-outside-metric.yaml · 보고서 experiments/reports/20261102-eval-outside-metric.md · CSV reports/jump_eval_gate_finals_dense.csv·reports/jump_eval_gate_seed1001.csv·reports/jump_eval_gate_window.csv · 로그 logs/nightly_2026-11-02_run.log·logs/eval_gate_*_20261102.log · 체크포인트 출처 v12 10월 8일·16일, v19b 10월 29일·30일, v19c 10월 31일·11월 1일, v19 10월 27일·28일, v18 10월 25일, v17 10월 20일, v13 10월 17일 실행의 최종(3,249 / 3,250회차)과 창 체크포인트 · 참고: mjlab action_rate_l2(행동 차 제곱합), pollen-robotics/microduck_rl(main 최신 8월 25일).

2026-11-04

v19d: v19c 구성에서 창 밖 전용 행동 변화율 벌점만 −0.65 → −0.8(창 안 −0.1 / 창 밖 합계 −0.9)로 올려 양립 상한을 −0.75와 −1.0 사이에서 한 번 더 좁히는 검정. 새 태스크 id, 시드 43, 무작위 초기화·3,250회차. 경과 1,500~3,000회차 평균 12.68%(v19c 시드 43 17.02%, v19 시드 43 / 44 10.05 / 13.77%, v12 시드 43 / 44 24.93 / 23.47%), 마지막 4개 평균 8.27%, 최종 0.00%·낙상 100.00% — 사전 등록 지지 경계 16%와 반박 경계 8% 사이여서 판정은 판단보류(중간 띠)이고, 2,952회차부터 모든 에피소드가 첫 스텝에 넘어지는 붕괴가 10월 27일 v19 시드 43에 이어 두 번째로 일어났습니다(학습 불가 기록). 계획서 문구대로 "창 밖 합계 −0.9는 −1.0과 같은 중간 띠, 양립 상한은 −0.75와 −0.9 사이"로 적습니다. 시드 1회, 재현성 주장 불가.

수행 내용11월 2일 기록이 다음으로 적어 둔 검정입니다. 창 밖 전용 벌점의 세 수준(창 밖 합계 −0.5 / −0.75 / −1.0)은 모두 두 시드로 재서 구간 평균 29.17 / 18.96 / 11.91%가 수준에 단조였고, −0.75는 양립(두 시드, 경계 +2.96%p)·−1.0은 중간 띠였으므로 양립 상한은 그 사이에 있습니다. 오늘은 창 밖 벌점 하나만 −0.65 → −0.8(합계 −0.9)로 올린 새 태스크 id를 등록하고(기존 id는 테스트로 고정, 등록 파일 백업), 시드 43·무작위 초기화로 3,250회차를 돌렸습니다. 나머지(창 안 −0.1 상수, 동결 네 항목, 정점 배율 0.06, 기준 상태 초기화 60/25/15, 낙상 벌점 0 → −100 → −300, 평가 구성)는 v19c와 같습니다. 11월 2일에 평가기에 더한 창 밖/창 안 행동 지표가 자동으로 붙으므로, 창 밖 비가 0.294(−0.75)와 0.192(−1.0) 사이에 놓이는지도 같은 밤에 서술하기로 했습니다(판정 아님). 가설과 사전 등록 기준(experiments/plans/20261104-v19d-outside-08.yaml, 00:00~00:35 등록, 사후 변경 없음; 규칙은 11월 2일 기록의 초안 그대로). 지지(합계 −0.9도 양립, 상한은 −0.9와 −1.0 사이): 구간 평균 ≥ 16%이고 마지막 4개 평균 ≥ 16%이고 최종 낙상 ≤ 2%. 반박(합계 −0.9는 소실): 구간 평균 ≤ 8%. 그 사이는 "합계 −0.9는 v19(−1.0)와 같은 중간 띠, 상한은 −0.75와 −0.9 사이"로 적습니다. 별도 기록: 최종 유효 점프 ≤ 2% 또는 최종 낙상 > 5%이면 학습 불가, 2,500회차 뒤 회차당 낙상 종료 > 200 또는 평가 낙상 100%이면 붕괴. 중간 띠이면 구간 평균이 12% 이상일 때만 시드 44를 추가하기로 미리 적었습니다. 짧은 검증(64개 환경 × 5회차, 00:06)은 1차에 통과했습니다(seed=43, 불러오기 줄 없음, 설정 표에 창 밖 항 −0.8, 창 안 가중치 −0.1000 × 5, 고정 네 개·정점 배율·벌점 0, 창 안 항과 창 밖 항 둘 다 × 5 기록·양수 없음, NaN 0). 배포 트랙 프로세스가 없음을 확인한 뒤(GPU 640 MiB) 본 학습은 00:09:13에 시작해 02:17에 정상 종료했습니다(3,250회차, 회차당 2.33초, 수치 NaN 0). 재채점은 앵커 → 구간 7개 → 나머지 순으로 15개 전량(02:17~02:25), 보조 품질 측정 2개(02:26). 학습 로그 자동 검사 일곱 항목(시드 43, 불러오기 없음, 창 안 가중치 −0.1000 × 3,250, 창 밖 항 3,250회 기록·양수 0, 고정 네 개·정점 배율 전 회차, 벌점 0 × 1,499 → −100 × 999 → −300 × 750, 배포 트랙 프로세스 없음)은 모두 충족했습니다.
관측 결과경과 회차별 유효 점프 비율(%). "v19d" 행이 오늘 실행(reports/jump_eval_v19d_dense.csv), 대조군 행은 각 CSV의 11월 1일 표와 같은 값입니다. 굵은 칸이 판정 구간(1,500~3,000회차)입니다.
경과 회차2505007501,0001,2501,5001,7502,0002,2502,5002,7503,0003,249 (최종)
v19d 유효 점프 (%, 창 밖 −0.8)1.564.177.558.402.4115.1012.8912.5715.1013.5419.470.07 (붕괴)0.00 (붕괴)
v19d 신호당 낙상률 (%)58.0726.631.693.1265.100.781.3724.090.392.990.2099.93100.00
v19d 체공 시간 (ms)29.231.327.831.538.428.327.028.830.732.134.7100.00.0
v19d 평균 상승 높이 (cm)0.440.710.460.480.500.500.520.510.490.550.511.260.00
v19c 시드 43 유효 점프 (%, 10월 31일, 창 밖 −0.65)3.393.975.349.969.059.0514.0012.2417.3821.4820.9624.0232.55
v19d − v19c 시드 43 (%p, 같은 시드, 수준 차)−1.83+0.20+2.21−1.56−6.64+6.05−1.11+0.33−2.28−7.94−1.49−23.95−32.55
v19c 시드 44 유효 점프 (%, 11월 1일, 창 밖 −0.65)6.329.2411.788.205.0813.1510.8719.0818.2917.7725.9841.0830.73
v19 시드 43 유효 점프 (%, 10월 27일, 창 밖 −0.9)0.721.822.414.758.856.259.7713.286.4511.4623.110.00 (붕괴)0.00 (붕괴)
v19d − v19 시드 43 (%p, 같은 시드, 수준 차)+0.84+2.35+5.14+3.65−6.44+8.85+3.12−0.71+8.65+2.08−3.64+0.070.00
v19 시드 44 유효 점프 (%, 10월 28일, 창 밖 −0.9)0.720.913.659.057.817.2912.7610.7411.5911.5918.9523.5020.12
v19b 시드 43 유효 점프 (%, 10월 29일, 창 밖 −0.4)11.3312.4315.4919.7312.6313.8021.8827.2127.2829.6933.6638.9341.60
v12 시드 43 유효 점프 (%, 10월 8일, 전역 −0.1)22.2724.5422.5324.1519.8618.9519.7923.1818.5520.3129.6244.0850.52 (3,250)
행동 변화율 가중치v19d 창 안 −0.1 / 창 밖 −0.9(3,250회차 전부 상수) · v19c 창 안 −0.1 / 창 밖 −0.75 · v19b 창 안 −0.1 / 창 밖 −0.5 · v19 창 안 −0.1 / 창 밖 −1.0 · v12 −0.1
판정 조건: 구간 평균 12.68%(지지 경계 16에 −3.32%p, 반박 경계 8에 +4.68%p — 둘 다 재현 폭 4.17%p 안이 아님; 구간 7개 중 16 이상은 2,750회차 한 지점), 마지막 4개 평균 8.27%(16에 −7.73%p), 최종 낙상 100.00% — 지지 조건 세 개 모두 미충족, 반박 조건 미충족 → 사전 등록 "중간 띠". 붕괴 지점 3,000회차를 뺀 구간 6개 평균은 14.78%로 그래도 16 아래입니다(사후 제외는 판정에 쓰지 않고 서술만). 학습 불가 기록(최종 0.00% ≤ 2, 낙상 100 > 5) 해당. 붕괴 기록: 학습 로그의 회차당 낙상 종료가 50회차 블록 평균으로 2,800회차부터 6.8 → 13.2 → 72.0 → 222.1(2,950~) → 254 → 279 → 304 → 338 → 372, 처음 200을 넘은 회차는 2,952(10월 27일 v19 시드 43은 2,775), 최종 회차 387.5; 3,000·3,249 체크포인트는 1,536 신호 전부 낙상. 앵커(v12 시드 43의 3,250회차를 v19d id로 재채점) 49.35%(11월 2일 49.48, −0.13%p) — 재현 폭 4.17 유지. 학습 로그(logs/train_jump_stand_v19d_s43.log, 500회차 블록 평균, 마지막 블록은 250회차; 괄호 안은 v19c 시드 43의 같은 블록): 회차당 낙상 종료 66.7 / 29.3 / 13.6 / 19.9 / 42.7 / 33.2 / 309.4(v19c 68.2 / 15.9 / 27.5 / 14.7 / 9.5 / 10.8 / 6.8; v19 시드 43 70.3 / 17.2 / 31.9 / 24.3 / 14.7 / 136.0 / 444.0) — 1,500~2,999회차의 세 블록이 v19c의 2~4.5배로, 붕괴 전부터 학습 낙상이 높았습니다. 창 안 행동 변화율 항 −0.13 / −0.33 / −0.48 / −0.53 / −0.47 / −0.66 / −0.02(v19c −0.17 / −0.43 / −0.44 / −0.62 / −0.69 / −0.74 / −0.82), 창 밖 항 −0.69 / −1.56 / −2.20 / −2.45 / −2.11 / −2.98 / −0.14(v19c −0.74 / −1.67 / −1.68 / −2.37 / −2.54 / −2.80 / −2.99), 창 밖/창 안 비 5.42 / 4.79 / 4.60 / 4.62 / 4.52 / 4.53 / 6.65(v19c 3.66~4.33, v19 4~8, v19b 2.3~2.6 — 가중치 비 8 : 6.5 : 9 : 4와 순서가 같음). 붕괴 블록은 평균 에피소드 길이 13.5스텝(직전 283, 그 전 659)으로 두 항이 모두 1/30로 줄었고, 평균 보상은 −13.2 → −35.7 → −11.8로 붕괴 뒤가 붕괴 직전보다 높습니다(10월 27일 −40.4 → −13.5 → −11.4와 같은 양상). 게이트 지표(11월 2일 추가, 판정 아님): 최종 체크포인트의 창 밖 비 1.721·창 안 비 7.733은 붕괴 정책의 값이라(10월 27일 붕괴 최종 1.416 / 9.77) 수준 비교에 쓸 수 없습니다. 붕괴 전 마지막 2,750회차는 창 밖 행동 변화율 0.345(v12 두 시드 최종 대비 0.298; v19c 최종 0.294와 +0.004, 재현 폭 0.045 안), 창 안 0.891. 창 체크포인트의 창 안 / 창 밖 — v19d 1,500 0.48 / 0.23 · 2,000 0.77 / 0.18 · 2,500 0.51 / 0.19 · 2,750 0.89 / 0.34(v19c 시드 43 0.38 / 0.23 · 0.66 / 0.28 · 0.84 / 0.29 · 3,000 1.37 / 0.31; v12 시드 43 0.76 / 0.66 · 0.80 / 0.65 · 0.83 / 0.65 · 1.94 / 1.47) — 창 밖 값은 v19c와 겹치고 v12의 1/3 이하, 창 안 값은 v19c와 ±0.3 안에서 엇갈립니다(단일 평가). "창 밖 비가 0.294와 0.192 사이에 단조로 놓이는가"는 최종 정책이 붕괴해 확인할 수 없었습니다. 보조 품질 측정(reports/jump_quality_20261104.csv): 최종은 유효 점프 0이라 모든 열 0; 앵커 유효 점프 54.75%, 40ms/5mm 이상 28.06%, 체공 중앙값 40ms, 상승 중앙값 6.79mm(11월 1일 앵커 53.52 / 27.15 / 40 / 6.64).
개선 사항1. 실험 변수와 측정된 효과. 바꾼 것은 창 밖 벌점 수준 하나(−0.65 → −0.8)이고, 측정된 것은 "구간 평균 12.68%·마지막 4개 8.27%·최종 0.00%·낙상 100.00%"입니다. 사전 등록 기준을 통과하지 못했으므로 "개선"이라는 말은 쓰지 않습니다. 계획서 문구대로 "창 밖 합계 −0.9는 v19(−1.0)와 같은 중간 띠(약화, 소실 아님, 양립 아님) → 양립 상한은 −0.75와 −0.9 사이"로 기록합니다. 네 수준의 구간 평균 29.17 / 18.96 / 12.68 / 11.91%(합계 −0.5 / −0.75 / −0.9 / −1.0; −0.9만 시드 1회)는 수준에 단조이며, −0.9와 −1.0의 차 +0.77%p는 재현 폭 안이라 두 수준은 구별되지 않습니다. 같은 시드 43의 v19c(17.02%)보다 −4.34%p(폭 밖, 붕괴 전 13개 지점 중 9개 낮음)이지만 시드 1회라 수준 차와 시드 차는 분리되지 않았습니다. 2. 붕괴가 두 번째로 일어났습니다(관측, 검정 아님). 10월 27일 v19 시드 43(창 밖 합계 −1.0, 2,775회차~)에 이어 오늘 v19d 시드 43(합계 −0.9, 2,952회차~)에서 낙상 벌점 −300 단계(2,500회차~) 안에서 약 275~450회차 뒤 모든 에피소드가 첫 스텝에 넘어지는 상태로 들어갔고, 그 뒤 평균 보상이 붕괴 직전보다 높아지는 양상도 같습니다. 이 계열에서 붕괴는 창 밖 벌점이 −0.8 이상인 시드 43 두 실행(2/2)에서만 났고, 창 밖 −0.9 시드 44·−0.65 두 시드·−0.4 두 시드(0/5)에서는 없었습니다. n이 작아 "창 밖 벌점 −0.8 이상과 −300 단계의 조합이 붕괴 조건"이라고는 말할 수 없고, 시드 44로 재현 여부를 먼저 봅니다. 붕괴를 빼고 봐도 판정은 중간 띠이므로 판정 자체는 붕괴와 무관합니다. 3. 바뀌지 않은 것. v12 기준선(시드 43·44)과 v19b·v19c의 두 시드 결과, 평가 재현 폭 4.17%p(앵커 49.35%, 여덟 id의 앵커 값 48.63~52.60 모두 폭 안)와 판정 자(소실 8 / 양립 16)는 그대로입니다. 초기 낙상(250회차 58.07%)은 v19 띠(30% 이상)로 재현됐고, 벌점 구간의 평가 낙상 급증 체크포인트(1,250회차 65.10%, 2,000회차 24.09%; 인접은 3.12% 이하)는 11월 1일 v19c 시드 44의 세 지점과 같은 양상입니다. 창 밖 행동 변화율은 붕괴 전 모든 창 체크포인트에서 v12의 1/3 이하로, 창 밖 벌점이 창 밖 행동을 바꾼다는 11월 2일 결과와 어긋나지 않습니다. 4. 다음에 바꿀 한 가지. v19d 시드 44(같은 태스크 id, 코드 변경 없이 시드만 43 → 44, 무작위 초기화, 약 3,250회차) — 계획서가 "중간 띠이고 구간 평균 ≥ 12이면 시드 44"로 미리 적어 둔 분기(12.68, 경계 +0.68은 폭 안)입니다. 사전 등록 초안(10월 28일·11월 1일의 두 시드 규칙 그대로): 시드 44 구간 평균 ≥ 16%이고 마지막 4개 ≥ 16%이고 최종 낙상 ≤ 2%이고 두 시드 평균 ≥ 16%(시드 44 ≥ 19.32%)이면 지지(양립), 시드 44 구간 평균 ≤ 8% 또는 두 시드 평균 ≤ 8%이면 반박(소실), 그 외 "합계 −0.9는 두 시드 중간 띠 → 상한 −0.75~−0.9 확정". 판정과 별도로 붕괴 재현(2,500회차 뒤 회차당 낙상 종료 > 200, 평가 낙상 100%)을 관측하고, 재현되면 "창 밖 −0.8 이상 × −300 단계" 가설을 다음 검정(벌점 상한 −100 유지 또는 −300 단계 지연)으로 적습니다. 그 뒤는 게이트 창을 1.5 → 2.0초로 늘린 v19e(창 밖 −0.4 유지), 대체안은 v19c 시드 45입니다.
실험 설정PPO · Mjlab-Jump-Stand-v19d-MicroDuck(11월 4일 등록; v12 구성 + 보상 항 action_rate_l2_outside_window −0.8 — 점프 신호 창 1.5초 밖의 스텝에서만; 기본 항 −0.1 상수, 머리 명령 범위 ±0.07rad·머리 편향 벌점 0·무게중심 0.003·머리 무게중심 0.003 고정, 정점 배율 0.06, 기준 상태 초기화 60/25/15, 낙상 벌점 0 → −100(1,500) → −300(2,500)) · 4,096개 환경 · 시드 43 · 3,250회차(회차당 2.33초, 00:09:13 → 02:17) · 초기 정책 무작위 초기화(불러오기 없음) · 평가 scripts/evaluate_jump.py(11월 2일 판, 게이트 열 포함) 512개 환경 × 1에피소드, 평가 시드 1000, 신호 1,536회, 제자리 조건(v12 평가 구성과 동일) · 체크포인트 15개 전량 재채점(앵커 1 + 새 14, 사후 최고값 선택 없음, 대표값 최종) · 결과 reports/jump_eval_v19d_dense.csv, 보조 reports/jump_quality_20261104.csv; 대조군 reports/jump_eval_v19c_dense.csv·jump_eval_v19cs44_dense.csv·jump_eval_v19_dense.csv·jump_eval_v19s44_dense.csv·jump_eval_v19b_dense.csv·jump_eval_v12_dense.csv·jump_eval_gate_window.csv · 계획서 experiments/plans/20261104-v19d-outside-08.yaml · 보고서 experiments/reports/20261104-v19d-outside-08.md · 학습 로그 logs/train_jump_stand_v19d_s43.log, 실행 로그 logs/nightly_2026-11-04_run.log · 영상 생략 · 기반 코드 pollen-robotics/microduck_rl 고정 커밋(업스트림 무수정; 11월 4일 00:06 확인한 main 최신 커밋은 8월 25일, 점프 관련 변화 없음) · 실물 로봇 검증 없음.

2026-11-05

v19d 시드 44: 창 밖 전용 행동 변화율 벌점 −0.8(창 안 −0.1 / 창 밖 합계 −0.9) 구성을 코드 변경 없이 시드만 43 → 44로 바꿔 반복한 두 번째 시드. 무작위 초기화·3,250회차. 경과 1,500~3,000회차 평균 12.14%(시드 43 12.68%, 두 시드 평균 12.41%; v19c 두 시드 18.96%, v19 두 시드 11.91%, v12 시드 43 / 44 24.93 / 23.47%), 마지막 4개 평균 7.90%, 최종 0.00%·낙상 100.00% — 사전 등록 지지 경계 16%와 반박 경계 8% 사이여서 판정은 판단보류(두 시드 중간 띠)이고, 2,949회차부터 모든 에피소드가 첫 스텝에 넘어지는 붕괴가 시드 44에서도 재현됐습니다(시드 43은 2,952회차; 학습 불가 기록, 이 계열 세 번째). 계획서 문구대로 "창 밖 합계 −0.9는 두 시드 중간 띠, 양립 상한은 −0.75와 −0.9 사이(두 시드 확정)"로 적고 수준 스윕을 끝냅니다. n=2, 재현성 주장 불가.

수행 내용11월 4일 기록이 다음으로 적어 둔 검정입니다. 11월 4일의 v19d 시드 43은 구간 평균 12.68%의 중간 띠이면서 2,952회차부터 붕괴했는데, 이 계열의 붕괴 두 번(10월 27일 v19, 11월 4일 v19d)이 모두 시드 43·창 밖 −0.8 이상이어서 시드 사건인지 수준의 성질인지 한 시드로는 적을 수 없었습니다. 계획서가 미리 적은 분기(중간 띠이고 구간 평균 ≥ 12%이면 시드 44 추가)에 따라 오늘은 코드를 바꾸지 않고 같은 태스크 id·같은 구성·같은 회차 예산으로 시드만 44로 돌렸습니다. 나머지(창 안 −0.1 상수, 창 밖 −0.8 상수, 동결 네 항목, 정점 배율 0.06, 기준 상태 초기화 60/25/15, 낙상 벌점 0 → −100 → −300, 평가 구성)는 11월 4일과 같습니다. 외부 조사(00:05): 평활 벌점과 학습 후반 붕괴를 함께 보고한 이족 점프 논문은 찾지 못했고(arXiv 2401.16889는 평활 가중치를 숙련 뒤 올리는 방식만 서술), 기반 코드 저장소의 11월 커밋은 확인되지 않았으며, 커뮤니티 점프 정책은 8월 31일 happy-hop 계열뿐이어서 내부 두 시드 반복이 유일한 분리 수단이었습니다. 가설과 사전 등록 기준(experiments/plans/20261105-v19d-seed44.yaml, 00:00~00:12 등록, 사후 변경 없음; 규칙은 11월 4일 기록의 초안 그대로, 10월 28일·11월 1일의 두 시드 규칙과 같은 꼴). 지지(합계 −0.9는 시드 의존 양립, 시드 43은 하단+붕괴 사건): 시드 44 구간 평균 ≥ 16%이고 마지막 4개 평균 ≥ 16%이고 최종 낙상 ≤ 2%이고 두 시드 평균 ≥ 16%(시드 44 ≥ 19.32%). 반박(소실): 시드 44 구간 평균 ≤ 8% 또는 두 시드 평균 ≤ 8%. 그 사이는 "합계 −0.9는 두 시드 중간 띠 → 상한은 −0.75와 −0.9 사이로 확정(두 시드)". 별도 관측: 2,500회차 뒤 회차당 낙상 종료 > 200 또는 평가 낙상 100%이면 "붕괴 재현(창 밖 −0.8 이상에서 3회째, 시드 무관)", 아니면 "붕괴는 시드 43 사건". 재현되면 다음 검정은 벌점 상한 −100 또는 −300 단계 지연으로 미리 적었습니다. 짧은 검증(64개 환경 × 5회차, 00:04)은 1차에 통과했습니다(seed=44, 불러오기 줄 없음, 설정 표에 창 밖 항 −0.8, 창 안 가중치 −0.1000 × 5, 고정 네 개·정점 배율·벌점 0, 창 안 항과 창 밖 항 둘 다 × 5 기록·양수 없음, NaN 0). 배포 트랙 프로세스가 없음을 확인한 뒤(GPU 744 MiB) 본 학습은 00:08:15에 시작해 02:17에 정상 종료했습니다(3,250회차, 회차당 2.35초, 수치 NaN 0). 재채점은 앵커 → 구간 7개 → 나머지 순으로 15개 전량(02:18~02:25), 보조 품질 측정 2개(02:26). 학습 로그 자동 검사 일곱 항목(시드 44, 불러오기 없음, 창 안 가중치 −0.1000 × 3,250, 창 밖 항 3,250회 기록·양수 0, 고정 네 개·정점 배율 전 회차, 벌점 0 × 1,499 → −100 × 999 → −300 × 750, 배포 트랙 프로세스 없음)은 모두 충족했습니다.
관측 결과경과 회차별 유효 점프 비율(%). "v19d 시드 44" 행이 오늘 실행(reports/jump_eval_v19ds44_dense.csv), 시드 43 행은 reports/jump_eval_v19d_dense.csv, 나머지 대조군 행은 각 CSV의 11월 4일 표와 같은 값입니다. 굵은 칸이 판정 구간(1,500~3,000회차)입니다.
경과 회차2505007501,0001,2501,5001,7502,0002,2502,5002,7503,0003,249 (최종)
v19d 시드 44 유효 점프 (%, 창 밖 −0.8)0.264.369.4410.2213.0913.2212.839.2418.1012.2419.270.07 (붕괴)0.00 (붕괴)
v19d 시드 44 신호당 낙상률 (%)61.3339.652.280.651.950.781.1737.701.560.520.3999.87100.00
v19d 시드 44 체공 시간 (ms)20.029.028.030.132.429.328.531.834.033.237.420.00.0
v19d 시드 44 평균 상승 높이 (cm)0.000.550.560.550.430.470.580.750.620.470.501.470.00
v19d 시드 43 유효 점프 (%, 11월 4일, 창 밖 −0.8)1.564.177.558.402.4115.1012.8912.5715.1013.5419.470.07 (붕괴)0.00 (붕괴)
시드 44 − 시드 43 (%p, 같은 구성, 시드 차)−1.30+0.19+1.89+1.82+10.68−1.88−0.06−3.33+3.00−1.30−0.200.000.00
v19c 시드 43 유효 점프 (%, 10월 31일, 창 밖 −0.65)3.393.975.349.969.059.0514.0012.2417.3821.4820.9624.0232.55
v19c 시드 44 유효 점프 (%, 11월 1일, 창 밖 −0.65)6.329.2411.788.205.0813.1510.8719.0818.2917.7725.9841.0830.73
v19 시드 44 유효 점프 (%, 10월 28일, 창 밖 −0.9)0.720.913.659.057.817.2912.7610.7411.5911.5918.9523.5020.12
v12 시드 44 유효 점프 (%, 10월 16일, 전역 −0.1)23.9622.4019.7920.1823.1819.9217.9019.5320.3822.8525.4638.2246.42
행동 변화율 가중치v19d 창 안 −0.1 / 창 밖 −0.9(3,250회차 전부 상수, 두 시드 같음) · v19c 창 안 −0.1 / 창 밖 −0.75 · v19 창 안 −0.1 / 창 밖 −1.0 · v12 −0.1
판정 조건: 시드 44 구간 평균 12.14%(지지 경계 16에 −3.86%p; 반박 경계 8에 +4.14%p — 재현 폭 4.17%p 안쪽 0.03%p이므로 반박 경계와는 폭 안입니다; 구간 7개 중 16 이상은 2,250·2,750 두 지점), 두 시드 평균 12.41%(16에 −3.59, 8에 +4.41), 마지막 4개 평균 7.90%(16에 −8.10%p), 최종 낙상 100.00% — 지지 조건 네 개 모두 미충족, 반박 조건 두 개 미충족 → 사전 등록 "두 시드 중간 띠". 붕괴 지점 3,000회차를 뺀 구간 6개 평균은 14.15%(시드 43 14.78%)로 그래도 16 아래입니다(사후 제외는 판정에 쓰지 않고 서술만). 학습 불가 기록(최종 0.00% ≤ 2, 낙상 100 > 5) 해당. 붕괴 기록: 학습 로그의 회차당 낙상 종료가 25회차 블록 평균으로 2,750회차부터 5.7 → 6.9 → 7.9 → 10.9 → 16.5 → 26.9 → 62.3(2,900) → 169.1 → 219.0(2,950~) → 239.8 → 260.1 → … → 384.8, 처음 200을 넘고 20회차 연속 유지된 회차는 2,949(시드 43 2,952, 10월 27일 v19 시드 43 2,775), 최대 391.3, 최종 회차 390.5; 3,000·3,249 체크포인트는 1,536 신호 중 99.87% / 100% 낙상. 앵커(v12 시드 43의 3,250회차를 v19d id로 재채점) 50.39%(11월 4일 49.35, +1.04%p) — 재현 폭 4.17 유지. 학습 로그(logs/train_jump_stand_v19d_s44.log, 500회차 블록 평균, 마지막 블록은 250회차; 괄호 안은 시드 43의 같은 블록): 회차당 낙상 종료 64.9 / 26.7 / 19.1 / 17.4 / 17.1 / 40.0 / 331.2(시드 43 66.7 / 29.3 / 13.6 / 19.9 / 42.7 / 33.2 / 309.4; v19c 시드 43 68.2 / 15.9 / 27.5 / 14.7 / 9.5 / 10.8 / 6.8). 창 안 행동 변화율 항 −0.11 / −0.28 / −0.51 / −0.46 / −0.48 / −0.64 / −0.02(시드 43 −0.13 / −0.33 / −0.48 / −0.53 / −0.47 / −0.66 / −0.02), 창 밖 항 −0.62 / −1.35 / −2.33 / −2.17 / −2.18 / −2.90 / −0.13(시드 43 −0.69 / −1.56 / −2.20 / −2.45 / −2.11 / −2.98 / −0.14), 창 밖/창 안 비 5.53 / 4.86 / 4.61 / 4.72 / 4.53 / 4.54 / 6.72(시드 43 5.42 / 4.79 / 4.60 / 4.62 / 4.52 / 4.53 / 6.65 — 블록마다 ±0.1 안에서 겹침). 행동 표준편차(이번에 추출) 0.515 / 0.515 / 0.527 / 0.613 / 0.589 / 0.710 / 0.807 — 벌점 단계마다 오르고 붕괴 블록에서 최대. 붕괴 블록은 평균 에피소드 길이 12.5스텝(직전 421)이고 최종 회차 평균 보상 −11.32(시드 43 −11.80)로, 붕괴 뒤 평균 보상이 붕괴 직전보다 높아지는 양상도 같습니다. 게이트 지표(11월 2일 추가, 판정 아님): 붕괴 전 마지막 2,750회차는 창 밖 행동 변화율 0.303(v12 두 시드 최종 대비 0.262; 시드 43 0.298; v19c 최종 0.294와 v19 최종 0.192 사이), 창 안 0.856(비 0.566, 시드 43 0.589 — 둘 다 0.80 아래쪽). 최종 체크포인트의 창 밖 비 1.498·창 안 비 6.687은 붕괴 정책의 값이라(시드 43 1.721 / 7.733) 수준 비교에 쓸 수 없습니다. 창 체크포인트의 창 안 / 창 밖 — 1,500 0.53 / 0.30 · 2,000 0.87 / 0.17 · 2,500 0.57 / 0.22 · 2,750 0.86 / 0.30(시드 43 0.48 / 0.23 · 0.77 / 0.18 · 0.51 / 0.19 · 0.89 / 0.34; v12 시드 43 0.76 / 0.66 · 0.80 / 0.65 · 0.83 / 0.65 · 1.94 / 1.47) — 창 밖 값은 v19c와 겹치고 v12의 1/3 이하. 보조 품질 측정(reports/jump_quality_20261105.csv): 최종은 유효 점프 0이라 모든 열 0; 앵커 유효 점프 54.30%, 40ms/5mm 이상 28.19%, 체공 중앙값 40ms, 상승 중앙값 6.77mm(11월 4일 앵커 54.75 / 28.06 / 40 / 6.79).
개선 사항1. 실험 변수와 측정된 효과. 바꾼 것은 시드 하나(43 → 44)이고, 측정된 것은 "구간 평균 12.14%·두 시드 평균 12.41%·마지막 4개 7.90%·최종 0.00%·낙상 100.00%"입니다. 시드 반복이므로 "개선"이라는 말은 쓰지 않습니다. 사전 등록 지지 조건과 반박 조건을 모두 채우지 못했으므로 계획서 문구대로 "창 밖 합계 −0.9는 두 시드 중간 띠(약화, 소실 아님, 양립 아님) → 양립 상한은 −0.75와 −0.9 사이로 확정(두 시드)"로 기록하고, 창 밖 벌점 수준 스윕을 여기서 끝냅니다. 네 수준의 두 시드 구간 평균 29.17 / 18.96 / 12.41 / 11.91%(합계 −0.5 / −0.75 / −0.9 / −1.0; 이제 네 점 모두 n=2)는 수준에 단조이며, −0.9와 −1.0의 차 +0.50%p는 재현 폭 안(구별 안 됨), −0.75와 −0.9의 차 −6.55%p는 폭 밖입니다. 2. 11월 4일의 결과는 시드 사건이 아니었습니다(관측, 검정 아님). 두 시드의 구간 궤적은 지점별 차가 −3.33 ~ +3.00%p(구간 평균 차 −0.54%p)로 모두 재현 폭 안이고, 창 밖/창 안 항 비도 블록마다 ±0.1 안에서 겹치며, 붕괴 시점은 2,949회차와 2,952회차로 3회차 차이입니다. 붕괴는 이 계열에서 세 번째(10월 27일 v19 시드 43 2,775회차, 11월 4일 v19d 시드 43 2,952회차, 오늘 v19d 시드 44 2,949회차)이고 세 번 모두 낙상 벌점 −300 단계(2,500회차~) 안에서 275~452회차 뒤에 일어났습니다. 집계는 창 밖 −0.8에서 2/2 시드, −0.9(v19) 1/2, −0.65(v19c) 0/2, −0.4(v19b) 0/2, v12 0/2입니다. 시드 44가 재현했으므로 "시드 43 사건" 설명은 기각되고 "창 밖 벌점 −0.8 이상 × −300 단계"의 조합이 남습니다 — v12·v19b·v19c는 같은 −300 단계를 붕괴 없이 지났으므로 벌점 단계만으로는 부족하고, 창 밖 −0.8이 −300 단계 없이도 붕괴하는지는 아직 검정되지 않았습니다. 붕괴를 빼고 봐도(6개 평균 14.15 / 14.78%) 판정은 중간 띠이므로 판정 자체는 붕괴와 무관합니다. 3. 바뀌지 않은 것. v12 기준선(시드 43·44)과 v19b·v19c의 두 시드 결과, 평가 재현 폭 4.17%p(앵커 50.39%, 여덟 id의 앵커 값 48.63~52.60 모두 폭 안)와 판정 자(소실 8 / 양립 16)는 그대로입니다. 초기 낙상(250·500회차 61.33 / 39.65%)은 v19 띠(30% 이상)로 재현됐고, −100 단계의 평가 낙상 급증 체크포인트(2,000회차 37.70%; 시드 43은 1,250회차 65.10·2,000회차 24.09%)도 같은 양상입니다. 시드 44는 1,250회차에서 시드 43 같은 급증이 없었고(낙상 1.95%), 이것이 체크포인트별 최대 시드 차(+10.68%p)입니다. 창 밖 행동 변화율은 붕괴 전 모든 창 체크포인트에서 v12의 1/3 이하로 11월 2일 결과와 어긋나지 않습니다. 4. 다음에 바꿀 한 가지. 벌점 상한 −100으로 붕괴 원인 분리(새 태스크 id, v19d 구성 그대로 + 낙상 벌점 커리큘럼 0 → −100 → −100 → −100, 즉 2,500회차의 −300 단계 제거; 시드 43, 무작위 초기화, 약 3,250회차) — 계획서가 "붕괴가 재현되면 벌점 상한 −100 또는 −300 단계 지연"으로 미리 적어 둔 분기입니다. 변수는 벌점 상한 하나이고 대조군은 v19d 시드 43·44(2/2 붕괴, 2,952 / 2,949회차)입니다. 사전 등록 초안: 2,500~3,249회차에서 회차당 낙상 종료 > 200이 20회차 연속으로 한 번도 없고 3,000·최종 평가 낙상 ≤ 5%이고 최종 유효 점프 ≥ 8%이면 지지("−300 단계는 붕괴의 필요조건"); 20회차 연속 > 200이 생기거나 최종 낙상 ≥ 50%이면 반박; 그 외 판단보류. 구간 평균은 v19d 두 시드 12.41%와 나란히 기록만 하고 수준 스윕 값과 섞지 않습니다(벌점이 다르므로). 앵커는 v12 시드 43의 3,250회차를 새 id로 재채점(오늘 50.39%). 그 뒤는 게이트 창을 1.5 → 2.0초로 늘린 v19e(창 밖 −0.4 유지), 대체안은 v19c 시드 45입니다.
실험 설정PPO · Mjlab-Jump-Stand-v19d-MicroDuck(11월 4일 등록 그대로, 코드 변경 없음; v12 구성 + 보상 항 action_rate_l2_outside_window −0.8 — 점프 신호 창 1.5초 밖의 스텝에서만; 기본 항 −0.1 상수, 머리 명령 범위 ±0.07rad·머리 편향 벌점 0·무게중심 0.003·머리 무게중심 0.003 고정, 정점 배율 0.06, 기준 상태 초기화 60/25/15, 낙상 벌점 0 → −100(1,500) → −300(2,500)) · 4,096개 환경 · 시드 44 · 3,250회차(회차당 2.35초, 00:08:15 → 02:17) · 초기 정책 무작위 초기화(불러오기 없음) · 평가 scripts/evaluate_jump.py(11월 2일 판, 게이트 열 포함) 512개 환경 × 1에피소드, 평가 시드 1000, 신호 1,536회, 제자리 조건(v12 평가 구성과 동일) · 체크포인트 15개 전량 재채점(앵커 1 + 새 14, 사후 최고값 선택 없음, 대표값 최종) · 결과 reports/jump_eval_v19ds44_dense.csv, 보조 reports/jump_quality_20261105.csv; 대조군 reports/jump_eval_v19d_dense.csv·jump_eval_v19c_dense.csv·jump_eval_v19cs44_dense.csv·jump_eval_v19_dense.csv·jump_eval_v19s44_dense.csv·jump_eval_v19b_dense.csv·jump_eval_v19bs44_dense.csv·jump_eval_v12_dense.csv·jump_eval_v12s44_dense.csv · 계획서 experiments/plans/20261105-v19d-seed44.yaml · 보고서 experiments/reports/20261105-v19d-seed44.md · 학습 로그 logs/train_jump_stand_v19d_s44.log, 실행 로그 logs/nightly_2026-11-05_run.log · 영상 생략 · 기반 코드 pollen-robotics/microduck_rl 고정 커밋(업스트림 무수정; 11월 5일 00:05 검색에서 11월 커밋 확인되지 않음) · 참고 arXiv 2401.16889(평활 가중치를 숙련 뒤 올리는 방식, 붕괴 보고 없음) · 실물 로봇 검증 없음.

2026-11-09

v19d 벌점 상한 −100: 창 밖 전용 행동 변화율 벌점 −0.8(창 안 −0.1 / 창 밖 합계 −0.9) 구성은 그대로 두고 낙상 벌점 커리큘럼만 0 → −100(1,500회차)에서 멈춰 2,500회차의 −300 단계와 3,500회차의 −500 단계를 없앤 새 태스크 id. 시드 43, 무작위 초기화, 3,250회차. 학습 로그의 회차당 낙상 종료는 2,500회차 뒤 한 번도 200을 넘지 않았고(최대 125.9, 2,737회차; v19d 시드 43·44는 2,952·2,949회차부터 300 이상으로 붕괴), 평가 3,000회차 낙상 0.52%, 최종 유효 점프 19.73%·낙상 5.73%. 사전 등록 지지 조건 세 개 중 "최종 낙상 ≤ 5%"만 0.73%p 차로 채우지 못해 판정은 판단보류(붕괴 없음, 최종 낙상 경계 바로 위)입니다. 경과 1,500~3,000회차 평균 9.79%와 마지막 4개 평균 12.96%는 기록만 합니다(벌점이 달라 수준 스윕 값과 비교하지 않음). 시드 1회, 재현성 주장 불가.

수행 내용11월 5일 기록이 다음으로 적어 둔 검정입니다. 이 계열의 붕괴 세 번(10월 27일 v19 시드 43 2,775회차, 11월 4일 v19d 시드 43 2,952회차, 11월 5일 v19d 시드 44 2,949회차)은 모두 낙상 벌점이 −100에서 −300으로 오르는 2,500회차 단계 안에서 275~452회차 뒤에 일어났고, 같은 −300 단계를 지난 다른 일곱 실행(v19 시드 44, v19b·v19c 두 시드, v12 두 시드)은 붕괴하지 않았습니다. 즉 −300 단계는 붕괴의 충분조건이 아니고, 필요조건인지는 −300 없이 이 수준(창 밖 −0.8)을 돌려 본 적이 없어 알 수 없었습니다. 오늘은 v19d 구성에서 벌점 커리큘럼 하나만 바꿨습니다: 0(0회차) → −100(1,500회차) 뒤 고정, −300·−500 단계 제거(10월 12일 v14에 넣어 둔 상한 인자 재사용, 새 id Mjlab-Jump-Stand-v19d100-MicroDuck). 나머지(창 안 −0.1 상수, 창 밖 −0.8 상수, 동결 네 항목, 정점 배율 0.06, 기준 상태 초기화 60/25/15, 시드 43, 무작위 초기화, 회차 예산, 평가 구성)는 11월 4일 v19d 시드 43과 같습니다. 외부 조사(00:01): 종료·낙상 벌점 단계 상승 직후의 후기 붕괴를 보고한 이족 점프 논문은 찾지 못했고(가장 가까운 arXiv 2304.09834는 허들 점프의 보상 악용·국소해 보고), 기반 코드 저장소의 11월 커밋은 확인되지 않았으며, 커뮤니티에 새 점프 정책은 없었습니다. 가설과 사전 등록 기준(experiments/plans/20261109-v19d-cap100.yaml, 00:00~00:12 등록, 사후 변경 없음; 규칙은 11월 5일 기록의 초안 그대로). 지지("−300 단계는 v19d 붕괴의 필요조건"): 2,500회차~최종에서 회차당 낙상 종료 > 200이 20회차 연속인 구간이 한 번도 없고, 평가 3,000회차와 최종 체크포인트의 낙상이 둘 다 ≤ 5%이고, 최종 유효 점프 ≥ 8%. 반박("−300 없이도 붕괴한다, 원인은 창 밖 벌점 수준 자체"): 20회차 연속 > 200 구간 발생 또는 최종 낙상 ≥ 50%. 그 외(붕괴 없이 낙상 5~50% 등)는 판단보류로 수치만 적습니다. 구간 평균은 판정에 쓰지 않고 v19d 두 시드 12.41%와 나란히 기록만 하며, "개선"이라는 말은 쓰지 않습니다(벌점이 약해지면 낙상이 늘어도 유효 점프가 오를 수 있어 그것은 가설이 아님). 짧은 검증(64개 환경 × 5회차, 00:09)은 1차에 통과했습니다(seed=43, 불러오기 줄 없음, 설정 표에 창 밖 항 −0.8, 창 안 가중치 −0.1000 × 5, 벌점 0 × 5, 고정 네 개·정점 배율, 창 안·창 밖 항 둘 다 × 5 기록·양수 없음, NaN 0; 벌점 단계 표는 새 테스트 tests/test_v19d_cap100.py 109개로 확인). 배포 트랙 프로세스가 없음을 확인한 뒤(GPU 520 MiB) 본 학습은 00:12:30에 시작해 02:19에 정상 종료했습니다(3,250회차, 회차당 2.31초, 수치 NaN 0). 재채점은 앵커 → 구간 7개 → 나머지 순으로 15개 전량(02:19~02:26), 보조 품질 측정 2개(02:27). 학습 로그 자동 검사 일곱 항목(시드 43, 불러오기 없음, 벌점 0 × 1,499 → −100 × 1,750, −300·−500 0회, 창 안 가중치 −0.1000 × 3,250, 창 밖 항 3,250회 기록·양수 0, 고정 네 개·정점 배율 전 회차, 배포 트랙 프로세스 없음)은 모두 충족했습니다.
관측 결과경과 회차별 유효 점프 비율(%). "v19d100" 행이 오늘 실행(reports/jump_eval_v19d100_dense.csv), v19d 두 시드 행은 reports/jump_eval_v19d_dense.csv·jump_eval_v19ds44_dense.csv, 나머지 대조군 행은 11월 5일 표와 같은 값입니다. 굵은 칸이 기록 구간(1,500~3,000회차)입니다.
경과 회차2505007501,0001,2501,5001,7502,0002,2502,5002,7503,0003,249 (최종)
v19d100 유효 점프 (%, 창 밖 −0.8, 벌점 상한 −100)0.334.752.027.688.332.6710.229.8313.7411.266.9013.9319.73
v19d100 신호당 낙상률 (%)61.2027.4171.092.281.5629.230.460.520.330.7837.570.525.73
v19d100 체공 시간 (ms)32.029.021.328.030.525.432.129.930.328.031.132.832.1
v19d100 평균 상승 높이 (cm)0.360.420.380.460.450.420.530.590.430.460.550.510.62
v19d 시드 43 유효 점프 (%, 11월 4일, 같은 시드·구성, 벌점 0 → −100 → −300)1.564.177.558.402.4115.1012.8912.5715.1013.5419.470.07 (붕괴)0.00 (붕괴)
v19d 시드 43 신호당 낙상률 (%)58.0726.631.693.1265.100.781.3724.090.392.990.2099.93100.00
v19d100 − v19d 시드 43 (%p, 벌점 상한 차 + 같은 시드의 비결정성)−1.23+0.58−5.53−0.72+5.92−12.43−2.67−2.74−1.36−2.28−12.57+13.86+19.73
v19d 시드 44 유효 점프 (%, 11월 5일)0.264.369.4410.2213.0913.2212.839.2418.1012.2419.270.07 (붕괴)0.00 (붕괴)
v19 시드 44 유효 점프 (%, 10월 28일, 창 밖 −0.9, 무붕괴)0.720.913.659.057.817.2912.7610.7411.5911.5918.9523.5020.12
v19c 시드 43 유효 점프 (%, 10월 31일, 창 밖 −0.65)3.393.975.349.969.059.0514.0012.2417.3821.4820.9624.0232.55
v12 시드 43 유효 점프 (%, 10월 8일, 전역 −0.1)22.2724.5422.5324.1519.8618.9519.7923.1818.5520.3129.6244.0850.52 (3,250)
낙상 벌점 커리큘럼v19d100 0 → −100(1,500회차) 고정 · v19d·v19·v19c·v12 0 → −100(1,500) → −300(2,500) → −500(3,500, 예산 밖)
판정 조건: 학습 로그의 회차당 낙상 종료는 2,500~3,249회차에서 200을 넘은 회차가 0회(단일 최대 125.9, 2,737회차; 지지 조건 1 충족), 평가 3,000회차 낙상 0.52%(충족), 최종 낙상 5.73%(경계 5.0에 +0.73%p, 미충족), 최종 유효 점프 19.73%(경계 8에 +11.73%p, 충족). 반박 조건 두 개(20회차 연속 > 200 발생 / 최종 낙상 ≥ 50)는 미충족 → 사전 등록 "그 외 = 판단보류(수치 서술)". 학습 불가 기록 규칙(최종 ≤ 2 또는 낙상 > 5)은 낙상 5.73으로 형식상 해당하지만, v19d의 붕괴(0.00% / 100%)와는 다른 범주입니다. 구간 평균 9.79%(2.67 / 10.22 / 9.83 / 13.74 / 11.26 / 6.90 / 13.93; v19d 두 시드 12.41, v19 두 시드 11.91 — 재현 폭 4.17%p 안), 마지막 4개 평균 12.96%(11.26 / 6.90 / 13.93 / 19.73). 앵커(v12 시드 43의 3,250회차를 새 id로 재채점) 50.26%(11월 5일 50.39, −0.13%p) — 재현 폭 4.17 유지. 학습 로그(logs/train_jump_stand_v19d100_s43.log): 회차당 낙상 종료의 25회차 블록 평균(2,500회차~) 2.8 / 3.4 / 3.7 / 4.4 / 5.3 / 6.5 / 10.1 / 16.7 / 38.2 / 96.6(2,725~2,749) / 20.2 / 4.0 / 2.2 / 2.1 / 1.9 / 2.3 / 2.2 / 2.4 / 2.7 / 3.1 / 4.2 / 4.6 / 5.6 / 7.1 / 9.6 / 12.9 / 16.8 / 19.3 / 16.2 / 11.2. v19d 두 시드가 2,900~2,950회차에서 62 → 169 → 219로 올라 되돌아오지 않은 것과 달리, 오늘은 2,737회차 부근에서 125.9까지 올랐다가 25회차 안에 4.0으로 돌아왔습니다. 2,750회차 체크포인트는 바로 그 솟은 지점을 저장한 것이어서 평가 낙상 37.57%·유효 점프 6.90%이고, 3,000회차는 0.52% / 13.93%로 돌아왔습니다. 마지막 100회차(3,150~3,249)의 16.8 / 19.3 / 16.2 / 11.2는 2,500회차 뒤 두 번째로 높은 구간이며 최종 평가 낙상 5.73%는 여기서 저장됐습니다 — 더 돌렸을 때 가라앉을지 커질지는 이 예산으로는 알 수 없습니다. 250회차 블록(2,500회차~) 18.8 / 4.3 / 10.7(v19d 시드 43 2.7 / 63.7 / 309.4, 시드 44 3.4 / 76.5 / 331.2). 낙상 벌점 항의 500회차 블록 평균 0 / 0 / 0 / −0.102 / −0.103 / −0.099 / −0.128(v19d 시드 43 0 / 0 / 0 / −0.109 / −0.108 / −0.314 / −0.419) — 1,500~2,499회차는 세 실행이 −0.10~−0.13으로 겹치고 2,500회차 뒤 오늘은 v19d의 약 1/3로, 벌점 단계 외에 다른 차가 없음을 보상 로그로 확인했습니다. 행동 표준편차 500회차 블록 0.508 / 0.513 / 0.520 / 0.565 / 0.605 / 0.605 / 0.642(v19d 시드 43 0.517 / 0.513 / 0.518 / 0.599 / 0.576 / 0.689 / 0.787, 시드 44 … 0.710 / 0.807) — v19d는 −300 단계 블록에서 올랐다가 붕괴 블록에서 0.79~0.81인데, 오늘 같은 블록은 직전 블록과 같습니다. 창 안·창 밖 행동 변화율 항 비는 5.33 / 4.71 / 4.72 / 4.63 / 4.53 / 4.41 / 4.56으로 v19d 붕괴 전 블록(4.5~5.4)과 겹칩니다. 게이트 지표(11월 2일 추가, 판정 아님): 최종 체크포인트의 창 밖 행동 변화율 0.197(v12 두 시드 최종 대비 0.170; v19b 0.486 / v19c 0.294 / v19 시드 44 0.192), 창 안 0.940(비 0.622, 0.80 아래쪽) — 창 밖 −0.8 수준에서 붕괴하지 않은 최종 정책의 값을 처음 얻었고, v19 시드 44 최종과 재현 폭(0.045) 안입니다. 구간 체크포인트의 창 안 / 창 밖 — 1,500 0.35 / 0.09 · 2,000 0.53 / 0.22 · 2,500 0.76 / 0.25 · 3,000 0.86 / 0.24 · 최종 0.94 / 0.20(v12 시드 43 0.76 / 0.66 · 0.80 / 0.65 · 0.83 / 0.65 · 1.94 / 1.47): 창 밖 값은 전 구간 v12의 1/3 이하입니다. 보조 품질 측정(reports/jump_quality_20261109.csv): 최종 유효 점프 21.16%(프로브 재평가), 40ms/5mm 이상 6.58%(유효 점프의 31.1%), 체공 중앙값 20ms(p90 60), 상승 중앙값 5.96mm; 앵커 53.58 / 25.98(48.5%) / 40(120) / 6.75 — 최종 정책의 점프는 앵커보다 짧고 낮습니다.
개선 사항1. 실험 변수와 측정된 효과. 바꾼 것은 낙상 벌점 커리큘럼의 상한 하나(−300·−500 단계 제거, −100 고정)이고, 측정된 것은 "학습 낙상 종료 2,500회차 뒤 200 초과 0회(v19d 같은 시드 2,952회차부터 300 이상), 평가 3,000회차 낙상 0.52%, 최종 유효 점프 19.73%·낙상 5.73%"입니다. 사전 등록 지지 조건 세 개 중 두 개를 채웠고 최종 낙상만 0.73%p 넘쳐 판정은 판단보류(붕괴 없음, 최종 낙상 경계 바로 위)입니다. 계획서 문구대로 "−300 단계를 없애면 v19d의 급락형 붕괴는 이 시드·이 예산에서 나타나지 않았으나 최종 낙상은 중간(5.73%)"으로 수치만 적습니다. "개선"이라는 말은 쓰지 않습니다 — 벌점이 약해졌으므로 유효 점프 19.73%는 비교 대상이 아니며, 구간 평균 9.79%는 v19d 두 시드 12.41%·v19 두 시드 11.91%와 재현 폭 안입니다. 2. 붕괴 집계와 남은 불확실성(관측, 검정 아님). −300 단계를 지난 열 실행 중 세 번 붕괴(모두 창 밖 −0.8 이상), −300 단계 없이 돌린 한 실행은 무붕괴 — 이것이 "−300 단계가 필요조건"과 양립하지만, 붕괴가 확률적 사건이면 한 번의 무붕괴는 단계 제거 때문인지 운인지 분리되지 않습니다(계획서가 미리 적어 둔 한계). 또한 2,725~2,749회차의 일시 급증(블록 평균 96.6, 최대 125.9)과 마지막 100회차의 완만한 상승(16.8~19.3)은 "붕괴 성향은 남아 있으나 −100 벌점에서는 회복된다"와 "예산을 더 주면 붕괴한다" 어느 쪽과도 양립합니다. −100 상한은 벌점 총량도 줄이므로 "단계 전환(급변)"과 "벌점 크기"는 분리되지 않았습니다(−300 단계를 3,500회차로 늦추는 설계가 그 분리에 해당). 3. 같은 시드도 같은 궤적이 아니었습니다(측정 메모). 벌점이 0인 0~1,499회차는 v19d 시드 43과 구성·시드가 완전히 같은데도 낙상 급증 체크포인트의 위치가 달랐습니다(오늘 750회차 71.09% · 1,250회차 1.56%, v19d 시드 43은 750회차 1.69% · 1,250회차 65.10%). 10월 16일에 적은 GPU 비결정성이 같은 시드의 두 실행을 벌점 단계 전부터 갈라놓으므로, 붕괴 전 구간 평균의 차(1,500~2,750회차 6개 9.10% 대 14.78%, −5.68%p)를 벌점 상한 탓으로 읽을 수 없습니다. 이 때문에 계획서가 구간 평균을 판정에서 뺀 것이 맞았습니다. 4. 바뀌지 않은 것. v12 기준선과 v19b·v19c·v19d의 두 시드 결과, 평가 재현 폭 4.17%p(앵커 50.26%, 아홉 id의 앵커 값 48.63~52.60 모두 폭 안), 61차원 관측 계약, 기존 태스크 id의 동작은 그대로입니다. 초기 낙상(250·500회차 61.20 / 27.41%)은 v19 띠(30% 이상)로 재현됐고, 창 밖 행동 변화율이 v12의 1/3 이하인 점도 11월 2일 결과와 어긋나지 않습니다. 5. 다음에 바꿀 한 가지. v19d100 시드 44(같은 태스크 id, 코드 변경 없이 시드만 43 → 44, 무작위 초기화, 약 3,250회차) — 계획서가 "붕괴 없이 낙상 5~50%이면 시드 44로 두 시드 뒤 판단"으로 미리 적어 둔 분기입니다. 사전 등록 초안: 시드 44에서도 2,500회차 뒤 20회차 연속 > 200이 없고 3,000·최종 낙상 ≤ 5%이고 최종 유효 점프 ≥ 8%이면 지지(두 시드; 시드 43은 "붕괴 없음, 낙상 5.73"으로 병기); 시드 44에서 연속 > 200이 생기거나 최종 낙상 ≥ 50%이면 반박(−300 없이도 붕괴 → 원인은 창 밖 벌점 수준 자체); 그 외는 "두 시드 모두 급락형 붕괴 없음, 낙상 중간 띠" 판단보류. 그 뒤 −300 단계를 3,500회차로 늦춘 설계(이틀 밤, 단계 전환과 벌점 크기 분리), 또는 게이트 창을 1.5 → 2.0초로 늘린 v19e(창 밖 −0.4 유지), 대체안은 v19c 시드 45입니다.
실험 설정PPO · Mjlab-Jump-Stand-v19d100-MicroDuck(11월 9일 신설; v19d 구성 = v12 구성 + 보상 항 action_rate_l2_outside_window −0.8(점프 신호 창 1.5초 밖의 스텝에서만), 기본 항 −0.1 상수, 머리 명령 범위 ±0.07rad·머리 편향 벌점 0·무게중심 0.003·머리 무게중심 0.003 고정, 정점 배율 0.06, 기준 상태 초기화 60/25/15 + 낙상 벌점 0 → −100(1,500회차) 고정, −300·−500 단계 제거(make_jump_env_cfg(penalty_cap=-100.0))) · 4,096개 환경 · 시드 43 · 3,250회차(회차당 2.31초, 00:12:30 → 02:19) · 초기 정책 무작위 초기화(불러오기 없음) · 평가 scripts/evaluate_jump.py(11월 2일 판, 게이트 열 포함) 512개 환경 × 1에피소드, 평가 시드 1000, 신호 1,536회, 제자리 조건(v12 평가 구성과 동일) · 체크포인트 15개 전량 재채점(앵커 1 + 새 14, 사후 최고값 선택 없음, 대표값 최종) · 결과 reports/jump_eval_v19d100_dense.csv, 보조 reports/jump_quality_20261109.csv; 대조군 reports/jump_eval_v19d_dense.csv·jump_eval_v19ds44_dense.csv·jump_eval_v19_dense.csv·jump_eval_v19s44_dense.csv·jump_eval_v19c_dense.csv·jump_eval_v19cs44_dense.csv·jump_eval_v19b_dense.csv·jump_eval_v19bs44_dense.csv·jump_eval_v12_dense.csv·jump_eval_v12s44_dense.csv · 계획서 experiments/plans/20261109-v19d-cap100.yaml · 보고서 experiments/reports/20261109-v19d-cap100.md · 테스트 tests/test_v19d_cap100.py(109개) · 학습 로그 logs/train_jump_stand_v19d100_s43.log, 실행 로그 logs/nightly_2026-11-09_run.log · 영상 생략 · 기반 코드 pollen-robotics/microduck_rl 고정 커밋(업스트림 무수정; 11월 9일 00:01 검색에서 11월 커밋 확인되지 않음) · 참고 arXiv 2304.09834(점프 과제의 보상 악용·국소해 보고, 벌점 단계 붕괴 보고 없음) · 실물 로봇 검증 없음.

2026-11-10

v19d100 시드 44: 11월 9일의 벌점 상한 −100 구성(창 안 −0.1 / 창 밖 −0.8, 낙상 벌점 0 → −100 고정, −300·−500 단계 없음)을 코드 변경 없이 시드 44로 반복했습니다. 3,250회차. 같은 시드 44가 −300 단계가 있는 v19d에서는 2,949회차부터 되돌아오지 않는 붕괴였는데, 오늘은 학습 로그의 회차당 낙상 종료가 2,871~2,885회차의 15회차 동안 200을 넘었다가(최대 290.9) 25회차 안에 돌아왔고, 사전 등록 규칙인 "20회차 연속" 구간은 없었습니다. 평가 3,000회차 낙상 0.65%, 최종 유효 점프 14.19%·낙상 3.45%로 지지 조건 세 개를 모두 채워 판정은 지지("−300 단계는 v19d 붕괴의 필요조건", 시드 44 단독 지지 + 시드 43 붕괴 없음)입니다. 경과 1,500~3,000회차 평균 10.54%(두 시드 10.17%)와 마지막 4개 평균 11.43%는 기록만 합니다. 지지의 뜻은 "−100에서는 붕괴 성향이 가역적이었다(두 시드)"이지 "성향이 없다"가 아닙니다.

수행 내용11월 9일 기록이 다음으로 적어 둔 검정입니다. 11월 9일 시드 43은 −300 단계 없이 붕괴하지 않았지만 최종 낙상 5.73%가 지지 경계 5%를 0.73%p 넘어 판단보류였고, −300 단계를 지난 열 실행 중 일곱이 붕괴하지 않았으므로 한 번의 무붕괴는 단계 제거 때문인지 운인지 가려지지 않았습니다. 오늘은 시드 하나만 43 → 44로 바꿨습니다(코드 변경 없음, 같은 태스크 id Mjlab-Jump-Stand-v19d100-MicroDuck, 무작위 초기화, 같은 회차 예산). 시드 44는 11월 5일 v19d(같은 구성 + −300 단계)에서 2,949회차부터 붕괴한 시드이므로 가장 직접적인 대조입니다. 외부 조사(00:05): 이족 점프 강화학습에서 시드 분산·후기 붕괴·낙상 벌점을 함께 다룬 2026년 논문은 찾지 못했고(가장 가까운 arXiv 2606.18625는 SLIP 피드포워드 + RL 점프), 기반 코드 저장소의 11월 커밋은 확인되지 않았으며, 커뮤니티에 새 점프 정책은 없었습니다. 가설과 사전 등록 기준(experiments/plans/20261110-v19d100-seed44.yaml, 00:00~00:07 등록, 사후 변경 없음; 규칙은 11월 9일 기록의 초안 그대로). 지지: 시드 44에서 2,500회차~최종의 회차당 낙상 종료 > 200이 20회차 연속인 구간이 없고, 평가 3,000회차와 최종의 낙상이 둘 다 ≤ 5%이고, 최종 유효 점프 ≥ 8%. 시드 43은 최종 낙상 5.73%로 이미 둘째 조건을 넘었으므로 두 시드 문구는 "시드 44 단독 지지 + 시드 43 붕괴 없음"으로만 적기로 미리 정했습니다. 반박: 20회차 연속 > 200 발생 또는 최종 낙상 ≥ 50%. 그 외는 판단보류. 구간 평균은 판정에 쓰지 않고 기록만 하며 "개선"이라는 말은 쓰지 않습니다. 짧은 검증(64개 환경 × 5회차, 00:02)은 1차에 통과했습니다(seed=44, 불러오기 줄 없음, 벌점 가중치 0 ×5, 창 밖 항 음수 ×5, NaN 0). 본 학습은 00:08:01에 출발해 02:17에 정상 종료했습니다(3,250회차, 회차당 2.35초, 배포 트랙 프로세스 없음, GPU 510 MiB). 유효성 일곱 항목 모두 충족: seed=44, 불러오기 없음, Curriculum/fall_penalty_weight 0 ×1,499 → −100 ×1,750(−300·−500 0회; 경계 회차 1,499에 보간값 −4.1667이 1회 있고 11월 9일 로그도 같음 — 11월 9일 기록의 "0 ×1,499 → −100 ×1,750"은 이 1회를 빠뜨린 표기였습니다, 판정·구성에 영향 없음), 행동 변화율 가중치 −0.1 ×3,250, 창 밖 항 3,250회 기록·양수 0, 동결 네 항목과 정점 배율 전 회차 고정.
관측 결과경과 회차별 유효 점프 비율(%). "v19d100 시드 44" 행이 오늘 실행(reports/jump_eval_v19d100s44_dense.csv), 시드 43 행은 reports/jump_eval_v19d100_dense.csv, v19d 시드 44 행은 reports/jump_eval_v19ds44_dense.csv(같은 시드, −300 단계 있음), 나머지 대조군 행은 11월 9일 표와 같은 값입니다. 굵은 칸이 기록 구간(1,500~3,000회차)입니다.
경과 회차2505007501,0001,2501,5001,7502,0002,2502,5002,7503,0003,249 (최종)
v19d100 시드 44 유효 점프 (%, 창 밖 −0.8, 벌점 상한 −100)0.201.764.566.779.1810.484.4915.4911.788.0713.1510.2914.19
v19d100 시드 44 신호당 낙상률 (%)62.2453.0638.4814.9712.703.7158.793.710.395.270.780.653.45
v19d100 시드 44 체공 시간 (ms)20.025.228.334.225.731.226.434.427.634.233.428.933.0
v19d100 시드 44 평균 상승 높이 (cm)0.000.370.420.550.450.620.540.700.460.590.550.560.57
v19d100 시드 43 유효 점프 (%, 11월 9일, 같은 구성)0.334.752.027.688.332.6710.229.8313.7411.266.9013.9319.73
v19d100 시드 43 신호당 낙상률 (%)61.2027.4171.092.281.5629.230.460.520.330.7837.570.525.73
시드 44 − 시드 43 (%p, 같은 구성)−0.13−2.99+2.54−0.91+0.85+7.81−5.73+5.66−1.96−3.19+6.25−3.64−5.54
v19d 시드 44 유효 점프 (%, 11월 5일, 같은 시드, 벌점 0 → −100 → −300)0.264.369.4410.2213.0913.2212.839.2418.1012.2419.270.07 (붕괴)0.00 (붕괴)
v19d 시드 44 신호당 낙상률 (%)61.3339.652.280.651.950.781.1737.701.560.520.3999.87100.00
v19 시드 44 유효 점프 (%, 10월 28일, 창 밖 −0.9, 무붕괴)0.720.913.659.057.817.2912.7610.7411.5911.5918.9523.5020.12
v19c 시드 44 유효 점프 (%, 11월 1일, 창 밖 −0.65)6.329.2411.788.205.0813.1510.8719.0818.2917.7725.9841.0830.73
낙상 벌점 커리큘럼v19d100(두 시드) 0 → −100(1,500회차) 고정 · v19d·v19·v19c 0 → −100(1,500) → −300(2,500) → −500(3,500, 미도달)
판정 조건: 학습 로그의 회차당 낙상 종료는 2,500~3,249회차에서 200을 넘은 회차가 15회(2,871~2,885 연속, 단일 최대 290.9 at 2,876) 있었으나 "20회차 연속" 구간은 0회(지지 조건 1 충족, 규칙 경계까지 5회차), 평가 3,000회차 낙상 0.65%(충족), 최종 낙상 3.45%(경계 5.0에 −1.55%p, 충족), 최종 유효 점프 14.19%(경계 8에 +6.19%p, 충족). 반박 조건 두 개(20회차 연속 > 200 발생 / 최종 낙상 ≥ 50)는 미충족 → 사전 등록 지지. 학습 불가 기록 규칙(최종 ≤ 2 또는 낙상 > 5)은 해당 없음(시드 43은 낙상 5.73으로 해당했음). 두 시드 모두 "20회차 연속 구간 없음"과 "최종 유효 점프 ≥ 8"을 채웠으므로 "급락형 붕괴 소멸 2/2"(v19d 같은 두 시드는 2/2 붕괴)를 별도로 적습니다. 구간 평균 10.54%(10.48 / 4.49 / 15.49 / 11.78 / 8.07 / 13.15 / 10.29; 시드 43 9.79, 두 시드 10.17; v19d 두 시드 12.41, v19 두 시드 11.91 — 벌점이 달라 수준 스윕 값과 비교하지 않음), 마지막 4개 평균 11.43%(8.07 / 13.15 / 10.29 / 14.19). 앵커(v12 시드 43의 3,250회차를 같은 id로 재채점) 49.54%(11월 9일 50.26, −0.72%p) — 재현 폭 4.17 유지. 학습 로그(logs/train_jump_stand_v19d100_s44.log): 회차당 낙상 종료의 25회차 블록 평균(2,500회차~) 3.2 / 1.9 / 2.1 / 1.9 / 2.2 / 2.6 / 2.7 / 3.2 / 3.3 / 4.1 / 4.6 / 6.0 / 9.7 / 18.9 / 102.3(2,850~2,874) / 163.3(2,875~2,899) / 10.1 / 2.3 / 1.7 / 1.6 / 1.5 / 1.9 / 2.1 / 2.7 / 3.0 / 3.2 / 3.9 / 4.3 / 4.7 / 6.4. 회차별로는 2,860회차 51에서 올라 2,871회차에 200을 넘고(225) 2,876회차 정점 290.9, 2,886회차에 200 아래(191), 2,890회차에 100 아래, 2,899회차 27.2 — 약 40회차짜리 산입니다. 같은 시드 44의 v19d는 2,900~2,950회차에서 62 → 169 → 219로 올라 되돌아오지 않았고(250회차 블록 331.2), 평가 3,000·최종이 99.87 / 100%였습니다. 즉 오늘의 급증은 v19d 붕괴와 같은 구간·같은 크기로 시작했다가 돌아온 것이고, 11월 9일 시드 43의 급증(2,737회차 정점 125.9)보다 큽니다. 250회차 블록(2,500회차~) 2.7 / 32.0 / 3.4(시드 43 18.8 / 4.3 / 10.7, v19d 시드 44 3.4 / 76.5 / 331.2). 평가 체크포인트 2,750(급증 전)과 3,000(회복 뒤, 낙상 0.65%)은 이 구간을 저장하지 않았으므로 평가 곡선만으로는 이 사건이 보이지 않습니다 — 붕괴 판정의 1차 자료는 사전 등록대로 학습 로그의 회차별 값입니다. 마지막 100회차(3,150~3,249) 3.9 / 4.3 / 4.7 / 6.4는 시드 43의 16.8 / 19.3 / 16.2 / 11.2 완만 상승을 재현하지 않았고, 최종 낙상 3.45%는 이 낮은 구간에서 저장됐습니다. 낙상 벌점 항의 500회차 블록 평균 0 / 0 / 0 / −0.113 / −0.112 / −0.096 / −0.083(시드 43 … −0.099 / −0.128; v19d 시드 44 … −0.332 / −0.416) — 2,500회차 뒤 v19d의 약 1/4로 −100 고정을 보상 로그로 확인했습니다. 행동 표준편차 500회차 블록 0.511 / 0.537 / 0.535 / 0.596 / 0.586 / 0.583 / 0.612(시드 43 … 0.605 / 0.642; v19d 시드 44 붕괴 블록 0.710 / 0.807) — 급증이 있던 2,750~2,999 블록(0.581)에서도 오르지 않았습니다. 벌점이 0인 0~1,499회차에서도 같은 시드 44의 v19d와 궤적이 달라(1,250회차 낙상 12.70% 대 1.95%) "v19d100 시드 44 대 v19d 시드 44 = 벌점 상한 차"는 결정론적 비교가 아닙니다(GPU 비결정성, 11월 9일 메모와 같음). 게이트 지표(11월 2일 추가, 판정 아님): 최종 체크포인트의 창 밖 행동 변화율 0.272(v12 두 시드 최종 대비 0.236; 시드 43 0.170, v19 시드 44 0.192 / v19c 0.294 / v19b 0.486), 창 안 0.976(비 0.645, 0.80 아래쪽; 시드 43 0.622). 구간 체크포인트의 창 안 / 창 밖 — 1,500 0.64 / 0.29 · 2,000 0.87 / 0.25 · 2,500 0.59 / 0.17 · 3,000 0.63 / 0.23 · 최종 0.98 / 0.27(v12 시드 43 0.76 / 0.66 · 0.80 / 0.65 · 0.83 / 0.65 · — · 1.94 / 1.47): 창 밖 값은 전 구간 v12의 1/3 이하로 시드 43과 같은 띠입니다. 보조 품질 측정(reports/jump_quality_20261110.csv): 최종 유효 점프 15.82%(프로브 재평가), 40ms/5mm 이상 4.10%(유효 점프의 25.9%), 체공 중앙값 20ms(p90 80), 상승 중앙값 5.83mm; 앵커 56.64 / 29.75(52.5%) / 40(120) / 6.75 — 최종 정책의 점프는 앵커보다 짧고 낮습니다(시드 43 21.16 / 6.58(31.1%) / 20(60) / 5.96과 같은 띠).
개선 사항1. 실험 변수와 측정된 효과. 바꾼 것은 시드 하나(43 → 44)이고, 묻는 것은 "−300 벌점 단계를 없애면 v19d 계열의 붕괴가 사라지는가"의 두 번째 시드입니다. 측정된 것: 같은 시드 44가 −300 단계가 있는 v19d에서는 2,949회차부터 되돌아오지 않는 붕괴(최종 0.00% / 낙상 100%)였고, −300 단계를 없앤 오늘은 2,871~2,885회차의 15회차 급증(최대 290.9) 뒤 25회차 안에 회복해 최종 14.19% / 3.45%로 끝났습니다. 사전 등록 지지 조건 세 개를 모두 채웠으므로 판정은 지지이고, 두 시드 문구는 미리 정한 대로 "시드 44 단독 지지 + 시드 43 붕괴 없음(낙상 5.73)"입니다. 붕괴 집계는 −300 단계 있음 3/10, 없음 0/2가 됐습니다. 유효 점프 수준(두 시드 10~20% 띠, v19c 두 시드 18.96%·v19b 29.17% 아래)은 이 가설의 대상이 아니며 "개선"이라고 적지 않습니다. 2. 지지의 범위(관측, 검정 아님). 지지 조건 1은 "20회차 연속"이라는 규칙 경계까지 5회차를 남기고 충족됐습니다. 15회차 급증은 v19d 붕괴와 같은 구간(2,87x 대 2,949~2,952회차)·같은 크기(200 이상)로 시작했다가 돌아온 것이어서, 이 결과가 말하는 것은 "−100 상한에서는 붕괴 성향이 가역적이었다(두 시드)"이지 "붕괴 성향이 없다"가 아닙니다. 붕괴가 확률적 사건이면(−300을 지난 열 실행 중 일곱 무붕괴) 0/2도 운과 완전히 가려지지 않고, −100 상한은 벌점 총량도 줄이므로 "단계 전환(급변)"과 "벌점 크기"는 아직 분리되지 않았습니다. 사전 등록 규칙은 사후에 바꾸지 않지만, 다음 계획서부터는 "10회차 연속 > 200"과 "25회차 블록 최대"를 보조 관측 항목으로 미리 등록해 가역 급증을 집계합니다. 3. 측정 메모 — 평가 곡선은 급증을 비껴갈 수 있습니다. 11월 9일 시드 43은 급증 지점(2,737회차)을 2,750회차 체크포인트가 저장해 평가 낙상 37.57%로 곡선에 나타났고, 오늘 시드 44는 급증(2,871~2,885회차)이 2,750과 3,000 사이에 있어 두 체크포인트 모두 낙상 0.78 / 0.65%입니다. 250회차 간격 평가만 보면 오늘이 더 안정적으로 보이지만 학습 로그는 반대입니다(단일 최대 290.9 대 125.9). 붕괴 판정은 학습 로그의 회차별 값으로 하고(사전 등록대로), 평가 낙상 열은 체크포인트 하나의 표본으로 읽어야 합니다. 같은 구성의 두 시드 간 체크포인트 차는 13개 지점에서 −5.73 ~ +7.81%p로 다섯 지점이 평가 재현 폭 4.17%p를 넘었습니다(10월 16일 v12 두 시드는 ≤ 4.10) — 이 구성에서는 체크포인트 단위 비교가 시드 차에 묻힙니다. 4. 바뀌지 않은 것. v12 기준선과 v19b·v19c·v19d의 두 시드 결과, 평가 재현 폭 4.17%p(앵커 49.54%, 11월 9일 50.26에서 −0.72), 게이트 지표의 창 밖 1/3 띠, 61차원 관측 계약, 기반 코드 고정 커밋. 11월 9일 기록의 "0 ×1,499 → −100 ×1,750" 표기는 경계 회차 1,499의 보간값 1회를 빠뜨린 것으로 오늘 정정했습니다(두 로그 동일, 판정·구성 영향 없음). 5. 다음에 바꿀 한 가지. −300 단계를 3,500회차로 늦춘 설계(낙상 벌점 0 → −100(1,500) → −100 유지 → −300(3,500), 새 태스크 id, 시드 43, 이틀 밤) — 계획서가 지지일 때의 첫 항으로 적어 둔 분기입니다. 첫 밤 3,250회차는 v19d100과 같은 로그가 나와야 하고(2,500~3,249회차 20회차 연속 > 200 없음; 있으면 "−100에서도 붕괴"가 먼저), 둘째 밤은 마지막 체크포인트에서 1,250회차 이상 이어 돌려 3,500회차의 전환을 지납니다(재개 시 커리큘럼 원점 복원 확인). 사전 등록 초안(둘째 밤): 3,500회차 뒤 600회차 안(v19·v19d 붕괴가 단계 전환 뒤 275~452회차)에 20회차 연속 > 200이 생기고 최종 낙상 ≥ 50%이면 "단계 전환이 붕괴를 유발"(지지), 4,499회차까지 연속 구간 없이 최종 낙상 ≤ 5%·유효 점프 ≥ 8%이면 반박(전환이 아니라 벌점 크기 또는 시간), 그 외 판단보류; 보조 관측으로 10회차 연속·25회차 블록 최대·전환 전후의 벌점 항과 행동 표준편차. 대안은 게이트 창을 1.5 → 2.0초로 늘린 v19e(창 밖 −0.4·벌점 상한 −100을 기본으로, 평가기 창도 2.0초), 대체안은 v19c 시드 45입니다.
실험 설정PPO · Mjlab-Jump-Stand-v19d100-MicroDuck(11월 9일 등록 그대로, 코드 변경 없음; v12 구성 + 보상 항 action_rate_l2_outside_window −0.8(점프 신호 창 1.5초 밖의 스텝에서만), 기본 항 −0.1 상수, 머리 명령 범위 ±0.07rad·머리 편향 벌점 0·무게중심 0.003·머리 무게중심 0.003 고정, 정점 배율 0.06, 기준 상태 초기화 60/25/15, 낙상 벌점 0 → −100(1,500회차) 고정) · 4,096개 환경 · 시드 44 · 3,250회차(회차당 2.35초, 00:08:01 → 02:17) · 초기 정책 무작위 초기화(불러오기 없음) · 평가 scripts/evaluate_jump.py(11월 2일 판, 게이트 열 포함) 512개 환경 × 1에피소드, 평가 시드 1000, 신호 1,536회, 제자리 조건(v12 평가 구성과 동일) · 체크포인트 15개 전량 재채점(앵커 1 + 새 14, 사후 최고값 선택 없음, 대표값 최종) · 결과 reports/jump_eval_v19d100s44_dense.csv, 보조 reports/jump_quality_20261110.csv; 대조군 reports/jump_eval_v19d100_dense.csv·jump_eval_v19ds44_dense.csv·jump_eval_v19d_dense.csv·jump_eval_v19s44_dense.csv·jump_eval_v19cs44_dense.csv·jump_eval_v12_dense.csv · 계획서 experiments/plans/20261110-v19d100-seed44.yaml · 보고서 experiments/reports/20261110-v19d100-seed44.md · 테스트 tests/test_v19d100_seed44.py(115개) · 학습 로그 logs/train_jump_stand_v19d100_s44.log, 실행 로그 logs/nightly_2026-11-10_run.log · 영상 생략 · 기반 코드 pollen-robotics/microduck_rl 고정 커밋(업스트림 무수정; 11월 10일 00:05 검색에서 11월 커밋 확인되지 않음) · 참고 arXiv 2606.18625(SLIP 피드포워드 + RL 점프, 시드 분산·벌점 단계 붕괴 보고 없음) · 실물 로봇 검증 없음.

2026-11-11

v19d300d 첫째 밤(이틀 밤 실험의 1/2): v19d 구성(창 안 −0.1 / 창 밖 −0.8)에서 낙상 벌점의 −300 단계를 2,500회차에서 3,500회차로 늦춘 새 태스크 id를 시드 43으로 3,250회차 학습했습니다(0 → −100(1,500) → −300(3,500), −500 없음). 첫째 밤은 전환 전이므로 11월 9일 v19d100 시드 43과 같은 일정이며, 사전 등록한 전제조건 — 2,500회차~최종에서 회차당 낙상 종료 > 200이 20회차 연속인 구간 없음 — 은 충족됐습니다(최장 17회차, 2,549~2,565회차, 최대 277.2 뒤 회복). 최종 유효 점프 12.50%·낙상 1.30%. 판정은 미완(둘째 밤 대기, 전제 충족)이며, 본 가설("−100 → −300 단계 전환이 붕괴를 유발한다")은 11월 12일 밤 3,500회차 전환을 지난 뒤 판정합니다. 시드 1회.

수행 내용11월 10일 기록이 다음으로 적어 둔 검정입니다. −300 단계를 없앤 v19d100은 두 시드 모두 급락형 붕괴가 없었지만(11월 9일·10일), 상한 −100은 "단계 전환이라는 급변"과 "벌점 총량"을 함께 바꾸므로 v19d 붕괴(세 실행 모두 2,500회차 −300 전환 뒤 275~452회차)가 전환 때문인지 −300 크기 때문인지 가려지지 않았습니다. 오늘은 같은 전환(−100 → −300)을 1,000회차 늦춘 3,500회차에 두는 새 태스크 id Mjlab-Jump-Stand-v19d300d-MicroDuck를 만들었습니다(make_jump_env_cfg(penalty_stages=…) 인자 추가, 그 외 v19d100 구성 그대로; 바꾼 것은 −300 단계의 위치 하나). 하룻밤 예산(약 3,250회차)으로는 3,500회차에 닿지 않으므로 첫째 밤은 3,250회차까지 학습해 체크포인트를 남기고, 둘째 밤에 같은 id로 이어 돌려 전환을 지납니다. 외부 조사(00:05): 벌점 단계의 전환 시점을 옮겨 붕괴 원인을 가르는 이족 점프 논문은 찾지 못했고(가장 가까운 arXiv 2507.01243 JumpER는 가이드 정책 → 학습 정책 전환을 점진적으로 annealing, 붕괴 서술 없음), 기반 코드 저장소의 11월 커밋은 확인되지 않았으며, 커뮤니티에 새 점프 정책은 없었습니다. 가설과 사전 등록 기준(experiments/plans/20261111-v19d300d-delayed-300.yaml, 00:00~00:22 등록, 사후 변경 없음). 첫째 밤은 전제조건만 판정합니다: 2,500회차~최종에서 회차당 낙상 종료 > 200이 20회차 연속인 구간이 없으면 "전제 충족 — 둘째 밤 진행", 있으면 "−100에서도 붕괴"로 적고 둘째 밤을 취소합니다. 본 가설은 둘째 밤에 판정합니다 — 지지("전환이 붕괴를 유발"): 3,500회차 전환 뒤 600회차 안에 20회차 연속 > 200이 생기고 최종 낙상 ≥ 50%; 반박("전환 자체는 원인이 아님"): 4,499회차(또는 최종)까지 연속 구간 없이 최종 낙상 ≤ 5%·유효 점프 ≥ 8%; 그 외 판단보류. 보조 관측으로 "10회차 연속 > 200"과 "25회차 블록 최대"를 미리 등록했고, 구간 평균은 기록만 하며 "개선"이라는 말은 쓰지 않습니다. 짧은 검증(64개 환경 × 5회차, 00:03)은 1차에 통과했고(seed=43, 불러오기 줄 없음, 벌점 가중치 0 ×5, 창 밖 항 음수 ×5, 구성 표에 −300 단계 84,000 스텝, NaN 0) CPU 테스트 132개가 통과했습니다. 본 학습은 00:11:38에 출발해 02:20에 정상 종료했습니다(3,250회차, 회차당 2.34초, 배포 트랙 프로세스 없음, GPU 582 MiB). 유효성 여덟 항목 모두 충족: seed=43, 불러오기 없음, Curriculum/fall_penalty_weight 0 ×1,499 → −100 ×1,750(경계 보간 1회), −300·−500 0회, 행동 변화율 가중치 −0.1 ×3,250, 창 밖 항 3,250회 기록·양수 0, 동결 네 항목과 정점 배율 고정, 회차 상한 3,250(3,500 전환이 첫째 밤에 없음). 둘째 밤 재개 정보(nightly/2026-11-11/resume_night2.txt): 실행 디렉터리 2026-11-11_00-11-54_jump_stand_v19d300d_s43, 체크포인트 model_3249.
관측 결과경과 회차별 유효 점프 비율(%). "v19d300d" 행이 오늘 실행(reports/jump_eval_v19d300d_dense.csv), v19d100 시드 43 행은 reports/jump_eval_v19d100_dense.csv(같은 시드·같은 일정 — 첫째 밤의 재현 대조군), v19d 시드 43 행은 reports/jump_eval_v19d_dense.csv(같은 시드, −300 전환 2,500회차). 굵은 칸이 기록 구간(1,500~3,000회차)입니다.
경과 회차2505007501,0001,2501,5001,7502,0002,2502,5002,7503,0003,249 (최종)
v19d300d 유효 점프 (%, 창 밖 −0.8, 벌점 0 → −100, −300은 3,500회차부터)0.331.896.258.9814.7114.060.0714.0011.9110.5514.847.5512.50
v19d300d 신호당 낙상률 (%)65.0451.5628.9716.603.582.0899.871.760.725.341.4339.061.30
v19d300d 체공 시간 (ms)28.026.228.530.934.831.640.032.530.129.633.029.034.6
v19d300d 평균 상승 높이 (cm)0.000.490.590.530.460.580.940.660.510.550.560.670.49
v19d100 시드 43 유효 점프 (%, 11월 9일, 같은 시드·같은 일정)0.334.752.027.688.332.6710.229.8313.7411.266.9013.9319.73
v19d100 시드 43 신호당 낙상률 (%)61.2027.4171.092.281.5629.230.460.520.330.7837.570.525.73
v19d300d − v19d100 시드 43 (%p, 같은 시드·같은 일정의 비결정성)0.00−2.86+4.23+1.30+6.38+11.39−10.15+4.17−1.83−0.71+7.94−6.38−7.23
v19d 시드 43 유효 점프 (%, 11월 4일, 같은 시드, −300 전환 2,500회차)1.564.177.558.402.4115.1012.8912.5715.1013.5419.470.07 (붕괴)0.00 (붕괴)
v19d 시드 43 신호당 낙상률 (%)58.0726.631.693.1265.100.781.3724.090.392.990.2099.93100.00
낙상 벌점 커리큘럼v19d300d 0 → −100(1,500) → −300(3,500, 둘째 밤) · v19d100 0 → −100(1,500) 고정 · v19d 0 → −100(1,500) → −300(2,500) → −500(3,500, 미도달)
전제조건: 학습 로그의 회차당 낙상 종료는 2,500~3,249회차에서 200을 넘은 회차가 17회(2,549~2,565 연속, 단일 최대 277.2 at 2,557) 있었으나 "20회차 연속" 구간은 0회(런처 판정 줄 "P1 met") → 전제 충족, 둘째 밤 진행. 규칙 경계까지 3회차였습니다(v19d100 시드 44 15회차, 시드 43 0회차). 최종 유효 점프 12.50%·낙상 1.30%(학습 불가 규칙 "최종 ≤ 2 또는 낙상 > 5"에 해당 없음). 평가 3,000회차 낙상 39.06%는 학습 로그 2,975~2,999회차 블록(평균 77.9, 단일 최대 108.1 — 200 미만)의 일시 급증을 체크포인트 하나가 저장한 것입니다. 구간 평균 10.43%(14.06 / 0.07 / 14.00 / 11.91 / 10.55 / 14.84 / 7.55; v19d100 시드 43 9.79, 시드 44 10.54 — 기록만), 마지막 4개 평균 11.36%. 앵커(v12 시드 43의 3,250회차를 오늘 id로 재채점) 48.83%(11월 10일 49.54, −0.71%p; 11월 9일 50.26) — 재현 폭 4.17 안. 학습 로그(logs/train_jump_stand_v19d300d_s43.log): 회차당 낙상 종료가 200을 넘은 연속 구간은 전체에서 12~69(초기), 1,332~1,349, 1,739~1,775(37회차 — 벌점 −100 시작 뒤 239회차, 체크포인트 1,750이 그 한가운데에 저장돼 평가 낙상 99.87%·유효 점프 0.07%, 2,000회차에서 14.00 / 1.76으로 회복), 2,143~2,173, 2,549~2,565의 다섯 개이고 2,500회차 뒤는 마지막 하나뿐입니다. 25회차 블록 평균(2,500회차~) 18.5 / 78.0 / 198.1(2,550~2,574) / 16.1 / 3.1 / 1.8 / … / 13.1 / 27.1 / 77.9(2,975~2,999) / 29.0 / 4.3 / 2.4 / … / 3.6; 회차별로 2,535회차 45.8에서 올라 2,549회차에 200을 넘고(205.4) 2,557회차 정점 277.2, 2,566회차에 200 아래(180.5), 2,580회차 22.0 — 약 45회차짜리 산입니다. 250회차 블록(2,500회차~) 32.4 / 15.1 / 5.4(v19d100 시드 43 18.8 / 4.3 / 10.7, 시드 44 2.7 / 32.0 / 3.4; v19d 시드 43 2.7 / 63.7 / 309.4). 낙상 벌점 항의 500회차 블록 평균 0 / 0 / 0 / −0.109 / −0.106 / −0.107 / −0.086(v19d100 시드 43 … −0.099 / −0.128) — −100 고정과 일치합니다. 행동 표준편차는 런처의 추출 블록이 빈 값이어서 이번에는 보고하지 않습니다(둘째 밤 런처에서 키를 고칩니다). 같은 시드·같은 일정인 v19d100 시드 43과의 체크포인트 차는 13개 지점에서 −10.15 ~ +11.39%p(평가 재현 폭 4.17%p를 넘는 지점 7개)로, 같은 시드도 GPU 비결정성으로 궤적이 다르다는 11월 9일 관측을 다시 확인했습니다. 구간 평균 차 +0.64%p는 그 폭 안입니다. 게이트 지표(11월 2일 추가, 판정 아님): 최종 체크포인트의 창 밖 행동 변화율 0.244(v12 두 시드 최종 대비 0.211; v19d100 시드 43 0.170 / 시드 44 0.236), 창 안 0.722(비 0.477). 급증 체크포인트 3,000은 창 밖 0.102 / 창 안 0.660으로 창 밖이 낮고 창 안이 높은 양상(v19d100 시드 43의 급증 체크포인트 2,750과 같은 방향). 보조 품질 측정(reports/jump_quality_20261111.csv): 최종 유효 점프 14.13%(프로브 재평가), 40ms/5mm 이상 1.89%(유효 점프의 13.4%), 체공 중앙값 20ms(p90 60), 상승 중앙값 3.94mm; 앵커 53.65 / 26.04(48.5%) / 40(120) / 6.71.
개선 사항1. 실험 변수와 측정된 효과. 바꾼 것은 낙상 벌점 −300 단계의 위치 하나(2,500 → 3,500회차)이고, 첫째 밤은 전환 전이므로 효과 자체는 아직 측정되지 않았습니다. 오늘 측정된 것은 전제조건입니다: −100 단계에서 3,250회차까지 20회차 연속 > 200인 구간이 없었으므로(최장 17회차) 둘째 밤의 전환 검정이 뜻을 갖습니다. 판정은 미완(둘째 밤 대기, 전제 충족)이며, 붕괴 집계(−300 단계 있음 3/10, 없음 0/2)는 바뀌지 않습니다 — 오늘 실행은 −300 전이어서 어느 쪽에도 넣지 않고, 둘째 밤 뒤 "있음" 쪽에 들어갑니다. "개선"이라고 적을 것은 없습니다. 2. 전제 충족의 범위(관측, 검정 아님). 전제는 규칙 경계(20회차)까지 3회차를 남기고 충족됐습니다. 17회차 급증(2,549~2,565회차)은 이 계열의 무붕괴 실행 중 가장 길고, v19d 붕괴(2,949~2,952회차)·v19d100 시드 44의 급증(2,871회차~)보다 300~400회차 이릅니다. 둘째 밤에 전환 뒤 붕괴가 나오더라도 "−100에서 이미 경계 근처였던 정책" 효과와 분리되지 않으므로, 둘째 밤 판정문에 이 사실을 병기합니다. 11월 10일 기록에서 미리 등록한 보조 관측("10회차 연속"·"25회차 블록 최대")이 이번에 처음 쓰였고 그 값은 17회차·198.1입니다. 3. 측정 메모 — 체크포인트 하나가 급증을 저장하면 평가 곡선이 크게 흔들립니다. 1,750회차 체크포인트(유효 점프 0.07%·낙상 99.87%)는 37회차 급증의 한가운데에 저장된 것이고 2,000회차에서는 14.00 / 1.76으로 돌아왔습니다. v19d100 시드 44도 같은 1,750회차에서 낙상 58.79%였습니다. 구간 평균 10.43%에는 이 0.07이 들어 있습니다(그 값을 빼면 12.15이지만 사후 선택이므로 판정에 쓰지 않습니다). 3,000회차의 낙상 39.06%도 같은 종류의 표본입니다. 11월 10일 메모대로 붕괴 판정은 학습 로그의 회차별 값으로 하고, 평가 낙상 열은 체크포인트 하나의 표본으로 읽습니다. 4. 바뀌지 않은 것. v12 기준선과 v19b·v19c·v19d·v19d100의 결과, 평가 재현 폭 4.17%p(앵커 48.83%, 11월 10일 49.54에서 −0.71), 게이트 지표의 창 밖 1/3 띠, 61차원 관측 계약, 기반 코드 고정 커밋. 기존 태스크 id의 동작은 바꾸지 않았습니다(새 인자는 기본값 없음·새 id에서만 사용, 테스트로 고정). 5. 다음에 바꿀 한 가지. 둘째 밤(11월 12일): 같은 id로 이어 학습 — 오늘의 model_3249 체크포인트에서 시드 43, 커리큘럼 원점을 다시 잡지 않고(복원된 스텝 78,000에서 계속) 1,250회차 이상 돌려 3,500회차(84,000 스텝)의 −100 → −300 전환을 지납니다. 런처가 첫 회차의 벌점 가중치 −100, 복원 스텝 78,000, 3,500회차부터 −300을 검사합니다. 판정은 사전 등록대로: 전환 뒤 600회차 안에 20회차 연속 > 200이 생기고 최종 낙상 ≥ 50%이면 지지("전환이 붕괴를 유발"), 4,499회차까지 연속 구간 없이 최종 낙상 ≤ 5%·유효 점프 ≥ 8%이면 반박, 그 외 판단보류(둘째 밤 회차 < 1,000 또는 재개 조건 불일치 포함). 보조 관측은 10회차 연속·25회차 블록 최대·전환 전후의 벌점 항과 행동 표준편차(추출 키 수정). 둘째 밤이 불가하면(GPU 점유, 짧은 검증 실패) v19e 게이트 창 2.0초, 대체안은 v19c 시드 45입니다.
실험 설정PPO · Mjlab-Jump-Stand-v19d300d-MicroDuck(11월 11일 신설; v19d100 구성 = v12 구성 + 보상 항 action_rate_l2_outside_window −0.8(점프 신호 창 1.5초 밖의 스텝에서만), 기본 항 −0.1 상수, 머리 명령 범위 ±0.07rad·머리 편향 벌점 0·무게중심 0.003·머리 무게중심 0.003 고정, 정점 배율 0.06, 기준 상태 초기화 60/25/15 + 낙상 벌점 0 → −100(1,500회차) → −300(3,500회차), −500 없음(make_jump_env_cfg(penalty_stages=((0, 0), (36000, −100), (84000, −300))))) · 4,096개 환경 · 시드 43 · 첫째 밤 3,250회차(회차당 2.34초, 00:11:38 → 02:20; 둘째 밤 이어 학습 예정) · 초기 정책 무작위 초기화(불러오기 없음) · 평가 scripts/evaluate_jump.py(11월 2일 판, 게이트 열 포함) 512개 환경 × 1에피소드, 평가 시드 1000, 신호 1,536회, 제자리 조건(v12 평가 구성과 동일) · 체크포인트 15개 전량 재채점(앵커 1 + 새 14, 사후 최고값 선택 없음, 대표값 최종) · 결과 reports/jump_eval_v19d300d_dense.csv, 보조 reports/jump_quality_20261111.csv; 대조군 reports/jump_eval_v19d100_dense.csv·jump_eval_v19d100s44_dense.csv·jump_eval_v19d_dense.csv · 계획서 experiments/plans/20261111-v19d300d-delayed-300.yaml · 보고서 experiments/reports/20261111-v19d300d-delayed-300.md · 테스트 tests/test_v19d300d_delayed_300.py(132개) · 학습 로그 logs/train_jump_stand_v19d300d_s43.log, 실행 로그 logs/nightly_2026-11-11_run.log · 둘째 밤 재개 정보 nightly/2026-11-11/resume_night2.txt · 영상 생략 · 기반 코드 pollen-robotics/microduck_rl 고정 커밋(업스트림 무수정; 11월 11일 00:05 검색에서 11월 커밋 확인되지 않음) · 참고 arXiv 2507.01243(JumpER: 가이드 → 학습 정책 전환의 점진 annealing, 벌점 단계 전환 실험 없음) · 실물 로봇 검증 없음.

2026-11-12

v19d300d 둘째 밤(이틀 밤 실험의 2/2): 11월 11일 실행의 3,249회차 체크포인트를 같은 태스크 id·시드 43으로 이어 학습해(3,249 → 6,498회차, 코드·구성 변경 없음) 3,499회차에서 낙상 벌점의 −100 → −300 전환을 처음 지났습니다. 전환 뒤 2,999회차 동안 학습 로그의 회차당 낙상 종료가 200을 넘은 회차는 0회(단일 최대 35.2)였고 최종 유효 점프 38.87%·낙상 0.33%로, 사전 등록한 반박 조건 세 개를 모두 채웠습니다. 판정은 반박 — "−100 → −300 단계 전환 자체는 붕괴를 유발하지 않는다". 같은 시드 43이 전환을 2,500회차에 둔 v19d에서는 2,952회차부터 붕괴했습니다. 시드 1회이며 붕괴가 확률적 현상이라 한 번의 무붕괴는 약한 증거입니다.

수행 내용11월 11일 기록이 다음으로 적어 둔 둘째 밤입니다. 첫째 밤은 전환 전 3,250회차까지 학습해 전제조건(2,500회차 뒤 20회차 연속 > 200 없음)을 채웠고, 오늘은 그 체크포인트(2026-11-11_00-11-54_jump_stand_v19d300d_s43/model_3249.pt)에서 같은 id Mjlab-Jump-Stand-v19d300d-MicroDuck·시드 43으로 이어 돌렸습니다. 바꾼 것은 없습니다(코드·구성 동일) — 새로 일어나는 유일한 사건은 사전 등록된 3,500회차(84,000 스텝)의 −100 → −300 전환입니다. 준비 중 정정 하나: 11월 11일 계획서는 이어 학습 때 커리큘럼 원점 변수를 "미설정"으로 적었는데, 실제 러너는 변수가 비어 있으면 원점을 복원 스텝(78,000)에 다시 놓아 벌점이 0부터 재시작합니다. 10월 9·12·13·15일과 같이 LAB_CURRICULUM_ORIGIN=0으로 두어야 단계가 이어지며, 런처가 이를 유효성 검사로 고정했습니다. 외부 조사(00:05): 벌점 단계 전환 시점을 옮겨 붕괴를 가르는 이족 점프 2026 논문은 찾지 못했고(JumpER 2507.01243, Cassie RSS 2023은 다단계 훈련만), 기반 코드 저장소 main의 최신 커밋은 8월 25일로 11월 커밋이 없었으며, 커뮤니티의 새 정책(nocrab/microduck-swing)은 그네 과제로 제자리 점프와 무관했습니다. 가설과 사전 등록 기준(experiments/plans/20261112-v19d300d-night2.yaml, 00:00~00:17 등록, 사후 변경 없음; 11월 11일 계획서의 둘째 밤 조건을 그대로 옮기고 두 가지만 숫자로 고정 — (a) "3,500~4,100 안"은 20회차 연속 구간의 시작 회차 기준, (b) 전환 전(−100 구간)에서 시작하는 붕괴는 "−100에서 붕괴"로 판단보류). 지지("전환이 붕괴를 유발"): 첫 −300 회차(SW, 예상 3,499)~4,100에서 시작하는 20회차 연속 > 200 구간이 있고 최종 낙상 ≥ 50%. 반박("전환 자체는 원인이 아님"): SW~최종(≥ 4,499)에서 그런 구간이 0회(전환 전도 0회)이고 최종 낙상 ≤ 5%·유효 점프 ≥ 8%. 그 외 판단보류(4,100 뒤 붕괴, 전환 전 붕괴, 낙상 5~50, 유효 점프 < 8, 둘째 밤 회차 < 1,000, 이어 학습 조건 불일치). 보조 관측(판정 아님): 10회차 연속·25회차 블록 최대·전환 전후 250회차 블록의 벌점 항과 행동 표준편차(추출 키를 오늘 고침)·게이트 지표. 구간 평균은 기록만, "개선"이라는 말은 쓰지 않습니다. 짧은 검증(64개 환경 × 5회차, 00:09)은 1차에 통과했고(seed=43, 원점 줄 "curriculum origin kept at 0 … common_step_counter=78000", Learning iteration 3249부터, 벌점 가중치 −100 ×4, NaN 0) CPU 테스트 92개가 통과했습니다. 본 학습은 00:15:53에 출발해 02:26에 정상 종료했습니다(3,250회차, 회차당 2.22초, 배포 트랙 프로세스 없음, GPU 464 MiB). 이어 학습·전환 유효성 열 항목 모두 충족: seed=43, 원점 줄 1개(복원 스텝 78,000), 첫 회차 3249/6499, 첫 체크포인트 3250, Curriculum/fall_penalty_weight −100 ×249 → 경계 보간 −108.3 ×1 → 3,499회차부터 −300 ×3,000, 0·−500 0회, 행동 변화율 가중치 −0.1 ×3,250, 창 밖 항 3,250회 기록·양수 0, 동결 네 항목과 정점 배율 고정, lab_tasks/ 변경 없음.
관측 결과경과 회차별 유효 점프 비율(%). "둘째 밤" 행이 오늘 실행(reports/jump_eval_v19d300d_n2_dense.csv), 3,249회차 열은 첫째 밤 최종(reports/jump_eval_v19d300d_dense.csv). 3,500회차 열이 전환 회차이고 3,750회차부터가 −300 구간입니다. 이 실행은 두 밤 합계 6,498회차이므로 3,249회차에서 끝난 v19d·v19d100·v12의 최종값과 직접 비교하지 않습니다(같은 경과 3,249의 값은 첫째 밤 12.50%).
경과 회차3,249 (첫째 밤)3,2503,500 (전환)3,7504,0004,2504,5004,7505,0005,2505,5005,7506,0006,2506,498 (최종)
v19d300d 둘째 밤 유효 점프 (%, 창 밖 −0.8, 벌점 −100 → −300은 3,499회차부터)12.5014.7112.7630.8625.3928.2630.0831.3237.8333.0728.3935.8739.5834.7038.87
신호당 낙상률 (%)1.301.8921.221.111.823.061.371.241.891.630.390.720.650.330.33
체공 시간 (ms)34.634.130.839.037.150.039.441.843.743.535.036.335.537.639.1
평균 상승 높이 (cm)0.490.500.560.580.570.670.710.770.660.911.270.710.720.880.94
최대 상승 높이 (cm)2.752.061.972.521.962.022.283.131.952.453.152.562.312.302.38
학습 로그 회차당 낙상 종료, 250회차 블록 평균(해당 열에서 시작)5.4 (2,999~3,248)9.55.112.17.68.07.75.77.65.13.83.02.32.2 (6,249~6,498)—
낙상 벌점 커리큘럼0 → −100(1,500회차) → −300(3,499회차, 오늘 전환), −500 없음 · 대조 v19d(같은 시드 43·44): −300 전환 2,500회차 → 2,952 / 2,949회차 붕괴(전환 뒤 452 / 449회차) · v19d100(−300 없음): 두 시드 무붕괴
판정 입력: 학습 로그(logs/train_jump_stand_v19d300d_s43_n2.log)에서 3,499회차 전환 뒤 6,498회차까지 회차당 낙상 종료가 200을 넘은 회차는 0회(3,249~6,498 전 구간 단일 최대 35.2; 첫째 밤 2,500회차 뒤 최대 277.2). 20회차 연속 구간 0회, 10회차 연속 구간 0회, 전환 전(3,249~3,498) 구간도 0회(런처 줄 "sustained 20 consecutive … none through iteration 6498"). 최종 6,498회차 유효 점프 38.87%·낙상 0.33%. 반박 조건 세 개 — 전환~최종(≥ 4,499) 연속 구간 0회, 최종 낙상 ≤ 5%, 유효 점프 ≥ 8% — 모두 충족. 지지 조건(전환~4,100 시작 연속 구간·최종 낙상 ≥ 50%) 둘 다 미충족. 학습 불가 규칙(최종 ≤ 2 또는 낙상 > 5) 해당 없음. 앵커(v12 시드 43의 3,250회차를 오늘 id로 재채점) 49.41%(11월 11일 48.83, +0.58%p; 재현 폭 4.17 안). 전환 뒤 12개 평균 32.85%·마지막 4개 37.26%는 기록만입니다(판정 입력 아님; 최고값은 6,000회차의 39.58이며 대표값은 최종). 전환 주변의 25회차 블록(3,399회차~): 7.8 / 10.5 / 19.9 / 30.6(3,474~3,498, 전환 직전 — 이 밤의 최대) / 14.0(3,499~3,523, 첫 −300 블록) / 4.1 / 3.5 / 3.7 / 3.7 / 4.1 / 4.2 / 4.3. 전환 직후 블록이 직전 블록보다 낮습니다. 평가 3,500회차의 낙상 21.22%는 전환 전의 이 급증(200 미만)을 체크포인트 하나가 저장한 표본이고 3,750회차에서 1.11%로 돌아왔습니다 — 11월 10·11일 메모대로 붕괴 판정은 학습 로그의 회차별 값으로 합니다. 이어 학습 연속성: 전환 전 250회차 블록 9.5는 첫째 밤 마지막 블록 5.4·마지막 51회차 평균 3.3과 같은 자릿수이고(계획서 기준 < 50 → "이어 학습 불연속 없음"), 재개 1회차 뒤 체크포인트 3,250의 14.71%는 첫째 밤 3,249의 12.50%와 2.21%p 차(재현 폭 안)입니다. 낙상 벌점 항의 250회차 블록 평균은 −0.113(전환 전, −100) → −0.297 / −0.389 / −0.351 / … / −0.190으로 가중치 3배에 낙상 감소가 겹쳐 2.6~3.5배가 됐습니다. 행동 표준편차(오늘 추출 키 수정) 250회차 블록 0.635 → 0.684 → 0.741 → … → 0.828로 단조 상승해 v19d 붕괴 블록 수준(0.79~0.81)을 넘고도 붕괴가 없었으므로, 표준편차 수준 자체는 붕괴 지표가 아닙니다(관측). 500회차 블록의 학습 체공 평균 0.051 → 0.031, 정점 높이 0.0063 → 0.0077, 평균 에피소드 길이 460 → 700, 평균 보상 −22 → −63(벌점 항 증가). 게이트 지표(11월 2일 추가, 판정 아님): 창 밖 행동 변화율 비(v12 두 시드 기준) 3,250회차 0.222(첫째 밤 최종 0.211과 연속) → 3,500 0.169 → 4,000 0.251 → 6,000 0.260 → 최종 0.268; 창 안 비 0.489 → 0.682 → 0.990 → 1.560 → 최종 1.063. 창 밖 비는 v19d 계열 띠(0.17~0.24) 근처에 머물고 창 안 비는 두 배 이상 올랐습니다(창 안 동작이 커짐; 계획서가 "누출 없음"으로 둔 0.80~1.25 띠 안). 앵커 1.042 / 1.049. 보조 품질 측정(reports/jump_quality_20261112.csv): 최종 유효 점프 42.32%(프로브 재평가), 40ms/5mm 이상 19.79%(유효 점프의 46.8%), 체공 중앙값 40ms(p90 80), 상승 중앙값 10.31mm; 첫째 밤 최종 14.13 / 1.89(13.4%) / 20(60) / 3.94; 앵커 54.75 / 28.19(51.5%) / 40(120) / 6.71.
개선 사항1. 실험 변수와 측정된 효과. 이틀 밤 실험의 변수는 낙상 벌점 −300 단계의 위치 하나(v19d 2,500회차 → v19d300d 3,500회차)였고, 오늘 그 효과가 측정됐습니다: 같은 구성·같은 시드 43에서 −300을 2,500회차에 두면 전환 뒤 452회차에 되돌아오지 않는 붕괴(v19d, 시드 44도 449회차), 3,500회차에 두면 전환 뒤 2,999회차 동안 200을 넘는 회차조차 없었습니다. 판정은 반박 — "−100 → −300 전환이라는 급변 자체가 붕괴를 만든다"는 설명은 이 실행으로 기각됩니다. 남는 후보는 "−300이 2,500회차(−100 1,000회차 뒤, 덜 성숙한 정책)에 도착하는 것", 즉 벌점 크기와 훈련 나이의 결합, 또는 확률적 붕괴(2,500회차 전환 10회 중 3회)가 이 시드에서 우연히 나지 않은 것입니다. 붕괴 집계는 −300 at 2,500 있음 3/10, −300 at 3,500 0/1(신설), −300 없음 0/2가 됐습니다. "개선"이라고 적을 것은 없습니다 — 최종 38.87%는 6,498회차의 값이고, 3,249회차 실행들과의 비교는 예산이 두 배라 하지 않습니다. 2. 반박의 범위(정직한 단서). 시드 1회이며 재현성 주장을 할 수 없습니다. 붕괴는 확률적 현상(3/10)이므로 한 번의 무붕괴는 "전환은 원인이 아님"의 강한 증거가 아닙니다. 이 한 번을 뜻있게 만드는 것은 같은 시드 43이 v19d에서는 붕괴했다는 사실뿐이고, 시드 44를 반복해 "0/2 대 2/2"가 되어야 시드 분산 위에서 적을 수 있습니다. 또 전환을 늦춘 것은 "−100으로 1,000회차 더 훈련됨"과 분리되지 않으므로 반박의 뜻은 "전환 시점과 무관한 급변 효과는 없다"까지이며, "2,500회차의 미성숙 정책 × −300" 가설은 살아 있습니다. 이어 학습(옵티마이저·정규화 통계 복원)은 전환과 250회차 간격으로 겹치지만 전환 전 블록이 첫째 밤과 연속이어서 영향은 작다고 서술합니다. 3. 측정 메모. (a) 이어 학습 때 커리큘럼 원점 변수는 반드시 0으로 둬야 단계가 이어집니다(11월 11일 계획서의 "미설정" 표기는 틀렸고 오늘 정정·런처 검사에 고정). (b) 행동 표준편차 추출 키를 'Mean action std:'로 고쳐 처음 보고했으며, 그 값은 붕괴 없이도 0.83까지 오르므로 11월 5일에 적은 "붕괴 블록 0.79~0.81"은 붕괴의 지표로 쓸 수 없습니다. (c) 3,500회차 체크포인트의 낙상 21.22%는 전환 전 급증의 표본이라 전환 효과로 읽으면 안 됩니다. (d) 학습 로그의 체공 평균(0.056 → 0.031)과 평가 체공 시간(34.6 → 39.1ms)은 다른 양(전자는 신호 없는 스텝 포함)이라 방향이 다릅니다. 4. 바뀌지 않은 것. v12 기준선과 v19b·v19c·v19d·v19d100의 결과, 평가 재현 폭 4.17%p(앵커 49.41%), 게이트 지표의 창 밖 띠, 61차원 관측 계약, 기반 코드 고정 커밋, 태스크 id의 동작(코드·구성 변경 없음). 5. 다음에 바꿀 한 가지. v19d300d 시드 44(이틀 밤) — 같은 id, 코드 변경 없이 시드만 44로 첫째 밤 3,250회차(전제: 2,500회차 뒤 20회차 연속 > 200 없음), 둘째 밤 3,249회차 체크포인트에서 원점 0으로 이어 학습 1,250회차 이상. 판정 조건은 11월 11·12일 계획서 그대로(완화 없음). 같은 시드 쌍(43·44)이 v19d에서 2/2 붕괴였으므로 v19d300d가 0/2이면 "전환 시점 2,500 대 3,500"의 효과를 시드 분산 위에서 적을 수 있습니다. 그 뒤 "미성숙 정책 × −300" 검정으로 −300을 2,500회차에 두되 −100을 500회차부터 시작하는 변형(0 / −100(500) / −300(2,500), 새 id), 그 뒤 v19e 게이트 창 2.0초. 대체안은 v19c 시드 45입니다.
실험 설정PPO · Mjlab-Jump-Stand-v19d300d-MicroDuck(11월 11일 신설, 오늘 변경 없음; v19d100 구성 = v12 구성 + 보상 항 action_rate_l2_outside_window −0.8(점프 신호 창 1.5초 밖), 기본 항 −0.1 상수, 머리 명령 범위 ±0.07rad·머리 편향 벌점 0·무게중심 0.003·머리 무게중심 0.003 고정, 정점 배율 0.06, 기준 상태 초기화 60/25/15 + 낙상 벌점 0 → −100(1,500회차) → −300(3,500회차), −500 없음) · 4,096개 환경 · 시드 43 · 둘째 밤 3,250회차(회차당 2.22초, 00:15:53 → 02:26; 두 밤 합계 6,498회차) · 초기 정책 = 첫째 밤 model_3249(LOAD_RUN=2026-11-11_00-11-54_jump_stand_v19d300d_s43, LAB_CURRICULUM_ORIGIN=0, LabJumpRunner, 복원 스텝 78,000) · 평가 scripts/evaluate_jump.py(11월 2일 판, 게이트 열 포함) 512개 환경 × 1에피소드, 평가 시드 1000, 신호 1,536회, 제자리 조건 · 체크포인트 15개 전량 재채점(앵커 1 + 새 14, 사후 최고값 선택 없음, 대표값 최종) · 결과 reports/jump_eval_v19d300d_n2_dense.csv, 보조 reports/jump_quality_20261112.csv; 대조군 reports/jump_eval_v19d300d_dense.csv(첫째 밤)·jump_eval_v19d_dense.csv·jump_eval_v19d100_dense.csv·jump_eval_v19d100s44_dense.csv · 계획서 experiments/plans/20261112-v19d300d-night2.yaml · 보고서 experiments/reports/20261112-v19d300d-night2.md · 테스트 tests/test_v19d300d_night2.py(92개) · 학습 로그 logs/train_jump_stand_v19d300d_s43_n2.log, 실행 로그 logs/nightly_2026-11-12_run.log · 영상 생략 · 기반 코드 pollen-robotics/microduck_rl 고정 커밋(업스트림 무수정; 11월 12일 00:05 확인 main 최신 커밋 8월 25일) · 참고 arXiv 2507.01243(JumpER, 다단계 커리큘럼) · 실물 로봇 검증 없음.

2026-11-13

v19d300d 시드 44 첫째 밤(이틀 밤 실험의 1/2): 11월 11일에 만든 전환 지연 구성(낙상 벌점 0 → −100(1,500회차) → −300(3,500회차))을 코드 변경 없이 시드만 43 → 44로 바꿔 3,250회차 학습했습니다. 첫째 밤은 전환 전이며, 사전 등록한 전제조건 — 2,500회차~최종에서 회차당 낙상 종료 > 200이 20회차 연속인 구간 없음 — 은 충족됐습니다(200을 넘은 회차 자체가 0회, 단일 최대 25.2). 최종 유효 점프 16.28%·낙상 3.06%. 판정은 미완(둘째 밤 대기, 전제 충족)이며, 본 가설("−100 → −300 단계 전환이 붕괴를 유발한다")은 다음 밤 3,500회차 전환을 지난 뒤 판정합니다. 시드 1회.

수행 내용11월 12일 기록이 다음으로 적어 둔 검정입니다. 시드 43에서는 −300 전환을 3,500회차로 늦추면 전환 뒤 2,999회차 동안 붕괴가 없었지만(11월 12일 반박 판정) 그것은 한 번의 실행이고, 붕괴는 확률적 현상(2,500회차 전환 10회 중 3회)입니다. 시드 쌍 43·44는 전환을 2,500회차에 둔 v19d에서 둘 다 붕괴했으므로(2,952 / 2,949회차), 같은 id Mjlab-Jump-Stand-v19d300d-MicroDuck를 시드 44로 반복해 "0/2 대 2/2"가 되는지 봅니다. 바꾼 것은 시드 하나이고 코드·구성은 그대로입니다. 하룻밤 예산으로는 3,500회차에 닿지 않으므로 오늘은 3,250회차까지 학습해 체크포인트를 남겼고, 다음 밤에 이어 돌려 전환을 지납니다. 외부 조사(00:05): 벌점 단계의 전환 시점으로 붕괴를 가르는 이족 점프 논문은 이번에도 찾지 못했고(arXiv 2603.07999는 검색 요약만 확인 — 이족 여부와 붕괴 서술은 확인되지 않았습니다), 기반 코드 저장소 main의 최신 커밋은 8월 25일(문서·라이선스)이며, 커뮤니티의 새 정책은 그네 과제뿐이었습니다. 가설과 사전 등록 기준(experiments/plans/20261113-v19d300d-seed44.yaml, 00:00~00:35 등록, 사후 변경 없음; 11월 11일 계획서의 숫자를 그대로 옮김). 첫째 밤은 전제조건만 판정합니다: 2,500회차~최종(≥ 3,000)에서 회차당 낙상 종료 > 200이 20회차 연속인 구간이 없으면 "전제 충족 — 둘째 밤 진행", 있으면 "−100에서도 붕괴(시드 44)"로 적고 둘째 밤을 취소합니다. 본 가설은 둘째 밤에 판정합니다 — 지지("전환이 붕괴를 유발"): 3,500~4,100회차에서 20회차 연속 > 200이 생기고 최종 낙상 ≥ 50%; 반박: 전환~최종(≥ 4,499)까지 연속 구간 없이 최종 낙상 ≤ 5%·유효 점프 ≥ 8%; 그 외 판단보류. 구간 평균·마지막 4개 평균은 기록만 하며 "개선"이라는 말은 쓰지 않습니다. 짧은 검증(64개 환경 × 5회차, 00:01)은 1차에 통과했고(seed=44, 불러오기 줄 없음, 벌점 가중치 0 ×5, 창 밖 항 음수 ×5, NaN 0) CPU 테스트 87개가 통과했습니다. 본 학습은 00:06:11에 출발해 02:22에 정상 종료했습니다(3,250회차, 회차당 2.48초, 배포 트랙 프로세스 없음, GPU 705 MiB). 유효성 항목 충족: seed=44, 불러오기 없음, Curriculum/fall_penalty_weight 0 ×1,499 → −100 ×1,750, −300·−500 0회, 행동 변화율 가중치 −0.1 ×3,250, 창 밖 항 3,250회 기록·양수 0, 동결 네 항목과 정점 배율 고정(각 3,250/3,250), 추적 중인 코드 파일 변경 없음. 둘째 밤 재개 정보(nightly/2026-11-13/resume_night2.txt): 실행 디렉터리 2026-11-13_00-06-11_jump_stand_v19d300d_s44, 체크포인트 model_3249.
관측 결과경과 회차별 유효 점프 비율(%). "시드 44" 행이 오늘 실행(reports/jump_eval_v19d300ds44_dense.csv), 시드 43 행은 11월 11일 첫째 밤(reports/jump_eval_v19d300d_dense.csv), v19d100 시드 44 행은 reports/jump_eval_v19d100s44_dense.csv(같은 시드·3,499회차까지 같은 일정). 0회차(학습 전 정책)는 세 실행 모두 유효 점프 0.00%·낙상 100.00%입니다. 굵은 칸이 기록 구간(1,500~3,000회차)입니다.
경과 회차2505007501,0001,2501,5001,7502,0002,2502,5002,7503,0003,249 (최종)
v19d300d 시드 44 유효 점프 (%, 창 밖 −0.8, 벌점 0 → −100, −300은 3,500회차부터)0.520.913.589.0511.6512.1113.4812.3011.3915.6218.6217.6416.28
시드 44 신호당 낙상률 (%)61.2057.5541.8022.204.691.896.900.3320.250.651.6317.193.06
시드 44 체공 시간 (ms)27.528.626.531.933.933.830.236.130.133.634.636.037.0
시드 44 평균 상승 높이 (cm)0.000.220.580.440.540.560.520.450.430.490.640.610.60
v19d300d 시드 43 유효 점프 (%, 11월 11일 첫째 밤)0.331.896.258.9814.7114.060.0714.0011.9110.5514.847.5512.50
시드 44 − 시드 43 (%p)+0.19−0.98−2.67+0.07−3.06−1.95+13.41−1.70−0.52+5.07+3.78+10.09+3.78
v19d100 시드 44 유효 점프 (%, 11월 10일, 같은 시드·같은 일정)0.201.764.566.779.1810.484.4915.4911.788.0713.1510.2914.19
시드 44 − v19d100 시드 44 (%p, 같은 시드·같은 일정의 비결정성)+0.32−0.85−0.98+2.28+2.47+1.63+8.99−3.19−0.39+7.55+5.47+7.35+2.09
낙상 벌점 커리큘럼v19d300d 0 → −100(1,500) → −300(3,500, 둘째 밤) · v19d100 0 → −100(1,500) 고정 · 대조 v19d 시드 44: −300 전환 2,500회차 → 2,949회차 붕괴
전제조건: 학습 로그(logs/train_jump_stand_v19d300d_s44.log)의 회차당 낙상 종료는 2,500~3,249회차에서 200을 넘은 회차가 0회(단일 최대 25.2 at 2,618; 런처 판정 줄 "P1 met", 10회차 연속 최장 0, 25회차 블록 최대 21.7(2,600~2,624)) → 전제 충족, 둘째 밤 진행. 시드 43 첫째 밤은 같은 구간에 17회차 연속(최대 277.2), v19d100 시드 44는 15회차 연속(최대 290.9)이 있었습니다. 최종 유효 점프 16.28%·낙상 3.06%(학습 불가 규칙 "최종 ≤ 2 또는 낙상 > 5"에 해당 없음). 구간 평균 14.45%(12.11 / 13.48 / 12.30 / 11.39 / 15.62 / 18.62 / 17.64; 시드 43 10.43, v19d100 시드 44 10.54 — 기록만), 마지막 4개 평균 17.04%(11.36 / 11.43). 대표값은 최종이며 최고값은 2,750회차의 18.62입니다. 앵커(v12 시드 43의 3,250회차를 오늘 id로 재채점) 51.11%(11월 12일 49.41, +1.70%p; 11월 11일 48.83) — 재현 폭 4.17 안. 학습 로그 전체에서 200을 넘은 연속 구간은 1회차, 14~64회차(초기), 1,810~1,821회차(12회차 — 벌점 −100 시작 뒤 310회차)의 세 개입니다. 250회차 블록 평균 107.0 / 20.2 / 20.7 / 18.8 / 17.9 / 17.8 / 3.2 / 31.4 / 21.9 / 3.2 / 11.0 / 9.9 / 7.8(2,500회차부터 11.0 / 9.9 / 7.8; 시드 43 32.4 / 15.1 / 5.4). 평가 낙상이 높은 체크포인트가 둘 있습니다: 2,250회차 20.25%는 학습 로그 2,225회차 114.4에서 2,250회차 9.3으로 내려오던 200 미만 급증의 끝자락이고, 3,000회차 17.19%는 학습 로그 2,960~3,000회차가 14.6~19.2로 급증이 없어 원인이 확인되지 않았습니다(평가의 신호당 낙상률과 학습 로그의 회차당 종료 수는 다른 양입니다). 최종 3,249회차는 3.06%입니다. 낙상 벌점 항의 500회차 블록 평균 0 / 0 / 0 / −0.102 / −0.100 / −0.129 / −0.119 — −100 고정과 일치. 행동 표준편차 500회차 블록 0.511 / 0.536 / 0.534 / 0.578 / 0.600 / 0.632 / 0.629(11월 12일 둘째 밤 첫 블록 0.635). 게이트 지표(판정 아님): 최종 체크포인트의 창 밖 행동 변화율 0.236(v12 두 시드 최종 대비 0.204; 시드 43 첫째 밤 0.211, v19d100 시드 44 0.236), 창 안 비 0.544; 3,000회차 0.157 / 0.704; 앵커 1.019 / 1.061. 보조 품질 측정(reports/jump_quality_20261113.csv): 최종 유효 점프 18.42%(프로브 재평가), 40ms/5mm 이상 4.62%(유효 점프의 25.1%), 체공 중앙값 20ms(p90 60), 상승 중앙값 5.93mm; 앵커 54.82 / 28.58(52.1%) / 40(120) / 6.60.
개선 사항1. 실험 변수와 측정된 효과. 바꾼 것은 시드 하나(43 → 44)이고, 첫째 밤은 전환 전이므로 전환의 효과는 아직 측정되지 않았습니다. 오늘 측정된 것은 전제조건입니다: −100 단계에서 3,250회차까지 20회차 연속 > 200인 구간이 없었으므로(200을 넘은 회차 0회) 둘째 밤의 전환 검정이 뜻을 갖습니다. 판정은 미완(둘째 밤 대기, 전제 충족)이며, 붕괴 집계(−300 at 2,500 3/10, at 3,500 0/1, 없음 0/2)는 바뀌지 않습니다 — 오늘 실행은 −300 전이어서 둘째 밤 뒤 "at 3,500" 쪽에 들어갑니다. "개선"이라고 적을 것은 없습니다. 2. 수치 차이의 범위(관측, 검정 아님). 구간 평균 14.45%·마지막 4개 17.04%는 시드 43 첫째 밤(10.43 / 11.36)과 v19d100 시드 44(10.54 / 11.43)보다 3.9~5.7%p 높지만, 계획서가 기록만 하기로 한 값입니다. 같은 시드·같은 일정인 v19d100 시드 44와의 체크포인트 차가 13개 지점에서 −3.19 ~ +8.99%p(재현 폭 4.17%p를 넘는 지점 4개)이므로 시드 효과와 GPU 비결정성은 분리되지 않았습니다. 시드 43의 구간 평균에는 급증 표본 0.07(1,750회차)이 들어 있습니다. 2,500회차 뒤 급증이 없었다는 것도 "이 실행에서 관측되지 않음"까지입니다 — 같은 시드의 v19d100 실행에는 15회차 급증이 있었습니다. 3. 측정 메모. 3,000회차 체크포인트의 평가 낙상 17.19%는 학습 로그의 같은 구간(2,960~3,000회차 14.6~19.2)에 급증이 없습니다. 11월 11일 3,000회차(39.06%)·11월 12일 3,500회차(21.22%)의 높은 평가 낙상은 학습 로그의 200 미만 급증 구간에 저장된 표본으로 적었는데, 오늘 값은 그 설명에 들어맞지 않습니다. 원인은 확인되지 않았고, 붕괴 판정은 계속 학습 로그의 회차별 값으로 합니다. 4. 바뀌지 않은 것. v12 기준선과 v19b·v19c·v19d·v19d100·v19d300d 시드 43의 결과, 평가 재현 폭 4.17%p(앵커 51.11%), 61차원 관측 계약, 기반 코드 고정 커밋, 태스크 id의 동작(코드·구성 변경 없음). 5. 다음에 바꿀 한 가지. 둘째 밤: 같은 id로 이어 학습 — 오늘의 model_3249 체크포인트에서 시드 44, 커리큘럼 원점 0(복원 스텝 78,000에서 계속)으로 1,250회차 이상 돌려 3,499회차의 −100 → −300 전환을 지납니다. 런처 검사는 11월 12일과 같습니다(원점 줄 1개, 첫 회차 벌점 가중치 −100, 첫 −300 회차 3,499). 판정은 사전 등록대로이며 완화하지 않습니다. 반박이면 "지연 전환 무붕괴 2/2(시드 43·44)", 지지이면 "시드 의존 1/2 — 11월 12일 반박은 재현되지 않음"으로 적습니다. 둘째 밤이 불가하면 대체안은 v19c 시드 45입니다.
실험 설정PPO · Mjlab-Jump-Stand-v19d300d-MicroDuck(11월 11일 신설, 오늘 변경 없음; v12 구성 + 보상 항 action_rate_l2_outside_window −0.8(점프 신호 창 1.5초 밖), 기본 항 −0.1 상수, 머리 명령 범위 ±0.07rad·머리 편향 벌점 0·무게중심 0.003·머리 무게중심 0.003 고정, 정점 배율 0.06, 기준 상태 초기화 + 낙상 벌점 0 → −100(1,500회차) → −300(3,500회차), −500 없음) · 4,096개 환경 · 시드 44 · 첫째 밤 3,250회차(회차당 2.48초, 00:06:11 → 02:22; 둘째 밤 이어 학습 예정) · 초기 정책 무작위 초기화(불러오기 없음) · 평가 scripts/evaluate_jump.py(게이트 열 포함) 512개 환경 × 1에피소드, 평가 시드 1000, 신호 1,536회, 제자리 조건 · 체크포인트 15개 전량 재채점(앵커 1 + 새 14, 사후 최고값 선택 없음, 대표값 최종) · 결과 reports/jump_eval_v19d300ds44_dense.csv, 보조 reports/jump_quality_20261113.csv; 대조군 reports/jump_eval_v19d300d_dense.csv·jump_eval_v19d100s44_dense.csv·jump_eval_v19ds44_dense.csv · 계획서 experiments/plans/20261113-v19d300d-seed44.yaml · 보고서 experiments/reports/20261113-v19d300d-seed44.md · 테스트 tests/test_v19d300d_seed44.py(87개) · 학습 로그 logs/train_jump_stand_v19d300d_s44.log, 실행 로그 logs/nightly_2026-11-13_run.log · 둘째 밤 재개 정보 nightly/2026-11-13/resume_night2.txt · 영상 생략 · 기반 코드 pollen-robotics/microduck_rl 고정 커밋(업스트림 무수정; 11월 13일 00:05 확인 main 최신 커밋 8월 25일) · 참고 arXiv 2603.07999(검색 요약만 확인) · 실물 로봇 검증 없음.

2026-11-14

v19d300d 시드 44 둘째 밤(이틀 밤 실험의 2/2): 11월 13일 실행의 3,249회차 체크포인트를 같은 태스크 id·시드 44로 이어 학습해(3,249 → 6,498회차, 코드·구성 변경 없음) 3,499회차에서 낙상 벌점의 −100 → −300 전환을 지났습니다. 전환 뒤 6,498회차까지 학습 로그의 회차당 낙상 종료가 200을 넘은 회차는 0회(단일 최대 18.5)였고 최종 유효 점프 27.41%·낙상 1.04%로, 사전 등록한 반박 조건 세 개를 모두 채웠습니다. 판정은 반박 — "−100 → −300 단계 전환 자체는 붕괴를 유발하지 않는다". 시드 43(11월 12일)에 이어 두 번째 반박이므로 사전에 고정한 문구대로 "v19d300d 두 시드 0/2 붕괴, 같은 시드 쌍의 v19d는 2/2 붕괴 — 전환 자체는 붕괴의 충분조건이 아니다(두 시드)"로 적습니다. 오늘 실행 자체는 시드 1회입니다. 평가 곡선은 단조가 아니어서 4,500회차 40.36%까지 오른 뒤 5,250회차 20.25%로 내려왔고, 최종값은 시드 43의 같은 지점(38.87%)보다 11.46%p 낮습니다(기록만, 원인은 분리되지 않았습니다).

수행 내용11월 13일 기록이 다음으로 적어 둔 둘째 밤입니다. 첫째 밤은 전환 전 3,250회차까지 학습해 전제조건(2,500회차 뒤 20회차 연속 > 200 없음)을 채웠고, 오늘은 그 체크포인트(2026-11-13_00-06-11_jump_stand_v19d300d_s44/model_3249.pt)에서 같은 id Mjlab-Jump-Stand-v19d300d-MicroDuck·시드 44·커리큘럼 원점 0(LAB_CURRICULUM_ORIGIN=0)으로 이어 돌렸습니다. 11월 12일 둘째 밤(시드 43) 대비 바꾼 것은 시드 하나이고 코드·구성은 같습니다 — 새로 일어나는 사건은 사전 등록된 3,500회차(84,000 스텝)의 −100 → −300 전환입니다. 근거: 전환을 2,500회차에 둔 v19d는 시드 43·44 모두 전환 뒤 452 / 449회차에 붕괴했고(11월 4·5일), 전환을 3,500회차로 늦춘 v19d300d 시드 43은 전환 뒤 붕괴가 없었지만(11월 12일 반박) 그것은 한 번의 실행이었습니다. 외부 조사(00:01): 벌점 단계 전환 시점으로 붕괴를 가르는 이족 점프 논문은 검색되지 않았고(Cassie 2302.09450 / 2401.16889는 다단계 훈련, 사족 2401.16337은 무참조 커리큘럼), 기반 코드 저장소 main의 최신 커밋 8개는 모두 8월 25일이었으며, 커뮤니티의 호핑 정책(witcheer/microduck-hop, 시뮬레이션 전용·작성자 보고 15회 중 14회)에는 벌점 일정 자료가 없었습니다. 가설과 사전 등록 기준(experiments/plans/20261114-v19d300d-seed44-night2.yaml, 학습 전 등록, 사후 변경 없음; 11월 12일 계획서의 숫자를 그대로 옮김). 지지("전환이 붕괴를 유발"): 첫 −300 회차(SW, 예상 3,499)~4,100에서 시작하는 20회차 연속 > 200 구간이 있고 최종 낙상 ≥ 50%. 반박("전환 자체는 원인이 아님"): SW~최종(≥ 4,499)에서 그런 구간이 0회(전환 전도 0회)이고 최종 낙상 ≤ 5%·유효 점프 ≥ 8%. 그 외 판단보류(4,100 뒤 붕괴, 전환 전 붕괴, 최종 낙상 5~50, 유효 점프 < 8, 둘째 밤 회차 < 1,000, 이어 학습 조건 불일치). 두 시드 문구도 미리 고정했습니다: 오늘 반박이면 "두 시드 0/2 붕괴 대 v19d 같은 시드 쌍 2/2 — 전환 자체는 붕괴의 충분조건이 아니다", 지지이면 "시드 의존(1/2)". 보조 관측(판정 아님): 10회차 연속·25회차 블록 최대·전환 전후 250회차 블록의 벌점 항과 행동 표준편차·게이트 지표. 전환 뒤 평균·마지막 4개·시드 43과의 차는 기록만이며 "개선"이라는 말은 쓰지 않습니다. 짧은 검증(64개 환경 × 5회차, 00:01)은 1차에 통과했고(seed=44, 원점 줄 "curriculum origin kept at 0 … common_step_counter=78000", Learning iteration 3249부터, 벌점 가중치 −87.5 ×1(복원 전후 스텝 평균) + −100 ×4, NaN 0) CPU 테스트 98개가 통과했습니다. 본 학습은 00:06:05에 출발해 02:20에 정상 종료했습니다(3,250회차, 회차당 평균 2.44초, 배포 트랙 프로세스 없음, GPU 588 MiB). 이어 학습·전환 유효성 열 항목 모두 충족: seed=44, 원점 줄 1개(복원 스텝 78,000), 첫 회차 3249/6499, 첫 체크포인트 3250, Curriculum/fall_penalty_weight −100 ×249(첫 줄부터 −100) → 경계 보간 −108.3 ×1(3,498회차) → 3,499회차부터 −300 ×3,000, 0·−500 0회, 행동 변화율 가중치 −0.1 ×3,250, 창 밖 항 3,250회 기록·양수 0, 동결 네 항목과 정점 배율 고정, lab_tasks/ 추적 파일 변경 없음.
관측 결과경과 회차별 유효 점프 비율(%). "시드 44 둘째 밤" 행이 오늘 실행(reports/jump_eval_v19d300ds44_n2_dense.csv), 3,249회차 열은 첫째 밤 최종(reports/jump_eval_v19d300ds44_dense.csv), 시드 43 행은 11월 12일 둘째 밤(reports/jump_eval_v19d300d_n2_dense.csv)의 같은 경과 지점입니다. 3,500회차 열이 전환 회차이고 3,750회차부터가 −300 구간입니다. 두 실행 모두 두 밤 합계 6,498회차이므로 3,249회차에서 끝난 v19d·v19d100·v12의 최종값과 직접 비교하지 않습니다(같은 경과 3,249의 값은 첫째 밤 16.28%).
경과 회차3,249 (첫째 밤)3,2503,500 (전환)3,7504,0004,2504,5004,7505,0005,2505,5005,7506,0006,2506,498 (최종)
v19d300d 시드 44 둘째 밤 유효 점프 (%, 창 밖 −0.8, 벌점 −100 → −300은 3,499회차부터)16.2818.7515.7620.0533.5937.1740.3632.1024.4120.2526.0428.1927.1527.5427.41
시드 44 신호당 낙상률 (%)3.062.992.150.596.322.026.970.590.520.590.460.910.851.241.04
시드 44 체공 시간 (ms)37.034.236.341.144.048.045.037.636.534.333.336.933.233.738.1
시드 44 평균 상승 높이 (cm)0.600.610.650.720.810.821.130.921.090.890.730.770.560.740.69
시드 44 최대 상승 높이 (cm)2.232.052.892.282.083.493.132.752.643.602.302.552.053.322.09
시드 44 학습 로그 회차당 낙상 종료, 250회차 블록 평균(해당 열에서 시작)7.8 (첫째 밤 마지막 블록)5.34.57.312.89.97.95.63.95.63.22.83.33.5 (6,249~6,498)—
v19d300d 시드 43 둘째 밤 유효 점프 (%, 11월 12일)12.5014.7112.7630.8625.3928.2630.0831.3237.8333.0728.3935.8739.5834.7038.87
시드 43 신호당 낙상률 (%)1.301.8921.221.111.823.061.371.241.891.630.390.720.650.330.33
낙상 벌점 커리큘럼0 → −100(1,500회차) → −300(3,499회차, 오늘 전환), −500 없음 · 대조 v19d(같은 시드 43·44): −300 전환 2,500회차 → 2,952 / 2,949회차 붕괴(전환 뒤 452 / 449회차) · v19d100(−300 없음): 두 시드 무붕괴
판정 입력: 학습 로그(logs/train_jump_stand_v19d300d_s44_n2.log)에서 3,499회차 전환 뒤 6,498회차까지 회차당 낙상 종료가 200을 넘은 회차는 0회(단일 최대 18.5 at 4,064; 100 초과 0회, 50 초과 0회; 전환 전 3,249~3,498 최대 13.8). 20회차 연속 구간 0회, 10회차 연속 구간 0회, 전환 전 구간도 0회(런처 줄 "sustained 20 consecutive … none through iteration 6498"). 최종 6,498회차 유효 점프 27.41%·낙상 1.04%. 반박 조건 세 개 — 전환~최종(≥ 4,499) 연속 구간 0회, 최종 낙상 ≤ 5%, 유효 점프 ≥ 8% — 모두 충족. 지지 조건(전환~4,100 시작 연속 구간·최종 낙상 ≥ 50%) 둘 다 미충족. 학습 불가 규칙(최종 ≤ 2 또는 최종 낙상 > 5) 해당 없음. 앵커(v12 시드 43의 3,250회차를 오늘 id로 재채점) 50.13%(11월 13일 51.11, −0.98%p; 재현 폭 4.17 안). 전환 뒤 12개 평균 28.69%·마지막 4개 27.57%는 기록만입니다(판정 입력 아님; 최고값은 4,500회차의 40.36이며 대표값은 최종). 전환 주변의 25회차 블록(3,399회차~): 4.1 / 4.0 / 5.3 / 6.0(3,474~3,498, 전환 직전) / 5.3(3,499~3,523, 첫 −300 블록) / 3.8 / 3.4 / 3.8 / 3.9 / 4.6 / 4.8 / 5.3 — 전환 직전·직후에 급증이 없습니다(시드 43은 전환 직전 블록 30.6). 이 밤의 25회차 블록 최대는 16.3(4,074~4,098), 250회차 블록 최대는 12.8(3,999~4,248)로 전환 뒤 500~1,000회차 구간에 있고, 평가 낙상이 5%를 넘은 두 체크포인트(4,000회차 6.32%, 4,500회차 6.97%)도 같은 구간입니다. 4,750회차부터 평가 낙상은 1.24% 이하입니다. 이어 학습 연속성: 전환 전 250회차 블록 5.3은 첫째 밤 마지막 블록 7.8·마지막 51회차 평균 8.7과 연속이고(계획서 기준 < 50 → "이어 학습 불연속 없음"), 재개 1회차 뒤 체크포인트 3,250의 18.75%는 첫째 밤 3,249의 16.28%와 2.47%p 차(재현 폭 안)입니다. 낙상 벌점 항의 250회차 블록 평균은 −0.102(전환 전, −100) → −0.292 / −0.346 / −0.394 / … / −0.238. 행동 표준편차 250회차 블록 0.624 → 0.700 → 0.747 → … → 0.833으로 시드 43(0.635 → 0.828)과 같은 상승이 붕괴 없이 나타났습니다. 500회차 블록의 학습 체공 평균 0.051 → 0.057 → 0.054 → 0.045 → 0.040 → 0.031 → 0.030, 정점 높이 0.0064 → 0.0102(4,249~4,748) → 0.0078, 평균 보상 −24 → −57. 평가 곡선의 모양: 유효 점프는 3,750회차 20.05% → 4,500회차 40.36%로 오른 뒤 5,250회차 20.25%로 내려왔고, 마지막 네 체크포인트는 27.15~28.19%에 머뭅니다. 시드 43 둘째 밤과의 차(시드 44 − 시드 43)는 4,000~4,500회차에서 +8.20 / +8.91 / +10.28%p, 5,000회차부터 −13.42 / −12.82 / −2.35 / −7.68 / −12.43 / −7.16 / −11.46%p입니다. 재현 폭 4.17%p를 넘는 차이지만 시드 효과와 GPU 비결정성은 분리되지 않았고, 계획서대로 판정에 쓰지 않습니다. 게이트 지표(판정 아님): 창 밖 행동 변화율 비(v12 두 시드 기준) 3,250회차 0.207(첫째 밤 최종 0.204와 연속) → 4,500 0.225 → 5,000 0.144 → 최종 0.254; 창 안 비 0.618 → 4,000 1.163 → 4,500 1.563 → 5,000 1.422 → 5,500 1.558 → 6,000 0.973 → 최종 1.040. 창 안 비는 4,500~5,500회차에서 계획서가 "누출 없음"으로 둔 0.80~1.25 띠를 위로 벗어났다가 최종에 띠 안으로 돌아왔습니다. 앵커 1.040 / 1.052. 보조 품질 측정(reports/jump_quality_20261114.csv): 최종 유효 점프 31.71%(프로브 재평가), 40ms/5mm 이상 10.55%(유효 점프의 33.3%), 체공 중앙값 20ms(p90 60), 상승 중앙값 7.18mm; 시드 43 둘째 밤 최종 42.32 / 19.79(46.8%) / 40(80) / 10.31; 앵커 53.78 / 27.54(51.2%) / 40(120) / 6.53.
개선 사항1. 실험 변수와 측정된 효과. 오늘 바꾼 것은 시드 하나(43 → 44)이고, 묻는 것은 "−300 단계를 3,500회차로 늦춘 구성에서 전환이 붕괴를 일으키는가"였습니다. 측정된 것: 같은 구성·같은 시드 44에서 −300을 2,500회차에 두면 전환 뒤 449회차에 되돌아오지 않는 붕괴(v19d, 11월 5일), 3,500회차에 두면 전환 뒤 6,498회차까지 200을 넘는 회차가 없었습니다(단일 최대 18.5). 판정은 반박이고, 시드 43과 합쳐 사전 고정 문구대로 "v19d300d 두 시드 0/2 붕괴, 같은 시드 쌍의 v19d는 2/2 붕괴 — 전환 자체는 붕괴의 충분조건이 아니다(두 시드)"입니다. 붕괴 집계는 −300 at 2,500 3/10, −300 at 3,500 0/2, −300 없음 0/2가 됐습니다. "개선"이라고 적을 것은 없습니다 — 판정 규칙은 붕괴 여부만 묻고, 최종 27.41%는 6,498회차의 값이라 3,249회차 실행들과 비교하지 않습니다. 2. 반박의 범위(정직한 단서). 오늘 실행은 시드 1회이고 두 시드 집계도 n=2입니다. 붕괴가 확률적 현상(2,500회차 전환 10회 중 3회)이면 0/2도 운과 완전히 분리되지 않습니다. 또 전환을 늦춘 것은 "−100으로 1,000회차 더 훈련됨"과 분리되지 않으므로 반박의 뜻은 "전환 시점과 무관한 급변 효과는 없다"까지이며, "2,500회차의 덜 성숙한 정책 × −300" 가설은 검정되지 않았습니다. 이어 학습(옵티마이저·정규화 통계 복원)은 전환과 250회차 간격으로 겹치지만 전환 전 블록이 첫째 밤과 연속이었습니다. 3. 판정 밖의 관측. (a) 무붕괴라는 판정은 두 시드에서 같았지만 전환 뒤의 평가 곡선은 달랐습니다: 시드 43은 6,498회차 38.87%까지 오르내리며 올라갔고, 시드 44는 4,500회차 40.36% 뒤 20.25%까지 내려와 27.41%로 끝났습니다. 원인은 확인되지 않았습니다. (b) 전환 뒤 500~1,000회차 구간에서 평가 낙상이 두 번 5%를 넘었습니다(6.32%, 6.97%). 학습 로그의 같은 구간 블록 평균은 12.8로 붕괴 기준 200과 거리가 멀고 이후 내려갔습니다. (c) 행동 표준편차는 두 시드 모두 0.83까지 올랐고 붕괴가 없었으므로, 표준편차 수준이 붕괴 지표가 아니라는 11월 12일 관측이 두 번째 시드에서도 같았습니다. (d) 창 안 행동 변화율 비가 4,500~5,500회차에 1.42~1.56으로 v12 기준을 넘었습니다(시드 43도 6,000회차 1.560) — 유효 점프가 가장 높았던 구간과 겹치지만 인과는 분리되지 않았습니다. 4. 바뀌지 않은 것. v12 기준선과 v19b·v19c·v19d·v19d100·v19d300d 시드 43의 결과, 평가 재현 폭 4.17%p(앵커 50.13%), 61차원 관측 계약, 기반 코드 고정 커밋, 태스크 id의 동작(코드·구성 변경 없음). 5. 다음에 바꿀 한 가지. "덜 성숙한 정책 × −300" 변형 — 낙상 벌점 단계를 0 → −100(500회차) → −300(2,500회차)으로 둔 새 태스크 id를 시드 43·무작위 초기화·3,250회차 하룻밤으로 학습합니다. v19d(−100 기간 1,000회차, −300 도착 2,500회차, 2/2 붕괴)와 v19d300d(−100 기간 2,000회차, −300 도착 3,500회차, 0/2 붕괴)는 두 값이 함께 달라 분리되지 않았습니다. 변형은 −300 도착을 v19d와 같은 2,500회차에 두고 −100 기간만 2,000회차로 늘립니다. 판정 숫자는 11월 9일 규칙 그대로(2,500회차~최종 20회차 연속 > 200 없음·최종 낙상 ≤ 5%·유효 점프 ≥ 8%이면 무붕괴, 연속 구간 발생 또는 최종 낙상 ≥ 50%이면 붕괴). −100이 낙상이 많은 500회차 구간에 걸리는 부작용을 보기 위해 1,500회차 체크포인트를 v19d 시드 43과 나란히 기록합니다. 그 뒤 v19e 게이트 창 2.0초, 대체안은 v19c 시드 45입니다.
실험 설정PPO · Mjlab-Jump-Stand-v19d300d-MicroDuck(11월 11일 신설, 오늘 변경 없음; v12 구성 + 보상 항 action_rate_l2_outside_window −0.8(점프 신호 창 1.5초 밖), 기본 항 −0.1 상수, 머리 명령 범위 ±0.07rad·머리 편향 벌점 0·무게중심 0.003·머리 무게중심 0.003 고정, 정점 배율 0.06, 기준 상태 초기화 60/25/15 + 낙상 벌점 0 → −100(1,500회차) → −300(3,500회차), −500 없음) · 4,096개 환경 · 시드 44 · 둘째 밤 3,250회차(회차당 평균 2.44초, 00:06:05 → 02:20; 두 밤 합계 6,498회차) · 초기 정책 = 첫째 밤 model_3249(LOAD_RUN=2026-11-13_00-06-11_jump_stand_v19d300d_s44, LAB_CURRICULUM_ORIGIN=0, LabJumpRunner, 복원 스텝 78,000) · 평가 scripts/evaluate_jump.py(11월 2일 판, 게이트 열 포함) 512개 환경 × 1에피소드, 평가 시드 1000, 신호 1,536회, 제자리 조건 · 체크포인트 15개 전량 재채점(앵커 1 + 새 14, 사후 최고값 선택 없음, 대표값 최종) · 결과 reports/jump_eval_v19d300ds44_n2_dense.csv, 보조 reports/jump_quality_20261114.csv; 대조군 reports/jump_eval_v19d300ds44_dense.csv(첫째 밤)·jump_eval_v19d300d_n2_dense.csv(시드 43 둘째 밤)·jump_eval_v19d_dense.csv · 계획서 experiments/plans/20261114-v19d300d-seed44-night2.yaml · 보고서 experiments/reports/20261114-v19d300d-seed44-night2.md · 테스트 tests/test_v19d300d_seed44_night2.py(98개) · 학습 로그 logs/train_jump_stand_v19d300d_s44_n2.log, 실행 로그 logs/nightly_2026-11-14_run.log · 영상 생략 · 기반 코드 pollen-robotics/microduck_rl 고정 커밋(업스트림 무수정; 11월 14일 00:01 확인 main 최신 커밋 8월 25일) · 참고 arXiv 2401.16337(사족 점프 무참조 커리큘럼), witcheer/microduck-hop(커뮤니티 호핑 정책, 시뮬레이션 전용) · 실물 로봇 검증 없음.

2026-11-15

v19d300e: v19d 구성에서 낙상 벌점 −100 단계의 시작만 1,500 → 500회차로 앞당겼습니다(−300 도착은 v19d와 같은 2,500회차, −300 전 −100 기간 1,000 → 2,000회차; 새 태스크 id, 시드 43, 무작위 초기화, 3,250회차). 학습 로그의 회차당 낙상 종료는 −300 도착 뒤 2,957회차까지 200을 넘지 않다가 2,958회차부터 최종 3,249회차까지 292회차 연속으로 200을 넘었고, 최종 유효 점프 0.00%·낙상 100.00%로 끝났습니다. 사전 등록한 붕괴 쪽 조건 두 개를 모두 채웠으므로 판정은 반박 — "−300 전에 −100으로 훈련된 기간이 붕괴를 가른다"는 이 실행에서 성립하지 않았습니다(학습 불가 기록 포함). 같은 시드의 v19d는 2,952회차, 시드 44의 v19d는 2,949회차에 붕괴했습니다. 시드 1회입니다.

수행 내용11월 14일 기록이 다음으로 적어 둔 "덜 성숙한 정책 × −300" 변형입니다. 근거: −300을 2,500회차에 둔 v19d는 시드 43·44 모두 붕괴했고(11월 4·5일, 2/2), −300을 3,500회차로 늦춘 v19d300d는 두 시드 모두 붕괴가 없었습니다(11월 12·14일, 0/2). 그러나 두 구성은 (a) −300 도착 회차(2,500 대 3,500)와 (b) −300 전에 −100으로 훈련된 기간(1,000 대 2,000회차)이 함께 달랐습니다. 오늘은 도착 회차를 v19d와 같은 2,500회차에 두고 −100 기간만 2,000회차로 늘렸습니다. 바꾼 것은 −100 단계의 시작 회차 하나이며(penalty_stages=((0, 0.0), (12000, -100.0), (60000, -300.0)), 새 id Mjlab-Jump-Stand-v19d300e-MicroDuck), 창 안 −0.1 / 창 밖 −0.8, 동결 네 항목, 정점 배율, 기준 상태 초기화, 시드, 환경 수, 평가기는 v19d와 같습니다. 기존 태스크 id는 바꾸지 않았습니다. 외부 조사(00:01): 벌점 단계의 시작 시점·기간으로 붕괴 원인을 가르는 이족 점프 자료는 검색되지 않았고(Cassie 2302.09450은 다단계 훈련, 사족 2401.16337은 3단계 커리큘럼), 기반 코드 저장소 main의 최신 커밋 5개는 모두 8월 25일이었으며, 커뮤니티 호핑 정책(witcheer/microduck-hop, 시뮬레이션 전용)에는 벌점 일정 자료가 없었습니다. 가설과 사전 등록 기준(experiments/plans/20261115-v19d300e-early-100.yaml, 학습 전 등록, 사후 변경 없음; 숫자는 11월 9일 계획서 그대로). 무붕괴 쪽("−100 기간이 붕괴를 가른다"): 학습 로그 2,500회차~최종에서 회차당 낙상 종료 > 200이 20회차 연속인 구간 0회, 평가 3,000회차·최종 낙상 모두 ≤ 5%, 최종 유효 점프 ≥ 8%. 붕괴 쪽("−100 기간을 늘려도 2,500회차 도착 −300에서 붕괴한다"): 20회차 연속 구간 발생 또는 최종 낙상 ≥ 50%. 그 외 판단보류. 학습 불가 기록: 최종 유효 점프 ≤ 2% 또는 최종 낙상 > 5%. 구간 평균은 판정에 쓰지 않고 "개선"이라는 말은 쓰지 않는다고 미리 적었습니다. 보조 관측(판정 아님): −100이 낙상이 많은 500회차 구간에 걸리는 부작용을 보기 위해 500~1,500회차 체크포인트를 v19d 시드 43과 나란히 기록. 짧은 검증(64개 환경 × 5회차)은 1차에 통과했고(seed=43, 벌점 가중치 0 ×5, NaN 0, 환경 설정에 12,000 / 60,000 스텝 단계 확인) CPU 테스트 99개가 통과했습니다. 본 학습은 00:08:16에 출발해 02:23에 정상 종료했습니다(3,250회차, 회차당 평균 2.44초, 배포 트랙 프로세스 없음, GPU 695 MiB). 유효성 항목 모두 충족: seed=43, 이어 학습 없음(0회차부터), Curriculum/fall_penalty_weight 0 ×499 → 경계 보간 −4.2 ×1(499회차) → −100 ×1,999 → 경계 보간 −108.3 ×1(2,499회차) → 2,500회차부터 −300 ×750, −500 0회, 행동 변화율 가중치 −0.1 ×3,250, 창 밖 항 3,250회 기록·양수 0, 동결 네 항목과 정점 배율 고정.
관측 결과경과 회차별 유효 점프 비율(%). 첫 행이 오늘 실행(reports/jump_eval_v19d300e_dense.csv), 대조 행은 같은 시드 43의 v19d(11월 4일, reports/jump_eval_v19d_dense.csv; −100은 1,500회차부터, −300은 같은 2,500회차부터)입니다. 0회차 열은 무작위 초기화 뒤 학습 전 정책입니다. 두 실행 모두 3,250회차로, 6,000회차였던 v5~v9와는 직접 비교하지 않습니다.
경과 회차0 (초기)2505007501,0001,2501,5001,7502,0002,2502,5002,7503,0003,249 (최종)
v19d300e 유효 점프 (%, 창 밖 −0.8, 벌점 0 → −100(500회차) → −300(2,500회차))0.070.854.825.217.4214.5815.691.3718.9522.6617.6424.610.130.00
v19d300e 신호당 낙상률 (%)99.8759.7734.9635.6124.150.780.8580.730.911.959.440.3399.80100.00
v19d300e 체공 시간 (ms)20.029.236.227.527.031.131.023.832.735.739.638.330.00.0
v19d300e 평균 상승 높이 (cm)0.000.150.570.550.500.430.480.620.620.610.620.600.000.00
v19d300e 최대 상승 높이 (cm)0.000.971.771.361.073.224.392.382.813.422.235.300.000.00
v19d300e 학습 로그 회차당 낙상 종료, 250회차 블록 평균(해당 열에서 시작)112.121.130.27.529.732.220.48.415.416.13.356.2252.6 (3,000~3,249)—
v19d 시드 43 유효 점프 (%, 11월 4일; −100은 1,500회차부터)0.001.564.177.558.402.4115.1012.8912.5715.1013.5419.470.070.00
v19d 시드 43 신호당 낙상률 (%)99.9358.0726.631.693.1265.100.781.3724.090.392.990.2099.93100.00
v19d300e − v19d 시드 43 (%p)+0.07−0.71+0.65−2.34−0.98+12.17+0.59−11.52+6.38+7.56+4.10+5.14+0.060.00
낙상 벌점 커리큘럼오늘: 0 → −100(500회차) → −300(2,500회차), −500 없음 · v19d: 0 → −100(1,500회차) → −300(2,500회차) → −500(3,500회차, 3,250회차 예산 밖) · v19d300d(−300 도착 3,499회차): 두 시드 무붕괴 · v19d100(−300 없음): 두 시드 무붕괴
판정 입력: 학습 로그(logs/train_jump_stand_v19d300e_s43.log)에서 회차당 낙상 종료 > 200이 20회차 연속인 구간은 2,500회차 뒤에 하나이며 2,958회차에서 시작해 최종 3,249회차까지 292회차 이어졌습니다(런처 줄 "sustained 20 consecutive iterations (from iteration 2,500): YES"; 런처의 "logged line 2959"는 1부터 센 줄 번호로 회차 2,958입니다). 2,500~2,957회차에는 200을 넘은 회차가 0회입니다(2,500~2,749회차 단일 최대 10.5). 평가 3,000회차 유효 점프 0.13%·낙상 99.80%, 최종 3,249회차 유효 점프 0.00%·낙상 100.00%(마지막 회차의 평균 에피소드 길이 13.84스텝). 붕괴 쪽 조건 두 개(연속 구간 발생, 최종 낙상 ≥ 50%) 모두 충족, 무붕괴 쪽 조건 세 개 모두 미충족, 학습 불가 기록 해당. 판단보류 조건(3,000회차 미만, 미채점, 유효성 위반, −300 도착 전 붕괴) 해당 없음 — 2,500회차 이전의 20회차 연속 구간은 학습 초기의 11~63회차 하나뿐입니다. 앵커(v12 시드 43의 3,250회차를 오늘 id로 재채점) 47.53%(11월 14일 50.13, −2.60%p; 재현 폭 4.17 안). 경과 1,500~3,000회차 평균 14.44%·마지막 4개 10.60%·붕괴 전 6개(1,500~2,750) 평균 16.82%는 기록만입니다(v19d 시드 43 12.68 / 8.27 / 14.78; 대표값은 최종). 붕괴의 모양: −300 도착 뒤 25회차 블록 평균은 5.7 / 2.8 / 2.6 / 2.5 / 2.6 / 3.0 / 3.5 / 3.3 / 3.4 / 3.8 / 4.5 / 5.1 / 6.0 / 6.7 / 8.8(2,850~) / 13.5 / 27.1(2,900~) / 78.3(2,925~) / 201.1(2,950~) / 211.0 / … / 297.9(3,225~)입니다. 도착 직후에는 급증이 없고 2,850회차 부근부터 늘기 시작해 되돌아오지 않았습니다. 같은 방법으로 다시 센 v19d 시드 43은 2,952회차(298회차 연속), 시드 44는 2,949회차(301회차 연속)에서 시작했으므로, −300 도착 뒤 지연은 오늘 458회차, v19d 452 / 449회차입니다. 낙상 벌점 항의 250회차 블록 평균은 −100 구간 −0.094 ~ −0.140, 2,500회차부터 −0.249 / −0.383 / −0.399. 행동 표준편차의 25회차 블록 평균은 2,500회차 0.554 → 2,875회차 0.780으로 붕괴 전에 올랐습니다(v19d300d 둘째 밤 두 시드는 0.83까지 오르고 붕괴가 없었으므로 이 상승만으로는 붕괴 지표가 아닙니다). 초기 구간(판정 아님): −100이 500회차부터 걸린 오늘 실행의 평가 낙상은 500 / 750 / 1,000회차에서 34.96 / 35.61 / 24.15%로, 벌점이 아직 0이던 v19d 시드 43의 같은 지점 26.63 / 1.69 / 3.12%보다 높았습니다. 1,250회차에는 0.78%로 내려갔고(v19d 시드 43의 1,250회차 65.10%는 일시 급증 표본), 1,500회차 체크포인트는 15.69% / 0.85%로 v19d 시드 43의 15.10% / 0.78%와 0.59%p 차(재현 폭 안)입니다. 2,000~2,750회차의 유효 점프는 v19d 시드 43보다 4.10~7.56%p 높았지만 시드 1회이고 같은 시드라도 GPU 비결정성으로 궤적이 달라지므로 기록만 합니다. 1,750회차의 낙상 80.73%(유효 점프 1.37%)는 일시 급증 표본으로, 학습 로그 1,500~1,999회차에 20회차 연속 > 200 구간은 없고(단일 최대 180.7) 2,000회차 체크포인트는 낙상 0.91%입니다. 원인은 확인되지 않았습니다. 게이트 지표(판정 아님): 창 밖 행동 변화율 비 / 창 안 비는 1,500회차 0.189 / 0.301, 2,750회차 0.256 / 0.591이고 3,000회차·최종은 붕괴 뒤라 해석하지 않습니다. 보조 품질 측정(reports/jump_quality_20261115.csv): 최종 0.00%; 앵커 54.88%, 40ms/5mm 이상 28.26%.
개선 사항1. 실험 변수와 측정된 효과. 바꾼 것은 −100 단계의 시작 회차 하나(1,500 → 500)이고, 묻는 것은 "−300이 2,500회차에 도착하기 전에 −100으로 2,000회차 훈련돼 있으면 v19d의 붕괴가 사라지는가"였습니다. 측정된 것: 사라지지 않았습니다. 같은 시드 43에서 −100 기간 1,000회차(v19d)는 2,952회차, 2,000회차(오늘)는 2,958회차에 붕괴가 시작됐고 두 실행 모두 최종 유효 점프 0.00%·낙상 100.00%입니다. 판정은 반박(붕괴 쪽 조건 충족)이며 "개선"이라고 적을 것은 없습니다. 이 결과로 v19d300d의 무붕괴(0/2)를 "−100으로 2,000회차 훈련됐기 때문"으로 설명할 수 없게 됐고, 남는 차이는 −300 도착 회차(2,500 대 3,499) 또는 그 시점에 묶인 다른 것입니다. 붕괴 집계는 −300 at 2,500 4/11(창 밖 −0.8 구성만 세면 3/3), −300 at 3,500 0/2, −300 없음 0/2가 됐습니다. 2. 판정의 범위(정직한 단서). 시드 1회입니다. 붕괴가 확률적 현상이면 한 번의 붕괴는 운과 완전히 분리되지 않습니다. −100을 500회차로 앞당기면 "−100 기간 2,000회차"와 "낙상이 많은 초기 구간에 벌점이 걸림"이 함께 바뀌므로, 이른 벌점이 만든 초기 정책의 차이가 붕괴에 기여했는지는 분리되지 않았습니다(1,500회차 체크포인트는 v19d와 재현 폭 안에서 같았습니다). 관찰 창은 −300 도착 뒤 749회차뿐입니다. 3. 판정 밖의 관측. 창 밖 −0.8 구성에서 −300을 2,500회차에 둔 세 실행의 붕괴 시작은 2,949 / 2,952 / 2,958회차로 9회차 폭 안에 있습니다. 이것이 "−300 도착 뒤 약 450회차"인지 "절대 회차 약 2,950"인지는 세 실행 모두 도착이 2,500회차라 분리되지 않았습니다. −300 도착이 3,499회차인 v19d300d는 2,950회차 부근(−100 단계)에서도, 도착 뒤 450회차(약 3,950회차)에서도 붕괴하지 않았습니다(두 시드). 2,950회차 부근에 무엇이 있는지는 확인되지 않았습니다. 4. 바뀌지 않은 것. v12 기준선과 v19b·v19c·v19d·v19d100·v19d300d의 결과, 평가 재현 폭 4.17%p(앵커 47.53%), 61차원 관측 계약, 기반 코드 고정 커밋, 기존 태스크 id의 동작(새 id와 상수만 추가). 5. 다음에 바꿀 한 가지. −300 도착 회차 2,500 → 2,000 변형 — 오늘 구성에서 −300 도착만 2,000회차로 옮긴 새 태스크 id를 시드 43·무작위 초기화·3,250회차 하룻밤으로 학습합니다. "도착 뒤 지연"이면 약 2,450회차, "절대 회차"이면 약 2,950회차의 붕괴를 예측하고 둘 다 하룻밤 예산 안에서 관찰됩니다. 사전 등록 초안: 20회차 연속 > 200의 첫 구간 시작이 2,300~2,600회차이면 "도착 뒤 지연", 2,850~3,050회차이면 "절대 회차", 2,000회차~최종 0회이고 평가 3,000회차·최종 낙상 ≤ 5%·유효 점프 ≥ 8%이면 무붕괴, 그 외 판단보류. 오늘 계획서가 붕괴 시 후보로 적어 둔 "도착 3,000회차 변형"은 지연 450회차를 가정하면 붕괴 예상 시점(약 3,450회차)이 하룻밤 예산 밖이어서 방향을 반대로 잡았습니다. 대안은 같은 id의 시드 44(붕괴 재현 확인), 그 뒤 v19e 게이트 창 2.0초, 대체안은 v19c 시드 45입니다.
실험 설정PPO · Mjlab-Jump-Stand-v19d300e-MicroDuck(11월 15일 신설; v12 구성 + 보상 항 action_rate_l2_outside_window −0.8(점프 신호 창 1.5초 밖), 기본 항 −0.1 상수, 머리 명령 범위 ±0.07rad·머리 편향 벌점 0·무게중심 0.003·머리 무게중심 0.003 고정, 정점 배율 0.06, 기준 상태 초기화 60/25/15 + 낙상 벌점 0 → −100(500회차) → −300(2,500회차), −500 없음) · 4,096개 환경 · 시드 43 · 3,250회차(회차당 평균 2.44초, 00:08:16 → 02:23; v5~v9 6,000회차의 절반 수준) · 초기 정책 = 무작위 초기화(이어 학습 없음, LabJumpRunner) · 평가 scripts/evaluate_jump.py(11월 2일 판, 게이트 열 포함) 512개 환경 × 1에피소드, 평가 시드 1000, 신호 1,536회, 제자리 조건 · 체크포인트 15개 전량 재채점(앵커 1 + 새 14, 사후 최고값 선택 없음, 대표값 최종) · 결과 reports/jump_eval_v19d300e_dense.csv, 보조 reports/jump_quality_20261115.csv; 대조군 reports/jump_eval_v19d_dense.csv(v19d 시드 43)·jump_eval_v19d300d_dense.csv·jump_eval_v19d100_dense.csv · 계획서 experiments/plans/20261115-v19d300e-early-100.yaml · 보고서 experiments/reports/20261115-v19d300e-early-100.md · 테스트 tests/test_v19d300e_early_100.py(99개) · 학습 로그 logs/train_jump_stand_v19d300e_s43.log(v19d 재집계는 logs/train_jump_stand_v19d_s43.log·_s44.log), 실행 로그 logs/nightly_2026-11-15_run.log · 영상 생략 · 기반 코드 pollen-robotics/microduck_rl 고정 커밋(업스트림 무수정; 11월 15일 00:01 확인 main 최신 커밋 8월 25일) · 참고 arXiv 2302.09450(Cassie 점프, 다단계 훈련), arXiv 2401.16337(사족 점프 커리큘럼), witcheer/microduck-hop(커뮤니티 호핑 정책, 시뮬레이션 전용) · 실물 로봇 검증 없음.

2026-11-16

v19d300f: 11월 15일 구성(v19d300e)에서 낙상 벌점 −300의 도착만 2,500 → 2,000회차로 옮겼습니다(0 → −100(500회차) → −300(2,000회차); 새 태스크 id, 시드 43, 무작위 초기화, 3,250회차). 학습 로그의 회차당 낙상 종료는 −300 도착 뒤 2,182회차까지 200을 넘지 않다가 2,183회차부터 최종 3,249회차까지 1,067회차 연속으로 200을 넘었고, 평가는 2,250회차부터 최종까지 유효 점프 0.00%·낙상 100.00%였습니다. 붕괴 시작 2,183회차는 사전 등록한 두 띠("도착 뒤 지연" 2,300~2,600회차, "절대 회차" 2,850~3,050회차) 어느 쪽에도 들지 않으므로 판정은 판단보류이며, 학습 불가 기록이 붙습니다. 도착 뒤 지연은 183회차로, 도착이 2,500회차였던 세 실행의 449~458회차와 다릅니다. 시드 1회입니다.

수행 내용11월 15일 기록이 다음으로 적어 둔 "−300 도착 회차 2,500 → 2,000 변형"입니다. 근거: 창 밖 −0.8 구성에서 −300을 2,500회차에 둔 세 실행(v19d 시드 43·44, v19d300e 시드 43)은 2,952 / 2,949 / 2,958회차에 붕괴가 시작됐고, −300 전 −100 기간(1,000 대 2,000회차)은 이를 가르지 못했습니다(11월 15일 반박). 세 실행 모두 도착이 2,500회차였으므로 "도착 뒤 약 450회차에 붕괴한다"와 "절대 회차 약 2,950 부근에서 붕괴한다"가 분리되지 않았습니다. 오늘은 도착만 2,000회차로 옮겼습니다. 전자는 약 2,450회차, 후자는 약 2,950회차의 붕괴를 예측하고 둘 다 하룻밤 예산 안입니다. 바꾼 것은 −300 단계의 도착 회차 하나이며(penalty_stages=((0, 0.0), (12000, -100.0), (48000, -300.0)), 새 id Mjlab-Jump-Stand-v19d300f-MicroDuck), −100 시작 500회차, 창 안 −0.1 / 창 밖 −0.8, 동결 네 항목, 정점 배율, 기준 상태 초기화, 시드, 환경 수, 평가기는 v19d300e와 같습니다. 도착을 앞당기면 −300 전 −100 기간도 2,000 → 1,500회차로 함께 줄어든다는 점을 계획서에 분리되지 않는 항목으로 적었습니다. 기존 태스크 id는 바꾸지 않았습니다. 외부 조사(00:00): 벌점 단계의 도착 시점과 붕괴 지연을 다룬 이족 점프 자료는 검색되지 않았고(Cassie 2302.09450은 다단계 훈련, 사족 2401.16337은 커리큘럼, 2603.07999는 사족 저중력 점프), 기반 코드 저장소 main의 최신 커밋 8개는 모두 8월 25일이었으며, 커뮤니티 호핑 정책(witcheer/microduck-hop 등, 시뮬레이션 전용)에는 벌점 일정 자료가 없었습니다. 가설과 사전 등록 기준(experiments/plans/20261116-v19d300f-arrival-2000.yaml, 학습 전 등록, 사후 변경 없음). T = 학습 로그의 회차당 낙상 종료 > 200이 마지막 기록 회차까지 이어지는 구간(길이 20회차 이상)의 첫 회차. "도착 뒤 지연" 쪽: T가 2,300~2,600회차이고 최종 낙상 ≥ 50%(예측 2,449~2,458). "절대 회차" 쪽: T가 2,850~3,050회차이고 최종 낙상 ≥ 50%(예측 2,949~2,958). 무붕괴: 2,000회차~최종에서 20회차 연속 > 200 구간 0회, 평가 3,000회차·최종 낙상 모두 ≤ 5%, 최종 유효 점프 ≥ 8%. 그 외(T가 두 띠 밖인 경우 포함)는 판단보류로 수치만 서술. 학습 불가 기록: 최종 유효 점프 ≤ 2% 또는 최종 낙상 > 5%. 11월 15일 초안의 "20회차 연속 > 200 첫 구간"은 학습 전 점검에서 v19d 시드 43에 회복된 구간이 두 개 앞서 있는 것이 확인돼, 회복된 급증을 붕괴로 세지 않도록 "마지막까지 이어지는 구간의 첫 회차"로 학습 전에 고정했습니다(같은 방법으로 세 대조 실행은 2,952 / 2,949 / 2,958). 구간 평균은 판정에 쓰지 않고 "개선"이라는 말은 쓰지 않는다고 미리 적었습니다. 짧은 검증(64개 환경 × 5회차)은 1차에 통과했고(seed=43, 벌점 가중치 0 ×5, NaN 0, 환경 설정에 12,000 / 48,000 스텝 단계 확인) CPU 테스트 114개가 통과했습니다. 본 학습은 00:07:53에 출발해 02:23에 정상 종료했습니다(3,250회차, 회차당 평균 2.45초, 배포 트랙 프로세스 없음, GPU 704 MiB). 유효성 항목 모두 충족: seed=43, 이어 학습 없음(0회차부터), Curriculum/fall_penalty_weight 0 ×499 → 경계 보간 −4.2 ×1(499회차) → −100 ×1,499 → 경계 보간 −108.3 ×1(1,999회차) → 2,000회차부터 −300 ×1,250, −500 0회, 행동 변화율 가중치 −0.1 ×3,250, 창 밖 항 3,250회 기록·양수 0, 동결 네 항목과 정점 배율 고정.
관측 결과경과 회차별 유효 점프 비율(%). 첫 행이 오늘 실행(reports/jump_eval_v19d300f_dense.csv), 대조 행은 같은 시드 43의 v19d300e(11월 15일, reports/jump_eval_v19d300e_dense.csv; −300은 2,500회차부터)입니다. 두 실행의 설정은 1,999회차까지 같습니다. 0회차 열은 무작위 초기화 뒤 학습 전 정책입니다. 두 실행 모두 3,250회차로, 6,000회차였던 v5~v9와는 직접 비교하지 않습니다.
경과 회차0 (초기)2505007501,0001,2501,5001,7502,0002,2502,5002,7503,0003,249 (최종)
v19d300f 유효 점프 (%, 창 밖 −0.8, 벌점 0 → −100(500회차) → −300(2,000회차))0.000.520.780.7211.269.648.8512.9617.840.000.000.000.000.00
v19d300f 신호당 낙상률 (%)99.9357.8854.4397.6610.741.370.261.632.02100.00100.00100.00100.00100.00
v19d300f 체공 시간 (ms)0.022.531.723.632.530.727.530.831.70.00.00.00.00.0
v19d300f 평균 상승 높이 (cm)0.000.000.330.510.540.610.500.530.630.000.000.000.000.00
v19d300f 최대 상승 높이 (cm)0.000.001.171.401.384.462.052.282.550.000.000.000.000.00
v19d300f 학습 로그 회차당 낙상 종료, 250회차 블록 평균(해당 열에서 시작)120.218.833.912.940.342.134.33.285.6360.2569.8676.6686.0 (3,000~3,249)—
v19d300e 시드 43 유효 점프 (%, 11월 15일; −300은 2,500회차부터)0.070.854.825.217.4214.5815.691.3718.9522.6617.6424.610.130.00
v19d300e 시드 43 신호당 낙상률 (%)99.8759.7734.9635.6124.150.780.8580.730.911.959.440.3399.80100.00
v19d300e 시드 43 학습 로그 회차당 낙상 종료, 250회차 블록 평균112.121.130.27.529.732.220.48.415.416.13.356.2252.6 (3,000~3,249)—
v19d300f − v19d300e 시드 43 (%p)−0.07−0.33−4.04−4.49+3.84−4.94−6.84+11.59−1.11−22.66−17.64−24.61−0.130.00
낙상 벌점 커리큘럼오늘: 0 → −100(500회차) → −300(2,000회차), −500 없음 · v19d300e: 0 → −100(500회차) → −300(2,500회차) · v19d: 0 → −100(1,500회차) → −300(2,500회차) · v19d300d(−300 도착 3,499회차): 두 시드 무붕괴 · v19d100(−300 없음): 두 시드 무붕괴
판정 입력: 학습 로그(logs/train_jump_stand_v19d300f_s43.log)에서 회차당 낙상 종료 > 200이 마지막 기록 회차까지 이어지는 구간은 2,183회차에서 시작해 최종 3,249회차까지 1,067회차입니다(런처 줄 "terminal stretch (verdict input T): fell_over > 200 from iteration 2183 (0-based) through the last logged iteration (1067 iterations) -> outside both bands"). 2,000~2,182회차에는 200을 넘은 회차가 0회입니다(2,000~2,149회차 단일 최대 22.4). T = 2,183은 "도착 뒤 지연" 띠의 하한 2,300보다 117회차 앞이고 "절대 회차" 띠의 하한 2,850보다 667회차 앞입니다. 평가 2,000회차 유효 점프 17.84%·낙상 2.02% → 2,250회차 0.00%·100.00% → 최종 3,249회차 0.00%·100.00%(마지막 회차의 평균 에피소드 길이 5.64스텝). 두 쪽 모두 최종 낙상 ≥ 50% 조건은 채웠지만 T 조건을 채우지 못했고, 무붕괴 쪽 조건 세 개는 모두 미충족입니다. 계획서의 판단보류 항 "T가 두 띠 밖(2,000~2,299회차)"에 해당합니다. 학습 불가 기록 해당. 유효성 위반·미채점 없음. 앵커(v12 시드 43의 3,250회차를 오늘 id로 재채점) 48.11%(11월 15일 47.53, +0.58%p; 재현 폭 4.17 안). 경과 1,500~3,000회차 평균 5.66%·마지막 4개 0.00%·붕괴 전 3개(1,500~2,000) 평균 13.22%는 기록만입니다(v19d300e 시드 43 구간 평균 14.44; 대표값은 최종). 붕괴의 모양: −300 도착 뒤 25회차 블록 평균은 9.4 / 6.5 / 6.2 / 7.3 / 9.9(2,100~) / 16.5 / 43.7(2,150~) / 210.9(2,175~) / 266.9 / 278.3 / … / 356.0(2,375~)이고 250회차 블록 평균은 최종 686.0까지 올랐습니다. 도착 직후 약 100회차(2,020~2,095회차 4.9~9.1)는 도착 직전(1,990~1,999회차 8.7~13.6)보다 낮았고, 2,100회차 부근부터 늘기 시작해 2,167회차에 50, 2,176회차에 100, 2,183회차에 200을 넘은 뒤 되돌아오지 않았습니다. 11월 15일 실행은 도착 뒤 약 350회차 동안 50회차 블록 평균 2.5~6.3이다가 2,850회차 부근부터 늘었습니다. 오르기 시작한 뒤 200을 넘기까지의 모양은 두 실행이 비슷하고, 그 앞의 조용한 구간의 길이가 다릅니다(약 100회차 대 약 350회차). 낙상 벌점 항의 250회차 블록 평균은 −100 구간 −0.078 ~ −0.151, 2,000회차부터 −0.408 / −0.427 / −0.405 / −0.354 / −0.313. 행동 표준편차(학습 로그 Mean action std를 직접 집계)의 25회차 블록 평균은 1,950회차 0.655 → 2,000회차 0.688 → 2,125회차 0.770이며, 250회차 블록으로는 1,750회차 0.595 → 2,000회차 0.737 → 2,500회차 0.898입니다. 평균 에피소드 길이의 25회차 블록 평균은 2,100회차 346.5 → 2,150회차 131.4 → 2,175회차 22.7스텝입니다. −300 도착 전 구간(판정 아님): 오늘 실행은 2,000회차 이전에 20회차 연속 > 200 구간이 네 개 있었습니다 — 11~72회차(학습 초기), 730~750, 1,031~1,055, 1,342~1,366회차. 뒤의 세 개는 −100 단계 안이고 모두 회복됐습니다(1,750~1,999회차 블록 평균 3.2, 단일 최대 13.6). 평가 750회차의 낙상 97.66%는 730~750회차 구간의 끝과 겹칩니다. 설정과 시드가 같은 11월 15일 실행은 같은 구간에 11~63회차 하나뿐이었습니다. 두 실행의 0~1,999회차 평가 유효 점프 차는 −6.84%p(1,500회차) ~ +11.59%p(1,750회차)로, 같은 시드라도 GPU 비결정성으로 궤적이 달라진다는 11월 9·11일 관측과 같은 크기입니다. 2,000회차 체크포인트는 17.84% / 2.02% 대 18.95% / 0.91%로 1.11%p 차(재현 폭 안)입니다. 게이트 지표(판정 아님): 창 밖 행동 변화율 비 / 창 안 비는 1,500회차 0.212 / 0.281, 2,000회차 0.204 / 0.400이고 2,250회차 이후는 붕괴 뒤라 해석하지 않습니다. 보조 품질 측정(reports/jump_quality_20261116.csv): 최종 0.00%; 앵커 54.43%, 40ms/5mm 이상 25.59%.
개선 사항1. 실험 변수와 측정된 효과. 바꾼 것은 −300 단계의 도착 회차 하나(2,500 → 2,000)이고, 묻는 것은 "붕괴 시작이 도착 뒤 약 450회차를 따르는가, 절대 회차 약 2,950을 따르는가"였습니다. 측정된 것: 붕괴는 2,183회차에 시작됐습니다. 도착 뒤 183회차로, 전자의 예측 2,449~2,458회차와 266~275회차, 후자의 예측 2,949~2,958회차와 766~775회차 다릅니다. 두 예측 숫자 모두 관측과 맞지 않았지만, 사전 등록 규칙은 띠 밖의 T를 판단보류로 정했으므로 판정은 판단보류이고 "두 설명 모두 반박"으로 올리지 않습니다. 최종 유효 점프 0.00%·낙상 100.00%로 학습 불가 기록이 붙으며 "개선"이라고 적을 것은 없습니다. 같은 시드의 11월 15일 실행과 비교하면, 도착을 500회차 앞당기자 붕괴 시작은 775회차 앞당겨졌습니다(2,958 → 2,183). 붕괴 집계는 −300 at 2,000 1/1(신규), at 2,500 4/11(창 밖 −0.8 구성만 세면 3/3), at 3,500 0/2, −300 없음 0/2가 됐습니다. 2. 판정의 범위(정직한 단서). 시드 1회입니다. 붕괴가 확률적 현상이면 한 번의 T는 운과 완전히 분리되지 않습니다. 도착 2,500회차의 세 실행은 T가 9회차 폭 안에 모였지만, 도착 2,000회차에서 T가 모이는지는 오늘 한 번으로 알 수 없습니다. 도착을 앞당기면서 −300 전 −100 기간도 2,000 → 1,500회차로 줄었습니다 — 도착 2,500회차에서는 기간 1,000·2,000회차 모두 지연이 449~458회차였으나, 도착 2,000회차에서 기간이 지연에 영향을 주지 않는다는 것은 확인되지 않았습니다. 오늘 실행은 −300 도착 전 구간의 궤적도 11월 15일 실행과 달랐으므로(회복된 급증 세 번), 도착 시점의 정책 상태 차이가 지연 차이에 기여했는지는 분리되지 않았습니다. 붕괴가 −300 때문인지 자체도 이 실행만으로는 분리되지 않습니다. 3. 판정 밖의 관측. 지연이 일정하지 않다는 것(183 대 449~458회차)과 붕괴가 절대 회차 2,950 부근을 기다리지 않았다는 것까지가 측정입니다. "도착이 이를수록 지연이 짧다"는 도착 회차 두 수준(2,000: 한 실행, 2,500: 세 실행)과 무붕괴였던 3,499회차 도착(두 시드, 도착 뒤 2,999회차 관찰)의 순서와는 어긋나지 않지만, 2,000회차 수준이 n=1이라 확인되지 않았습니다. 행동 표준편차는 −300 도착 전인 1,950회차 블록에 이미 0.655였고 도착 뒤 0.77까지 올랐습니다. 이 상승만으로는 붕괴 지표가 아니라는 11월 12·14일 관측(0.83까지 오르고 무붕괴)은 그대로입니다. 4. 바뀌지 않은 것. v12 기준선과 v19b·v19c·v19d·v19d100·v19d300d·v19d300e의 결과, 평가 재현 폭 4.17%p(앵커 48.11%), 61차원 관측 계약, 기반 코드 고정 커밋, 기존 태스크 id의 동작(새 id와 상수만 추가). 5. 다음에 바꿀 한 가지. v19d300f 시드 44 — 오늘 구성 그대로 코드 변경 없이 시드만 43 → 44로 바꿔 무작위 초기화·3,250회차 하룻밤으로 학습합니다. 근거: 오늘의 T는 사전 등록한 두 띠 밖의 한 번입니다. 도착 2,000회차에서도 T가 모이는지부터 확인해야 "지연이 도착 회차에 따라 달라진다"와 "이 실행의 우연"을 가를 수 있습니다. 사전 등록 초안: 시드 44의 T가 2,083~2,283회차(오늘 T ± 100)이고 최종 낙상 ≥ 50%이면 "도착 2,000회차의 이른 붕괴 재현(두 시드)", 2,300~2,600회차이면 "도착 뒤 지연" 쪽(시드 43과 불일치 명시), 2,850~3,050회차이면 "절대 회차" 쪽(불일치 명시), 2,000회차~최종 20회차 연속 0회이고 평가 3,000회차·최종 낙상 ≤ 5%·유효 점프 ≥ 8%이면 무붕괴(붕괴 1/2), 그 외 판단보류. 대안은 학습 없이 붕괴 실행 넷과 무붕괴 실행 넷의 학습 로그를 붕괴 시작 전 300회차 기준으로 정렬해 공통으로 앞서는 지표가 있는지 보는 분석이고, 그 뒤 v19e 게이트 창 2.0초, 대체안은 v19c 시드 45입니다.
실험 설정PPO · Mjlab-Jump-Stand-v19d300f-MicroDuck(11월 16일 신설; v12 구성 + 보상 항 action_rate_l2_outside_window −0.8(점프 신호 창 1.5초 밖), 기본 항 −0.1 상수, 머리 명령 범위 ±0.07rad·머리 편향 벌점 0·무게중심 0.003·머리 무게중심 0.003 고정, 정점 배율 0.06, 기준 상태 초기화 60/25/15 + 낙상 벌점 0 → −100(500회차) → −300(2,000회차), −500 없음) · 4,096개 환경 · 시드 43 · 3,250회차(회차당 평균 2.45초, 00:07:53 → 02:23; v5~v9 6,000회차의 절반 수준) · 초기 정책 = 무작위 초기화(이어 학습 없음, LabJumpRunner) · 평가 scripts/evaluate_jump.py(11월 2일 판, 게이트 열 포함) 512개 환경 × 1에피소드, 평가 시드 1000, 신호 1,536회, 제자리 조건 · 체크포인트 15개 전량 재채점(앵커 1 + 새 14, 사후 최고값 선택 없음, 대표값 최종) · 결과 reports/jump_eval_v19d300f_dense.csv, 보조 reports/jump_quality_20261116.csv; 대조군 reports/jump_eval_v19d300e_dense.csv(v19d300e 시드 43)·jump_eval_v19d_dense.csv·jump_eval_v19d300d_dense.csv · 계획서 experiments/plans/20261116-v19d300f-arrival-2000.yaml · 보고서 experiments/reports/20261116-v19d300f-arrival-2000.md · 테스트 tests/test_v19d300f_arrival_2000.py(114개) · 학습 로그 logs/train_jump_stand_v19d300f_s43.log(대조 재집계는 logs/train_jump_stand_v19d300e_s43.log), 실행 로그 logs/nightly_2026-11-16_run.log · 영상 생략 · 기반 코드 pollen-robotics/microduck_rl 고정 커밋(업스트림 무수정; 11월 16일 00:00 확인 main 최신 커밋 8월 25일) · 참고 arXiv 2302.09450(Cassie 점프, 다단계 훈련), arXiv 2401.16337(사족 점프 커리큘럼), arXiv 2603.07999(사족 저중력 점프), witcheer/microduck-hop(커뮤니티 호핑 정책, 시뮬레이션 전용) · 실물 로봇 검증 없음.

2026-11-17

v19d300f 시드 44: 11월 16일 구성(낙상 벌점 0 → −100(500회차) → −300(2,000회차))을 코드 변경 없이 시드만 43 → 44로 바꿔 반복했습니다(무작위 초기화, 3,250회차). 학습 로그의 회차당 낙상 종료는 −300 도착 뒤 2,292회차까지 200을 넘지 않다가 2,293회차부터 최종 3,249회차까지 957회차 연속으로 200을 넘었고, 평가는 2,250회차 유효 점프 25.78%·낙상 1.11%에서 2,500회차부터 최종까지 0.00%·100.00%였습니다. 붕괴 시작 2,293회차는 사전 등록한 재현 띠(2,083~2,283회차)의 상한을 10회차 넘고 "도착 뒤 지연" 띠(2,300~2,600회차)의 하한에 7회차 못 미쳐 세 띠 어느 쪽에도 들지 않으므로 판정은 판단보류이며, 학습 불가 기록이 붙습니다. −300 도착 뒤 지연은 293회차(시드 43은 183회차)입니다. 오늘 실행은 시드 1회입니다.

수행 내용11월 16일 기록이 다음으로 적어 둔 "v19d300f 시드 44"입니다. 근거: 11월 16일 실행(시드 43)은 −300 도착을 2,000회차로 옮기자 2,183회차(도착 뒤 183회차)에 붕괴가 시작됐고, 이 값은 그날 사전 등록한 두 띠 밖이어서 판단보류였습니다. 도착 2,500회차의 세 실행은 붕괴 시작이 9회차 폭(2,949~2,958회차)에 모였지만, 도착 2,000회차의 실행은 하나뿐이라 "도착 2,000회차에서는 약 180회차 만에 붕괴한다"가 재현되는지 확인되지 않았습니다. 오늘 바꾼 것은 에이전트 시드 하나(43 → 44)입니다. 태스크 id Mjlab-Jump-Stand-v19d300f-MicroDuck, 벌점 단계, 창 안 −0.1 / 창 밖 −0.8, 동결 네 항목, 정점 배율, 기준 상태 초기화, 환경 수, 회차 예산, 평가기는 11월 16일과 같고 학습 코드와 설정은 바꾸지 않았습니다. 런처는 11월 16일 것에서 날짜·시드·태그·CSV 이름을 바꾸고, 재현 띠 표시와 −300 도착 전 보조 집계 줄을 더했으며, 행동 표준편차 집계 키(Mean action std)를 바로잡았습니다. 판정에 쓰는 집계식은 11월 16일과 같습니다. 외부 조사(00:00): 벌점 단계의 도착 시점과 붕괴 지연을 다룬 2026년 이족 점프 자료는 검색되지 않았고(Cassie 2302.09450·2401.16889는 다단계 훈련), 기반 코드 저장소 main의 최신 커밋 8개는 모두 8월 25일이었으며, 커뮤니티 호핑 정책(witcheer/microduck-hop 등, 시뮬레이션 전용)에는 벌점 일정 자료가 없었습니다. 가설과 사전 등록 기준(experiments/plans/20261117-v19d300f-seed44.yaml, 학습 전 등록, 사후 변경 없음; 띠 숫자는 11월 16일 기록의 초안 그대로). T = 학습 로그의 회차당 낙상 종료 > 200이 마지막 기록 회차까지 이어지는 구간(길이 20회차 이상)의 첫 회차. 재현 쪽("도착 2,000회차의 이른 붕괴 재현, 두 시드"): T가 2,083~2,283회차(11월 16일 T ± 100)이고 최종 낙상 ≥ 50%. "도착 뒤 지연" 쪽: T가 2,300~2,600회차이고 최종 낙상 ≥ 50%. "절대 회차" 쪽: T가 2,850~3,050회차이고 최종 낙상 ≥ 50%. 무붕괴: 2,000회차~최종에서 20회차 연속 > 200 구간 0회, 평가 3,000회차·최종 낙상 모두 ≤ 5%, 최종 유효 점프 ≥ 8%. 그 외는 판단보류로 수치만 서술하며, 계획서는 T가 2,284~2,299회차인 경우를 "어느 쪽도 아님"으로 미리 적어 두었습니다. 학습 불가 기록: 최종 유효 점프 ≤ 2% 또는 최종 낙상 > 5%. 구간 평균은 판정에 쓰지 않고 "개선"이라는 말은 쓰지 않는다고 미리 적었습니다. 짧은 검증(64개 환경 × 5회차)은 1차에 통과했고(seed=44, 벌점 가중치 0 ×5, NaN 0, 환경 설정에 12,000 / 48,000 스텝 단계 확인) CPU 테스트 117개가 통과했습니다. 본 학습은 00:05:53에 출발해 02:16에 정상 종료했습니다(3,250회차, 회차당 평균 2.37초, 배포 트랙 프로세스 없음, GPU 755 MiB). 유효성 항목 모두 충족: seed=44, 이어 학습 없음(0회차부터), Curriculum/fall_penalty_weight 0 ×499 → 경계 보간 −4.2 ×1 → −100 ×1,499 → 경계 보간 −108.3 ×1 → 2,000회차부터 −300 ×1,250, −500 0회, 행동 변화율 가중치 −0.1 ×3,250, 창 밖 항 3,250회 기록·양수 0, 동결 네 항목과 정점 배율 고정.
관측 결과경과 회차별 유효 점프 비율(%). 첫 행이 오늘 실행(reports/jump_eval_v19d300fs44_dense.csv), 대조 행은 같은 id의 시드 43(11월 16일, reports/jump_eval_v19d300f_dense.csv)입니다. 0회차 열은 무작위 초기화 뒤 학습 전 정책입니다. 두 실행 모두 3,250회차로, 6,000회차였던 v5~v9와는 직접 비교하지 않습니다.
경과 회차0 (초기)2505007501,0001,2501,5001,7502,0002,2502,5002,7503,0003,249 (최종)
v19d300f 시드 44 유효 점프 (%, 창 밖 −0.8, 벌점 0 → −100(500회차) → −300(2,000회차))0.000.333.459.640.0716.6712.764.8211.2025.780.000.000.000.00
v19d300f 시드 44 신호당 낙상률 (%)100.0060.5552.547.1699.930.911.1132.100.721.11100.00100.00100.00100.00
v19d300f 시드 44 체공 시간 (ms)0.024.028.329.340.033.029.331.929.938.10.00.00.00.0
v19d300f 시드 44 평균 상승 높이 (cm)0.000.000.280.490.000.480.470.570.460.600.000.000.000.00
v19d300f 시드 44 최대 상승 높이 (cm)0.000.000.733.540.001.642.421.852.003.730.000.000.000.00
v19d300f 시드 44 학습 로그 회차당 낙상 종료, 250회차 블록 평균(해당 열에서 시작)114.420.126.024.522.539.537.83.66.0267.4494.2653.2683.1 (3,000~3,249)—
v19d300f 시드 43 유효 점프 (%, 11월 16일)0.000.520.780.7211.269.648.8512.9617.840.000.000.000.000.00
v19d300f 시드 43 신호당 낙상률 (%)99.9357.8854.4397.6610.741.370.261.632.02100.00100.00100.00100.00100.00
v19d300f 시드 43 학습 로그 회차당 낙상 종료, 250회차 블록 평균120.218.833.912.940.342.134.33.285.6360.2569.8676.6686.0 (3,000~3,249)—
시드 44 − 시드 43 (%p)0.00−0.19+2.67+8.92−11.19+7.03+3.91−8.14−6.64+25.780.000.000.000.00
낙상 벌점 커리큘럼두 행 모두: 0 → −100(500회차) → −300(2,000회차), −500 없음 · v19d300e·v19d(−300 도착 2,500회차): 세 실행 붕괴 시작 2,949~2,958회차 · v19d300d(−300 도착 3,499회차): 두 시드 무붕괴 · v19d100(−300 없음): 두 시드 무붕괴
판정 입력: 학습 로그(logs/train_jump_stand_v19d300f_s44.log)에서 회차당 낙상 종료 > 200이 마지막 기록 회차까지 이어지는 구간은 2,293회차에서 시작해 최종 3,249회차까지 957회차입니다(런처 줄 "terminal stretch (verdict input T): fell_over > 200 from iteration 2293 (0-based) through the last logged iteration (957 iterations) -> outside all three bands"). 2,000~2,292회차에는 200을 넘은 회차가 0회입니다(2,000~2,149회차 단일 최대 7.2, 2,292회차 188.6, 2,293회차 205.5). T = 2,293은 재현 띠의 상한 2,283보다 10회차 뒤이고 "도착 뒤 지연" 띠의 하한 2,300보다 7회차 앞입니다. 평가 2,250회차 유효 점프 25.78%·낙상 1.11% → 2,500회차 0.00%·100.00% → 최종 3,249회차 0.00%·100.00%(마지막 회차의 평균 에피소드 길이 6.22스텝). 세 쪽 모두 최종 낙상 ≥ 50% 조건은 채웠지만 T 조건을 채우지 못했고, 무붕괴 쪽 조건 세 개는 모두 미충족입니다. 계획서의 판단보류 항 "T가 띠 밖(2,284~2,299회차)"에 해당합니다. 학습 불가 기록 해당. 유효성 위반·미채점 없음. 앵커(v12 시드 43의 3,250회차를 오늘 id로 재채점) 51.24%(11월 16일 48.11, +3.13%p; 재현 폭 4.17 안, 지금까지 범위 47.53~51.11의 상한을 0.13%p 넘음). 경과 1,500~3,000회차 평균 7.79%·마지막 4개 0.00%·붕괴 전 4개(1,500~2,250) 평균 13.64%는 기록만입니다(시드 43 구간 평균 5.66; 대표값은 최종). 붕괴의 모양: −300 도착 뒤 25회차 블록 평균은 4.6 / 3.9 / 4.1 / 4.4 / 4.6(2,100~) / 5.5 / 5.6 / 6.8(2,175~) / 8.1 / 12.2(2,225~) / 26.2 / 133.4(2,275~) / 257.7 / 273.5 / … / 324.9(2,425~)이고 250회차 블록 평균은 최종 683.1까지 올랐습니다. 도착 뒤 약 200회차는 도착 직전(1,990~1,999회차 3.5~5.0)과 같은 수준이었고, 2,200회차 부근부터 늘기 시작해 2,277회차에 50, 2,286회차에 100, 2,293회차에 200을 넘은 뒤 되돌아오지 않았습니다. 시드 43은 조용한 구간이 약 100회차였고 2,167회차에 50, 2,176회차에 100, 2,183회차에 200을 넘었습니다. 오르기 시작한 뒤 200을 넘기까지의 모양은 두 시드가 비슷하고, 그 앞의 조용한 구간의 길이가 다릅니다. 낙상 벌점 항의 250회차 블록 평균은 −100 구간 −0.083 ~ −0.154, 2,000회차부터 −0.333 / −0.435 / −0.408 / −0.387 / −0.328. 행동 표준편차의 25회차 블록 평균은 1,900회차 0.606 → 2,000회차 0.666 → 2,225회차 0.780이며, 250회차 블록으로는 1,750회차 0.576 → 2,000회차 0.729 → 2,750회차 0.902입니다. 평균 에피소드 길이의 25회차 블록 평균은 2,175회차 437.5 → 2,250회차 199.8 → 2,300회차 15.6스텝입니다. −300 도착 전 구간(판정 아님): 오늘 실행은 2,000회차 이전에 20회차 연속 > 200 구간이 세 개 있었습니다 — 12~66회차(학습 초기), 986~1,011, 1,349~1,369회차. 뒤의 두 개는 −100 단계 안이고 모두 회복됐습니다(1,750~1,999회차 블록 평균 3.6, 단일 최대 25.1). 시드 43은 네 개였습니다. 평가 1,000회차의 낙상 99.93%는 986~1,011회차 구간과 겹칩니다. 평가 1,750회차의 낙상 32.10%는 원인이 확인되지 않았습니다. 도착 직전 250회차 블록(1,750~1,999회차)의 낙상 종료는 3.6(시드 43 3.2), 행동 표준편차는 0.576(시드 43 0.595), 2,000회차 체크포인트는 11.20% / 0.72%(시드 43 17.84% / 2.02%)입니다. 게이트 지표(판정 아님): 창 밖 행동 변화율 비 / 창 안 비는 1,500회차 0.216 / 0.371, 2,000회차 0.228 / 0.428, 2,250회차 0.250 / 0.671이고 2,500회차 이후는 붕괴 뒤라 해석하지 않습니다. 보조 품질 측정(reports/jump_quality_20261117.csv): 최종 0.00%; 앵커 53.19%, 40ms/5mm 이상 28.45%.
개선 사항1. 실험 변수와 측정된 효과. 바꾼 것은 시드 하나(43 → 44)이고, 묻는 것은 "−300 도착 2,000회차 구성의 이른 붕괴(시드 43의 2,183회차)가 다른 시드에서 ±100회차 안에 재현되는가"였습니다. 측정된 것: 시드 44도 −300 단계 안에서 붕괴해 최종까지 회복하지 않았고, 시작은 2,293회차(도착 뒤 293회차)였습니다. 시드 43과 110회차 차이로, 사전 등록한 재현 띠의 상한을 10회차 넘었습니다. 따라서 판정은 판단보류이고 "이른 붕괴 재현(두 시드)"으로 올리지 않습니다. 띠 폭 ±100은 학습 전에 정한 숫자이며 결과를 보고 넓히지 않았습니다. 최종 유효 점프 0.00%·낙상 100.00%로 학습 불가 기록이 붙으며 "개선"이라고 적을 것은 없습니다. 붕괴 집계는 −300 at 2,000 2/2, at 2,500 4/11(창 밖 −0.8 구성만 세면 3/3), at 3,500 0/2, −300 없음 0/2가 됐습니다. 2. 판정의 범위(정직한 단서). 오늘 실행은 시드 1회이고, 도착 2,000회차 수준은 두 실행(n=2)입니다. 붕괴가 났다는 사실은 두 실행 모두에서 관측됐지만, 시작 회차는 183 / 293회차 지연으로 110회차 벌어져 있습니다. 도착 2,500회차의 세 실행은 지연이 449~458회차(9회차 폭)였습니다. 도착 2,000회차의 두 지연은 모두 449보다 작지만(156~275회차 차), 도착을 앞당기면 −300 전 −100 기간도 2,000 → 1,500회차로 함께 줄어들므로 이 차이가 도착 회차 때문인지 −100 기간 때문인지는 분리되지 않았습니다. 시드와 GPU 비결정성도 분리되지 않았습니다. 관찰 창은 3,249회차까지입니다. 3. 판정 밖의 관측. 두 시드의 지연 차(183 대 293회차)는 도착 시점의 세 지표 — 도착 직전 250회차 블록의 낙상 종료(3.2 / 3.6), 행동 표준편차(0.595 / 0.576), 2,000회차 평가(17.84% / 11.20%) — 로는 설명되지 않았습니다. 붕괴 직전 체크포인트의 유효 점프는 시드 43이 17.84%(2,000회차), 시드 44가 25.78%(2,250회차)로, 두 실행 모두 평가 낙상률 1~2%에서 다음 체크포인트의 100.00%로 넘어갔습니다. 행동 표준편차는 −300 도착 전인 1,900회차 블록부터 오르고 있었습니다(0.606 → 0.650). 이 상승만으로는 붕괴 지표가 아니라는 11월 12·14일 관측(0.83까지 오르고 무붕괴)은 그대로입니다. 4. 바뀌지 않은 것. v12 기준선과 v19b·v19c·v19d·v19d100·v19d300d·v19d300e·v19d300f 시드 43의 결과, 11월 16일의 판정(판단보류; 오늘 결과로 다시 판정하지 않음), 평가 재현 폭 4.17%p(앵커 51.24%), 61차원 관측 계약, 기반 코드 고정 커밋, 태스크 id와 학습 코드(오늘은 코드 변경 없음). 5. 다음에 바꿀 한 가지. 학습 없는 로그 정렬 분석 — 붕괴한 다섯 실행(v19d 시드 43·44, v19d300e 시드 43, v19d300f 시드 43·44; 붕괴 시작 2,952 / 2,949 / 2,958 / 2,183 / 2,293회차)의 학습 로그를 붕괴 시작 전 300회차 기준으로 정렬하고, 무붕괴 네 실행(v19d300d 두 시드, v19d100 두 시드)의 같은 길이 구간과 나란히 놓아 낙상 종료·행동 표준편차·에피소드 길이·가치 손실·낙상 벌점 항 가운데 공통으로 앞서는 지표가 있는지 봅니다. 근거: 다섯 실행 모두 "조용한 구간 뒤 약 60~100회차의 단조 상승"이라는 같은 모양이었고, 오늘 확인한 도착 시점의 세 지표로는 조용한 구간의 길이 차가 설명되지 않았습니다. 판정 규칙은 분석 전에 숫자로 등록합니다. 대안은 v19d300f 시드 45(도착 2,000회차의 세 번째 실행; 띠는 새로 사전 등록하고 11월 16·17일을 다시 판정하지 않음), 그 뒤 v19e 게이트 창 2.0초, 대체안은 v19c 시드 45입니다.
실험 설정PPO · Mjlab-Jump-Stand-v19d300f-MicroDuck(11월 16일 신설, 오늘 변경 없음; v12 구성 + 보상 항 action_rate_l2_outside_window −0.8(점프 신호 창 1.5초 밖), 기본 항 −0.1 상수, 머리 명령 범위 ±0.07rad·머리 편향 벌점 0·무게중심 0.003·머리 무게중심 0.003 고정, 정점 배율 0.06, 기준 상태 초기화 60/25/15 + 낙상 벌점 0 → −100(500회차) → −300(2,000회차), −500 없음) · 4,096개 환경 · 시드 44 · 3,250회차(회차당 평균 2.37초, 00:05:53 → 02:16; v5~v9 6,000회차의 절반 수준) · 초기 정책 = 무작위 초기화(이어 학습 없음, LabJumpRunner) · 평가 scripts/evaluate_jump.py(11월 2일 판, 게이트 열 포함) 512개 환경 × 1에피소드, 평가 시드 1000, 신호 1,536회, 제자리 조건 · 체크포인트 15개 전량 재채점(앵커 1 + 새 14, 사후 최고값 선택 없음, 대표값 최종) · 결과 reports/jump_eval_v19d300fs44_dense.csv, 보조 reports/jump_quality_20261117.csv; 대조군 reports/jump_eval_v19d300f_dense.csv(v19d300f 시드 43)·jump_eval_v19d300e_dense.csv·jump_eval_v19d_dense.csv·jump_eval_v19d300d_dense.csv · 계획서 experiments/plans/20261117-v19d300f-seed44.yaml · 보고서 experiments/reports/20261117-v19d300f-seed44.md · 테스트 tests/test_v19d300f_seed44.py(117개) · 학습 로그 logs/train_jump_stand_v19d300f_s44.log(대조 logs/train_jump_stand_v19d300f_s43.log), 실행 로그 logs/nightly_2026-11-17_run.log · 영상 생략 · 기반 코드 pollen-robotics/microduck_rl 고정 커밋(업스트림 무수정; 11월 17일 00:00 확인 main 최신 커밋 8월 25일) · 참고 arXiv 2302.09450(Cassie 점프, 다단계 훈련), arXiv 2401.16889(이족 점프, 3단계 훈련), witcheer/microduck-hop(커뮤니티 호핑 정책, 시뮬레이션 전용) · 실물 로봇 검증 없음.

2026-11-18

학습 없는 로그 정렬 분석: 붕괴한 다섯 실행과 무붕괴 네 실행의 기존 학습 로그를 붕괴 시작 회차에 맞춰 정렬하고, 로그 지표 5개 × 방향 2 = 10개 검정에서 "무붕괴 실행 넷 중 하나 이하만 넘는 문턱"을 붕괴 시작보다 50회차 이상 앞서 넘는 붕괴 실행 수를 셌습니다. 가치 손실(높음 방향) 하나에서 다섯 실행 모두가 문턱 2.8582를 붕괴 시작 114~219회차 전에 넘어(5/5) 사전 등록한 지지 조건을 채웠습니다. 판정은 지지이되 "표본 내 후보"입니다 — 무붕괴 실행이 하나도 넘지 않는 더 엄격한 문턱 3.8125에서는 0/5이고, 10개 검정의 다중 비교는 보정하지 않았으며, 새 실행으로 미리 예측해 맞히기 전에는 붕괴의 선행 표지라고 쓰지 않습니다. 오늘은 학습·평가를 하지 않아 유효 점프 값은 없습니다.

수행 내용11월 17일 기록이 다음으로 적어 둔 "학습 없는 로그 정렬 분석"입니다. 근거: 창 밖 −0.8 구성에서 낙상 벌점 −300 단계에 들어간 뒤 학습 로그의 회차당 낙상 종료가 200을 넘은 채 끝까지 돌아오지 않는 붕괴가 다섯 번 기록됐고(v19d 시드 43·44, v19d300e 시드 43, v19d300f 시드 43·44; 붕괴 시작 2,952 / 2,949 / 2,958 / 2,183 / 2,293회차), 11월 15~17일 세 밤은 붕괴 시점을 "−300 도착 뒤 지연"으로도 "절대 회차"로도 설명하지 못했습니다(지연 183 / 293 / 449~458회차). −300 도착 시점의 지표(낙상 종료·행동 표준편차·평가 유효 점프)로도 지연 차이가 설명되지 않았습니다. 그래서 학습을 더 돌리기 전에, 이미 있는 아홉 실행의 로그 안에 붕괴보다 앞서 움직이는 지표가 있는지를 먼저 확인했습니다. 오늘 더한 것은 읽기 전용 분석 스크립트 scripts/collapse_align.py 하나이고, 태스크·학습 설정·평가기는 바꾸지 않았습니다. GPU 학습은 없었습니다. 외부 조사(00:00): 벌점 단계와 정책 붕괴의 선행 지표를 다룬 2025~2026년 이족 점프 자료는 검색되지 않았고(Cassie 2302.09450·2401.16889는 다단계 훈련 구성만 서술), 기반 코드 저장소에서 점프 관련 새 커밋은 확인되지 않았으며, 커뮤니티 호핑 정책(witcheer/microduck-hop 등, 시뮬레이션 전용)에는 학습 로그나 벌점 일정 자료가 없었습니다. 가설과 사전 등록 기준(experiments/plans/20261118-collapse-log-align.yaml, 지표 수치를 보기 전에 등록, 사후 변경 없음). T = 학습 로그의 회차당 낙상 종료 > 200이 마지막 기록 회차까지 이어지는 구간(길이 20회차 이상)의 첫 회차(11월 16·17일과 같은 정의). 주 지표는 회차당 낙상 종료, 행동 표준편차, 평균 에피소드 길이, 가치 손실, 낙상 벌점 항의 다섯 개이고 각각 높음/낮음 두 방향을 봅니다. 각 지표는 25회차 후행 평균으로 봅니다. 문턱은 손으로 고르지 않습니다: 무붕괴 네 실행(v19d300d 시드 43·44의 0~6,498회차, v19d100 시드 43·44의 0~3,249회차) 각각의 1,500회차 이후 극값 가운데 가장 극단인 값을 엄격한 문턱(무붕괴 오경보 0/4), 둘째로 극단인 값을 주 문턱(오경보 1/4 이하)으로 둡니다. 붕괴 실행이 1,500회차~T 직전에서 문턱을 처음 넘은 회차가 T보다 50회차 이상 앞이면 적중입니다. 지지: 10개 검정 중 하나 이상에서 주 문턱 적중이 4/5 이상. 반박: 10개 모두 2/5 이하. 정확히 3/5가 최대면 판단보류. 지지여도 "붕괴를 예측한다"고 쓰지 않고 "표본 내에서 분리됐다"고만 쓴다고 미리 적었습니다. 보조 지표 14개, 100회차 기울기, 판정에 넣지 않는 여섯 실행(v19·v19b·v19c 두 시드씩)은 기록만 합니다. 합성 로그 테스트 42개가 통과했고 실제 로그의 파싱 검증(회차 수와 T 확인만)을 거친 뒤 스케줄러가 00:06:41에 분석을 띄워 00:06:46에 정상 종료했습니다. 유효성 항목 모두 충족: 입력 로그 11개 존재, 각 실행의 마지막 회차 3,249(v19d300d는 6,498), 다시 계산한 T가 2,952 / 2,949 / 2,958 / 2,183 / 2,293으로 기존 기록과 일치, 무붕괴 네 실행에는 끝까지 이어지는 구간 없음, 주 지표 다섯 개가 1,476회차부터 빠짐없이 파싱됨.
관측 결과주 검정 10개(reports/collapse_align_20261118.csv). 적중 수는 붕괴 다섯 실행 중 주 문턱을 T보다 50회차 이상 앞서 넘은 수이고, 선행은 "T − 처음 넘은 회차"를 v19d 시드 43 / v19d 시드 44 / v19d300e 시드 43 / v19d300f 시드 43 / v19d300f 시드 44 순으로 적었습니다("—"는 T 전에 넘지 않음). 오늘은 체크포인트를 만들거나 다시 채점하지 않았으므로 유효 점프·낙상률·상승 높이의 새 값은 없습니다. 입력 실행은 모두 3,250회차(v19d300d는 이틀 밤 6,499회차) 예산이며 6,000회차였던 v5~v9와는 비교하지 않습니다.
지표 (25회차 후행 평균)방향엄격한 문턱 (오경보 0/4)주 문턱 (오경보 ≤ 1/4)적중, 엄격적중, 주선행 회차 (주 문턱)
회차당 낙상 종료높음329.32298.620/50/5— / — / — / — / —
회차당 낙상 종료낮음1.101.400/52/5815 / — / — / 397 / —
행동 표준편차높음0.84000.83120/50/5— / — / — / — / —
행동 표준편차낮음0.36800.46080/52/51,232 / — / — / 454 / —
평균 에피소드 길이높음834.73812.300/52/5796 / — / — / 374 / —
평균 에피소드 길이낮음13.3313.860/50/5— / — / — / — / —
가치 손실높음3.81252.85820/55/5186 / 219 / 157 / 114 / 167
가치 손실낮음0.24290.25330/51/5— / — / — / 477 / —
낙상 벌점 항높음−0.0036−0.00400/51/51,452 / — / — / — / —
낙상 벌점 항낮음−0.4347−0.41491/53/563 / 83 / 56 / 44 / 43
판정 입력: 가치 손실(높음 방향)에서 붕괴 다섯 실행 모두가 주 문턱 2.8582를 T보다 186 / 219 / 157 / 114 / 167회차 앞서 넘었습니다(5/5, 다섯 개 모두 선행 50~300회차 안). 실행 로그의 판정 줄은 "best primary hits50: at theta1 (<= 1/4 FA) 5/5, at theta0 (0/4 FA) 1/5" / "RULE: support (H-precursor, in-sample candidate) [<= 1/4 FA only]"입니다. 지지 조건(하나 이상의 검정에서 4/5 이상)을 채웠고, 반박·판단보류 조건에는 해당하지 않습니다. 엄격한 문턱 3.8125에서는 가치 손실도 0/5입니다. 처음 넘은 회차는 2,766 / 2,730 / 2,801 / 2,069 / 2,126회차로, −300 도착(2,500회차 세 실행, 2,000회차 두 실행) 뒤 266 / 230 / 301 / 69 / 126회차입니다. 가치 손실의 모양(reports/collapse_align_20261118_series.csv, 붕괴 시작 전 300회차의 25회차 블록 평균): 다섯 실행 모두 올랐다가 붕괴 시작 전에 다시 내려왔습니다 — v19d 시드 43 2.44 → 최고 3.15(시작 125회차 전) → 1.77(직전 블록), v19d 시드 44 2.60 → 2.97 → 1.89, v19d300e 시드 43 2.36 → 2.99 → 1.70, v19d300f 시드 43 1.70 → 3.23 → 2.17, v19d300f 시드 44 2.16 → 3.13 → 2.06. 붕괴 직전 25회차 블록은 다섯 실행 모두 문턱 아래입니다. 문턱을 넘은 상태에서 붕괴하는 것이 아니라, 넘었다가 내려오는 도중에 낙상 종료가 200을 넘습니다. 문턱과 오경보(사후 계산, 판정 입력 아님, reports/collapse_align_20261118_posthoc.txt): 주 문턱 2.8582는 무붕괴 v19d300d 시드 43의 최댓값(3,842회차, −300 도착 뒤 343회차) 그 자체입니다. 이 문턱을 넘은 무붕괴 실행은 v19d300d 시드 44 하나로, 6,191~6,215회차의 25회차 동안 넘었고(최대 3.8125) 그 뒤 최종 6,498회차까지 붕괴하지 않았습니다. −300 단계가 없는 v19d100 두 실행의 최댓값은 2.18 / 1.95입니다. 붕괴 실행의 최댓값은 3.15 / 2.99 / 2.99 / 3.27 / 3.15로 문턱보다 0.13~0.41 높습니다. 나머지 검정: 낙상 벌점 항(낮음 방향)은 주 문턱 −0.4149에서 3/5(선행 63 / 83 / 56 / 44 / 43회차)로 지지 기준에 못 미쳤습니다. 선행 25회차 이상으로 세면 5/5이지만 이 기준은 기록용입니다. 회차당 낙상 종료(높음)·행동 표준편차(높음)·평균 에피소드 길이(낮음)는 0/5입니다 — 무붕괴 실행에도 회복된 급증(25회차 평균 329.3, 298.6)과 행동 표준편차 0.83~0.84 구간이 있어 수준으로는 갈리지 않습니다. 보조 지표 14개 중 4/5 이상은 없었고(최대 3/5), 100회차 기울기에서는 행동 표준편차와 가치 손실이 4/5였으나 선행이 대부분 300회차를 넘어(683~1,449회차 등) 판정에 올리지 않습니다. 판정에 넣지 않은 여섯 실행: 붕괴한 v19 시드 43은 가치 손실 문턱을 붕괴 시작 177회차 전에 넘었고, 무붕괴 다섯 실행 중 v19 시드 44가 2,635회차에 넘었으며(3,249회차까지 붕괴 없음) v19b·v19c 네 실행은 넘지 않았습니다.
개선 사항1. 실험 변수와 측정된 효과. 바꾼 것은 분석 스크립트 하나를 더한 것이고, 묻는 것은 "학습 로그에 이미 기록된 지표 다섯 개 가운데 붕괴보다 50회차 이상 앞서 무붕괴 실행의 범위를 벗어나는 것이 있는가"였습니다. 측정된 것: 가치 손실의 25회차 평균이 붕괴 다섯 실행 모두에서 붕괴 시작 114~219회차 전에 2.8582를 넘었고, 무붕괴 네 실행 중에서는 하나만 넘었습니다. 사전 등록한 지지 조건을 채웠으므로 판정은 지지입니다. 지금까지 붕괴 시작 회차는 −300 도착 뒤 183~458회차로 275회차 폭에 흩어져 있었는데, 가치 손실이 문턱을 넘은 시점을 기준으로 하면 114~219회차(105회차 폭)입니다. 정책 성능에 관한 "개선"은 없습니다(학습·평가 없음). 2. 판정의 범위(정직한 단서). 이 결과는 같은 아홉 실행에서 문턱을 정하고 같은 아홉 실행으로 센 표본 내 탐색입니다. 검정이 10개였고 다중 비교는 보정하지 않았으므로 우연히 갈리는 지표가 하나 나올 수 있습니다. 엄격한 문턱에서는 0/5입니다. 주 문턱은 −300 단계를 거친 무붕괴 실행 두 개 중 하나의 최댓값이고 다른 하나는 그 문턱을 넘고도 붕괴하지 않았으므로, −300 단계 안의 대조는 두 실행뿐이며 그중 하나가 오경보입니다. −300 단계가 없는 실행의 가치 손실이 낮은 것(2.18 / 1.95)은 벌점 크기에 따라 가치 목표의 크기가 달라지는 것과 분리되지 않았습니다. 붕괴 실행의 최댓값과 문턱의 차이는 0.13~0.41로 작습니다. 입력 실행은 각각 시드 1회이고 시드와 GPU 비결정성은 분리되지 않았습니다. 가치 손실이 오르는 것이 붕괴의 원인인지는 확인되지 않았습니다. 3. 판정 밖의 관측. 가치 손실은 붕괴 시작 75~175회차 전에 최고에 이른 뒤 내려왔고, 낙상 벌점 항은 붕괴 시작 43~83회차 전에 무붕괴 범위를 벗어났습니다. 회차당 낙상 종료 자체는 붕괴 시작 직전까지 무붕괴 실행의 급증 범위 안이었습니다. 행동 표준편차의 수준이 표지가 아니라는 11월 12·14일 관측은 오늘 검정(0/5)에서도 그대로입니다. 4. 바뀌지 않은 것. 11월 15~17일의 판정(반박 / 판단보류 / 판단보류; 오늘 결과로 다시 판정하지 않음), 붕괴 집계(−300 at 2,000 2/2, at 2,500 4/11, at 3,500 0/2, 없음 0/2), 모든 실행의 유효 점프·낙상 값, v12 기준선, 평가 재현 폭 4.17%p, 61차원 관측 계약, 기반 코드 고정 커밋, 태스크 id와 학습 코드. 5. 다음에 바꿀 한 가지. v19d300f 시드 45 학습 밤 — 전향 검증. 11월 16·17일 구성을 코드 변경 없이 시드만 45로 바꿔 무작위 초기화·3,250회차로 학습하고, 오늘의 지표와 문턱(가치 손실 25회차 평균 > 2.8582, 1,500회차~붕괴 시작 직전)을 그대로 고정해 학습 전에 예측을 등록합니다. 등록 초안: 붕괴가 나고 문턱 초과가 붕괴 시작보다 50회차 이상 앞서면 지지, 붕괴가 났는데 문턱을 넘지 않았거나 선행이 50회차 미만이면 반박, 문턱을 넘고도 3,249회차까지 붕괴하지 않으면 판단보류(오경보 기록)입니다. 근거: 오늘 분리는 표본 내 결과이므로 새 실행에서 미리 정한 숫자로 맞아야 합니다. 대안은 v19e 게이트 창 2.0초, 대체안은 v19c 시드 45입니다.
실험 설정학습 없음(GPU 프로세스 없음, 회차 0) · 분석 스크립트 scripts/collapse_align.py(읽기 전용; 시작 1,500회차, 25회차 후행 평균, 선행 기준 50회차, 문턱은 무붕괴 실행 극값에서 계산) · 입력: 붕괴 다섯 실행의 학습 로그 logs/train_jump_stand_v19d_s43.log·_v19d_s44.log·_v19d300e_s43.log·_v19d300f_s43.log·_v19d300f_s44.log(각 4,096개 환경, 3,250회차, 무작위 초기화, 시드 43 또는 44), 무붕괴 네 실행 _v19d300d_s43.log+_s43_n2.log·_v19d300d_s44.log+_s44_n2.log(이틀 밤 6,499회차)·_v19d100_s43.log·_v19d100_s44.log(3,250회차) · 판정에 넣지 않은 실행: v19·v19b·v19c 두 시드씩 · 헤더 표기용 태스크 id Mjlab-Jump-Stand-v19d300f-MicroDuck(오늘 학습·평가에 쓰지 않음) · 결과 reports/collapse_align_20261118.csv(48행), 구간 표 reports/collapse_align_20261118_series.csv(560행), 사후 계산 reports/collapse_align_20261118_posthoc.txt · 계획서 experiments/plans/20261118-collapse-log-align.yaml · 보고서 experiments/reports/20261118-collapse-log-align.md · 테스트 tests/test_collapse_log_align.py(42개) · 실행 로그 logs/nightly_2026-11-18_run.log(00:06:41 → 00:06:46) · 영상 없음 · 기반 코드 pollen-robotics/microduck_rl 고정 커밋(업스트림 무수정) · 참고 arXiv 2302.09450(Cassie 점프, 다단계 훈련), arXiv 2401.16889(이족 제어, 3단계 훈련), witcheer/microduck-hop(커뮤니티 호핑 정책, 시뮬레이션 전용) · 실물 로봇 검증 없음.

2026-11-19

v19d300f 시드 45: 11월 16·17일 구성(낙상 벌점 0 → −100(500회차) → −300(2,000회차))을 코드 변경 없이 시드만 45로 바꿔 학습하면서, 11월 18일에 표본 내에서 찾은 후보 지표 "가치 손실의 25회차 평균 > 2.8582"가 새 실행의 붕괴 시작보다 50회차 이상 앞서는지를 문턱을 고정한 채 검정하려 했습니다(무작위 초기화, 3,250회차). 이 실행은 3,249회차까지 붕괴하지 않았고(−300 도착 뒤 학습 로그의 회차당 낙상 종료 > 200 0회, 단일 최대 30.96), 가치 손실의 25회차 평균도 문턱을 넘지 않았습니다(최대 2.7935, 2,172회차). 사전 등록 규칙에서 이 조합은 "정보 없음"이므로 판정은 판단보류이고, 문턱의 전향 검증은 이뤄지지 않았습니다. 최종 3,249회차는 유효 점프 22.53%·낙상 0.91%입니다(같은 구성의 시드 43·44는 0.00%·100.00%). 오늘 실행은 시드 1회입니다.

수행 내용11월 18일 기록이 다음으로 적어 둔 "v19d300f 시드 45 학습 밤 — 전향 검증"입니다. 근거: 11월 18일 분석에서 가치 손실(높음 방향)의 25회차 평균이 붕괴 다섯 실행 모두에서 붕괴 시작 114~219회차 전에 2.8582를 넘었지만(5/5, 무붕괴 넷 중 하나도 넘음), 이는 같은 아홉 실행으로 문턱을 정한 10개 검정의 표본 내 결과이고 다중 비교를 보정하지 않았습니다. 오늘 바꾼 것은 에이전트 시드 하나(43 / 44 → 45)입니다. 태스크 id Mjlab-Jump-Stand-v19d300f-MicroDuck, 벌점 단계, 창 안 −0.1 / 창 밖 −0.8, 동결 네 항목, 정점 배율, 기준 상태 초기화, 환경 수, 회차 예산, 평가기는 11월 16·17일과 같고 학습 코드와 설정은 바꾸지 않았습니다. 새로 더한 것은 읽기 전용 판정 스크립트 scripts/precursor_check.py 하나로, 11월 18일 분석 스크립트의 함수와 상수(시작 1,500회차, 25회차 후행 평균, 선행 기준 50회차)를 그대로 가져와 문턱 2.8582로 판정 줄을 출력합니다. 학습 전에 이 스크립트를 표본 내 붕괴 다섯 실행의 로그에 돌려 11월 18일 값(붕괴 시작 / 첫 초과 / 선행 = 2,952 / 2,766 / 186, 2,949 / 2,730 / 219, 2,958 / 2,801 / 157, 2,183 / 2,069 / 114, 2,293 / 2,126 / 167)과 일치함을 확인했습니다. 외부 조사(00:00): 가치 손실을 정책 붕괴의 선행 지표로 다룬 이족 점프 강화학습 자료는 검색되지 않았습니다(arXiv 2603.07110은 종료 직전의 상태-행동 패턴을 조기 경보로 쓴다는 주장을 검색 요약 기준으로 담고 있으나 가치 손실·점프 수치는 없음). 기반 코드 저장소 main의 최신 커밋 5개는 모두 8월 25일이었고, 커뮤니티 호핑 정책(witcheer/microduck-hop 등, 시뮬레이션 전용)에는 학습 로그 자료가 없었습니다. 오늘 문턱의 근거는 11월 18일의 내부 로그뿐입니다. 가설과 사전 등록 기준(experiments/plans/20261119-v19d300f-seed45-prospective.yaml, 학습 전 등록, 사후 변경 없음; 숫자는 11월 18일 기록의 초안 그대로). T = 학습 로그의 회차당 낙상 종료 > 200이 마지막 기록 회차까지 이어지는 구간(길이 20회차 이상)의 첫 회차. i* = 1,500회차부터 T 직전까지(붕괴가 없으면 마지막 회차까지) 가치 손실의 25회차 후행 평균이 2.8582를 처음 넘는 회차. 지지: T가 있고 i*가 있고 T − i* ≥ 50. 반박: T가 있는데 i*가 없거나 T − i* < 50. 판단보류(오경보 기록): i*가 있는데 3,249회차까지 T가 없음. 정보 없음: i*도 T도 없음(이 경우 도착 2,000회차 붕괴 집계를 2/3으로 기록). 최종 평가 낙상은 판정 입력이 아닙니다. 계획서는 "도착 2,000회차 구성은 지금까지 2/2 붕괴였으므로 붕괴 자체는 지표 없이도 예상되며, 오늘 검정이 가르는 것은 선행 50회차뿐"이라고 미리 적었고, 지지여도 전향 표본은 한 개라는 점과 "개선"이라는 말을 쓰지 않는다는 점도 적었습니다. 짧은 검증(64개 환경 × 5회차)은 1차에 통과했고(seed=45, 벌점 가중치 0 ×5, 가치 손실 5회 파싱, NaN 0, 환경 설정에 12,000 / 48,000 스텝 단계 확인) CPU 테스트 135개가 통과했습니다. 본 학습은 00:06:31에 출발해 02:19에 정상 종료했습니다(3,250회차, 회차당 평균 2.41초, 배포 트랙 프로세스 없음, GPU 656 MiB). 유효성 항목 모두 충족: seed=45, 이어 학습 없음(0회차부터), Curriculum/fall_penalty_weight 0 ×499 → −100 ×1,499 → 2,000회차부터 −300 ×1,250, −500 0회, 행동 변화율 가중치 −0.1 ×3,250, 창 밖 항 3,250회 기록·양수 0, 동결 네 항목과 정점 배율 고정, 가치 손실 3,250회차 전부 파싱.
관측 결과경과 회차별 유효 점프 비율(%). 위 일곱 행이 오늘 실행(reports/jump_eval_v19d300fs45_dense.csv, 학습 로그 logs/train_jump_stand_v19d300f_s45.log), 대조 행은 같은 id의 시드 44(11월 17일)와 시드 43(11월 16일)입니다. 0회차 열은 무작위 초기화 뒤 학습 전 정책입니다. 세 실행 모두 3,250회차로, 6,000회차였던 v5~v9와는 직접 비교하지 않습니다.
경과 회차0 (초기)2505007501,0001,2501,5001,7502,0002,2502,5002,7503,0003,249 (최종)
v19d300f 시드 45 유효 점프 (%, 창 밖 −0.8, 벌점 0 → −100(500회차) → −300(2,000회차))0.200.592.9913.020.0019.9915.6213.9315.3020.9033.3334.1125.3322.53
v19d300f 시드 45 신호당 낙상률 (%)98.6363.8750.075.0199.871.500.592.0817.327.553.262.7312.110.91
v19d300f 시드 45 체공 시간 (ms)33.324.437.834.20.031.932.828.531.135.639.044.038.232.7
v19d300f 시드 45 평균 상승 높이 (cm)0.000.000.490.620.000.620.470.630.510.610.840.710.980.72
v19d300f 시드 45 최대 상승 높이 (cm)0.000.001.742.780.001.703.651.672.232.352.542.213.152.30
v19d300f 시드 45 학습 로그 회차당 낙상 종료, 250회차 블록 평균(해당 열에서 시작)106.221.931.919.716.442.936.25.312.512.411.513.27.6 (3,000~3,249)—
v19d300f 시드 45 학습 로그 가치 손실, 250회차 블록 평균(해당 열에서 시작)0.8491.0291.3871.5501.3441.2121.4211.6432.6002.3842.3432.2571.955 (3,000~3,249)—
v19d300f 시드 44 유효 점프 (%, 11월 17일)0.000.333.459.640.0716.6712.764.8211.2025.780.000.000.000.00
v19d300f 시드 44 신호당 낙상률 (%)100.0060.5552.547.1699.930.911.1132.100.721.11100.00100.00100.00100.00
v19d300f 시드 43 유효 점프 (%, 11월 16일)0.000.520.780.7211.269.648.8512.9617.840.000.000.000.000.00
v19d300f 시드 43 신호당 낙상률 (%)99.9357.8854.4397.6610.741.370.261.632.02100.00100.00100.00100.00100.00
낙상 벌점 커리큘럼 · 붕괴 시작세 실행 모두: 0 → −100(500회차) → −300(2,000회차), −500 없음 · 붕괴 시작: 시드 43 2,183회차, 시드 44 2,293회차, 시드 45 없음(3,249회차까지)
판정 입력: 학습 로그에서 회차당 낙상 종료 > 200이 마지막 기록 회차까지 이어지는 구간은 없습니다(런처 줄 "terminal stretch (verdict input T): none"). −300 도착 뒤인 2,000~3,249회차에 200을 넘은 회차는 0회, 50을 넘은 회차도 0회이고 단일 최대는 도착 직후 2,005회차의 30.96입니다. 가치 손실의 25회차 평균이 2.8582를 넘은 회차는 0회이고, 최대는 2,172회차의 2.7935(문턱까지 0.0647)입니다. 판정 스크립트 출력은 "T = none; i* = none; iterations with m25 > theta: 0; m25 max 2.7935 at 2172; RULE: no information"이며(logs/nightly_2026-11-19_run.log), 02:30에 다시 돌려 같은 출력을 확인했습니다. 회차 수가 3,250이므로 계획서의 "정보 없음" 항에 해당합니다. 지지와 반박은 모두 붕괴(T)가 있어야 성립하므로 어느 쪽도 판정되지 않았습니다. 유효성 위반·미채점 없음. 학습 불가 기록(최종 유효 점프 ≤ 2% 또는 최종 낙상 > 5%)에는 해당하지 않습니다. 앵커(v12 시드 43의 3,250회차를 오늘 id로 재채점) 50.07%(지금까지 범위 47.53~51.24 안). 경과 1,500~3,000회차 평균 22.65%·마지막 4개 평균 28.82%는 기록만입니다(시드 43 / 44의 구간 평균 5.66 / 7.79는 붕괴 뒤 0.00%가 들어간 값; 대표값은 최종). 평가 곡선: 0회차 0.20%·낙상 98.63% → 1,500회차 15.62%·0.59% → −300 도착 시점 2,000회차 15.30%·17.32% → 2,500회차 33.33%·3.26% → 2,750회차 34.11%·2.73%(곡선의 최고) → 3,000회차 25.33%·12.11% → 최종 3,249회차 22.53%·0.91%. 곡선은 단조가 아니며 최고점 뒤 두 체크포인트에서 11.58%p 내려왔습니다. 평가 낙상률은 2,000·2,250·3,000회차에서 5%를 넘었습니다(17.32 / 7.55 / 12.11). 1,000회차의 낙상 99.87%는 학습 로그의 20회차 연속 > 200 구간(13~63회차, 1,318~1,343회차)과 겹치지 않으며 원인은 확인되지 않았습니다. 가치 손실의 모양: 250회차 블록 평균은 −300 도착 전 1.21~1.64에서 도착 블록(2,000~2,249회차) 2.600으로 오른 뒤 2.384 / 2.343 / 2.257 / 1.955로 내려왔습니다. 25회차 평균의 250회차 구간별 최대는 2.0332(1,500~) / 1.9520 / 2.7935(2,000~) / 2.4658 / 2.3752 / 2.3277 / 2.1170(3,000~)이고, 단일 회차 최대는 도착 회차 2,000의 3.1788입니다. 같은 id의 붕괴한 두 실행은 도착 뒤 69 / 126회차에 문턱을 넘었고 최대가 3.27 / 3.15였습니다. 오늘 실행의 최대는 도착 뒤 172회차에 나왔고 문턱 아래였습니다. 그 밖의 학습 로그(판정 아님): 회차당 낙상 종료의 250회차 블록 평균은 도착 직전 5.3에서 도착 뒤 12.5 / 12.4 / 11.5 / 13.2 / 7.6으로, 도착 전의 2.2~2.5배에서 머물렀습니다(시드 44는 6.0 → 267.4 → 494.2). 행동 표준편차의 250회차 블록 평균은 1,750회차 0.612 → 2,000회차 0.715 → 3,000회차 0.754로 올랐고 붕괴는 없었습니다. 낙상 벌점 항의 25회차 평균은 2,020회차에 11월 18일의 보조 문턱 −0.4149 아래로 내려갔습니다 — 이 보조 지표는 붕괴하지 않은 오늘 실행에서 문턱을 넘었습니다. 게이트 지표: 창 밖 행동 변화율 비 / 창 안 비는 1,500회차 0.224 / 0.359, 2,000회차 0.164 / 0.521, 2,750회차 0.282 / 0.907, 최종 0.262 / 0.797. 보조 품질 측정(reports/jump_quality_20261119.csv): 최종 28.58%, 40ms/5mm 이상 9.64%, 체공 중앙값 20ms; 앵커 53.06%, 40ms/5mm 이상 26.17%, 체공 중앙값 40ms.
개선 사항1. 실험 변수와 측정된 효과. 바꾼 것은 시드 하나(45)이고, 묻는 것은 "가치 손실의 25회차 평균이 2.8582를 넘는 시점이 새 실행의 붕괴 시작보다 50회차 이상 앞서는가"였습니다. 측정된 것: 이 실행은 3,249회차까지 붕괴하지 않았고 문턱도 넘지 않았습니다. 사전 등록 규칙은 이 조합을 "정보 없음"으로 정해 두었으므로 판정은 판단보류(정보 없음)입니다. 문턱을 고정한 전향 표본은 여전히 0개이고, 11월 18일의 "지지(표본 내 후보)"는 올라가지도 내려가지도 않았습니다. 사전 등록 기준을 통과한 것이 없으므로 "개선"이라고 적을 것은 없습니다. 붕괴 집계는 −300 at 2,000 2/3(11월 17일까지 2/2), at 2,500 4/11, at 3,500 0/2, −300 없음 0/2가 됐습니다. 2. 판정의 범위(정직한 단서). 오늘 실행은 시드 1회입니다. "붕괴하지 않은 실행에서 문턱을 넘지 않았다"는 표본 내 결과(붕괴 다섯 실행은 모두 넘음)와 어긋나지 않지만, 학습 전에 정한 규칙은 이것을 지지로 세지 않으며 여기서도 지지로 쓰지 않습니다. 가치 손실 평균의 최대 2.7935와 문턱 사이는 0.0647로, 표본 내 붕괴 실행들이 문턱을 넘은 폭(0.13~0.41)보다 좁습니다 — 문턱은 결과를 보고 움직이지 않았습니다. 가치 손실 수준은 −300 단계에 들어가는 블록에서 1.643 → 2.600으로 올랐으므로, 문턱 근처까지 오르는 것이 붕괴와 무관한 단계 효과인지는 분리되지 않았습니다. 관찰 창은 3,249회차까지이고 그 뒤는 보지 못했습니다. 시드와 GPU 비결정성은 분리되지 않았습니다. 3. 판정 밖의 관측. 같은 id·같은 설정에서 시드만 다른 세 실행이 붕괴 시작 2,183회차 / 2,293회차 / 3,249회차까지 무붕괴로 갈렸습니다. 11월 17일 기록의 "도착 2,000회차 구성은 두 실행 모두 붕괴"는 n=2의 서술이었고, 세 번째 시드에서는 관찰 창 안에 붕괴가 없었습니다. 오늘 실행의 최종 22.53%·낙상 0.91%는 창 밖 −0.8 구성(v19d 계열)에서 −300 단계를 1,250회차 거치고 남은 값이지만, 곡선이 2,750회차 34.11%에서 내려오는 중이었고 3,000회차 낙상이 12.11%였으므로 안정된 값이라고 쓰지 않습니다. 11월 18일의 보조 지표(낙상 벌점 항 평균 < −0.4149)는 붕괴 없는 오늘 실행에서도 문턱을 넘었습니다. 4. 바뀌지 않은 것. v12 기준선과 v19b·v19c·v19d·v19d100·v19d300d·v19d300e·v19d300f 시드 43·44의 결과, 11월 16·17일의 판정(판단보류; 오늘 결과로 다시 판정하지 않음), 11월 18일의 판정(지지, 표본 내 후보)과 문턱 2.8582·오경보 집계 1/4, 평가 재현 폭 4.17%p(앵커 50.07%), 61차원 관측 계약, 기반 코드 고정 커밋, 태스크 id와 학습 코드(오늘은 코드 변경 없음). 5. 다음에 바꿀 한 가지. v19e — 점프 신호 창 1.5 → 2.0초(계획서가 "정보 없음"일 때의 다음으로 미리 적어 둔 항목). 창 밖 −0.4·낙상 벌점 상한 −100(지금까지 붕괴 0/2인 구성)에 창 폭 하나만 바꾼 새 태스크 id를 시드 43·무작위 초기화·3,250회차로 학습합니다. 근거: 전향 검증은 붕괴가 나야만 정보를 주는데 도착 2,000회차 구성의 붕괴가 2/3이 되어 하룻밤을 쓰고도 "정보 없음"이 나올 수 있음이 오늘 확인됐고, 창 폭이 창 밖 평활과 점프의 양립 상한(창 밖 합계 −0.75~−0.9, 11월 5일)을 움직이는지는 11월 2일 이후 보류된 채 검정되지 않았습니다. 평가기의 게이트 열은 창 폭이 달라 기존 값과 비교할 수 없으므로 판정은 유효 점프와 낙상으로만 합니다. 대안은 v19d300f 시드 46(같은 문턱·같은 규칙으로 전향 표본을 다시 시도; 다시 "정보 없음"이 나올 수 있음), 대체안은 v19c 시드 45입니다. 2026-11-20 정정. 실제로 등록·실행한 v19e는 이 초안과 다릅니다: 낙상 벌점 상한 −100은 넣지 않았고(v19b와 같은 0 → −100 → −300 일정), 점프 신호 창이 아니라 창 밖 전용 벌점 항의 게이트 길이만 2.0초로 늘렸습니다(11월 20일 기록).
실험 설정PPO · Mjlab-Jump-Stand-v19d300f-MicroDuck(11월 16일 신설, 오늘 변경 없음; v12 구성 + 보상 항 action_rate_l2_outside_window −0.8(점프 신호 창 1.5초 밖), 기본 항 −0.1 상수, 머리 명령 범위 ±0.07rad·머리 편향 벌점 0·무게중심 0.003·머리 무게중심 0.003 고정, 정점 배율 0.06, 기준 상태 초기화 60/25/15 + 낙상 벌점 0 → −100(500회차) → −300(2,000회차), −500 없음) · 4,096개 환경 · 시드 45 · 3,250회차(회차당 평균 2.41초, 00:06:31 → 02:19; v5~v9 6,000회차의 절반 수준) · 초기 정책 = 무작위 초기화(이어 학습 없음, LabJumpRunner) · 판정 스크립트 scripts/precursor_check.py(읽기 전용; 가치 손실 25회차 후행 평균, 문턱 2.8582 엄격 초과, 시작 1,500회차, 선행 기준 50회차, 붕괴 시작 = 낙상 종료 > 200이 20회차 이상 최종까지) · 평가 scripts/evaluate_jump.py(11월 2일 판, 게이트 열 포함) 512개 환경 × 1에피소드, 평가 시드 1000, 신호 1,536회, 제자리 조건 · 체크포인트 15개 전량 재채점(앵커 1 + 새 14, 사후 최고값 선택 없음, 대표값 최종) · 결과 reports/jump_eval_v19d300fs45_dense.csv, 보조 reports/jump_quality_20261119.csv; 대조군 reports/jump_eval_v19d300f_dense.csv(시드 43)·jump_eval_v19d300fs44_dense.csv(시드 44)·reports/collapse_align_20261118.csv(표본 내 아홉 실행) · 계획서 experiments/plans/20261119-v19d300f-seed45-prospective.yaml · 보고서 experiments/reports/20261119-v19d300f-seed45-prospective.md · 테스트 tests/test_v19d300f_seed45_prospective.py(135개) · 학습 로그 logs/train_jump_stand_v19d300f_s45.log, 실행 로그 logs/nightly_2026-11-19_run.log · 영상 생략 · 기반 코드 pollen-robotics/microduck_rl 고정 커밋(업스트림 무수정; 11월 19일 00:00 확인 main 최신 커밋 8월 25일) · 참고 arXiv 2603.07110(실패에서 배우기, 종료 직전 패턴의 조기 경보 주장 — 검색 요약 기준), arXiv 2302.09450(Cassie 점프), witcheer/microduck-hop(커뮤니티 호핑 정책, 시뮬레이션 전용) · 실물 로봇 검증 없음.

2026-11-20

v19e: v19b 구성(창 안 −0.1 / 창 밖 전용 행동 변화율 벌점 −0.4)에서 창 밖 전용 항이 꺼져 있는 시간만 점프 신호 뒤 1.5초 → 2.0초로 늘린 새 태스크 id를 시드 43·무작위 초기화로 3,250회차 학습했습니다. 경과 1,500~3,000회차 평균은 14.40%로 지지 경계 16%와 반박 경계 8% 사이이고, 학습 로그의 회차당 낙상 종료가 2,693회차부터 최종까지 557회차 연속으로 200을 넘어(−300 도착 뒤 193회차) 평가 2,750회차부터 최종까지 유효 점프 0.00%·낙상 100.00%였습니다 — 판정 판단보류(중간 띠), 학습 불가 기록(붕괴) 포함. 같은 벌점 일정의 v19b 시드 43·44는 붕괴하지 않았고 최종 41.60% / 49.22%였습니다. 붕괴 전 다섯 지점(1,500~2,500회차) 평균은 20.16%로 v19b 시드 43의 23.97%와 재현 폭 4.17%p 안입니다. 오늘 실행은 시드 1회입니다.

수행 내용11월 19일 기록이 다음으로 적어 둔 v19e입니다. 근거: 11월 2일의 학습 없는 측정에서 v19b 두 시드 최종 정책의 창 안 발 접촉 전환 수가 v12 두 시드 평균의 0.839 / 0.878배로 낮았고(reports/jump_eval_gate_finals_dense.csv), 이것이 "1.5초에 다시 켜지는 창 밖 평활을 앞둔 이른 정착"인지는 보류된 채였습니다. 11월 19일에는 붕괴 선행 지표의 전향 검증이 붕괴가 나지 않아 정보 없이 끝났습니다. 오늘 바꾼 것은 하나 — 보상 항 action_rate_l2_outside_window(−0.4)의 게이트 길이(1.5 → 2.0초)입니다. 점프 신호 항의 창 1.5초와 점프 보상(체공·정점·이륙 속도·신호 밖 체공 벌점)의 게이트, 창 안 −0.1, 낙상 벌점 일정(0 → −100(1,500회차) → −300(2,500회차)), 동결 네 항목, 정점 배율, 기준 상태 초기화, 환경 수, 평가기는 v19b와 같습니다. 11월 19일 기록과 다른 점: 그 기록의 초안은 "창 폭 1.5 → 2.0초, 낙상 벌점 상한 −100"이었으나, 계획서를 쓰면서 둘 다 넣지 않았습니다 — 벌점 상한을 함께 바꾸면 대조군 v19b에 대해 변수가 둘이 되고, 점프 신호 창 자체를 늘리면 점프 보상 게이트까지 함께 길어지기 때문입니다(계획서 deviation_from_draft). 외부 조사(00:00): 가치 손실 붕괴나 평활 게이트 길이를 직접 다룬 2025~2026년 이족 점프 자료는 검색되지 않았고(Cassie 점프 arXiv 2302.09450·2401.16889는 검색 요약 기준, 게이트 길이 수치 없음), 기반 코드 저장소 main의 최신 커밋 8개는 모두 8월 25일이었으며, 커뮤니티 호핑 정책(witcheer/microduck-hop 등, 시뮬레이션 전용)은 방법 선택에 쓰이지 않았습니다. 오늘 선택의 근거는 내부 결과뿐입니다. 가설과 사전 등록 기준(experiments/plans/20261120-v19e-gate-window-20.yaml, 학습 전 등록, 사후 변경 없음). 가설: 게이트만 2.0초로 늘려도 점프는 v12 띠에 남는다. 지지: 경과 1,500~3,000회차 평균 ≥ 16% 그리고 마지막 4개 평균 ≥ 16% 그리고 최종 낙상 ≤ 2%. 반박: 구간 평균 ≤ 8%. 그 외 판단보류(8~16은 중간 띠). 학습 불가 기록(판정과 별도): 최종 유효 점프 ≤ 2% 그리고 최종 낙상 > 5%, 이때 붕괴 시작 회차를 함께 적음. 보조 관측(판정 입력 아님): 최종 정책의 창 안 발 접촉 전환 수 ÷ 13.4125(v12 두 시드 평균). 계획서는 "게이트 위치"와 "창 밖 벌점이 걸리는 시간 자체의 감소"가 분리되지 않는다는 점, −300 단계에서 붕괴하면 게이트 해석은 붕괴 전 구간의 기술에 그친다는 점을 미리 적었습니다. 짧은 검증(64개 환경 × 5회차)은 1차에 실패했습니다(새 설정 클래스의 import 줄을 빠뜨린 준비 단계의 패치 실수, rc=1). import를 더한 2차에 통과했고(seed=43, 새 항 5회 기록·양수 0, NaN 0, 환경 설정에 게이트 2.0초·신호 창 1.5초 확인) CPU 테스트 144개가 통과했습니다. 본 학습은 00:07:51에 출발해 02:17에 정상 종료했습니다(3,250회차, 회차당 평균 2.35초, 배포 트랙 프로세스 없음, GPU 669 MiB). 유효성 항목 모두 충족: seed=43, 이어 학습 없음, Curriculum/fall_penalty_weight 0 ×1,499 → −100 ×999 → 2,500회차부터 −300 ×750(경계 보간 2회), −500 0회, 행동 변화율 가중치 −0.1 ×3,250, 창 밖 항 3,250회 기록·양수 0, 동결 네 항목과 정점 배율 고정.
관측 결과경과 회차별 유효 점프 비율(%). 위 일곱 행이 오늘 실행(reports/jump_eval_v19e_dense.csv, 학습 로그 logs/train_jump_stand_v19e_s43.log), 대조 행은 v19b 시드 43(10월 29일)·시드 44(10월 30일)입니다. 0회차 열은 무작위 초기화 뒤 학습 전 정책입니다. 세 실행 모두 3,250회차로, 6,000회차였던 v5~v9와는 직접 비교하지 않습니다.
경과 회차0 (초기)2505007501,0001,2501,5001,7502,0002,2502,5002,7503,0003,249 (최종)
v19e 시드 43 유효 점프 (%, 창 밖 −0.4, 창 밖 항 게이트 2.0초)0.0011.729.516.2514.3915.3613.8020.5719.4023.9623.050.000.000.00
v19e 시드 43 신호당 낙상률 (%)99.872.800.7821.226.770.330.980.520.395.012.67100.00100.00100.00
v19e 시드 43 체공 시간 (ms)0.032.333.230.831.232.431.933.032.837.138.60.00.00.0
v19e 시드 43 평균 상승 높이 (cm)0.000.660.490.530.570.510.480.500.620.640.560.000.000.00
v19e 시드 43 최대 상승 높이 (cm)0.001.562.031.143.502.453.343.492.682.292.600.000.000.00
v19e 시드 43 학습 로그 회차당 낙상 종료, 250회차 블록 평균(해당 열에서 시작)73.836.146.24.339.844.03.849.150.35.883.4412.3538.3 (3,000~3,249)—
v19e 시드 43 학습 로그 가치 손실, 250회차 블록 평균(해당 열에서 시작)0.6550.7590.8420.9390.6570.8141.2500.9381.0771.1942.2803.4973.735 (3,000~3,249)—
v19b 시드 43 유효 점프 (%, 10월 29일, 창 밖 −0.4, 게이트 1.5초)0.0011.3312.4315.4919.7312.6313.8021.8827.2127.2829.6933.6638.9341.60
v19b 시드 43 신호당 낙상률 (%)99.935.273.848.980.650.720.200.651.171.241.630.780.460.39
v19b 시드 43 학습 로그 회차당 낙상 종료, 250회차 블록 평균70.719.36.014.620.92.75.18.18.26.55.35.24.9 (3,000~3,249)—
v19e − v19b 시드 43 (%p, 같은 시드)0.00+0.39−2.92−9.24−5.34+2.730.00−1.31−7.81−3.32−6.64−33.66−38.93−41.60
v19b 시드 44 유효 점프 (%, 10월 30일)0.0010.2914.9712.1119.5311.7220.8332.6226.6333.3331.6434.7036.2049.22
낙상 벌점 커리큘럼 · 붕괴 시작세 실행 모두: 0 → −100(1,500회차) → −300(2,500회차), 3,250회차 예산에서는 −500 미도달 · 붕괴 시작: v19e 시드 43 2,693회차, v19b 시드 43·44 없음(3,249회차까지)
판정 입력: 경과 1,500~3,000회차 일곱 지점 13.80 / 20.57 / 19.40 / 23.96 / 23.05 / 0.00 / 0.00의 평균 14.40%(v19b 시드 43 / 44 27.49 / 30.85%), 마지막 4개 평균 5.76%, 최종 3,249회차 유효 점프 0.00%·낙상 100.00%(런처 줄 "verdict inputs: window mean 14.40 over 7/7 checkpoints; last-4 mean 5.76; final model_3249 clean 0.00 fall 100.00", logs/nightly_2026-11-20_run.log). 지지 조건 세 개는 모두 미충족, 반박 조건(≤ 8%)도 미충족이어서 판단보류(중간 띠)이고, 학습 불가 기록 조건에 해당합니다. 유효성 위반·미채점 없음. 대표값은 최종이며 사후 최고값을 고르지 않았습니다(곡선의 최고는 2,250회차 23.96%). 앵커(v12 시드 43의 3,250회차를 오늘 id로 재채점) 50.07%(지금까지 범위 47.53~52.60 안). 붕괴: 학습 로그의 회차당 낙상 종료는 2,681~2,692회차에 78.5 → 194.1로 단조 상승한 뒤 2,693회차부터 최종 3,249회차까지 557회차 연속으로 200을 넘었습니다(−300 도착 2,500회차 뒤 193회차; 마지막 회차 575.96, 평균 에피소드 길이 6.79스텝). −300 도착 뒤 2,500~2,692회차에는 200을 넘은 회차가 없었습니다(25회차 블록 평균 20.2 / 13.0 / 10.9 / 12.4 / 15.2 / 20.5 / 35.0 / 141.9). v19b 시드 43·44는 같은 단계에서 200을 넘은 회차가 0회이고 단일 최대가 8.58 / 8.17이었습니다. 붕괴 집계는 −300 at 2,000 2/3, at 2,500 5/12(11월 19일까지 4/11; 창 밖 −0.4 구성은 v19b 0/2 + 오늘 1/1 = 1/3), at 3,500 0/2, −300 없음 0/2입니다. 붕괴 전 구간: 1,500~2,500회차 다섯 지점 평균은 20.16%, 같은 지점의 v19b 시드 43은 23.97%(차 −3.81%p, 재현 폭 4.17%p 안), 지점별 차는 0.00 ~ −7.81%p입니다. 평가 낙상은 750회차 21.22%, 1,000회차 6.77%, 2,250회차 5.01%로 5%를 넘었습니다. 학습 로그에서는 최종 붕괴 전에도 회차당 낙상 종료가 10회차 이상 연속으로 200을 넘었다가 회복한 구간이 일곱 번 있었습니다(10~45, 384~400, 693~719, 1,026~1,050, 1,386~1,411, 1,823~1,848, 2,176~2,203회차; 길이 17~36회차). 그중 두 번은 −100 단계 안입니다. 250회차 블록 평균으로는 −100 단계(1,500~2,499회차)에서 오늘 3.8 / 49.1 / 50.3 / 5.8, v19b 시드 43 5.1 / 8.1 / 8.2 / 6.5, 시드 44 5.2 / 11.2 / 7.2 / 7.7입니다. v19b 두 실행에서 같은 "10회차 이상 연속" 집계는 오늘 계산하지 않았습니다. 판정 밖의 기록: (가) 11월 18일의 후보 지표 — 가치 손실의 25회차 평균은 붕괴 시작 전에 문턱 2.8582를 넘지 않았습니다(붕괴 전 최대 2.2671, 2,607회차; 처음 넘은 것은 붕괴 뒤 2,747회차). 판정 스크립트 출력은 "T = 2693; i* = none; RULE: refute"이지만, 이 규칙은 11월 19일에 v19d300f 시드 45에 대해 등록한 것이고 오늘 실행(다른 id, 창 밖 −0.4)에는 등록하지 않았으므로 전향 표본으로 세지 않습니다(0개 그대로). (나) 보조 관측인 창 안 발 접촉 전환 수의 비는 최종 0.202이나 최종 정책이 붕괴 상태(창 안 스텝 비율 0.163)여서 계획서의 읽기 기준에 넣지 않았습니다. 붕괴 전 2,500회차는 0.640이지만 비교 기준(v19b 0.839 / 0.878)은 최종 체크포인트의 값이고 v19b의 2,500회차 값은 같은 표에 없어 비교하지 않았습니다 — 보조 질문은 답해지지 않았습니다. (다) 보조 품질 측정(reports/jump_quality_20261120.csv): 최종 0.00%; 앵커 54.04%, 40ms/5mm 이상 26.04%, 체공 중앙값 40ms.
개선 사항1. 실험 변수와 측정된 효과. 바꾼 것은 창 밖 전용 벌점 항의 게이트 길이 하나(1.5 → 2.0초)이고, 묻는 것은 "그래도 점프가 v12 띠(구간 평균 ≥ 16%)에 남는가"였습니다. 측정된 것: 구간 평균 14.40%(v19b 같은 시드 27.49%), 최종 0.00%·낙상 100.00%(v19b 같은 시드 41.60%·0.39%). 사전 등록 기준으로 지지도 반박도 아니어서 판정은 판단보류(중간 띠)이고 학습 불가 기록(붕괴 시작 2,693회차)이 붙습니다. 사전 등록 기준을 통과한 것이 없으므로 "개선"이라고 적을 것은 없습니다. 2. 판정의 범위(정직한 단서). 오늘 실행은 시드 1회입니다. 구간 평균 14.40%에는 붕괴 뒤의 0.00% 두 개(2,750·3,000회차)가 들어 있습니다. 붕괴 전 다섯 지점만 보면 20.16%로 v19b 시드 43(23.97%)과 재현 폭 안이지만, 구간 정의는 학습 전에 정한 그대로이고 이 값으로 판정을 바꾸지 않습니다. "게이트 2.0초가 붕괴를 만들었다"고 쓰지 않습니다: 창 밖 −0.4 구성의 붕괴는 세 실행 중 한 번이고, 같은 id·같은 설정에서 시드만 달라 붕괴 여부가 갈린 선례(v19d300f 2/3)가 있으며, 같은 시드라도 GPU 비결정성으로 궤적이 갈립니다(11월 9·11일 기록). 게이트를 늘리면 창 밖 벌점이 걸리는 시간 비율 자체도 줄어들므로 "게이트 위치"와 "총 벌점량"은 분리되지 않았습니다. 평가기의 게이트 열은 1.5초 분할이라 1.5~2.0초 구간의 행동은 따로 재지 않았습니다. 3. 판정 밖의 관측. −300 단계에서의 붕괴는 지금까지 창 밖 −0.8 이상 구성에서만 났는데(11월 5일 기록의 "창 밖 −0.8 이상 × −300 단계"), 오늘 창 밖 −0.4 구성에서 처음 났습니다 — 그 서술은 "v19b·v19c·v12 여섯 실행에서는 0회"로 남고, 오늘 실행이 한 번의 예외인지 게이트 변경에 따른 것인지는 확인되지 않았습니다. 최종 붕괴 전에도 200을 넘었다가 회복한 급증이 일곱 번 있었고 −100 단계 블록 평균이 v19b 두 시드보다 높았습니다(위 표와 본문). 11월 18일의 가치 손실 문턱은 오늘 붕괴보다 먼저 넘지 않았습니다 — 등록되지 않은 실행이므로 그 후보의 판정(지지, 표본 내)을 바꾸지 않되, 표본 내 다섯 실행이 모두 창 밖 −0.8 구성이었다는 한계와 함께 기록합니다. 4. 바뀌지 않은 것. v12 기준선과 v19b 두 시드의 결과("창 밖 합계 −0.5는 점프와 양립, 두 시드"; 게이트 1.5초에서의 서술), 양립 상한 −0.75~−0.9(게이트 1.5초), 11월 18일 판정과 문턱 2.8582·전향 표본 0개, 평가 재현 폭 4.17%p(앵커 50.07%), 61차원 관측 계약, 기반 코드 고정 커밋, 기존 태스크 id의 동작(새 인자의 기본값은 기존 동작). 5. 다음에 바꿀 한 가지. v19e 시드 44(계획서가 "판단보류이고 구간 평균 ≥ 12%"일 때의 다음으로 미리 적어 둔 항목; 오늘 14.40%). 같은 id를 코드 변경 없이 시드만 44로 바꿔 무작위 초기화·3,250회차로 학습합니다. 근거: 오늘 판정을 가른 것은 붕괴이고, 그것이 게이트 2.0초에 따른 것인지 한 번의 사건인지는 n=1로 갈리지 않습니다(v19b는 0/2). 등록 초안: 시드 44의 구간 평균 ≥ 16%·마지막 4개 ≥ 16%·최종 낙상 ≤ 2%이고 두 시드 구간 평균 ≥ 16%(시드 44가 17.60% 이상)이면 지지, 시드 44 구간 평균 ≤ 8% 또는 두 시드 평균 ≤ 8%이면 반박, 그 외 판단보류(두 시드 중간 띠). 붕괴 여부(붕괴 시작 회차 유무, 최종 낙상 ≥ 50%)는 판정과 별도로 기록합니다. 대안은 v19d300f 시드 46(가치 손실 문턱 2.8582의 전향 검증 재시도), 대체안은 v19c 시드 45입니다.
실험 설정PPO · Mjlab-Jump-Stand-v19e-MicroDuck(11월 20일 신설; v19b 구성 = v12 구성 + 보상 항 action_rate_l2_outside_window −0.4, 기본 항 −0.1 상수, 머리 명령 범위 ±0.07rad·머리 편향 벌점 0·무게중심 0.003·머리 무게중심 0.003 고정, 정점 배율 0.06, 기준 상태 초기화 60/25/15, 낙상 벌점 0 → −100(1,500회차) → −300(2,500회차) → −500(3,500회차, 오늘 예산에서는 미도달) + 창 밖 항의 게이트 길이 2.0초(점프 신호 항의 창은 1.5초 그대로)) · 4,096개 환경 · 시드 43 · 3,250회차(회차당 평균 2.35초, 00:07:51 → 02:17; v5~v9 6,000회차의 절반 수준) · 초기 정책 = 무작위 초기화(이어 학습 없음, LabJumpRunner) · 평가 scripts/evaluate_jump.py(무변경; 채점 창 1.2초, 게이트 열은 1.5초 분할) 512개 환경 × 1에피소드, 평가 시드 1000, 신호 1,536회, 제자리 조건 · 체크포인트 15개 전량 재채점(앵커 1 + 새 14, 사후 최고값 선택 없음, 대표값 최종) · 결과 reports/jump_eval_v19e_dense.csv, 보조 reports/jump_quality_20261120.csv; 대조군 reports/jump_eval_v19b_dense.csv(시드 43)·jump_eval_v19bs44_dense.csv(시드 44)·jump_eval_gate_finals_dense.csv(11월 2일 게이트 측정), 학습 로그 logs/train_jump_stand_v19b_s43.log·_s44.log · 계획서 experiments/plans/20261120-v19e-gate-window-20.yaml · 보고서 experiments/reports/20261120-v19e-gate-window-20.md · 테스트 tests/test_v19e_gate_window_20.py(144개) · 학습 로그 logs/train_jump_stand_v19e_s43.log, 실행 로그 logs/nightly_2026-11-20_run.log, 판정 밖 스크립트 scripts/precursor_check.py(읽기 전용) · 영상 생략 · 기반 코드 pollen-robotics/microduck_rl 고정 커밋(업스트림 무수정; 11월 20일 00:00 확인 main 최신 커밋 8월 25일) · 참고 arXiv 2302.09450(Cassie 점프, 검색 요약 기준), arXiv 2401.16889(Cassie 보행·점프, 검색 요약 기준), witcheer/microduck-hop(커뮤니티 호핑 정책, 시뮬레이션 전용) · 실물 로봇 검증 없음.

2026-11-21

v19e 시드 44: 11월 20일의 v19e 구성(v19b 구성에서 창 밖 전용 벌점 항의 게이트 길이만 2.0초)을 코드 변경 없이 시드만 44로 바꿔 무작위 초기화로 3,250회차 학습했습니다. 경과 1,500~3,000회차 평균은 15.84%(시드 43 14.40%, 두 시드 평균 15.12%)로 지지 경계 16%와 반박 경계 8% 사이이고, 학습 로그의 회차당 낙상 종료가 2,782회차부터 최종까지 468회차 연속으로 200을 넘어(−300 도착 뒤 282회차) 평가 3,000회차와 최종에서 유효 점프 0.00%·낙상 100.00%였습니다 — 판정 판단보류(두 시드 중간 띠), 학습 불가 기록(붕괴) 포함. 게이트 2.0초 구성은 두 시드 모두 붕괴했고(2/2), 같은 벌점 일정의 v19b 두 시드는 붕괴하지 않았습니다(0/2). 오늘 실행은 시드 1회입니다.

수행 내용11월 20일 기록이 다음으로 적어 둔 v19e 시드 44입니다. 근거: 11월 20일 시드 43은 구간 평균 14.40%의 판단보류였고 2,693회차부터 붕괴했는데, 창 밖 −0.4 구성의 붕괴는 그때까지 세 실행 중 한 번이어서 게이트 2.0초에 따른 것인지 한 번의 사건인지 갈리지 않았습니다. 11월 20일 계획서는 "판단보류이고 구간 평균 ≥ 12%"이면 같은 id의 시드 44를 다음으로 정해 두었습니다. 오늘 바꾼 것은 하나 — 시드(43 → 44)입니다. 태스크 설정(창 밖 전용 벌점 −0.4·게이트 2.0초, 창 안 −0.1, 점프 신호 창 1.5초, 낙상 벌점 0 → −100(1,500회차) → −300(2,500회차), 동결 네 항목, 정점 배율, 기준 상태 초기화), 환경 수, 평가기, 예산은 11월 20일과 같고 태스크 코드는 바꾸지 않았습니다(테스트가 11월 20일 준비 커밋과의 차이 없음을 확인). 외부 조사(00:00, 웹 검색 3건): 단계별 보상 게이트를 쓰는 사족 점프 자료(arXiv 2603.07999, 2509.12776)와 Cassie 점프(2401.16889)는 검색 요약만 읽었고 이족 점프의 정책 붕괴나 평활 게이트 길이를 다룬 결과는 검색되지 않았습니다. 기반 코드 저장소에서 점프 관련 새 커밋은 검색되지 않았고(커밋 이력 페이지 자체는 오늘 읽지 못함), 커뮤니티 호핑 정책(시뮬레이션 전용)은 방법 선택에 쓰이지 않았습니다. 오늘 선택의 근거는 내부 결과뿐입니다. 가설과 사전 등록 기준(experiments/plans/20261121-v19e-seed44.yaml, 학습 전 등록, 사후 변경 없음). 가설: 게이트 2.0초 구성은 시드 44에서도, 두 시드 평균으로도 v12 띠(구간 평균 ≥ 16%)에 남는다. 지지: 시드 44의 경과 1,500~3,000회차 평균 ≥ 16% 그리고 마지막 4개 평균 ≥ 16% 그리고 최종 낙상 ≤ 2% 그리고 두 시드 구간 평균 ≥ 16%(시드 44가 17.60% 이상). 반박: 시드 44 구간 평균 ≤ 8% 또는 두 시드 평균 ≤ 8%. 그 외 판단보류(두 시드 중간 띠). 학습 불가 기록(판정과 별도): 최종 유효 점프 ≤ 2% 그리고 최종 낙상 > 5%. 붕괴 관측(판정 입력 아님, 문구를 미리 고정): 붕괴 시작 회차가 있고 최종 낙상 ≥ 50%이면 "게이트 2.0초 붕괴 2/2(v19b 0/2)", 붕괴가 없고 최종 낙상 ≤ 5%이면 "1/2". 계획서는 2/2여도 "게이트 2.0초가 붕괴 원인"이라고 쓰지 않는다는 것(n=2, 게이트 위치와 총 벌점량 감소 미분리, 시드와 GPU 비결정성 미분리)을 미리 적었습니다. 짧은 검증(64개 환경 × 5회차, 시드 44, 무작위 초기화)은 1차에 통과했고(새 항 5회 기록·양수 0, NaN 0, 환경 설정에 게이트 2.0초 확인) CPU 테스트 164개가 통과했습니다. 본 학습은 00:05:20에 출발해 02:18에 정상 종료했습니다(3,250회차, 회차당 평균 2.41초, 배포 트랙 프로세스 없음, GPU 516 MiB). 유효성 항목 모두 충족: seed=44, 이어 학습 없음, Curriculum/fall_penalty_weight 0 ×1,499 → −100 ×999 → 2,500회차부터 −300 ×750(경계 보간 2회), −500 0회, 행동 변화율 가중치 −0.1 ×3,250, 창 밖 항 3,250회 기록·양수 0, 동결 네 항목과 정점 배율 고정, 환경 설정 게이트 2.0초·신호 창 1.5초.
관측 결과경과 회차별 유효 점프 비율(%). 위 일곱 행이 오늘 실행(reports/jump_eval_v19es44_dense.csv, 학습 로그 logs/train_jump_stand_v19e_s44.log), 대조 행은 v19e 시드 43(11월 20일)과 v19b 시드 44(10월 30일)입니다. 0회차 열은 무작위 초기화 뒤 학습 전 정책입니다. 세 실행 모두 3,250회차로, 6,000회차였던 v5~v9와는 직접 비교하지 않습니다.
경과 회차0 (초기)2505007501,0001,2501,5001,7502,0002,2502,5002,7503,0003,249 (최종)
v19e 시드 44 유효 점프 (%, 창 밖 −0.4, 창 밖 항 게이트 2.0초)0.0012.5013.8714.840.0718.9517.640.0022.3321.6813.8035.420.000.00
v19e 시드 44 신호당 낙상률 (%)100.002.540.915.7999.870.390.13100.000.330.1315.761.43100.00100.00
v19e 시드 44 체공 시간 (ms)0.030.632.530.940.031.333.40.035.034.135.450.60.00.0
v19e 시드 44 평균 상승 높이 (cm)0.000.460.540.641.810.420.530.000.520.460.640.780.000.00
v19e 시드 44 최대 상승 높이 (cm)0.001.712.331.971.812.041.910.001.901.721.963.790.000.00
v19e 시드 44 학습 로그 회차당 낙상 종료, 250회차 블록 평균(해당 열에서 시작)71.036.344.036.611.047.534.328.475.685.26.8394.0657.6 (3,000~3,249)—
v19e 시드 44 학습 로그 가치 손실, 250회차 블록 평균(해당 열에서 시작)0.6610.7680.8230.8520.8180.7121.3061.0090.9041.0361.9373.4293.287 (3,000~3,249)—
v19e 시드 43 유효 점프 (%, 11월 20일, 같은 구성)0.0011.729.516.2514.3915.3613.8020.5719.4023.9623.050.000.000.00
v19e 시드 43 신호당 낙상률 (%)99.872.800.7821.226.770.330.980.520.395.012.67100.00100.00100.00
시드 44 − 시드 43 (%p, 같은 구성)0.00+0.78+4.36+8.59−14.32+3.59+3.84−20.57+2.93−2.28−9.25+35.420.000.00
v19b 시드 44 유효 점프 (%, 10월 30일, 창 밖 −0.4, 게이트 1.5초)0.0010.2914.9712.1119.5311.7220.8332.6226.6333.3331.6434.7036.2049.22
v19e − v19b 시드 44 (%p, 같은 시드)0.00+2.21−1.10+2.73−19.46+7.23−3.19−32.62−4.30−11.65−17.84+0.72−36.20−49.22
낙상 벌점 커리큘럼 · 붕괴 시작세 실행 모두: 0 → −100(1,500회차) → −300(2,500회차), 3,250회차 예산에서는 −500 미도달 · 붕괴 시작: v19e 시드 44 2,782회차, v19e 시드 43 2,693회차, v19b 시드 43·44 없음(3,249회차까지)
판정 입력: 시드 44의 경과 1,500~3,000회차 일곱 지점 17.64 / 0.00 / 22.33 / 21.68 / 13.80 / 35.42 / 0.00의 평균 15.84%, 마지막 4개 평균 12.30%, 최종 3,249회차 유효 점프 0.00%·낙상 100.00%, 두 시드 구간 평균 (14.40 + 15.84) / 2 = 15.12%(런처 줄 "verdict inputs: s44 window mean 15.84 over 7/7 checkpoints; last-4 mean 12.30; final model_3249 clean 0.00 fall 100.00; s43 window 14.40 -> two-seed window mean 15.12", logs/nightly_2026-11-21_run.log). 지지 조건 네 개는 모두 미충족(시드 44 구간 평균은 경계 16%에 0.16%p 못 미침), 반박 조건 두 개도 미충족이어서 판단보류(두 시드 중간 띠)이고, 학습 불가 기록 조건에 해당합니다. 유효성 위반·미채점 없음. 대표값은 최종이며 사후 최고값을 고르지 않았습니다(곡선의 최고는 2,750회차 35.42%로, 붕괴 시작 32회차 전의 체크포인트입니다). 앵커(v12 시드 43의 3,250회차를 같은 id로 재채점) 51.43%(지금까지 범위 47.53~52.60 안). 붕괴: 학습 로그의 회차당 낙상 종료는 2,765~2,781회차에 38.2 → 183.0으로 단조 상승한 뒤 2,782회차부터 최종 3,249회차까지 468회차 연속으로 200을 넘었습니다(−300 도착 2,500회차 뒤 282회차, 시드 43은 193회차; 마지막 회차 680.38, 평균 에피소드 길이 6.16스텝). −300 도착 뒤 2,500~2,781회차에는 200을 넘은 회차가 없었습니다(25회차 블록 평균 7.0 / 2.9 / 3.5 / 4.1 / 4.9 / 6.0 / 7.1 / 8.3 / 10.3 / 14.4 / 39.2). 미리 고정한 문구로는 "게이트 2.0초 붕괴 2/2(v19b 0/2)"입니다. 붕괴 집계는 −300 at 2,000 2/3, at 2,500 6/13(11월 20일까지 5/12; 창 밖 −0.4 구성은 v19b 0/2 + v19e 2/2 = 2/4), at 3,500 0/2, −300 없음 0/2입니다. 최종 붕괴 전의 급증: 학습 로그에서 회차당 낙상 종료가 10회차 이상 연속으로 200을 넘었다가 회복한 구간이 여덟 번 있었습니다(12~45, 384~398, 683~708, 975~1,000, 1,315~1,344, 1,729~1,764, 2,070~2,118, 2,417~2,469회차; 길이 15~53회차, 시작 간격 292~414회차). 최종 붕괴의 시작 2,782회차는 직전 급증 시작의 365회차 뒤입니다. 평가 1,000회차(유효 점프 0.07%·낙상 99.87%)와 1,750회차(0.00%·100.00%)는 이 급증 구간 안에서 저장된 체크포인트이고, 2,500회차(13.80%·낙상 15.76%)는 급증 2,417~2,469회차가 끝난 31회차 뒤입니다. 따라서 구간 평균 15.84%에는 0.00%가 두 개(회복된 급증 안의 1,750회차, 붕괴 뒤의 3,000회차) 들어 있습니다. 11월 20일에 계산하지 않았던 같은 집계를 오늘 대조군에도 적용했습니다(사전 등록 아님): v19e 시드 43은 일곱 번(그중 1,500회차 뒤 두 번) + 최종 붕괴, v19b 시드 43은 한 번(11~44회차), v19b 시드 44는 네 번(12~41, 388~400, 702~716, 1,106~1,117회차; 모두 벌점 0 구간)입니다. 1,500회차 뒤로 한정하면 v19e 두 시드는 두 번 / 세 번 + 최종 붕괴, v19b 두 시드는 0번 / 0번이고, −100 단계(1,500~2,499회차)에서 200을 넘은 회차 수는 v19e 54 / 138회, v19b 0 / 0회(단일 최대 11.1 / 17.2)입니다. 판정 밖의 기록: (가) 11월 18일의 후보 지표 — 가치 손실의 25회차 평균은 붕괴 시작 전에 문턱 2.8582를 넘지 않았습니다(붕괴 전 최대 2.5653, 2,739회차; 처음 넘은 것은 붕괴 뒤 2,805회차). 판정 스크립트 출력은 "T = 2782; i* = none; RULE: refute"이지만 이 규칙은 v19d300f에 대해 등록한 것이고 오늘 계획서가 "이 실행의 출력은 기록만 하고 전향 표본에 더하지 않는다"고 미리 정했으므로 전향 표본은 0개 그대로입니다. (나) 보조 관측인 창 안 발 접촉 전환 수의 비는 최종 낙상이 5%를 넘어 계획서 조건에 따라 읽지 않았습니다(최종 0.253은 붕괴 상태의 값) — 11월 2일에 보류한 "이른 정착" 질문은 두 시드 모두에서 답해지지 않았습니다. (다) 보조 품질 측정(reports/jump_quality_20261121.csv): 최종 0.00%; 앵커 55.14%, 40ms/5mm 이상 28.91%, 체공 중앙값 40ms.
개선 사항1. 실험 변수와 측정된 효과. 바꾼 것은 시드 하나(43 → 44)이고, 묻는 것은 "게이트 2.0초 구성이 두 시드로도 v12 띠(구간 평균 ≥ 16%)에 남는가"였습니다. 측정된 것: 시드 44 구간 평균 15.84%(시드 43 14.40%, 차 +1.44%p는 재현 폭 4.17%p 안), 두 시드 평균 15.12%, 최종 0.00%·낙상 100.00%(시드 43도 0.00%·100.00%; v19b 같은 시드 49.22%·0.39%). 사전 등록 기준으로 지지도 반박도 아니어서 판정은 판단보류(두 시드 중간 띠)이고 학습 불가 기록(붕괴 시작 2,782회차)이 붙습니다. 사전 등록 기준을 통과한 것이 없으므로 "개선"이라고 적을 것은 없습니다. 2. 판정의 범위(정직한 단서). 오늘 실행은 시드 1회이고 v19e는 n=2입니다. 시드 44의 구간 평균은 지지 경계에 0.16%p 못 미치는 경계값이지만, 지지는 네 조건이 모두 필요하고 나머지 세 조건(마지막 4개 12.30%, 최종 낙상 100.00%, 두 시드 15.12%)도 채우지 못했으므로 경계 해석과 무관하게 지지가 아닙니다. 구간 평균에 들어간 0.00% 두 개를 뺀 다섯 지점 평균은 22.17%이지만 구간 정의는 학습 전에 정한 그대로이고 이 값으로 판정을 바꾸지 않습니다(시드 43의 14.40%에도 붕괴 뒤 0.00% 두 개가 있습니다). "게이트 2.0초가 붕괴를 만들었다"고 쓰지 않습니다: 2/2 대 0/2는 네 실행의 집계이고, 게이트를 늘리면 창 밖 벌점이 걸리는 시간 자체도 줄어 "게이트 위치"와 "총 벌점량"이 분리되지 않으며, 같은 시드·같은 설정도 GPU 비결정성으로 궤적이 갈립니다. 관찰 창은 3,249회차까지입니다. 3. 판정 밖의 관측. 달라진 것: 창 밖 −0.4 구성의 붕괴가 1/3에서 2/4가 됐고, 둘 다 게이트 2.0초 쪽입니다. 새로 센 것: 1,500회차 뒤 "10회차 이상 연속으로 200을 넘는" 급증이 v19e 두 시드에는 두 번 / 세 번 있었고 v19b 두 시드에는 없었습니다 — v19e의 최종 붕괴는 두 시드 모두 이런 급증이 여러 번 회복된 뒤 −300 단계에서 회복되지 않은 급증으로 나타났습니다. 이 집계는 오늘 결과를 본 뒤 대조군에 적용한 것이어서 검정이 아니고, 다음 실험에서 미리 등록해 셉니다. 평가 체크포인트가 급증 구간 안에 놓이면 그 지점의 유효 점프가 0%로 찍히므로(오늘 1,000·1,750회차), 250회차 간격 평가 곡선의 개별 지점은 학습 로그의 회차별 낙상과 함께 읽어야 합니다. 11월 18일의 가치 손실 문턱은 창 밖 −0.4 구성의 붕괴 두 번 모두에서 붕괴보다 먼저 넘지 않았습니다(붕괴 전 최대 2.2671 / 2.5653) — 등록되지 않은 실행이므로 그 후보의 판정(지지, 표본 내)은 바꾸지 않되, 표본 내 다섯 실행이 모두 창 밖 −0.8 구성이었다는 한계와 함께 기록합니다. 4. 바뀌지 않은 것. v12 기준선과 v19b 두 시드의 결과("창 밖 합계 −0.5는 점프와 양립, 두 시드"; 게이트 1.5초에서의 서술), 양립 상한 −0.75~−0.9(게이트 1.5초), 11월 18일 판정과 문턱 2.8582·전향 표본 0개, 평가 재현 폭 4.17%p(앵커 51.43%), 61차원 관측 계약, 기반 코드 고정 커밋, 기존 태스크 id의 동작(오늘은 태스크 코드 변경 없음). 5. 다음에 바꿀 한 가지. v19e에서 낙상 벌점 상한 −100(계획서가 "판단보류이고 붕괴 2/2"일 때의 다음으로 미리 적어 둔 항목). v19e 구성에서 낙상 벌점 일정만 0 → −100(1,500회차)로 끝내고(−300·−500 단계 제거) 새 태스크 id로 시드 43·무작위 초기화·3,250회차 학습합니다. 근거: v19e 두 시드의 판정을 가른 것은 둘 다 −300 단계의 붕괴이고, 붕괴가 구간 평균과 최종값을 덮어 게이트 길이에 관한 질문 자체를 읽을 수 없었습니다. 창 밖 −0.8 구성에서는 −300 단계를 없애자 되돌아오지 않는 붕괴가 사라졌습니다(11월 9·10일, 0/2). 등록 초안: 게이트 축 — 구간 평균 ≥ 16%·마지막 4개 ≥ 16%·최종 낙상 ≤ 2%이면 지지, 구간 평균 ≤ 8%이면 반박, 그 외 판단보류; 붕괴 축(별도 기록) — 2,500회차 뒤 붕괴 시작 없음·최종 낙상 ≤ 5%; 2차 관측 — 1,500회차 뒤 10회차 이상 연속 급증의 횟수. 게이트 1.5초·상한 −100·창 밖 −0.4의 대조 실행은 없으므로 구간 평균은 절대 경계로만 읽습니다. 대안은 v19d300f 시드 46(가치 손실 문턱 2.8582의 전향 검증 재시도), 대체안은 v19c 시드 45입니다.
실험 설정PPO · Mjlab-Jump-Stand-v19e-MicroDuck(11월 20일 신설, 오늘 변경 없음; v19b 구성 = v12 구성 + 보상 항 action_rate_l2_outside_window −0.4, 기본 항 −0.1 상수, 머리 명령 범위 ±0.07rad·머리 편향 벌점 0·무게중심 0.003·머리 무게중심 0.003 고정, 정점 배율 0.06, 기준 상태 초기화 60/25/15, 낙상 벌점 0 → −100(1,500회차) → −300(2,500회차) → −500(3,500회차, 오늘 예산에서는 미도달) + 창 밖 항의 게이트 길이 2.0초(점프 신호 항의 창은 1.5초)) · 4,096개 환경 · 시드 44 · 3,250회차(회차당 평균 2.41초, 00:05:20 → 02:18; v5~v9 6,000회차의 절반 수준) · 초기 정책 = 무작위 초기화(이어 학습 없음, LabJumpRunner) · 평가 scripts/evaluate_jump.py(무변경; 채점 창 1.2초, 게이트 열은 1.5초 분할) 512개 환경 × 1에피소드, 평가 시드 1000, 신호 1,536회, 제자리 조건 · 체크포인트 15개 전량 재채점(앵커 1 + 새 14, 사후 최고값 선택 없음, 대표값 최종) · 결과 reports/jump_eval_v19es44_dense.csv, 보조 reports/jump_quality_20261121.csv; 대조군 reports/jump_eval_v19e_dense.csv(v19e 시드 43)·jump_eval_v19b_dense.csv(v19b 시드 43)·jump_eval_v19bs44_dense.csv(v19b 시드 44), 학습 로그 logs/train_jump_stand_v19e_s43.log·train_jump_stand_v19b_s43.log·_s44.log · 계획서 experiments/plans/20261121-v19e-seed44.yaml · 보고서 experiments/reports/20261121-v19e-seed44.md · 테스트 tests/test_v19e_seed44.py(164개) · 학습 로그 logs/train_jump_stand_v19e_s44.log, 실행 로그 logs/nightly_2026-11-21_run.log, 판정 밖 스크립트 scripts/precursor_check.py(읽기 전용) · 영상 생략 · 기반 코드 pollen-robotics/microduck_rl 고정 커밋(업스트림 무수정) · 참고 arXiv 2603.07999(사족 점프의 단계별 보상 게이트, 검색 요약 기준), arXiv 2509.12776(사족, 착지 단계 보상 완화, 검색 요약 기준), arXiv 2401.16889(Cassie 보행·점프, 검색 요약 기준), witcheer/microduck-hop(커뮤니티 호핑 정책, 시뮬레이션 전용) · 실물 로봇 검증 없음.

2026-11-22

v19e 낙상 벌점 상한 −100: v19e 구성(창 밖 −0.4, 창 밖 전용 벌점 항 게이트 2.0초)에서 낙상 벌점 일정만 0 → −100(1,500회차)에서 멈추게 한 새 태스크 id를 시드 43·무작위 초기화로 3,250회차 학습했습니다. 학습 로그에 되돌아오지 않는 붕괴는 3,249회차까지 없었고 최종 유효 점프 15.69%·낙상 0.07%로, 사전 등록한 붕괴 축 기준(붕괴 시작 없음·최종 낙상 ≤ 5%·최종 유효 점프 ≥ 8%)을 통과했습니다 — 판정 지지(시드 1회, 재현성 주장 불가). 같은 구성에 −300 단계가 있던 v19e 두 시드는 2,693 / 2,782회차부터 붕괴해 최종 0.00%·낙상 100.00%였습니다. 다만 10회차 이상 이어지는 낙상 급증은 1,500회차 뒤 다섯 번으로 대조군보다 많았고, 모두 회복됐을 뿐 없어지지 않았습니다.

수행 내용11월 21일 기록이 다음으로 적어 둔 실험입니다. 근거: v19e(v19b 구성에서 창 밖 전용 벌점 항의 게이트 길이만 2.0초)는 시드 43·44 모두 낙상 벌점이 −300에 도착한(2,500회차) 뒤 193 / 282회차에 붕괴가 시작돼 최종 유효 점프 0.00%·낙상 100.00%로 끝났고, 이 붕괴가 구간 평균과 최종값을 덮어 게이트 길이에 관한 질문을 읽을 수 없었습니다. 창 밖 −0.8 구성에서는 11월 9·10일에 벌점을 −100에서 멈추자 두 시드 모두 되돌아오지 않는 붕괴가 없었습니다. 오늘 바꾼 것은 하나 — 낙상 벌점 일정입니다(0 → −100(1,500회차) → −300(2,500회차)에서 −300 단계를 제거). 창 밖 전용 벌점 −0.4·게이트 2.0초, 창 안 −0.1, 점프 신호 창 1.5초, 동결 네 항목, 정점 배율, 기준 상태 초기화, 환경 수, 시드 43, 평가기, 예산은 v19e와 같습니다. 새 태스크 id로 등록했고 기존 id의 동작은 바꾸지 않았습니다(기존 벌점 상한 인자를 재사용). 벌점 일정은 2,499회차까지 v19e와 같으므로, 그 구간 체크포인트의 v19e 시드 43과의 차이는 일정의 효과가 아닙니다. 외부 조사(00:05, 웹 검색 3건, 검색 요약 기준): 낙상 충격 완화·낙상 예측·낙상–기립 커리큘럼 자료(arXiv 2511.10635, 2511.18509, 2603.08619)는 점프 과제의 낙상 벌점 일정이나 정책 붕괴를 다루지 않았고, 기반 코드 저장소에서 점프 관련 새 커밋은 검색되지 않았습니다(커밋 이력 페이지 자체는 오늘 읽지 못함). 오늘 선택의 근거는 내부 결과뿐입니다. 가설과 사전 등록 기준(experiments/plans/20261122-v19e-cap100.yaml, 학습 전 등록, 사후 변경 없음). 가설: v19e 구성에서 낙상 벌점을 −100에서 멈추면 3,249회차까지 되돌아오지 않는 붕괴(학습 로그의 회차당 낙상 종료가 200을 넘은 채 마지막 회차까지 20회차 이상 이어지는 구간)가 생기지 않는다. 붕괴 축(주 판정, 11월 9일 규칙의 수치 그대로) — 지지: 붕괴 시작 없음 그리고 최종 낙상 ≤ 5% 그리고 최종 유효 점프 ≥ 8%. 반박: 붕괴 시작이 있고 최종 낙상 ≥ 50%. 그 외 판단보류. 게이트 축(별도 기록; 게이트 1.5초·상한 −100·창 밖 −0.4의 대조 실행이 없어 절대 경계로만 읽음) — 경과 1,500~3,000회차 평균 ≥ 16% 그리고 마지막 4개 평균 ≥ 16% 그리고 최종 낙상 ≤ 2%이면 "v12 띠 안", 구간 평균 ≤ 8%이면 "소실", 그 외 중간 띠. 학습 불가 기록: 최종 유효 점프 ≤ 2% 그리고 최종 낙상 > 5%. 미리 등록한 2차 관측(판정 입력 아님): 1,500회차 뒤에 시작해 회복된 "10회차 이상 연속으로 낙상 종료 > 200" 급증의 횟수(기준값 v19e 시드 43 / 44 두 번 / 세 번, v19b 0 / 0번, 창 밖 −0.8·상한 −100 실행 0 / 세 번). 계획서는 지지여도 "−300 단계가 붕괴 원인"이라고 쓰지 않는다는 것(시드 1회; v19b는 −300을 통과하고도 붕괴 0/2)을 미리 적었습니다. 짧은 검증(64개 환경 × 5회차, 시드 43, 무작위 초기화)은 1차에 통과했고(새 항 5회 기록, NaN 0, 환경 설정에 게이트 2.0초와 벌점 단계 0 → −100뿐임을 확인) CPU 테스트 138개가 통과했습니다. 본 학습은 00:08:37에 출발해 02:20에 정상 종료했습니다(3,250회차, 회차당 평균 2.40초, 배포 트랙 프로세스 없음, GPU 376 MiB). 유효성 항목 모두 충족: seed=43, 이어 학습 없음, Curriculum/fall_penalty_weight 0 ×1,499 → −100 ×1,750, −300·−500 0회, 행동 변화율 가중치 −0.1 ×3,250, 창 밖 항 3,250회 기록·양수 0, 동결 네 항목과 정점 배율 고정, 환경 설정 게이트 2.0초·신호 창 1.5초.
관측 결과경과 회차별 유효 점프 비율(%). 위 일곱 행이 오늘 실행(reports/jump_eval_v19e100_dense.csv, 학습 로그 logs/train_jump_stand_v19e100_s43.log), 대조 행은 v19e 시드 43(11월 20일)과 시드 44(11월 21일)입니다. 0회차 열은 무작위 초기화 뒤 학습 전 정책입니다. 세 실행 모두 3,250회차로, 6,000회차였던 v5~v9와는 직접 비교하지 않습니다.
경과 회차0 (초기)2505007501,0001,2501,5001,7502,0002,2502,5002,7503,0003,249 (최종)
v19e100 시드 43 유효 점프 (%, v19e 구성 + 낙상 벌점 상한 −100)0.0711.0711.8513.872.5420.2514.580.0025.5924.6723.0517.4524.7415.69
v19e100 시드 43 신호당 낙상률 (%)99.871.630.591.4365.690.590.5999.930.520.267.5565.230.330.07
v19e100 시드 43 체공 시간 (ms)40.032.430.332.627.235.629.60.037.541.136.044.337.533.5
v19e100 시드 43 평균 상승 높이 (cm)0.000.580.480.490.640.500.480.000.530.620.910.630.570.52
v19e100 시드 43 최대 상승 높이 (cm)0.002.561.592.311.411.792.050.004.082.533.163.322.061.56
v19e100 시드 43 학습 로그 회차당 낙상 종료, 250회차 블록 평균(해당 열에서 시작)75.331.639.236.05.342.243.520.151.461.89.751.6130.0 (3,000~3,249)—
v19e100 시드 43 학습 로그 가치 손실, 250회차 블록 평균(해당 열에서 시작)0.6540.7470.7790.8640.8410.6731.2811.0310.9211.0431.1470.8470.841 (3,000~3,249)—
v19e 시드 43 유효 점프 (%, 11월 20일, −300 단계 있음)0.0011.729.516.2514.3915.3613.8020.5719.4023.9623.050.000.000.00
v19e 시드 43 신호당 낙상률 (%)99.872.800.7821.226.770.330.980.520.395.012.67100.00100.00100.00
오늘 − v19e 시드 43 (%p, 같은 시드; 2,250회차까지는 벌점 일정이 같음)+0.07−0.65+2.34+7.62−11.85+4.89+0.78−20.57+6.19+0.710.00+17.45+24.74+15.69
v19e 시드 44 유효 점프 (%, 11월 21일, −300 단계 있음)0.0012.5013.8714.840.0718.9517.640.0022.3321.6813.8035.420.000.00
v19e 시드 44 신호당 낙상률 (%)100.002.540.915.7999.870.390.13100.000.330.1315.761.43100.00100.00
낙상 벌점 커리큘럼 · 붕괴 시작오늘: 0 → −100(1,500회차)에서 멈춤(−300·−500 없음) · v19e 두 시드: 0 → −100(1,500회차) → −300(2,500회차) · 붕괴 시작: 오늘 없음(3,249회차까지), v19e 시드 43 2,693회차, v19e 시드 44 2,782회차
판정 입력: 학습 로그에 붕괴 시작 없음(런처 줄 "terminal stretch (collapse_obs T): none"; 마지막 다섯 회차의 낙상 종료 2.42 / 2.00 / 3.50 / 2.88 / 2.83), 최종 3,249회차 유효 점프 15.69%·낙상 0.07% → 붕괴 축의 지지 조건 셋을 모두 충족합니다. 게이트 축: 경과 1,500~3,000회차 일곱 지점 14.58 / 0.00 / 25.59 / 24.67 / 23.05 / 17.45 / 24.74의 평균 18.58%, 마지막 4개 평균 20.23%, 최종 낙상 0.07% → "v12 띠 안"(런처 줄 "verdict inputs: v19e100 s43 window mean 18.58 over 7/7 checkpoints; last-4 mean 20.23; final model_3249 clean 15.69 fall 0.07; controls v19e s43 / s44 window 14.40 / 15.84", logs/nightly_2026-11-22_run.log). 학습 불가 기록 조건에는 해당하지 않습니다. 유효성 위반·미채점 없음. 대표값은 최종이며 사후 최고값을 고르지 않았습니다(곡선의 최고는 2,000회차 25.59%; 최종 15.69%는 직전 3,000회차 24.74%보다 9.05%p 낮습니다). 앵커(v12 시드 43의 3,250회차를 같은 id로 재채점) 49.02%(지금까지 범위 47.53~52.60 안). 미리 등록한 2차 관측 — 급증: 회차당 낙상 종료가 10회차 이상 연속으로 200을 넘었다가 회복한 구간은 전체 열 번(11~45, 380~389, 651~673, 970~988, 1,307~1,331, 1,718~1,753, 2,078~2,106, 2,425~2,461, 2,756~2,788, 3,095~3,172회차)이고, 1,500회차 뒤에 시작한 것은 다섯 번, 2,500회차 뒤에 시작한 것은 두 번입니다(기준값 v19e 두 번 / 세 번, v19b 0 / 0번, 창 밖 −0.8·상한 −100 실행 0 / 세 번). 1,500회차 뒤 시작 간격은 360 / 347 / 331 / 339회차입니다. 마지막 급증 3,095~3,172회차는 78회차로 이 실행에서 가장 길고(단일 최대 414.1, 3,116회차) 최종 회차의 77회차 전에 끝났습니다. 그 뒤 3,173~3,249회차에는 200을 넘은 회차가 없습니다(최대 198.3, 평균 29.7). 200을 넘은 회차 수는 0~1,499회차 113회, 1,500~2,499회차 102회, 2,500~3,249회차 111회입니다(v19b 두 시드는 2,500회차 뒤 0회). 평가 1,750회차(유효 점프 0.00%·낙상 99.93%)는 급증 1,718~1,753회차 안에서 저장된 체크포인트이고, 2,750회차(17.45%·낙상 65.23%)는 급증 2,756~2,788회차가 시작되기 6회차 전, 1,000회차(2.54%·낙상 65.69%)는 급증 970~988회차가 끝난 12회차 뒤의 체크포인트입니다. 판정 밖의 기록: (가) 11월 18일의 후보 지표 — 가치 손실의 25회차 평균은 문턱 2.8582를 넘지 않았고(최대 1.7375, 1,682회차) 붕괴도 없어 스크립트 출력은 "no information"입니다. 이 id에는 등록하지 않았으므로 전향 표본은 0개 그대로입니다. (나) 창 안 발 접촉 전환 수의 비(최종 낙상 ≤ 5%일 때만 읽기로 한 보조 관측): 최종 0.515로 계획서의 "v19b 수준(≤ 0.878)" 쪽이며 v19b 두 시드(0.839 / 0.878)보다 낮습니다(n=1; 앵커 1.052). (다) 보조 품질 측정(reports/jump_quality_20261122.csv): 최종 유효 점프 16.80%, 40ms/5mm 이상 3.39%, 체공 중앙값 20ms; 앵커 54.23%, 27.99%, 40ms.
개선 사항1. 실험 변수와 측정된 효과. 바꾼 것은 낙상 벌점 일정 하나(−300 단계 제거)이고, 묻는 것은 "v19e 구성에서 두 번 중 두 번 나온 붕괴가 −300 단계 없이도 나오는가"였습니다. 측정된 것: 붕괴 시작 없음(v19e 시드 43 / 44는 2,693 / 2,782회차), 최종 유효 점프 15.69%·낙상 0.07%(v19e 두 시드 0.00%·100.00%), 경과 2,750 / 3,000 / 3,249회차에서 v19e 시드 43 대비 +17.45 / +24.74 / +15.69%p. 사전 등록한 붕괴 축 기준 셋을 모두 통과했으므로 판정은 지지이고, 이 범위에서만 "개선됐다"고 적습니다: v19e 구성에서 벌점을 −100에서 멈춘 한 번의 실행은 3,249회차까지 붕괴하지 않았습니다(시드 1회 — 재현성은 주장할 수 없습니다). 2. 판정의 범위(정직한 단서). "−300 단계가 붕괴의 원인"이라고 쓰지 않습니다: 오늘은 시드 1회이고, 같은 −300 일정을 지난 v19b 두 시드는 붕괴하지 않았으며(0/2), 같은 시드·같은 설정도 GPU 비결정성으로 궤적이 갈립니다 — 벌점 일정이 같았던 0~2,250회차에서도 오늘과 v19e 시드 43의 차는 −20.57~+7.62%p였습니다. 급증은 없어지지 않았습니다: 1,500회차 뒤 다섯 번은 어느 기준값보다 많고, 가장 긴 78회차 급증이 최종 77회차 전에 끝났으므로 "회복"과 "붕괴"의 구분은 관찰 창 3,249회차 안에서만 성립합니다. 그 뒤는 알 수 없습니다. 게이트 축의 "v12 띠 안"은 대조 실행이 없는 절대 경계 판독이고, 구간 평균 18.58%의 여유 2.58%p는 평가 재현 폭 4.17%p 안의 경계값이며 그 평균에는 급증 안에서 저장된 1,750회차의 0.00%가 들어 있습니다. 따라서 "게이트 2.0초 구성이 v12 띠에 남는다"는 서술은 두 번째 시드 전에는 하지 않습니다. 3. 달라진 것과 달라지지 않은 것. 달라진 것: 2,500회차 뒤의 경로 — v19e 두 시드는 급증이 회복되지 않고 최종까지 이어졌고, 오늘은 같은 구간의 급증 두 번(33회차·78회차)이 모두 회복됐습니다. 붕괴 집계는 게이트 2.0초 구성에서 −300 있음 2/2·상한 −100 0/1, 전체로는 −300 at 2,000 2/3, at 2,500 6/13, at 3,500 0/2, −300 없음 0/3(어제까지 0/2)입니다. 달라지지 않은 것: 급증의 존재와 간격(약 330~360회차), 경과 2,000~2,500회차의 유효 점프 수준(오늘 25.59 / 24.67 / 23.05%, v19e 시드 43 19.40 / 23.96 / 23.05%), 그리고 v19b(게이트 1.5초, 구간 평균 27.49 / 30.85%, 최종 41.60 / 49.22%)보다 낮은 수준 — 단 v19b와는 벌점 일정과 게이트 길이가 모두 달라 이 차이를 어느 한쪽에 돌릴 수 없습니다. 평가 체크포인트가 급증 안이나 근처에 놓이면 그 지점의 낙상률이 65~100%로 찍히는 것도 그대로입니다(오늘 1,000·1,750·2,750회차). 4. 바뀌지 않은 것. v12 기준선과 v19b 두 시드의 결과, v19e 두 시드의 판정(판단보류 + 학습 불가 기록), 양립 상한 −0.75~−0.9(게이트 1.5초), 11월 18일 판정과 문턱 2.8582·전향 표본 0개, 평가 재현 폭 4.17%p, 61차원 관측 계약, 기반 코드 고정 커밋, 기존 태스크 id의 동작(새 id만 추가). 5. 다음에 바꿀 한 가지. v19e100 시드 44(계획서가 지지일 때의 다음으로 미리 적어 둔 항목). 오늘의 id를 코드 변경 없이 시드만 44로 바꿔 무작위 초기화·3,250회차 학습합니다. 근거: 오늘 지지는 시드 1회이고, 급증이 다섯 번으로 기준값보다 많았으며 마지막 급증이 종료 직전까지 이어져 한 번의 실행으로는 "붕괴하지 않는다"의 폭을 알 수 없습니다. 게이트 축도 여유가 재현 폭 안입니다. 등록 초안: 붕괴 축은 오늘 수치 그대로; 게이트 축은 시드 44의 구간 평균 ≥ 16%·마지막 4개 ≥ 16%·최종 낙상 ≤ 2%·두 시드 구간 평균 ≥ 16%(시드 44가 13.42% 이상)이면 "v12 띠 안(두 시드)", 시드 44 또는 두 시드 평균 ≤ 8%이면 "소실", 그 외 중간 띠; 2차 관측은 1,500회차 뒤 급증의 횟수와 가장 긴 길이. 대안은 v19d300f 시드 46(가치 손실 문턱 2.8582의 전향 검증 재시도), 대체안은 v19c 시드 45입니다.
실험 설정PPO · Mjlab-Jump-Stand-v19e100-MicroDuck(오늘 신설; v19e 구성 = v12 구성 + 보상 항 action_rate_l2_outside_window −0.4·게이트 길이 2.0초(점프 신호 항의 창은 1.5초), 기본 항 −0.1 상수, 머리 명령 범위 ±0.07rad·머리 편향 벌점 0·무게중심 0.003·머리 무게중심 0.003 고정, 정점 배율 0.06, 기준 상태 초기화 60/25/15 + 낙상 벌점 0 → −100(1,500회차)에서 상한, −300·−500 단계 없음) · 4,096개 환경 · 시드 43 · 3,250회차(회차당 평균 2.40초, 00:08:37 → 02:20; v5~v9 6,000회차의 절반 수준) · 초기 정책 = 무작위 초기화(이어 학습 없음, LabJumpRunner) · 평가 scripts/evaluate_jump.py(무변경; 채점 창 1.2초, 게이트 열은 1.5초 분할) 512개 환경 × 1에피소드, 평가 시드 1000, 신호 1,536회, 제자리 조건 · 체크포인트 15개 전량 재채점(앵커 1 + 새 14, 사후 최고값 선택 없음, 대표값 최종) · 결과 reports/jump_eval_v19e100_dense.csv, 보조 reports/jump_quality_20261122.csv; 대조군 reports/jump_eval_v19e_dense.csv(v19e 시드 43)·jump_eval_v19es44_dense.csv(v19e 시드 44), 참조 jump_eval_v19b_dense.csv·jump_eval_v19bs44_dense.csv · 계획서 experiments/plans/20261122-v19e-cap100.yaml · 보고서 experiments/reports/20261122-v19e-cap100.md · 테스트 tests/test_v19e_cap100.py(138개) · 학습 로그 logs/train_jump_stand_v19e100_s43.log, 실행 로그 logs/nightly_2026-11-22_run.log, 판정 밖 스크립트 scripts/precursor_check.py(읽기 전용) · 영상 생략 · 기반 코드 pollen-robotics/microduck_rl 고정 커밋(업스트림 무수정) · 참고 arXiv 2511.10635(낙상 자세·충격 최소화 보상, 검색 요약 기준), arXiv 2511.18509(낙상 예측과 피해 완화, 검색 요약 기준), arXiv 2603.08619(낙상–기립 순환 커리큘럼, 검색 요약 기준), witcheer/microduck-hop(커뮤니티 호핑 정책, 시뮬레이션 전용) · 실물 로봇 검증 없음.

점프 평가 결과

표는 점프 신호 1,536회에 대한 제자리 조건의 평가값입니다. ‘유효 점프’는 기존 기록의 ‘깨끗한 점프(clean jump)’를 뜻하며, 자체 평가기가 점프로 판정한 비율입니다. 판정 임계값과 개별 원자료가 이 페이지에 제시되어 있지 않으므로 다른 실험의 성공률과 직접 비교할 때는 평가 정의를 먼저 맞춰야 합니다.

정책유효 점프신호당 낙상률평균 상승 높이최대 상승 높이
대조군 (평지 보행)약 6%0.3%0.5 cm1.2 cm
달리기 점프 v211%0.9%0.63 cm3.6 cm
달리기 점프 v317%0.3%1.00 cm4.1 cm
제자리 점프 v1~v3대조군 수준으로 보고됨. 뚜렷한 개선 미확인
제자리 점프 v4 초기 → 최종15.9% → 7.0%0.20%0.35 cm1.08 cm
제자리 점프 v5 · 달리기 정책에서 시작 초기 → 최종16.1% → 3.6%0.26%0.49 cm1.17 cm
제자리 점프 v6 · 착지 정책에서 시작 초기 → 최종3.2% → 5.2%0.07%0.45 cm1.48 cm
제자리 점프 v7 · v5에서 기준 궤적 보상만 완화 초기 → 최종15.6% → 6.9%0.26%0.47 cm1.68 cm
제자리 점프 v8 · v5에 벌점 커리큘럼 실제 적용 초기 → 최종13.6% → 4.4%0.52%0.46 cm1.15 cm
제자리 점프 v9 · v8에 기준 상태 초기화 추가 초기 → 최종15.8% → 6.0%0.39%0.38 cm1.23 cm
제자리 점프 v10 · v9를 평지 보행 정책에서 시작 초기 → 최종6.05% → 7.36%0.26%0.41 cm1.24 cm
제자리 점프 v11 · v9 레시피를 무작위 초기화에서 시작 초기(1회차) → 최종0.00% → 5.01%0.72%0.47 cm1.40 cm
제자리 점프 v12 · v11에서 기반 코드 커리큘럼 5개를 회차 0 값에 고정 초기(1회차) → 최종0.00% → 48.37%0.33%0.79 cm3.75 cm
제자리 점프 v12 이어 학습 · 같은 구성, 경과 3,749 → 7,248회차, 낙상 벌점 −500 유지 초기(3,749회차 재채점) → 최종52.54% → 30.99%0.20%0.55 cm2.27 cm
제자리 점프 v14 · v12 구성에서 낙상 벌점 상한 −300(−500 단계 제거), 같은 3,749회차 체크포인트에서 이어 학습, 경과 3,749 → 7,248회차 초기(3,749회차 재채점) → 최종50.78% → 54.49%0.33%0.72 cm2.38 cm
제자리 점프 v14 2일차 · 7,248회차 체크포인트에서 같은 id로 이어 학습, 경과 7,248 → 10,750회차(타임아웃) 초기(7,248회차 재채점) → 7,500회차 이후54.43% → 0.0% (붕괴; 2026-10-15 정정: 9,000회차 이후와 최종 10,750은 평가가 마감 전에 끝나지 않아 미채점)0.33% → 100%0.72 → 0 cm4.20 → 0 cm
제자리 점프 v12 이어 학습 사건 검정 · 10월 8일 3,250회차 체크포인트에서 같은 id로 이어 학습, 경과 3,250 → 6,499회차, 벌점 −300 → −500(원래 일정) 초기(3,250회차 재채점) → 최종49.54% → 45.51% (3,500회차 44.47 / 3,750회차 74.09; 원래 실행 57.81 / 50.56)0.07%0.60 cm2.80 cm
제자리 점프 v12 시드 44 · 10월 8일 v12 구성 그대로, 시드만 43 → 44, 무작위 초기화, 3,250회차 초기(0회차) → 최종0.00% → 46.42% (경과 1,500~3,000 평균 23.47; 시드 43 같은 경과 50.52 / 24.93)0.00%0.70 cm3.80 cm
제자리 점프 v13 · v12 구성에서 행동 변화율 벌점 커리큘럼(−0.1 → −1.0)만 복원, 나머지 네 개 고정, 무작위 초기화, 시드 43, 3,250회차 초기(0회차) → 최종0.00% → 2.21% (경과 1,500~3,000 평균 4.52; v12 시드 43 / 44 같은 경과 24.93 / 23.47, v11 3.47)0.13%0.30 cm0.76 cm
제자리 점프 v15 · v12 구성에서 머리 자세 그룹 세 개(머리 명령 범위·머리 편향 벌점·머리 무게중심)의 커리큘럼만 학습용 구성에 복원, 나머지 두 개 고정, 평가용 구성은 v12와 동일, 무작위 초기화, 시드 43, 3,250회차 초기(0회차) → 최종0.00% → 39.84% (경과 1,500~3,000 평균 32.57; v12 시드 43 / 44 같은 경과 24.93 / 23.47, v13 4.52, v11 3.47)0.20%0.68 cm2.19 cm
제자리 점프 v16 · v12 구성에서 몸통 무게중심 랜덤화 범위(±0.003 → ±0.015m)의 커리큘럼만 학습용 구성에 복원, 나머지 네 개 고정, 평가용 구성은 v12와 동일, 무작위 초기화, 시드 43, 3,250회차 초기(0회차) → 최종0.00% → 46.61% (경과 1,500~3,000 평균 31.41; v12 시드 43 / 44 같은 경과 24.93 / 23.47, v13 4.52, v15 32.57, v11 3.47)0.07%0.76 cm5.11 cm
제자리 점프 v17 · v12 구성에서 행동 변화율 벌점 가중치만 −0.1 → −0.3 상수(램프 없음), 나머지 네 개 고정, 평가용 구성의 물리·명령은 v12와 동일, 무작위 초기화, 시드 43, 3,250회차 초기(0회차) → 최종0.00% → 7.42% (경과 1,500~3,000 평균 9.00; v12 시드 43 / 44 같은 경과 24.93 / 23.47, v13 4.52, v11 3.47 — 판단보류)0.13%0.39 cm1.48 cm
제자리 점프 v17 시드 44 · v17 구성 그대로(행동 변화율 벌점 −0.3 상수, 램프 없음, 나머지 네 개 고정, 평가용 구성의 물리·명령은 v12와 동일), 시드만 43 → 44, 무작위 초기화, 3,250회차 초기(0회차) → 최종0.00% → 8.01% (경과 1,500~3,000 평균 7.57; 시드 43 같은 경과 9.00, 두 시드 평균 8.29; v12 시드 43 / 44 24.93 / 23.47, v13 4.52 — 지지, n=2)0.13%0.35 cm1.44 cm
제자리 점프 v18 · v12 구성에서 행동 변화율 벌점 가중치만 −0.2 상수(램프 없음), 나머지 네 개 고정, 평가용 구성의 물리·명령은 v12와 동일, 무작위 초기화, 시드 43, 3,250회차 초기(0회차) → 최종0.00% → 15.23% (경과 1,500~3,000 평균 9.58; v17 시드 43 / 44 같은 경과 9.00 / 7.57, v12 시드 43 / 44 24.93 / 23.47, v13 4.52 — 판단보류, 시드 1회)0.26%0.45 cm1.88 cm
제자리 점프 v18 시드 44 · v18 구성 그대로, 코드 변경 없이 시드만 43 → 44, 무작위 초기화, 3,250회차 초기(0회차) → 최종0.00% → 8.46% (경과 1,500~3,000 평균 12.07; 시드 43 같은 경과 9.58, 두 시드 평균 10.83; v17 시드 43 / 44 9.00 / 7.57, v12 시드 43 / 44 24.93 / 23.47, v13 4.52 — 판단보류·부분 효과 재현, 행동 변화율 수준 스윕 종료, n=2)0.00%0.46 cm1.58 cm
제자리 점프 v19 · v12 구성 + 점프 신호 창(1.5초) 밖에서만 걷히는 행동 변화율 벌점 −0.9(창 안 −0.1 / 창 밖 −1.0), 무작위 초기화, 시드 43, 3,250회차 초기(0회차) → 최종0.00% → 0.00% (경과 1,500~3,000 평균 10.05, 마지막 4개 8.64, 붕괴 전 최고 2,750회차 23.11·낙상 12.63; v12 시드 43 / 44 24.93 / 23.47, v18 9.58 / 12.07, v17 9.00 / 7.57, v13 4.52 — 판단보류 + 학습 불가 기록: 2,775회차부터 모든 에피소드가 첫 스텝에 넘어지는 붕괴, n=1)100.00%0 cm0 cm
제자리 점프 v19 시드 44 · v19 구성 그대로, 코드 변경 없이 시드만 43 → 44, 무작위 초기화, 3,250회차 초기(0회차) → 최종0.00% → 20.12% (경과 1,500~3,000 평균 13.77, 마지막 4개 18.54, 두 시드 평균 11.91; 시드 43 10.05 / 8.64 / 0.00, v12 시드 43 / 44 24.93 / 23.47, v18 9.58 / 12.07, v17 9.00 / 7.57, v13 4.52 — 판단보류·부분 효과 재현(2시드 중간 띠); 시드 43의 붕괴 미재현, 최종 낙상 7.16%로 학습 불가 둘째 절 형식상 해당)7.16%0.71 cm2.49 cm
제자리 점프 v19b · v19 구성에서 창 밖 전용 행동 변화율 벌점만 −0.9 → −0.4(창 안 −0.1 / 창 밖 −0.5), 새 id, 무작위 초기화, 시드 43, 3,250회차 초기(0회차) → 최종0.00% → 41.60% (경과 1,500~3,000 평균 27.49, 마지막 4개 35.97; v19 시드 43 / 44 10.05 / 13.77, v12 시드 43 / 44 24.93 / 23.47, v18 9.58 / 12.07, v17 9.00 / 7.57, v13 4.52 — 지지(시드 1회), v12 띠와 구별 안 됨(+2.56 / +4.02%p < 재현 폭 4.17); 붕괴 없음)0.39%1.07 cm2.31 cm
제자리 점프 v19b 시드 44 · v19b 구성 그대로, 코드 변경 없이 시드만 43 → 44, 무작위 초기화, 3,250회차 초기(0회차) → 최종0.00% → 49.22% (경과 1,500~3,000 평균 30.85, 마지막 4개 37.94, 두 시드 평균 29.17; 시드 43 27.49 / 35.97 / 41.60, v19 시드 43 / 44 10.05 / 13.77, v12 시드 43 / 44 24.93 / 23.47, v18 9.58 / 12.07, v17 9.00 / 7.57, v13 4.52 — 지지(두 시드, n=2); "v12 띠와 구별 안 됨"은 구간에서 재현 안 됨(+5.92 / +7.38%p > 4.17, 주장 아님); 붕괴 없음)0.39%0.81 cm3.06 cm
제자리 점프 v19c · v19b 구성에서 창 밖 전용 행동 변화율 벌점만 −0.4 → −0.65(창 안 −0.1 / 창 밖 합계 −0.75), 새 태스크 id, 시드 43, 무작위 초기화, 3,250회차 초기(0회차) → 최종0.00% → 32.55% (경과 1,500~3,000 평균 17.02, 마지막 4개 24.75; v19b 시드 43 / 44 27.49 / 30.85(두 시드 29.17), v19 시드 43 / 44 10.05 / 13.77(두 시드 11.91), v12 시드 43 / 44 24.93 / 23.47, v18 9.58 / 12.07, v17 9.00 / 7.57, v13 4.52 — 지지(시드 1회, 경계값: 구간 평균과 지지 경계 16의 차 1.02%p는 재현 폭 4.17 안); 같은 시드 v19b보다 13개 지점 모두 낮음(수준 차, 시드 차와 분리 안 됨); 붕괴 없음)0.91%0.58 cm3.73 cm
제자리 점프 v19c 시드 44 · v19c 구성 그대로, 코드 변경 없이 시드만 43 → 44, 무작위 초기화, 3,250회차 초기(0회차) → 최종0.00% → 30.73% (경과 1,500~3,000 평균 20.89, 마지막 4개 28.89, 두 시드 평균 18.96; 시드 43 17.02 / 24.75 / 32.55, v19b 시드 43 / 44 27.49 / 30.85(두 시드 29.17), v19 시드 43 / 44 10.05 / 13.77(두 시드 11.91), v12 시드 43 / 44 24.93 / 23.47 — 지지(두 시드): 시드 44 구간 평균은 경계 16을 재현 폭 밖(+4.89%p)에서 넘고 두 시드 평균(+2.96)·최종 낙상(−0.24)은 폭 안; 같은 시드 v19b보다 13개 중 12개 지점 낮음(수준 차, n=2); 세 수준 두 시드 평균 29.17 / 18.96 / 11.91 단조; 붕괴 없음)1.76%0.69 cm2.31 cm
평가기 창 밖/창 안 행동 지표 추가 · 학습 없음, 기존 최종 체크포인트 11개 + 재현 5개 + 창 체크포인트 16개를 v19c id로 재채점 (2026-11-02)행동 변화율 비(v19b 두 시드 최종 ÷ v12 두 시드 최종): 창 밖 0.486(≤ 0.80) · 창 안 1.059(0.80~1.25) — 지지("창 밖 전용 항은 창 밖 행동만 부드럽게 했다", 두 시드 평균·평가 1회); 수준별 창 밖 비 0.486 / 0.294 / 0.192(합계 −0.5 / −0.75 / −1.0) 단조, 창 안 비 1.059 / 0.995 / 1.073; 전역 벌점 v18 / v17 / v13 창 안 비 0.367 / 0.253 / 0.084; 평가 시드 재현 폭 0.045 / 0.041; 앵커 49.48%(−0.32%p). 유효 점프·낙상 값은 바뀌지 않음
제자리 점프 v19d · v19c 구성에서 창 밖 전용 행동 변화율 벌점만 −0.65 → −0.8(창 안 −0.1 / 창 밖 합계 −0.9), 새 태스크 id, 시드 43, 무작위 초기화, 3,250회차 초기(0회차) → 최종0.00% → 0.00% (경과 1,500~3,000 평균 12.68, 마지막 4개 8.27, 붕괴 전 최고 2,750회차 19.47·낙상 0.20; v19c 시드 43 / 44 17.02 / 20.89(두 시드 18.96), v19 시드 43 / 44 10.05 / 13.77(두 시드 11.91), v19b 두 시드 29.17, v12 시드 43 / 44 24.93 / 23.47 — 판단보류·중간 띠 + 학습 불가 기록: 2,952회차부터 모든 에피소드가 첫 스텝에 넘어지는 붕괴(10월 27일 v19 시드 43에 이어 2회), n=1; 네 수준 구간 평균 29.17 / 18.96 / 12.68 / 11.91 단조 → 양립 상한은 −0.75와 −0.9 사이)100.00%0 cm0 cm
제자리 점프 v19d 시드 44 · v19d 구성 그대로, 코드 변경 없이 시드만 43 → 44, 무작위 초기화, 3,250회차 초기(0회차) → 최종0.00% → 0.00% (경과 1,500~3,000 평균 12.14, 마지막 4개 7.90, 두 시드 평균 12.41, 붕괴 전 최고 2,750회차 19.27·낙상 0.39; 시드 43 12.68 / 8.27 / 0.00, v19c 시드 43 / 44 17.02 / 20.89(두 시드 18.96), v19 시드 43 / 44 10.05 / 13.77(두 시드 11.91), v19b 두 시드 29.17, v12 시드 43 / 44 24.93 / 23.47 — 판단보류·두 시드 중간 띠 + 학습 불가 기록: 2,949회차부터 모든 에피소드가 첫 스텝에 넘어지는 붕괴가 시드 44에서 재현(이 계열 3회째; 창 밖 −0.8 2/2 시드), n=2; 네 수준 두 시드 구간 평균 29.17 / 18.96 / 12.41 / 11.91 단조 → 양립 상한은 −0.75와 −0.9 사이(두 시드 확정), 수준 스윕 종료)100.00%0 cm0 cm
제자리 점프 v19d100 · v19d 구성(창 안 −0.1 / 창 밖 −0.8)에서 낙상 벌점 커리큘럼만 −100 상한(2,500회차 −300·3,500회차 −500 단계 제거), 새 태스크 id, 시드 43, 무작위 초기화, 3,250회차 초기(0회차) → 최종0.00% → 19.73% (경과 1,500~3,000 평균 9.79, 마지막 4개 12.96, 평가 3,000회차 13.93·낙상 0.52; 같은 시드 v19d 43 12.68 / 8.27 / 0.00(붕괴), v19d 두 시드 12.41, v19 두 시드 11.91, v19c 두 시드 18.96, v12 시드 43 / 44 24.93 / 23.47 — 판단보류: 학습 낙상 종료 2,500회차 뒤 200 초과 0회(붕괴 없음, 최대 125.9), 최종 낙상 5.73이 지지 경계 5.0을 0.73%p 초과, 반박 미충족; 구간 평균은 기록만(벌점 다름); n=1; 다음 = 시드 44)5.73%0.62 cm2.27 cm
제자리 점프 v19d100 시드 44 · v19d100 구성 그대로(창 안 −0.1 / 창 밖 −0.8, 낙상 벌점 상한 −100), 코드 변경 없이 시드만 43 → 44, 무작위 초기화, 3,250회차 초기(0회차) → 최종0.00% → 14.19% (경과 1,500~3,000 평균 10.54, 마지막 4개 11.43, 두 시드 평균 10.17, 평가 3,000회차 10.29·낙상 0.65; 시드 43 9.79 / 12.96 / 19.73·낙상 5.73, 같은 시드 v19d 44 12.14 / 7.90 / 0.00(붕괴 2,949회차), v19d 두 시드 12.41, v19 두 시드 11.91, v19c 두 시드 18.96, v12 시드 43 / 44 24.93 / 23.47 — 지지("−300 단계는 v19d 붕괴의 필요조건", 시드 44 단독 + 시드 43 붕괴 없음): 학습 낙상 종료 2,500회차 뒤 20회차 연속 200 초과 0회(2,871~2,885회차 15회차 연속·최대 290.9 뒤 회복), 3,000·최종 낙상 ≤ 5, 최종 ≥ 8 모두 충족; 급락형 붕괴 소멸 2/2(−300 있음 3/10·없음 0/2); 구간 평균은 기록만; n=2; 다음 = −300 단계 3,500회차 지연)3.45%0.57 cm2.30 cm
제자리 점프 v19d300d 첫째 밤 · v19d 구성(창 안 −0.1 / 창 밖 −0.8)에서 낙상 벌점 −300 단계만 2,500 → 3,500회차로 지연(0 → −100 → −300, −500 없음), 새 태스크 id, 시드 43, 무작위 초기화, 3,250회차(전환 전; 둘째 밤 이어 학습 예정) 초기(0회차) → 최종0.00% → 12.50% (경과 1,500~3,000 평균 10.43, 마지막 4개 11.36, 평가 3,000회차 7.55·낙상 39.06(일시 급증 표본); 같은 시드·같은 일정 v19d100 43 9.79 / 12.96 / 19.73·낙상 5.73, v19d100 44 14.19 / 3.45, 같은 시드 v19d 43 0.00(붕괴 2,952회차), v12 시드 43 / 44 24.93 / 23.47 — 미완(둘째 밤 대기, 전제 충족): 학습 낙상 종료 2,500회차 뒤 20회차 연속 200 초과 0회(2,549~2,565회차 17회차 연속·최대 277.2 뒤 회복, 경계까지 3회차); 본 가설(−100 → −300 전환이 붕괴 유발)은 11월 12일 3,500회차 전환 뒤 판정; 구간 평균은 기록만; n=1)1.30%0.49 cm2.75 cm
제자리 점프 v19d300d 둘째 밤 · 11월 11일 실행의 3,249회차 체크포인트를 같은 id·시드 43·커리큘럼 원점 0으로 이어 학습, 경과 3,249 → 6,498회차, 3,499회차에서 −100 → −300 전환 초기(3,249회차, 첫째 밤 최종) → 최종12.50% → 38.87% (전환 뒤 12개 평균 32.85, 마지막 4개 37.26 기록만; 3,500회차 12.76·낙상 21.22(전환 전 급증 표본, 3,750에서 1.11 회복); 앵커 49.41 — 반박("−100 → −300 전환 자체는 붕괴를 유발하지 않는다"): 전환 뒤 2,999회차 동안 학습 낙상 종료 > 200 회차 0회(단일 최대 35.2), 최종 낙상 0.33% ≤ 5·유효 점프 ≥ 8; 같은 시드 v19d(전환 2,500회차)는 2,952회차 붕괴; 집계 −300 at 2,500 3/10 · at 3,500 0/1 · 없음 0/2; 6,498회차 값이라 3,249회차 실행과 직접 비교 안 함; n=1)0.33%0.94 cm2.38 cm
제자리 점프 v19d300d 시드 44 첫째 밤 · v19d300d 구성 그대로, 코드 변경 없이 시드만 43 → 44, 무작위 초기화, 3,250회차(전환 전; 둘째 밤 이어 학습 예정) 초기(0회차) → 최종0.00% → 16.28% (경과 1,500~3,000 평균 14.45, 마지막 4개 17.04, 평가 3,000회차 17.64·낙상 17.19; 시드 43 첫째 밤 10.43 / 11.36 / 12.50·낙상 1.30, 같은 시드·같은 일정 v19d100 44 10.54 / 11.43 / 14.19·낙상 3.45, 같은 시드 v19d 44 0.00(붕괴 2,949회차); 앵커 51.11 — 미완(둘째 밤 대기, 전제 충족): 학습 낙상 종료 2,500회차 뒤 200 초과 0회(단일 최대 25.2); 본 가설(−100 → −300 전환이 붕괴 유발)은 둘째 밤 3,500회차 전환 뒤 판정; 구간 평균은 기록만; n=1)3.06%0.60 cm2.23 cm
제자리 점프 v19d300d 시드 44 둘째 밤 · 11월 13일 실행의 3,249회차 체크포인트를 같은 id·시드 44·커리큘럼 원점 0으로 이어 학습, 경과 3,249 → 6,498회차, 3,499회차에서 −100 → −300 전환 초기(3,249회차, 첫째 밤 최종) → 최종16.28% → 27.41% (전환 뒤 12개 평균 28.69, 마지막 4개 27.57 기록만; 곡선 비단조: 4,500회차 40.36 → 5,250회차 20.25; 평가 낙상 4,000회차 6.32·4,500회차 6.97; 시드 43 둘째 밤 최종 38.87·낙상 0.33; 앵커 50.13 — 반박("−100 → −300 전환 자체는 붕괴를 유발하지 않는다"): 전환 뒤 6,498회차까지 학습 낙상 종료 > 200 회차 0회(단일 최대 18.5), 최종 낙상 1.04% ≤ 5·유효 점프 ≥ 8; 같은 시드 v19d(전환 2,500회차)는 2,949회차 붕괴; 두 시드 0/2 대 v19d 같은 시드 쌍 2/2; 집계 −300 at 2,500 3/10 · at 3,500 0/2 · 없음 0/2; 6,498회차 값이라 3,249회차 실행과 직접 비교 안 함; n=2)1.04%0.69 cm2.09 cm
제자리 점프 v19d300e · v19d 구성(창 안 −0.1 / 창 밖 −0.8)에서 낙상 벌점 −100 단계 시작만 1,500 → 500회차로 앞당김(0 → −100(500회차) → −300(2,500회차), −500 없음), 새 태스크 id, 시드 43, 무작위 초기화, 3,250회차 초기(0회차) → 최종0.07% → 0.00% (경과 1,500~3,000 평균 14.44, 마지막 4개 10.60, 붕괴 전 최고 2,750회차 24.61·낙상 0.33 기록만; 같은 시드 v19d 12.68 / 8.27 / 0.00; 1,500회차 15.69·낙상 0.85 대 v19d 15.10·0.78; 앵커 47.53 — 반박("−300 전 −100 기간이 붕괴를 가른다") + 학습 불가 기록: −100 기간을 2,000회차로 늘려도 학습 낙상 종료 > 200이 2,958회차부터 최종까지 292회차 연속(−300 도착 뒤 458회차; v19d 시드 43 / 44는 2,952 / 2,949회차), 평가 3,000회차 낙상 99.80; 집계 −300 at 2,500 4/11(창 밖 −0.8 구성 3/3) · at 3,500 0/2 · 없음 0/2; n=1)100.00%0 cm0 cm
제자리 점프 v19d300f · v19d300e 구성에서 낙상 벌점 −300 도착만 2,500 → 2,000회차로 옮김(0 → −100(500회차) → −300(2,000회차), −500 없음), 새 태스크 id, 시드 43, 무작위 초기화, 3,250회차 초기(0회차) → 최종0.00% → 0.00% (경과 1,500~3,000 평균 5.66, 마지막 4개 0.00, 붕괴 전 최고 2,000회차 17.84·낙상 2.02 기록만; 같은 시드 v19d300e 14.44 / 10.60 / 0.00; 앵커 48.11 — 판단보류(붕괴 시작 2,183회차가 사전 등록한 두 띠 2,300~2,600 / 2,850~3,050 밖) + 학습 불가 기록: 학습 낙상 종료 > 200이 2,183회차부터 최종까지 1,067회차 연속(−300 도착 뒤 183회차; 도착 2,500회차의 세 실행은 449~458회차), 평가 2,250회차부터 낙상 100.00; 집계 −300 at 2,000 1/1 · at 2,500 4/11 · at 3,500 0/2 · 없음 0/2; n=1)100.00%0 cm0 cm
제자리 점프 v19d300f 시드 44 · 11월 16일 구성(0 → −100(500회차) → −300(2,000회차), −500 없음)을 코드 변경 없이 시드만 43 → 44로 반복, 무작위 초기화, 3,250회차 초기(0회차) → 최종0.00% → 0.00% (경과 1,500~3,000 평균 7.79, 마지막 4개 0.00, 붕괴 전 최고 2,250회차 25.78·낙상 1.11 기록만; 시드 43 5.66 / 0.00 / 0.00; 앵커 51.24 — 판단보류(붕괴 시작 2,293회차가 재현 띠 2,083~2,283과 지연 띠 2,300~2,600 사이, 세 띠 모두 밖) + 학습 불가 기록: 학습 낙상 종료 > 200이 2,293회차부터 최종까지 957회차 연속(−300 도착 뒤 293회차; 시드 43은 183회차), 평가 2,500회차부터 낙상 100.00; 집계 −300 at 2,000 2/2 · at 2,500 4/11 · at 3,500 0/2 · 없음 0/2; 오늘 실행 n=1)100.00%0 cm0 cm
붕괴·무붕괴 실행 학습 로그 정렬 분석 · 학습 없음, 붕괴 다섯 실행과 무붕괴 네 실행의 기존 학습 로그 (2026-11-18)가치 손실의 25회차 평균이 붕괴 다섯 실행 모두에서 붕괴 시작 186 / 219 / 157 / 114 / 167회차 전에 문턱 2.8582를 넘음(5/5; 무붕괴 넷 중 하나도 넘음) — 지지(표본 내 후보; 10개 검정, 다중 비교 미보정); 무붕괴가 하나도 넘지 않는 문턱 3.8125에서는 0/5; 나머지 9개 검정은 3/5 이하; 판정에 넣지 않은 무붕괴 v19 시드 44도 문턱을 넘음. 유효 점프·낙상 값은 새로 재지 않음
제자리 점프 v19d300f 시드 45 · 11월 16일 구성(0 → −100(500회차) → −300(2,000회차), −500 없음)을 코드 변경 없이 시드만 45로 반복, 무작위 초기화, 3,250회차; 가치 손실 문턱 2.8582의 전향 검증 시도 초기(0회차) → 최종0.20% → 22.53% (경과 1,500~3,000 평균 22.65, 마지막 4개 28.82, 곡선 최고 2,750회차 34.11·낙상 2.73, 3,000회차 25.33·낙상 12.11 기록만; 시드 43 / 44 최종 0.00 / 0.00(붕괴 시작 2,183 / 2,293회차); 앵커 50.07 — 판단보류(정보 없음): 3,249회차까지 붕괴 없음(−300 도착 뒤 학습 낙상 종료 > 200 0회, 단일 최대 30.96)이고 가치 손실의 25회차 평균도 문턱을 넘지 않음(최대 2.7935, 2,172회차) → 사전 등록 규칙상 전향 검증 미성립; 집계 −300 at 2,000 2/3 · at 2,500 4/11 · at 3,500 0/2 · 없음 0/2; 오늘 실행 n=1)0.91%0.72 cm2.30 cm
제자리 점프 v19e 시드 43 · v19b 구성(창 밖 −0.4)에서 창 밖 전용 벌점 항의 게이트 길이만 1.5 → 2.0초, 새 id, 무작위 초기화, 3,250회차 초기(0회차) → 최종0.00% → 0.00% (경과 1,500~3,000 평균 14.40, 마지막 4개 5.76, 곡선 최고 2,250회차 23.96·낙상 5.01, 붕괴 전 1,500~2,500 평균 20.16 기록만; v19b 시드 43 / 44 구간 평균 27.49 / 30.85·최종 41.60 / 49.22; 앵커 50.07 — 판단보류(중간 띠) + 학습 불가 기록: 학습 낙상 종료 > 200이 2,693회차부터 최종까지 557회차 연속(−300 도착 뒤 193회차), 평가 2,750회차부터 0.00%·낙상 100.00%; v19b 두 시드는 붕괴 없음; 집계 −300 at 2,000 2/3 · at 2,500 5/12 · at 3,500 0/2 · 없음 0/2; 오늘 실행 n=1)100.00%0.00 cm0.00 cm
제자리 점프 v19e 시드 44 · 11월 20일 구성(창 밖 −0.4, 창 밖 전용 벌점 항 게이트 2.0초)을 코드 변경 없이 시드만 44로 반복, 무작위 초기화, 3,250회차 초기(0회차) → 최종0.00% → 0.00% (경과 1,500~3,000 평균 15.84, 두 시드 평균 15.12, 마지막 4개 12.30, 곡선 최고 2,750회차 35.42·낙상 1.43, 1,000·1,750회차 0.07·0.00은 회복된 급증 안의 체크포인트 — 기록만; 시드 43 구간 평균 14.40·최종 0.00; v19b 시드 43 / 44 구간 평균 27.49 / 30.85·최종 41.60 / 49.22; 앵커 51.43 — 판단보류(두 시드 중간 띠) + 학습 불가 기록: 학습 낙상 종료 > 200이 2,782회차부터 최종까지 468회차 연속(−300 도착 뒤 282회차), 평가 3,000회차부터 0.00%·낙상 100.00%; 게이트 2.0초 구성 붕괴 2/2, v19b 0/2; 집계 −300 at 2,000 2/3 · at 2,500 6/13 · at 3,500 0/2 · 없음 0/2; 오늘 실행 n=1)100.00%0.00 cm0.00 cm
제자리 점프 v19e100 시드 43 · v19e 구성(창 밖 −0.4, 창 밖 전용 벌점 항 게이트 2.0초)에서 낙상 벌점 일정만 −100에서 상한(−300 단계 제거), 새 id, 무작위 초기화, 3,250회차 초기(0회차) → 최종0.07% → 15.69% (경과 1,500~3,000 평균 18.58, 마지막 4개 20.23, 곡선 최고 2,000회차 25.59·낙상 0.52, 1,750회차 0.00은 회복된 급증 안의 체크포인트 — 기록만; v19e 시드 43 / 44 구간 평균 14.40 / 15.84·최종 0.00 / 0.00(붕괴 시작 2,693 / 2,782회차); 앵커 49.02 — 지지(붕괴 축): 3,249회차까지 붕괴 시작 없음·최종 낙상 ≤ 5%·최종 유효 점프 ≥ 8%; 게이트 축은 절대 경계로 "v12 띠 안"(여유 2.58%p는 재현 폭 안, 기록만); 1,500회차 뒤 회복된 급증 다섯 번(가장 긴 것 78회차, 3,095~3,172회차); 집계 −300 at 2,000 2/3 · at 2,500 6/13 · at 3,500 0/2 · 없음 0/3; 오늘 실행 n=1)0.07%0.52 cm1.56 cm

달리기 점프 v3는 별도의 주행 조건에서 유효 점프 비율 22.3%, 최대 상승 높이 4.72cm를 기록했습니다. v5·v6의 주행 조건 평가는 아직 수행하지 않았으므로, 달리기 성능의 직접 비교는 남아 있습니다.

제자리 점프 행은 초기 정책의 값과 학습 종료 시점의 값을 함께 적었습니다. 2026-10-07 추가: v11 행의 초기값은 무작위 초기화 후 1회차 학습한 정책(낙상 99.8%)이며, 250회차에는 24.67%였다가 최종 5.01%로 내려왔습니다(10월 7일 기록의 곡선 참조). 최대 상승 높이는 최종 체크포인트의 값입니다. 이 저장소는 웜스타트 시 회차 번호를 이어받으므로 각 실행의 첫 체크포인트는 학습 전 정책에 해당합니다. 초기값만 적으면 물려받은 성능이 학습 결과로 읽힐 수 있습니다. 세 실행 모두 종료 시점의 값은 각 실행의 대조군과 비슷하거나 낮습니다. 2026-10-04 추가: v8·v9 행은 25개 체크포인트 전량 재채점(reports/jump_eval_v8_dense.csv·v9_dense.csv)의 첫·마지막 값이며, 두 실행의 종료 시점 값(4.4%, 6.0%)도 대조군 범위(약 4~6%)에 있습니다. 2026-10-05 추가: v10 행은 17개 체크포인트 전량 재채점(reports/jump_eval_v10_dense.csv)의 첫·마지막 값이며, 3,750회차 실행입니다(v5~v9는 6,000회차). 초기값 6.05%는 평지 보행 정책을 v10 구성에서 잰 제로샷 값으로, 표 첫 행의 대조군 "약 6%"와 같은 정책입니다. 최종 7.36%는 바로 앞 체크포인트 3.65%에 이어 튄 값이며, 마지막 4개 평균은 5.28%입니다. 2026-10-08 추가: v12 행은 33개 재채점(reports/jump_eval_v12_dense.csv)의 v12 첫·마지막 값이며 3,750회차 실행입니다. 마지막 4개 평균은 50.20%, 중간 최고는 3,500회차 57.81%(사후값)입니다. 이 행의 평가는 머리 자세 명령 범위 ±0.07 rad로 고정된 v12 id에서 쟀으므로, 범위가 체크포인트 번호를 따라 ±1.40 rad까지 넓어졌던 v9~v11 최종값과는 평가 조건이 다릅니다(같은 조건으로 다시 잰 v11 최종값은 3.26%). 학습 종료 시점에 대조군을 넘은 첫 제자리 점프 실행이지만 시드 1회이며 학습 곡선이 수렴하지 않았습니다(10월 8일 기록). 2026-10-12 추가: v12 이어 학습 행과 v14 행의 초기값은 모두 10월 8일 실행의 3,749회차 체크포인트를 그날 밤 다시 잰 앵커 값(52.54% / 50.78%; 10월 8일 원래 값 48.37%)이며 학습 결과가 아닙니다. v14 행의 최종 54.49%는 16개 재채점(reports/jump_eval_v14_dense.csv)의 마지막 값으로, 경과 6,500회차 31.51%에서 세 번 연속 오른 끝점입니다(마지막 4개 평균 43.85%, 사전 등록 판정 창 5,250~6,000회차 평균 35.48%). 유지 여부는 확인되지 않았습니다(10월 12일 기록).

v4에는 학습 도중 도약이 나타났다가 감소한 기록이 있습니다. 표의 평가값만으로 학습 후반의 성능을 대표한다고 보기는 어렵습니다. 표의 대조군 ‘약 6%’와 9월 23~24일 기록의 ‘5.3%’도 각각의 기록값을 유지했으며, 동일한 평가 실행에서 나온 값인지는 이 요약만으로 확인되지 않습니다.

v5·v6의 비교에서는 과제 정의를 유지하고 초기 정책을 바꿨습니다. 관측된 차이는 초기 정책 선택에 관한 결과로 해석하며, 벌점 커리큘럼의 독립적인 효과나 여러 시드에서의 재현성은 별도 실험으로 확인해야 합니다.

v4~v7은 모두 첫 회차부터 낙상 벌점 −500이 걸린 조건입니다. v5·v6·v7의 벌점 커리큘럼은 웜스타트 시 스텝 카운터 복원 때문에 적용되지 않았습니다(9월 30일 기록). v7 행은 해당 실행의 평가 CSV 값이며, 9월 24일 기록의 곡선 값(25개 재채점, 15.1% → 6.2%)과는 평가 실행이 달라 소수점이 다릅니다.

학습·평가 절차와 진단

1 · 학습부터 기록까지의 실행 절차
초기 점프 실험의 흐름입니다. 학습 후 체크포인트를 바탕으로 평가·영상 생성·기록을 수행합니다. 붉은 항목은 실제로 발생한 실행 중단 사례입니다.

flowchart TD
  A["jump_stand_run.sh<br/>TASK · TAG · LOAD_RUN · LOAD_CK · ITERS"] --> B["mjlab 환경 구성<br/>관측·보상·이벤트·커리큘럼"]
  B --> C["rsl-rl PPO 학습<br/>2048개 환경 × 24스텝"]
  C --> D["250회차 간격으로 저장<br/>model_N.pt"]
  C --> E["TensorBoard 학습 기록"]
  D --> F["ONNX 내보내기<br/>관측 정규화 포함"]
  D --> G["고정 조건 평가<br/>점프 신호 1536회"]
  G --> H["결과 CSV · 실행 명세"]
  D --> I["시뮬레이션 영상 생성"]
  H --> J["결과 보고서 · 훈련일지"]
  I --> J
  C -. "대화형 세션 종료" .-> X1["학습 중단<br/>13205 · 6512회차"]
  C -. "실행 중 스크립트 교체" .-> X2["평가·영상·기록 미실행"]
  style X1 fill:#f6e5e5,stroke:#a33f3f
  style X2 fill:#f6e5e5,stroke:#a33f3f

2 · 비대칭 액터-크리틱의 입력과 출력
기본 보행 구성에서 크리틱은 액터보다 15차원 많은 정보를 받습니다. 실행용 정책은 액터를 사용하므로, 액터 입력은 실행 환경에서 확보할 수 있는 값으로 구성해야 합니다. 아래 내보내기 경로가 실제 로봇에서의 검증 완료를 뜻하지는 않습니다.

flowchart LR
  subgraph OBS["관측 구성"]
    direction TB
    P["고유수용 관측 48<br/>각속도 3 · 중력 투영 3<br/>관절 위치 14 · 관절 속도 14<br/>직전 행동 14"]
    C2["명령 13<br/>속도 3 · 머리 자세 4 · 몸통 자세 6"]
    PR["특권 정보 15<br/>시뮬레이터 내부 상태"]
  end
  P --> AC["액터 입력 61<br/>512-256-128 ELU"]
  C2 --> AC
  P --> CR["크리틱 입력 76<br/>512-256-128 ELU"]
  C2 --> CR
  PR --> CR
  AC --> ACT["행동 14<br/>가우시안 · 스칼라 표준편차"]
  CR --> V["가치 추정 1"]
  ACT --> ONNX["ONNX 내보내기<br/>실행용 정책"]
  V -. "학습에 사용" .-> PPO["PPO 갱신"]
  ACT --> PPO
  style PR fill:#f8f1e8,stroke:#a8642a
  style ONNX fill:#eaf0ea,stroke:#2f7d5a

3 · 커리큘럼 진행과 후반 성능 저하
기본 구성의 일곱 커리큘럼은 2,000회차에서 최종 단계에 도달합니다. 이후의 성능 저하를 해석할 때는 커리큘럼 진행과 정책 갱신의 영향을 구분해야 합니다. 낙상 벌점의 부재는 검토한 원인 후보이며, 확인된 단일 원인은 아닙니다.

flowchart LR
  S["0회차<br/>학습 시작"] --> R["단계적 변경 구간<br/>0~2000회차<br/>머리 자세 5단계 · 질량중심 ±15mm<br/>행동 변화율 · 정지 환경 비율"]
  R --> F["2000회차<br/>커리큘럼 최종 단계 도달"]
  F --> ST["2000회차 이후<br/>커리큘럼 설정 유지"]
  ST --> REG["6000회차 평가<br/>낙상률 34~38%"]
  REG -. "원인 검토" .-> Q["보상 구성·무작위화 범위 확인<br/>인과관계는 추가 검증 필요"]
  style REG fill:#f6e5e5,stroke:#a33f3f
  style Q fill:#f8f1e8,stroke:#a8642a

4 · 점프 학습에 대한 가설과 후속 검토
9월 5일에는 도약 후 낙상에 따른 벌점이 도약 행동을 억제할 수 있다고 해석했습니다. 아래는 그 해석에서 출발한 검토 흐름입니다. 착지 선행, 벌점 커리큘럼, 보조력의 검증 상태를 구분했습니다.

flowchart TD
  O["관측: 제자리 점프 v4<br/>17798회차 도약 출현<br/>18551회차 도약 감소"] --> H["가설<br/>도약 후 낙상 벌점이<br/>도약 행동을 억제할 가능성"]
  H --> F1["착지 선행 학습"]
  H --> F2["낙상 벌점의 단계적 도입"]
  H --> F3["보조력의 단계적 감소"]
  F1 --> R1["9월 23~24일 비교<br/>v5 16.1% · v6 5.5%<br/>이번 조건에서 이점 미확인"]
  F2 --> R2["v5·v6에 공통 적용<br/>독립적인 효과는 추가 검증 필요"]
  F3 --> R3["아직 적용하지 않음"]
  style H fill:#f8f1e8,stroke:#a8642a
  style R1 fill:#f6e5e5,stroke:#a33f3f
  style R2 fill:#eaf0ea,stroke:#2f7d5a

시뮬레이션 영상

평지 보행 · 6,000회차. 기준 정책의 동작을 확인하는 영상입니다.

앉았다 일어서기 · 8,000회차. 몸을 낮추는 과정에서 낙상하는 경향이 관찰됩니다.

달리기 점프 v3 · 16,000회차. 도약과 착지 동작을 확인할 수 있습니다. 정량 결과는 위 평가표를 참고하세요.

측정 오류와 평가 시 확인할 사항

실험 과정에서 발견한 측정·집계 오류를 정리했습니다. 수치를 비교하기 전에 평가 길이, 종료 조건, 좌표계, 성공 판정이 같은 의미로 사용되는지 확인하는 데 참고할 수 있습니다.

  1. 후보 체크포인트 선택 기준을 학습 전에 정합니다 평가값이 가장 높은 체크포인트를 사후에 고르면 선택 자체가 결과를 끌어올립니다. 이 저장소는 웜스타트 시 회차 번호를 이어받아 첫 체크포인트가 학습 전 정책이므로, 최고값 선택은 초기 정책의 성능을 학습 결과로 보고하는 결과로 이어질 수 있습니다. 9월 23~24일 기록에서 이 오류가 있었고 초기값과 종료값을 함께 제시하도록 정정했습니다.
  2. 낙상률의 분모와 에피소드 종료 사유를 확인합니다 초기 평가에서는 낙상률이 100%로 집계되는 문제가 있었습니다. 평가 구간 안에 종료된 에피소드만 집계하면, 아직 진행 중인 정상 에피소드가 분모에서 빠질 수 있습니다. 평가 길이와 최대 에피소드 길이를 함께 기록하고, 낙상·시간 초과·미종료를 구분해야 합니다. 초기 기록의 스텝 수 설명에는 불일치가 있어 특정 길이 배수를 일반 규칙으로 제시하지 않습니다.
  3. 평가 길이가 다른 낙상률을 직접 비교하지 않습니다 2,000스텝과 3,500스텝으로 평가한 낙상률을 같은 조건의 결과로 비교한 오류가 있었습니다. 비교 실험에서는 평가 길이와 초기 조건, 명령 분포를 맞춰야 합니다.
  4. GPU 메모리 지표의 측정 범위를 확인합니다 사용한 Windows·WSL2 환경에서는 병렬 환경 2,048개의 메모리 사용량이 4,096개보다 크게 보고된 사례가 있었습니다. 표시값만으로 가용 메모리를 판단하기보다 측정 도구, 다른 프로세스의 사용량, 실제 할당 실패 여부를 함께 확인해야 합니다.
  5. 측정 실패를 결측값으로 조용히 처리하지 않습니다 잘못된 속성 이름으로 발생한 오류가 포괄적인 except 처리에 가려져 모든 계단 높이에서 속도가 결측으로 기록됐습니다. 핵심 지표를 계산하지 못한 경우에는 원인을 명시하고 해당 평가를 실패로 처리해야 합니다.
  6. 변위와 이동거리를 구분하고 좌표계를 맞춥니다 몸통 기준 속도 명령과 무작위 초기 방향을 사용한 평가에서 월드 좌표계의 X 변위 평균은 0.041m였습니다. 서로 다른 진행 방향의 부호가 상쇄되므로 이 값만으로 보행 거리를 판단할 수 없습니다. 출발점에서의 평면 변위 크기나 명령 방향으로 투영한 변위처럼 평가 목적에 맞는 지표가 필요합니다.
  7. 지표가 의도한 동작을 측정하는지 검증합니다 계단 통과 수를 측정하려던 지표가 계단 높이에 관계없이 비슷한 값을 보였습니다. 실제로는 보행 중 몸통의 상하 진동을 측정하고 있어 해당 결과를 철회했습니다.
  8. 점프 판정에는 자세 조건도 확인합니다 몸통이 거의 수평인 상태까지 점프로 집계된 사례가 있었습니다. 단순한 높이 변화나 지면 이탈만으로 의도한 도약을 구분할 수 있는지 확인하고, 자세 기준을 명시해야 합니다.
  9. 웜스타트 뒤에는 커리큘럼이 실제로 어느 단계에 있는지 첫 회차 로그에서 확인합니다 학습 도구가 체크포인트의 누적 스텝 카운터를 복원하면, 스텝 수를 기준으로 짠 커리큘럼은 새 과제에서 처음부터 최종 단계에 놓입니다. v5·v6·v7의 낙상 벌점이 계획한 0이 아니라 첫 회차부터 −500이었던 것이 이 사례이며, 6일 동안 세 실행의 결과를 잘못된 전제로 해석했습니다. 설정 파일이 아니라 학습 로그의 Curriculum/* 첫 값을 근거로 삼아야 하고, 커리큘럼은 실행 시작점 기준의 경과 스텝으로 계산해야 합니다.
  10. 대조군의 "학습 전" 값은 같은 태스크 구성으로 재고, 단일 최종 체크포인트를 유일한 대표값으로 쓰지 않습니다 같은 평지 보행 정책의 제자리 점프 제로샷이 v5 구성에서는 4.1%, 기준 상태 초기화(웅크림 25%·비행 15% 리셋)가 포함된 v9·v10 구성에서는 6.05%로 측정됐습니다. 평가 환경의 리셋 분포가 점프 판정 수를 바꾸므로 다른 구성에서 잰 제로샷을 대조군으로 쓰면 효과가 과장되거나 축소됩니다. 또 v10 실행의 마지막 세 체크포인트는 6.45 / 3.65 / 7.36%로 인접 차이가 최대 4.4%p였습니다. 신호 1,536회의 이항 표준오차(약 ±0.65%p)보다 정책 자체의 체크포인트 간 변동이 큽니다. 사전 등록한 최종값 기준은 그대로 적용하되, 다음 계획서부터 마지막 몇 개 체크포인트의 평균을 보조 대표값으로 함께 등록합니다(2026-10-05).
  11. 행동 지표의 게이트 창과 채점 창, 리셋 분포를 함께 기록합니다 창 밖/창 안 행동 지표는 학습 보상이 쓰는 게이트(점프 신호 뒤 1.5초)로 갈랐고, 점프 판정의 채점 창(1.2초)과 다릅니다. 창 안 스텝 비율은 스크립트 신호만으로 계산한 35.4%가 아니라 38.6%로, 평가 구성의 기준 상태 초기화(웅크림·비행 리셋)가 에피소드 시작 직후 게이트를 여는 몫이 들어 있습니다. 비(ratio)를 비교할 때는 분모가 되는 정책의 창 안 스텝 비율이 같은지(정상 정책 37.6~38.7%) 먼저 확인하고, 넘어진 채 끝나는 붕괴 정책(창 안 비율 16.1%, 창 안 행동 변화율 14.77)은 같은 지표로 비교하지 않습니다. 행동 변화율(행동 차 제곱합)과 관절 속도 RMS는 같은 정책에서 다른 비(0.49 대 0.86)를 보이므로 "부드러워졌다"는 어느 양 기준인지 적습니다(2026-11-02).

장시간 실험의 운영과 기록 관리

  1. 실행 중인 스크립트는 같은 경로에 덮어쓰지 않습니다 약 3시간의 학습이 진행되는 동안 스크립트를 교체한 뒤, 학습 종료 후 이어져야 할 평가·영상 생성·기록이 실행되지 않았습니다. 실행본은 유지하고 수정본은 별도 이름으로 배포하거나, 기존 실행이 끝난 뒤 교체하는 방식으로 관리합니다.
  2. 장시간 학습은 대화형 세션과 분리합니다 세션의 백그라운드 작업이 13,205회차와 6,512회차에서 각각 종료된 사례가 있었습니다. 250회차 간격으로 저장한 체크포인트에서 두 실행을 복구했습니다. 세션 종료의 영향을 받지 않는 실행 방식과 주기적인 저장을 함께 준비해야 합니다.
  3. 의존성 변경을 실험 조건의 변경으로 기록합니다 구동기 모델이 특정 커밋에 연결되어 있으므로 의존성 잠금 파일을 갱신하면 모델의 동작 특성이 달라질 수 있습니다. 비교 실험에서는 사용한 커밋과 잠금 파일을 함께 보존하고, 갱신 전후를 별도 조건으로 관리합니다.
  4. 체크포인트는 보관 위치와 해시로 식별합니다 결과물은 빠르게 수 기가바이트 규모로 커집니다. 보고서마다 파일을 복제하기보다 원본을 관리하고, 실행명·회차·보관 위치·해시를 기록하면 결과와 모델을 연결하기 쉽습니다. 별도의 백업 여부도 함께 관리합니다.
  5. 점프 판정 비율은 넘어지는 정책에서 쓰지 않습니다 2026-10-07 추가. 무작위 초기화 후 1회차 정책은 평가기의 jump_rate가 94.0%로 집계됐지만 신호당 낙상률은 99.8%, 착지 힘은 결측이었습니다. 넘어지며 발이 지면에서 떨어지는 구간이 점프로 잡히기 때문입니다. 낙상률이 높은 정책의 점프 비율은 착지까지 성공한 clean_jump_rate(유효 점프)만 보고, 두 값이 크게 다르면 낙상률을 먼저 확인합니다.
  6. 체크포인트 번호가 평가 조건을 바꿀 수 있습니다 2026-10-08 추가. 이 저장소의 러너는 체크포인트를 불러올 때 스텝 카운터를 복원하고, 기반 코드의 커리큘럼(머리 자세 명령 범위 등)은 스텝 수를 따릅니다. 그래서 스텝 기반 커리큘럼이 있는 태스크 id로 한 실행의 체크포인트들을 평가하면 체크포인트마다 명령 분포가 다릅니다(v11: 250회차 ±0.07 rad, 2,000회차 이후 ±1.40 rad). 범위를 고정한 id로 v11을 다시 재니 경과 2,000~3,749회차의 값이 평균 2.26%p 낮아졌습니다 — 이번에는 결론을 바꾸지 않았지만 크기는 체크포인트 간 비교 폭과 같습니다. 곡선은 커리큘럼이 상수인 태스크 id로 재거나, 평가 행마다 커리큘럼 단계를 함께 기록합니다.
  7. 스케줄러가 셸에 넘기는 명령은 실제 호출 경로로 검증합니다 Windows PowerShell 5.1의 Start-Process -ArgumentList는 공백이 든 인자를 따옴표로 감싸지 않습니다. 2026-10-04 자동 세션은 bash -lc "<명령>" 형태로 학습 런처를 띄웠는데 bash가 첫 단어만 명령으로 받아 즉시 종료했고, 학습이 시작되지 않은 채 1분 뒤 판정 단계로 넘어갔습니다. 준비 단계의 런처 점검은 WSL 안에서 직접 실행해 이 경로를 지나지 않았습니다. 명령은 파일에 적어 공백 없는 인자로 호출하고, 점검은 스케줄러와 같은 호출 경로로 합니다(10월 3일의 프로세스 검사 결함도 같은 종류였습니다).
  8. 같은 체크포인트를 다시 재도 값이 4%p 움직일 수 있습니다 2026-10-09 추가. 같은 체크포인트(v12 3,749회차)·같은 태스크 id·같은 평가 시드·같은 평가기로 하루 뒤 다시 재니 유효 점프가 48.37 → 52.54%(+4.17%p)였습니다. 10월 7일에 참조 정책으로 잰 재현 폭(약 0.5%p)은 4~6% 수준의 값이었고 50% 수준에서는 신호 1,536회의 이항 표준오차(약 1.3%p)를 넘는 폭이 납니다(리셋·잡음 난수의 비결정성으로 보이나 분리되지 않았습니다). 체크포인트 간 차이가 이 폭 안이면 변화로 읽지 않고, 사전 등록 기준의 지지/반박 간격은 재현 폭의 2배 이상으로 잡으며, 매 평가에 같은 앵커 체크포인트를 함께 재서 폭을 기록합니다.

현재 결과와 다음 실험

2026년 10월 5일 현재 제자리 점프의 기준선은 없습니다. 제자리 점프 실행 v1~v10은 모두 학습 종료 시점에 대조군(평지 보행 정책, 약 4~6%)과 비슷하거나 그보다 낮은 유효 점프 비율을 보였습니다(v10 최종 7.36%는 체크포인트 간 변동폭 안의 값이며 마지막 4개 평균은 5.28%). 10월 2일 판정에서 낙상 벌점은 초기 하락의 원인이 아님이 확인됐고(v8, 사전 등록 기준 미충족), 기준 상태 초기화(v9)는 하락을 늦추지만 최종 차이 +1.6%p가 사전 등록 기준 +2.0%p에 미치지 못했습니다. 유일하게 대조군을 넘는 결과는 여전히 달리기 점프 v3(제자리 조건 17%, 주행 조건 22.3%)입니다. 자동 야간 실험은 10월 3일(프로세스 검사 결함)과 10월 4일(명령 전달 결함)에 모두 학습을 시작하지 못했습니다. 첫 검정(v10: 초기 정책을 평지 보행 정책으로 교체)은 준비가 끝난 상태이며 스케줄러 수정 후 재시도합니다. 2026-10-05 갱신. v10은 10월 5일 밤에 3,750회차 학습을 완주했고 판정은 판단보류입니다(최종 7.36%, 경과 1,500~3,000 평균 4.61% 대 v9 5.55%). 서로 다른 세 출발점(v8·v9·v10)이 같은 4~6% 띠로 모였으므로 다음은 같은 가설의 두 번째 검정인 무작위 초기화입니다. 2026-10-07 갱신. 무작위 초기화(v11)는 10월 7일 밤 3,750회차를 완주했고 판정은 판단보류입니다(최종 5.01%, 마지막 4개 평균 4.95%, 경과 1,500~3,000 평균 6.05% 대 v9 5.55%·v10 4.61%). 250회차에 24.67%(v1~v11의 모든 체크포인트 중 최고, 사후값)에 도달한 뒤 단조 감소해 웜스타트 실행들과 같은 띠로 수렴했습니다. 감소 구간은 기반 코드 커리큘럼의 상승 구간과 겹치며 낙상 벌점은 0이었으므로, 다음은 커리큘럼을 고정한 v12입니다. 2026-10-08 갱신. 커리큘럼을 고정한 v12는 10월 8일 밤 3,750회차를 완주했고 판정은 지지입니다(최종 48.37%, 마지막 4개 평균 50.20%, 경과 1,500~3,000 평균 24.93% 대 v11 같은 조건 재채점 3.47%; 낙상률 0.33%). 250회차 이후의 감소가 사라졌고 경과 2,750회차부터 올라갔습니다. 학습 종료 시점에 대조군을 넘은 첫 제자리 점프 실행이므로 "기준선 없음"은 "기준선 후보 있음(시드 1회, 머리 명령 범위 ±0.07 rad 고정 조건, 학습 곡선 미수렴)"으로 바뀝니다. 다음은 v12를 이어 돌려 −500 벌점 아래서 유지되는지 보는 것입니다. 2026-10-09 갱신. v12를 같은 구성으로 3,500회차 이어 돌린 결과(경과 3,749 → 7,248회차, 낙상 벌점 −500 유지)는 판단보류입니다(경과 5,250~6,000회차 평균 34.95%, 마지막 4개 평균 30.84%, 최종 30.99%, 낙상률 0.20%; 유지 기준 40%와 후퇴 기준 25% 사이). 첫 250회차에 50.98 → 39.45%로 내려간 뒤 28~40% 띠에서 수평이며, 6,000회차까지 돌린 v5~v9의 같은 지점(4.2~6.2%)보다는 5배 이상 높습니다. 기준선 후보의 수치는 10월 8일의 "48%(3,750회차)"가 아니라 "−500 벌점 아래 정상 상태 28~40%(경과 6,000회차 32.68%)"로 고쳐 적습니다. 같은 체크포인트 재채점 차이가 4.17%p여서 앞으로의 기준 간격은 8%p 이상으로 잡습니다. 다음은 같은 체크포인트에서 벌점 상한을 −300으로 고정해 이어 돌리는 v14입니다(감소가 −500 단계 때문인지 이어 학습 자체 때문인지 분리). 2026-10-12 갱신. 같은 3,749회차 체크포인트를 벌점 상한 −300(v14)으로 10월 9일과 같은 절차로 3,500회차 이어 돌린 결과는 사전 등록 기준 반박입니다 — 경과 5,250~6,000회차 평균 35.48%로 10월 9일(−500)의 34.95%와 0.5%p 차이이고, 첫 250회차 감소는 −22.3%p로 10월 9일(−11.5%p)보다 컸습니다. 즉 이어 학습 직후의 감소와 28~40% 띠는 −500 단계 때문이 아닙니다. 다만 판정 창 밖인 경과 6,500회차 이후에는 31.51 → 41.60 → 47.79 → 54.49%로 올라 최종 54.49%(낙상률 0.33%)를 기록했고, 같은 구간에서 학습 로그의 낙상·최고 높이·행동 표준편차가 다시 늘었습니다(−500에서는 끝까지 일어나지 않은 움직임). 이 상승이 유지되는지는 모르므로 다음은 v14를 7,248회차 체크포인트에서 3,500회차 더 이어 돌리는 것입니다. 기준선 후보의 수치는 "−300 벌점에서 경과 7,248회차 54.49%(상승 중의 끝점, 마지막 4개 평균 43.85%)"로 바꿔 적되 유지 여부는 미확인입니다. 2026-10-13 정정: 10월 12일의 v14 7,248회차 체크포인트(54.49%)는 같은 절차로 이어 학습하자 250회차 안에 붕괴해(유효 점프 0%, 낙상 100%) 기준선으로 확정되지 않았습니다. 현재 기준선 후보는 10월 8일 v12 3,749회차(48.37 / 52.54 / 50.78%)와 10월 12일 v14 7,248회차(54.49 / 54.43%)의 체크포인트 자체이며, 둘 다 이어 학습 뒤에는 유지되지 않았습니다. 2026-10-15 갱신. 이어 학습 사건 검정(10월 8일 v12의 3,250회차 체크포인트에서 같은 id·같은 절차로 이어 학습, 원래 실행이 이어 학습 없이 지나간 3,500·3,749회차와 비교)은 반박입니다: 판정값 (44.47 + 74.09) / 2 = 59.28% 대 대조군 54.19%, 이어 학습 직후 250회차 −5.07%p(과거 −11.5 / −22.3 / −52.7). 이어 학습 자체는 체계적 감소를 만들지 않았으나, 인접 체크포인트 간 변동이 ±15~30%p이고 인접 출발점(3,250 대 3,749회차) 두 이어 학습 실행의 경과 5,250~6,000회차 평균이 52.61% 대 34.95%로 갈려, 시드 1회·간격 8%p 판정의 타당성이 확인되지 않았습니다. 최종 45.51%, 낙상 0.07%. 다음은 v12 시드 44(무작위 초기화, 3,250회차)입니다. 2026-10-16 갱신. v12 시드 44(무작위 초기화, 3,250회차)는 지지입니다: 경과 1,500~3,000회차 평균 23.47%(시드 43 24.93%, v11 3.47%), 마지막 4개 평균 33.24%(시드 43 36.13%), 최종 46.42%·낙상 0%(시드 43의 3,250회차 50.52%). 곡선 형태(250~2,500회차 띠 → 2,750회차부터 상승)가 시드 43과 같고, 시드 간 차(−1.46 / −2.89 / −4.10%p)는 모두 평가 재현 폭 4.17%p 안입니다. 커리큘럼 고정(v12)의 효과(v11 대비 약 +20%p)가 시드 차보다 크다는 것이 처음 확인됐으나, 시드 2개이므로 재현성 주장은 하지 않습니다. 이어 학습 없는 3,250회차 이하 구간의 v12 기준선은 시드 43·44 두 곡선입니다. 다음은 v13(v12에서 행동 변화율 벌점 커리큘럼 하나만 복원, 원인 항목 분리)입니다. 2026-10-17 갱신. v13(v12에서 행동 변화율 벌점 커리큘럼 −0.1 → −1.0 하나만 복원, 무작위 초기화, 시드 43, 3,250회차)은 지지입니다: 경과 1,500~3,000회차 평균 4.52%(v12 시드 43 24.93%, 시드 44 23.47%, v11 3.47%), 마지막 4개 평균 3.79%, 최종 2.21%·낙상 0.13%. 커리큘럼이 오르는 750~1,500회차에서 v11과 3.4%p 안의 곡선으로 내려갔고 그 뒤 회복하지 않았습니다. 행동 변화율 벌점 커리큘럼 하나만으로 v11의 하락이 재현되므로 이 항목은 하락의 충분조건입니다(나머지 네 항목이 추가로 원인인지는 미검정; 시드 1회). v12 기준선(시드 43·44 두 곡선)은 그대로입니다. 다음은 v15(v12에서 머리 자세 그룹 세 항목만 복원)입니다. 2026-10-18 갱신. v15(v12에서 머리 자세 그룹 세 개 — 머리 명령 범위 0.07 → 1.4rad, 머리 편향 벌점 0 → 3.0, 머리 무게중심 0.003 → 0.01m — 의 커리큘럼만 학습용 구성에 복원, 평가용 구성은 v12와 동일, 무작위 초기화, 시드 43, 3,250회차)은 반박입니다: 경과 1,500~3,000회차 평균 32.57%(v12 시드 43 24.93%, 시드 44 23.47%, v13 4.52%, v11 3.47%), 마지막 4개 평균 40.30%, 최종 39.84%·낙상 0.20%. 머리 램프가 진행·완료되는 1,500~2,500회차에 하락이 없었으므로 머리 자세 그룹은 v11 하락의 원인이 아닙니다. 동결 다섯 개의 분리 현황: 행동 변화율 벌점 커리큘럼 = 하락의 충분조건, 머리 자세 그룹 세 개 = 원인 아님, 몸통 무게중심 랜덤화 = 미검정. v15가 v12 두 시드보다 구간 평균 +7.64 / +9.10%p 높은 것은 사전 등록 검정이 아니고 시드 1회라 수치 변화로만 적습니다. v12 기준선(시드 43·44)은 그대로입니다. 다음은 v16(v12에서 몸통 무게중심 랜덤화 커리큘럼 하나만 복원)입니다. 2026-10-19 갱신. v16(v12에서 몸통 무게중심 랜덤화 범위 ±0.003 → ±0.015m의 커리큘럼만 학습용 구성에 복원, 평가용 구성은 v12와 동일, 무작위 초기화, 시드 43, 3,250회차)은 반박입니다: 경과 1,500~3,000회차 평균 31.41%(v12 시드 43 24.93%, 시드 44 23.47%, v13 4.52%, v15 32.57%, v11 3.47%), 마지막 4개 평균 39.99%, 최종 46.61%·낙상 0.07%. 램프가 끝난 1,500회차 뒤 하락이 없었으므로 몸통 무게중심 랜덤화는 v11 하락의 원인이 아닙니다. 이것으로 동결 다섯 항목의 분리가 끝났습니다: 행동 변화율 벌점 커리큘럼 = 하락의 충분조건(10월 17일), 머리 자세 그룹 세 개 = 원인 아님(10월 18일), 몸통 무게중심 랜덤화 = 원인 아님(10월 19일). 두 밤 연속 항목을 되살린 실행(v15·v16)이 v12 두 시드보다 구간 평균 +6.5~9.1%p 높은 것은 사전 등록 검정이 아니고 시드 1회라 수치 변화로만 적습니다. v12 기준선(시드 43·44)은 그대로입니다. 다음은 행동 변화율 벌점의 고정값 수준 검정(−0.3 상수, 램프 없음)입니다. 2026-10-20 갱신. v17(v12에서 행동 변화율 벌점 가중치만 −0.1 → −0.3 상수, 램프 없음, 평가용 구성의 물리·명령은 v12와 동일, 무작위 초기화, 시드 43, 3,250회차)은 판단보류입니다: 경과 1,500~3,000회차 평균 9.00%(v12 시드 43 24.93%, 시드 44 23.47%, v13 4.52%, v11 3.47%), 마지막 4개 평균 8.64%, 최종 7.42%·낙상 0.13%. 지지 경계(≤ 8%)를 1.0%p 넘고 반박 경계(≥ 16%)에 7.0%p 못 미치는 "부분 효과" 구간이어서 "−0.3 상수는 점프를 약화시키지만(v12 대비 −14.5~−15.9%p, 후반 상승 없음) v13 수준의 소실은 아니다"로 적되, 경계 차가 평가 재현 폭 4.17%p 안이라 "소실 아님"을 적극 주장하지 않습니다. v17은 가중치가 변하지 않았는데도 250회차부터 낮았으므로(15.82% 대 −0.1 구간의 네 실행 20.25~23.96%) 10월 17일의 "램프 = 충분조건"은 램프의 비정상성보다 가중치 수준으로 설명되는 쪽에 가깝지만 한 수준·시드 1회로 확정하지 못합니다. v12 기준선(시드 43·44)은 그대로입니다. 다음은 같은 수준(−0.3)의 시드 44입니다. 2026-10-24 갱신. v17 시드 44(10월 20일 v17 구성 그대로, 코드 변경 없이 시드만 43 → 44, 무작위 초기화, 3,250회차)는 지지입니다: 경과 1,500~3,000회차 평균 7.57%(시드 43 9.00%; v12 시드 43 24.93%, 시드 44 23.47%, v13 4.52%), 두 시드 평균 8.29% ≤ 8.5, 마지막 4개 평균 7.80%, 최종 8.01%·낙상 0.13%. 사전 등록 규칙대로 "행동 변화율 벌점 가중치 −0.3 수준은 램프 없이도 점프를 소실 띠로 보낸다(두 시드)"로 적되, 두 시드가 지지 경계 8%를 양쪽으로 끼고(+1.00 / −0.43%p) 둘 다 평가 재현 폭 안이라는 점과 시드 44 − v13 +3.05%p가 재현 폭 크기라는 점을 함께 적습니다. 두 시드는 학습 로그 여덟 지표에서 구별되지 않았습니다. v12 기준선(시드 43·44)은 그대로입니다. 수준 검정은 −0.1(점프, 두 시드)과 −0.3(소실, 두 시드)의 두 끝값이 측정된 상태이고, 다음은 그 사이의 −0.2 상수(v18)입니다. 2026-10-26 갱신. −0.2 상수(v18)는 10월 25일 시드 43(구간 평균 9.58%)과 10월 26일 시드 44(12.07%) 모두 소실 경계 8%와 양립 경계 16% 사이의 중간 띠였고(두 시드 평균 10.83%; 마지막 4개 11.93 / 10.97%, 최종 15.23 / 8.46%), 두 밤 모두 판단보류입니다. 사전 등록의 "부분 효과 재현" 분기대로 행동 변화율 벌점 가중치의 수준 스윕을 끝냅니다: 측정된 수준 −0.1(두 시드 24.93 / 23.47%) / −0.2(두 시드 9.58 / 12.07%) / −0.3(두 시드 9.00 / 7.57%) / 램프 → −1.0(한 시드 4.52%) 중 점프와 양립하는 것은 −0.1뿐이며, v12 레시피의 평활 상한을 −0.1로 기록하고 −0.15 / −0.25로 더 쪼개지 않습니다. −0.2 수준의 체크포인트별 시드 차는 최대 7.62%p로 지금까지(≤ 5.73)보다 컸고, 시드 43의 최종 15.23%는 시드 44에서 재현되지 않았습니다(8.46%). v12 기준선(시드 43·44)은 그대로입니다. 다음은 반박 판정 뒤에도 v12 두 시드 평균보다 7.2~8.4%p 높게 남아 있는 v15·v16의 초과분을 시드 44로 가르는 일(v15 시드 44)입니다. 2026-10-26 정정. 10월 26일 주간 검토에서 다음 밤 실험을 v15 시드 44 대신 v19(창 밖 전용 평활)로 바꿨습니다(위 10월 27일 기록). 2026-10-27 갱신. 점프 신호 창 밖에서만 걷히는 평활 −0.9(창 안 −0.1 / 창 밖 −1.0, v19)는 구간 평균 10.05%로 전역 −0.2 / −0.3의 중간·소실 띠(두 시드 평균 10.83 / 8.29%)와 재현 폭 안, v12(24.20%)보다 14%p 아래였고, 2,775회차부터 모든 에피소드가 첫 스텝에 넘어지는 붕괴로 최종 0%·낙상 100%입니다 — 판단보류이며 학습 불가 조건을 함께 기록합니다. 창 안 가중치를 −0.1로 지켜도 창 안 평활 항은 v12의 1/4~1/6이었고, 벌점 0 구간에서도 학습 낙상이 v12의 20~50배였습니다(원인 분리 안 됨, 시드 1회). v12 기준선(시드 43·44)은 그대로입니다. 다음은 v19 시드 44(두 시드 규칙 + 붕괴 재현 관측), 대안은 창 밖 −0.4입니다. 2026-10-28 갱신. v19 시드 44(같은 구성, 코드 변경 없이 시드만 43 → 44, 무작위 초기화, 3,250회차)는 판단보류 — 부분 효과 재현(두 시드)입니다: 구간 평균 13.77%(시드 43 10.05%; 두 시드 평균 11.91%; v12 시드 43 / 44 24.93 / 23.47%, v18 두 시드 10.83%, v17 8.29%, v13 4.52%), 마지막 4개 평균 18.54%, 최종 20.12%·낙상 7.16%. 지지 기준(≥ 16, 네 조건 모두)과 반박 기준(≤ 8)에 모두 해당하지 않아 "창 밖 −0.9(창 안 −0.1 / 창 밖 −1.0)는 두 시드 모두 중간 띠"로 적습니다. 시드 43의 2,775회차 붕괴는 시드 44에서 재현되지 않았고(2,500~3,249회차 회차당 학습 낙상 최대 43.4, 평가 낙상 2.41 → 7.16%), 두 시드는 붕괴 전 여섯 지점 평균이 12.15 / 11.72%로 같은 곡선이었으므로 시드 43의 붕괴는 시드 사건(n=1)으로 기록합니다. 창 안 평활 항이 v12의 1/4~1/6인 것과 250~1,000회차 낙상 38~64%는 두 시드에서 재현됐습니다(인과 미분리). 최종 낙상 7.16%는 "학습 불가" 조건의 둘째 절(> 5%)에 형식상 해당하나 붕괴 상태는 아닙니다. v12 기준선(시드 43·44)은 그대로입니다. 다음은 v19b(창 밖 −0.4, 새 id, 시드 43; 지지 ≥ 16 / 반박 ≤ 8 / 그 외 게이트 검정 종료), 대체안은 v15 시드 44입니다. 2026-10-29 갱신. v19b(창 밖 전용 평활 −0.9 → −0.4, 창 안 −0.1 / 창 밖 합계 −0.5, 새 id, 무작위 초기화, 시드 43, 3,250회차)는 지지입니다: 구간 평균 27.49%(v19 시드 43 / 44 10.05 / 13.77%; v12 시드 43 / 44 24.93 / 23.47%; v18 두 시드 10.83%, v17 8.29%, v13 4.52%), 마지막 4개 평균 35.97%, 최종 41.60%·낙상 0.39%로 사전 등록 지지 조건 세 개(≥ 16 / ≥ 16 / ≤ 2)를 모두 충족했고, 구간 평균 ≥ 20이어서 "v12 띠와 구별되지 않음"(차 +2.56 / +4.02%p, 재현 폭 4.17%p 안; 최종은 v12보다 4.8~8.9%p 낮음)을 함께 적습니다. 위상 게이트 평활은 수준에 민감하며 양립 상한은 창 밖 합계 −0.5와 −1.0 사이입니다. 붕괴 없음(회차당 학습 낙상 최대 8.6). 창 밖 동작이 실제로 더 부드러워졌는지는 평가 지표가 없어 확인되지 않았습니다. 시드 1회 — 재현성 주장 불가. v12 기준선(시드 43·44)은 그대로입니다. 다음은 v19b 시드 44(두 시드 규칙: 지지 ≥ 16 & ≥ 16 & ≤ 2 / 반박 ≤ 8 / 그 외 시드 의존), 그 뒤 창 밖 행동 지표를 평가기에 추가, 대체안은 v15 시드 44입니다. 2026-10-30 갱신. v19b 시드 44(코드 변경 없이 시드만 43 → 44, 무작위 초기화, 3,250회차)는 지지(두 시드)입니다: 구간 평균 30.85%(시드 43 27.49%, 두 시드 29.17%; v19 두 시드 11.91%; v12 두 시드 24.20%), 마지막 4개 평균 37.94%, 최종 49.22%·낙상 0.39%로 사전 등록 지지 조건 네 개를 모두 충족했고 "창 밖 합계 −0.5는 점프와 양립(두 시드)"으로 기록합니다. 위상 게이트 평활은 수준에 민감(−0.9 중간 띠·−0.4 양립, 두 수준 모두 n=2)하며 양립 상한은 창 밖 합계 −0.5와 −1.0 사이입니다. 2026-10-30 정정: 10월 29일의 "v12 띠와 구별되지 않음"은 시드 44의 구간 평균에서 재현되지 않았습니다(v12 두 시드보다 +5.92 / +7.38%p, 재현 폭 4.17%p 초과; 마지막 4개·최종은 폭 안팎 혼재, 3,000회차 이후는 v12가 같거나 위) — "v19b가 v12보다 높다"는 주장이 아니라 다음 검정 후보입니다. 붕괴 없음(두 시드). 창 밖 동작이 실제로 더 부드러워졌는지는 여전히 평가 지표가 없어 확인되지 않았습니다. n=2 — 재현성 주장 불가. v12 기준선(시드 43·44)은 그대로입니다. 다음은 평가기에 창 밖 행동 지표 추가(학습 없음, 기존 체크포인트 재채점; 지지 = v19b 두 시드 창 밖 행동 변화율이 v12의 0.8배 이하이고 창 안은 0.8~1.25배), 그 뒤 v19c 창 밖 −0.65로 상한 탐색, 대체안은 v19c 바로 실행입니다. 2026-10-31 갱신. v19c(창 밖 전용 평활 −0.4 → −0.65, 창 안 −0.1 / 창 밖 합계 −0.75, 새 id, 무작위 초기화, 시드 43, 3,250회차)는 지지(시드 1회, 경계값)입니다: 구간 평균 17.02%(v19b 시드 43 / 44 27.49 / 30.85%, 두 시드 29.17%; v19 두 시드 11.91%; v12 두 시드 24.20%), 마지막 4개 평균 24.75%, 최종 32.55%·낙상 0.91%로 사전 등록 지지 조건 세 개(≥ 16 / ≥ 16 / ≤ 2)를 충족해 "창 밖 합계 −0.75는 점프와 양립(시드 1회), 양립 상한은 −0.75와 −1.0 사이"로 기록합니다. 다만 구간 평균과 경계 16%의 차 1.02%p는 재현 폭 4.17%p 안이어서 시드 44 전까지는 중간 띠와 갈리지 않습니다. 같은 시드의 v19b보다 13개 지점 모두 낮으므로(구간 −10.47, 최종 −9.05%p) "개선"이라 쓰지 않습니다(수준 차, 시드 차와 분리 안 됨). 세 수준의 구간 평균 29.17 / 17.02 / 11.91%는 수준에 단조입니다. 초기 250~1,000회차 낙상(50.72~34.51%)은 v19 띠였고, 붕괴는 없었습니다. 창 밖 동작이 실제로 더 부드러워졌는지는 여전히 평가 지표가 없어 확인되지 않았습니다. n=1 — 재현성 주장 불가. v12 기준선(시드 43·44)은 그대로입니다. 2026-11-01 정정. v19c 시드 44는 구간 평균 20.89%, 마지막 4개 28.89%, 최종 30.73%·낙상 1.76%, 두 시드 구간 평균 18.96%로 지지 조건 네 개를 모두 충족해 "창 밖 합계 −0.75는 점프와 양립(두 시드), 양립 상한은 −0.75와 −1.0 사이"로 기록합니다. 시드 44 단독 구간 평균은 경계 16%를 재현 폭 밖(+4.89%p)에서 넘었지만 두 시드 평균(+2.96%p)과 최종 낙상(−0.24%p)은 폭 안의 경계값이고, 구간 평균 시드 차 +3.87%p 중 +2.44가 3,000회차 한 지점(+17.06%p)에서 왔습니다. 같은 시드의 v19b보다 13개 중 12개 지점 낮은 수준 차(구간 −9.96, 두 시드 −10.21%p)는 두 시드에서 반복됐고, 세 수준의 두 시드 구간 평균 29.17 / 18.96 / 11.91%는 수준에 단조입니다(세 점 모두 n=2). 붕괴 없음(두 시드). 창 밖 동작이 실제로 더 부드러워졌는지는 여전히 평가 지표가 없어 확인되지 않았습니다. v12 기준선(시드 43·44)은 그대로입니다. 다음은 평가기에 창 밖 행동 지표를 추가하는 학습 없는 밤(세 수준 × 두 시드 재채점, 재현 폭 먼저 측정), 그 뒤 v19d 창 밖 −0.8(합계 −0.9), 대체안은 v19c 시드 45 또는 v19b 시드 45입니다. 2026-11-02 갱신. 학습 없는 밤: 평가기에 점프 신호 창 1.5초 밖/안의 행동 변화율·관절 속도 RMS·발 접촉 전환 수 열을 더하고 기존 체크포인트 32개를 재채점했습니다. v19b 두 시드 최종 정책의 창 밖 행동 변화율은 v12 두 시드의 0.486배, 창 안은 1.059배로 사전 등록 지지("창 밖 전용 항은 창 밖 행동만 부드럽게 했다", 평가 재현 폭 0.045 / 0.041, 앵커 49.48%)입니다. 세 수준의 창 밖 비 0.486 / 0.294 / 0.192는 단조이고 창 안 비는 모두 0.80~1.25 안이어서 수준 스윕의 점프 손실은 최종 정책의 창 안 행동 변화율 탓이 아닙니다(창 안 발 접촉 전환 수는 0.86 / 0.74 / 0.76으로 줄어 분리되지 않은 축이 남음). 다음 후보는 v19d 창 밖 −0.8(합계 −0.9)입니다. 2026-11-04 갱신. v19d(창 밖 전용 벌점 −0.8, 창 밖 합계 −0.9, 시드 43)는 경과 1,500~3,000회차 평균 12.68%로 지지 경계 16과 반박 경계 8 사이의 판단보류(중간 띠)이고, 2,952회차부터 붕괴해 최종 0.00%·낙상 100%(학습 불가 기록; 10월 27일 v19 시드 43에 이어 두 번째 붕괴, 둘 다 시드 43·창 밖 −0.8 이상·−300 단계 안). 네 수준의 구간 평균 29.17 / 18.96 / 12.68 / 11.91%는 단조이고 −0.9와 −1.0은 재현 폭 안에서 구별되지 않아 양립 상한은 −0.75와 −0.9 사이로 좁혀졌습니다(−0.9는 시드 1회). 앵커 49.35%. 다음은 v19d 시드 44(두 시드 규칙 + 붕괴 재현 관측), 그 뒤 v19e 게이트 창 2.0초, 대체안은 v19c 시드 45입니다. 2026-11-05 갱신. v19d 시드 44(코드 변경 없이 시드만 43 → 44)는 경과 1,500~3,000회차 평균 12.14%(두 시드 평균 12.41%)로 다시 지지 경계 16과 반박 경계 8 사이의 판단보류(두 시드 중간 띠)이고, 2,949회차부터 붕괴해 최종 0.00%·낙상 100%(학습 불가 기록). 두 시드의 구간 궤적 차는 지점별 −3.33 ~ +3.00%p, 붕괴 시점 차는 3회차여서 11월 4일의 결과는 시드 사건이 아니었습니다. 네 수준의 두 시드 구간 평균 29.17 / 18.96 / 12.41 / 11.91%는 단조이고(네 점 모두 n=2) 양립 상한은 −0.75와 −0.9 사이로 확정(두 시드)되어 창 밖 벌점 수준 스윕을 끝냅니다. 붕괴는 이 계열 세 번째(창 밖 −0.8 2/2 시드, −0.9 1/2, −0.65·−0.4·v12 0/2)로 모두 −300 벌점 단계 안에서 났으며, v12·v19b·v19c는 같은 단계를 붕괴 없이 지났으므로 "창 밖 −0.8 이상 × −300 단계"의 조합이 남습니다(필요조건은 미분리). 앵커 50.39%. 다음은 벌점 상한 −100(−300 단계 제거, 새 id, 시드 43)으로 붕괴 원인 분리, 그 뒤 v19e 게이트 창 2.0초, 대체안은 v19c 시드 45입니다. 2026-11-09 갱신. v19d 구성에서 낙상 벌점 커리큘럼만 −100 상한(−300·−500 단계 제거)한 v19d100(시드 43, 3,250회차)은 학습 로그의 회차당 낙상 종료가 2,500회차 뒤 한 번도 200을 넘지 않았고(최대 125.9; v19d 같은 시드는 2,952회차부터 300 이상) 평가 3,000회차 낙상 0.52%, 최종 유효 점프 19.73%·낙상 5.73%입니다. 사전 등록 지지 조건 세 개 중 "최종 낙상 ≤ 5%"만 0.73%p 차로 채우지 못해 판정은 판단보류(붕괴 없음, 최종 낙상 경계 바로 위)이고, 반박 조건(붕괴 발생 / 최종 낙상 ≥ 50%)은 미충족입니다. 붕괴 집계는 −300 단계 있음 3/10, 없음 0/1로 "−300 단계가 필요조건"과 양립하지만 한 번의 무붕괴가 운인지는 분리되지 않았고, 2,725~2,749회차의 일시 급증(블록 평균 96.6)과 마지막 100회차의 완만한 상승은 예산을 더 줬을 때의 방향을 정하지 못합니다. 같은 시드인데도 벌점 0 구간의 낙상 급증 위치가 v19d 시드 43과 달라(GPU 비결정성) 구간 평균 9.79%의 차를 벌점 탓으로 읽지 않습니다. 앵커 50.26%. 다음은 v19d100 시드 44(같은 규칙, 두 시드), 그 뒤 −300 단계를 3,500회차로 늦춘 설계 또는 v19e 게이트 창 2.0초, 대체안은 v19c 시드 45입니다. 2026-11-10 갱신. v19d100을 코드 변경 없이 시드 44로 반복한 결과(3,250회차)는 지지입니다("−300 단계는 v19d 붕괴의 필요조건", 시드 44 단독 지지 + 시드 43 붕괴 없음): 같은 시드 44가 −300 단계가 있는 v19d에서는 2,949회차부터 되돌아오지 않는 붕괴였는데, −300 단계를 없앤 오늘은 학습 로그의 회차당 낙상 종료가 2,871~2,885회차의 15회차 동안 200을 넘었다가(최대 290.9) 25회차 안에 회복했고(사전 등록 규칙 "20회차 연속" 구간 없음, 경계까지 5회차), 평가 3,000회차 낙상 0.65%, 최종 유효 점프 14.19%·낙상 3.45%로 지지 조건 세 개를 모두 채웠습니다. 붕괴 집계는 −300 단계 있음 3/10, 없음 0/2(급락형 붕괴 소멸 2/2). 지지의 뜻은 "−100 상한에서는 붕괴 성향이 가역적이었다"이지 "성향이 없다"가 아니며, 단계 전환과 벌점 크기는 아직 분리되지 않았습니다. 평가 체크포인트(2,750·3,000)가 급증 구간을 비껴가 평가 곡선에는 보이지 않으므로 붕괴 판정은 학습 로그의 회차별 값으로 합니다. 경과 1,500~3,000 평균 10.54%(두 시드 10.17%)·마지막 4개 11.43%는 기록만, 앵커 49.54%. 다음은 −300 단계를 3,500회차로 늦춘 설계(이틀 밤, 단계 전환과 벌점 크기 분리), 대안은 v19e 게이트 창 2.0초, 대체안은 v19c 시드 45입니다. 2026-11-11 갱신. −300 단계를 3,500회차로 늦춘 v19d300d(새 id, 시드 43)의 첫째 밤 3,250회차(전환 전)는 미완(둘째 밤 대기, 전제 충족)입니다: 학습 로그의 회차당 낙상 종료가 2,500~3,249회차에서 20회차 연속 200을 넘은 구간은 없었고(최장 17회차 2,549~2,565, 최대 277.2 뒤 회복 — 규칙 경계까지 3회차), 최종 유효 점프 12.50%·낙상 1.30%, 평가 3,000회차 낙상 39.06%는 200 미만 급증의 체크포인트 표본입니다. 구간 평균 10.43%·마지막 4개 11.36%는 기록만, 앵커 48.83%. 같은 시드·같은 일정인 v19d100 시드 43과 체크포인트 차가 −10.15 ~ +11.39%p로 GPU 비결정성을 다시 확인했습니다. 본 가설("−100 → −300 단계 전환이 붕괴를 유발")은 11월 12일 밤 같은 id로 이어 학습해 3,500회차 전환을 지난 뒤 판정합니다(지지: 전환 뒤 600회차 안 20회차 연속 > 200·최종 낙상 ≥ 50%; 반박: 4,499회차까지 무붕괴·낙상 ≤ 5%·유효 점프 ≥ 8%). 둘째 밤이 불가하면 v19e 게이트 창 2.0초, 대체안은 v19c 시드 45입니다. 2026-11-12 갱신. v19d300d 둘째 밤: 11월 11일 실행의 3,249회차 체크포인트를 같은 id·시드 43으로 이어 학습해(3,249 → 6,498회차) 3,499회차에서 −100 → −300 전환을 지났고, 전환 뒤 2,999회차 동안 학습 로그의 회차당 낙상 종료가 200을 넘은 회차는 0회(단일 최대 35.2), 최종 유효 점프 38.87%·낙상 0.33%로 사전 등록한 반박 조건 세 개를 모두 채웠습니다 — 판정 반박("−100 → −300 단계 전환 자체는 붕괴를 유발하지 않는다"). 같은 시드 43이 전환을 2,500회차에 둔 v19d에서는 2,952회차부터 붕괴했으므로 남는 후보는 "덜 성숙한 정책 × −300"(벌점 크기와 훈련 나이의 결합) 또는 확률적 붕괴입니다. 붕괴 집계는 −300 at 2,500 3/10, at 3,500 0/1, 없음 0/2. 시드 1회이며 붕괴가 확률적이라 한 번의 무붕괴는 약한 증거입니다. 앵커 49.41%. 최종 38.87%는 6,498회차의 값이라 3,249회차 실행들과 비교하지 않습니다. 다음은 v19d300d 시드 44(이틀 밤; 같은 시드 쌍이 v19d에서 2/2 붕괴였으므로 0/2이면 전환 시점 효과를 시드 분산 위에서 적을 수 있음), 그 뒤 −100을 500회차부터 시작하고 −300을 2,500회차에 두는 변형, 그 뒤 v19e 게이트 창 2.0초. 대체안은 v19c 시드 45입니다. 2026-11-13 갱신. v19d300d 시드 44 첫째 밤: 같은 id를 코드 변경 없이 시드 44로 3,250회차(전환 전) 학습했고, 학습 로그의 회차당 낙상 종료는 2,500~3,249회차에서 200을 넘은 회차가 0회(단일 최대 25.2)로 사전 등록 전제조건을 채웠습니다 — 판정 미완(둘째 밤 대기, 전제 충족). 최종 유효 점프 16.28%·낙상 3.06%, 구간 평균 14.45%·마지막 4개 17.04%는 기록만(시드 43 첫째 밤 10.43 / 11.36; 같은 시드 v19d100과의 체크포인트 차 −3.19 ~ +8.99%p로 시드 효과와 비결정성은 분리되지 않았습니다), 앵커 51.11%. 붕괴 집계는 바뀌지 않았습니다. 본 가설은 다음 밤 같은 id로 이어 학습해 3,499회차 전환을 지난 뒤 판정합니다(지지: 3,500~4,100회차 20회차 연속 > 200·최종 낙상 ≥ 50%; 반박: 전환~최종(≥ 4,499) 무붕괴·낙상 ≤ 5%·유효 점프 ≥ 8%). 둘째 밤이 불가하면 대체안은 v19c 시드 45입니다. 시드 1회. 2026-11-14 갱신. v19d300d 시드 44 둘째 밤: 11월 13일 실행의 3,249회차 체크포인트를 같은 id·시드 44로 이어 학습해(3,249 → 6,498회차) 3,499회차에서 −100 → −300 전환을 지났고, 전환 뒤 6,498회차까지 학습 로그의 회차당 낙상 종료가 200을 넘은 회차는 0회(단일 최대 18.5), 최종 유효 점프 27.41%·낙상 1.04%로 사전 등록한 반박 조건 세 개를 모두 채웠습니다 — 판정 반박("−100 → −300 단계 전환 자체는 붕괴를 유발하지 않는다"). 시드 43(11월 12일)과 합쳐 사전 고정 문구대로 "v19d300d 두 시드 0/2 붕괴, 같은 시드 쌍의 v19d는 2/2 붕괴 — 전환 자체는 붕괴의 충분조건이 아니다(두 시드)"입니다. 붕괴 집계는 −300 at 2,500 3/10, at 3,500 0/2, 없음 0/2. 오늘 실행은 시드 1회이고 두 시드 집계도 n=2라 붕괴가 확률적이면 운과 완전히 분리되지 않으며, 전환 지연은 "−100으로 1,000회차 더 훈련됨"과 분리되지 않았습니다. 판정 밖의 기록: 평가 곡선은 4,500회차 40.36%까지 오른 뒤 5,250회차 20.25%로 내려와 최종 27.41%였고 시드 43의 같은 지점 38.87%보다 11.46%p 낮습니다(원인은 분리되지 않았습니다); 평가 낙상은 4,000·4,500회차에서 6.32%·6.97%였습니다. 앵커 50.13%. 최종값은 6,498회차의 값이라 3,249회차 실행들과 비교하지 않습니다. 다음은 −300 도착을 2,500회차에 두고 −100을 500회차부터 시작하는 변형(새 id, 시드 43; "덜 성숙한 정책 × −300" 검정), 그 뒤 v19e 게이트 창 2.0초. 대체안은 v19c 시드 45입니다. 2026-11-15 갱신. v19d300e: v19d 구성에서 −100 단계의 시작만 500회차로 앞당겨(−300 도착은 2,500회차 그대로, −300 전 −100 기간 2,000회차) 시드 43·무작위 초기화로 3,250회차 학습했습니다. 학습 로그의 회차당 낙상 종료는 2,958회차부터 최종까지 292회차 연속으로 200을 넘었고(−300 도착 뒤 458회차; v19d 시드 43 / 44는 2,952 / 2,949회차), 평가 3,000회차 낙상 99.80%, 최종 유효 점프 0.00%·낙상 100.00%로 사전 등록한 붕괴 쪽 조건 두 개를 모두 채웠습니다 — 판정 반박("−300 전 −100 기간이 붕괴를 가른다"), 학습 불가 기록 포함. v19d300d의 무붕괴(0/2)는 "−100으로 2,000회차 훈련됨"으로 설명되지 않으며, 남는 차이는 −300 도착 회차(2,500 대 3,499) 또는 그 시점에 묶인 다른 것입니다. 붕괴 집계는 −300 at 2,500 4/11(창 밖 −0.8 구성 3/3), at 3,500 0/2, 없음 0/2. 시드 1회이고, 붕괴 시작이 "도착 뒤 약 450회차"인지 "절대 회차 약 2,950"인지는 분리되지 않았습니다. 판정 밖의 기록: 붕괴 전 2,750회차 24.61%, 1,500회차 15.69%(v19d 시드 43 15.10%), 500~1,000회차 평가 낙상 24.15~35.61%(v19d 시드 43 1.69~26.63%), 앵커 47.53%. 다음은 −300 도착을 2,000회차로 옮긴 변형(새 id, 시드 43)으로 두 설명을 가르는 것, 대안은 같은 id의 시드 44, 그 뒤 v19e 게이트 창 2.0초. 대체안은 v19c 시드 45입니다. 2026-11-16 갱신. v19d300f: v19d300e 구성에서 −300 도착만 2,000회차로 옮겨(0 → −100(500회차) → −300(2,000회차)) 시드 43·무작위 초기화로 3,250회차 학습했습니다. 학습 로그의 회차당 낙상 종료는 2,183회차부터 최종까지 1,067회차 연속으로 200을 넘었고(−300 도착 뒤 183회차; 도착 2,500회차의 세 실행은 449~458회차), 평가는 2,250회차부터 최종까지 유효 점프 0.00%·낙상 100.00%였습니다. 붕괴 시작 2,183회차는 사전 등록한 "도착 뒤 지연" 띠(2,300~2,600회차)와 "절대 회차" 띠(2,850~3,050회차) 어느 쪽에도 들지 않아 판정은 판단보류이며 학습 불가 기록이 붙습니다. 두 예측(약 2,450 / 약 2,950회차) 모두 관측과 맞지 않았지만 규칙상 "둘 다 반박"으로 올리지 않습니다. 붕괴 집계는 −300 at 2,000 1/1, at 2,500 4/11(창 밖 −0.8 구성 3/3), at 3,500 0/2, 없음 0/2. 시드 1회이고, −300 전 −100 기간이 1,500회차로 함께 줄어든 것과 −300 도착 전 궤적이 11월 15일 실행과 달랐던 것(회복된 급증 세 번)은 분리되지 않았습니다. 판정 밖의 기록: 붕괴 전 2,000회차 17.84%·낙상 2.02%, 앵커 48.11%. 다음은 같은 id의 시드 44로 붕괴 시작 회차가 재현되는지 보는 것, 대안은 학습 없이 붕괴·무붕괴 실행의 붕괴 전 구간 로그를 정렬해 비교하는 분석, 그 뒤 v19e 게이트 창 2.0초. 대체안은 v19c 시드 45입니다. 2026-11-17 갱신. v19d300f 시드 44: 11월 16일 구성을 코드 변경 없이 시드만 44로 바꿔 무작위 초기화로 3,250회차 학습했습니다. 학습 로그의 회차당 낙상 종료는 2,293회차부터 최종까지 957회차 연속으로 200을 넘었고(−300 도착 뒤 293회차; 시드 43은 183회차), 평가는 2,250회차 유효 점프 25.78%·낙상 1.11%에서 2,500회차부터 최종까지 0.00%·100.00%였습니다. 붕괴 시작 2,293회차는 사전 등록한 재현 띠(2,083~2,283회차)의 상한을 10회차 넘고 "도착 뒤 지연" 띠(2,300~2,600회차)의 하한에 7회차 못 미쳐 판정은 판단보류이며 학습 불가 기록이 붙습니다. −300 도착 2,000회차 구성의 붕괴는 두 실행 모두에서 났지만(2/2, n=2), 시작 회차가 110회차 벌어져 "±100회차 안 재현" 조건은 채우지 못했고 띠는 사후에 넓히지 않았습니다. 붕괴 집계는 −300 at 2,000 2/2, at 2,500 4/11(창 밖 −0.8 구성 3/3), at 3,500 0/2, 없음 0/2. 오늘 실행은 시드 1회이고, 도착 2,000회차의 지연(183 / 293회차)이 도착 2,500회차의 449~458회차보다 짧은 것이 도착 회차 때문인지 −100 기간(1,500회차) 때문인지는 분리되지 않았습니다. 판정 밖의 기록: 붕괴 전 2,250회차 25.78%·낙상 1.11%, 앵커 51.24%. 다음은 학습 없이 붕괴 다섯 실행·무붕괴 네 실행의 붕괴 전 구간 로그를 정렬해 비교하는 분석(규칙 사전 등록), 대안은 같은 id의 시드 45, 그 뒤 v19e 게이트 창 2.0초. 대체안은 v19c 시드 45입니다. 2026-11-18 갱신. 학습 없는 로그 정렬 분석: 붕괴 다섯 실행과 무붕괴 네 실행의 기존 학습 로그를 붕괴 시작 회차에 정렬해 지표 5개 × 방향 2의 10개 검정을 했습니다. 가치 손실(높음 방향)의 25회차 평균이 붕괴 다섯 실행 모두에서 붕괴 시작 186 / 219 / 157 / 114 / 167회차 전에 문턱 2.8582(무붕괴 넷 중 하나만 넘는 값)를 넘어 사전 등록한 지지 조건(4/5 이상)을 채웠고, 판정은 지지(표본 내 후보)입니다. 무붕괴 실행이 하나도 넘지 않는 문턱 3.8125에서는 0/5이고, 나머지 9개 검정은 3/5 이하였습니다. 문턱은 −300 단계를 거친 무붕괴 실행 두 개 중 하나의 최댓값이며 다른 하나는 6,191~6,215회차에 넘고도 붕괴하지 않았습니다. 10개 검정의 다중 비교는 보정하지 않았고 −300 단계 유무에 따른 가치 손실 수준 차이는 분리되지 않았으므로, 새 실행에서 미리 등록한 예측으로 맞기 전에는 붕괴의 선행 표지라고 쓰지 않습니다. 오늘은 학습·평가가 없어 유효 점프 값과 붕괴 집계는 11월 17일 그대로입니다. 다음은 v19d300f 시드 45를 학습하면서 이 문턱을 고정한 예측을 전향 검증하는 것, 대안은 v19e 게이트 창 2.0초, 대체안은 v19c 시드 45입니다. 2026-11-19 갱신. v19d300f 시드 45(11월 16·17일 구성을 코드 변경 없이 시드만 바꿈, 3,250회차)는 3,249회차까지 붕괴하지 않았습니다: −300 도착 뒤 학습 로그의 회차당 낙상 종료 > 200은 0회(단일 최대 30.96)이고, 가치 손실의 25회차 평균은 최대 2.7935(2,172회차)로 문턱 2.8582를 넘지 않았습니다. 학습 전에 등록한 규칙에서 "붕괴도 문턱 초과도 없음"은 정보 없음이므로 판정은 판단보류(정보 없음)이고, 문턱을 고정한 전향 표본은 여전히 0개입니다(11월 18일의 "지지(표본 내 후보)"는 그대로이며 붕괴의 선행 표지라고 쓰지 않음). 평가는 0회차 0.20%·낙상 98.63% → 2,750회차 34.11%·2.73% → 3,000회차 25.33%·12.11% → 최종 3,249회차 22.53%·0.91%로, 최고점 뒤 내려오는 중에 끝났습니다(구간 평균 22.65%는 기록만, 앵커 50.07%). 같은 구성의 시드 43·44는 2,183 / 2,293회차에 붕괴해 최종 0.00%·100.00%였으므로, 도착 2,000회차 구성의 붕괴 집계는 2/2에서 2/3이 됐습니다(at 2,500 4/11, at 3,500 0/2, 없음 0/2). 오늘 실행은 시드 1회이고 관찰 창은 3,249회차까지입니다. 다음은 계획서가 이 경우의 다음으로 적어 둔 v19e(점프 신호 창 1.5 → 2.0초, 창 밖 −0.4·벌점 상한 −100, 새 id), 대안은 같은 문턱·같은 규칙의 v19d300f 시드 46, 대체안은 v19c 시드 45입니다. 2026-11-20 정정. 실제 v19e는 벌점 상한 −100을 넣지 않았고 점프 신호 창이 아니라 창 밖 전용 벌점 항의 게이트 길이만 바꿨습니다. 2026-11-20 갱신. v19e(v19b 구성에서 창 밖 전용 벌점 항의 게이트 길이만 1.5 → 2.0초, 새 id, 시드 43, 무작위 초기화, 3,250회차)는 경과 1,500~3,000회차 평균 14.40%로 지지 경계 16%와 반박 경계 8% 사이의 판단보류(중간 띠)이고, 학습 로그의 회차당 낙상 종료가 2,693회차부터 최종까지 557회차 연속으로 200을 넘어(−300 도착 뒤 193회차) 최종 유효 점프 0.00%·낙상 100.00%입니다(학습 불가 기록). 같은 벌점 일정의 v19b 시드 43·44는 붕괴 없이 구간 평균 27.49 / 30.85%, 최종 41.60 / 49.22%였습니다. 붕괴 전 다섯 지점(1,500~2,500회차) 평균 20.16%는 v19b 시드 43의 23.97%와 재현 폭 안이며, 구간 평균에는 붕괴 뒤 0.00% 두 개가 들어 있습니다. 창 밖 −0.4 구성에서 −300 단계의 붕괴는 처음이고(이 구성 1/3), 게이트 변경에 따른 것인지 한 번의 사건인지는 시드 1회로 확인되지 않았습니다. 붕괴 집계는 −300 at 2,000 2/3, at 2,500 5/12, at 3,500 0/2, 없음 0/2. 판정 밖의 기록: 11월 18일의 가치 손실 문턱 2.8582는 오늘 붕괴 시작 전에 넘지 않았으나(붕괴 전 최대 2.2671) 이 실행에는 규칙을 등록하지 않아 전향 표본으로 세지 않습니다. 앵커 50.07%. v12 기준선(시드 43·44)과 v19b 두 시드의 결과는 그대로입니다. 다음은 v19e 시드 44(두 시드 규칙 + 붕괴 여부 기록), 대안은 v19d300f 시드 46, 대체안은 v19c 시드 45입니다. 2026-11-21 갱신. v19e 시드 44(11월 20일 구성을 코드 변경 없이 시드만 43 → 44, 무작위 초기화, 3,250회차)는 경과 1,500~3,000회차 평균 15.84%(시드 43 14.40%, 두 시드 평균 15.12%)로 다시 지지 경계 16%와 반박 경계 8% 사이의 판단보류(두 시드 중간 띠)이고, 학습 로그의 회차당 낙상 종료가 2,782회차부터 최종까지 468회차 연속으로 200을 넘어(−300 도착 뒤 282회차; 시드 43은 193회차) 최종 유효 점프 0.00%·낙상 100.00%입니다(학습 불가 기록). 시드 44의 구간 평균은 지지 경계에 0.16%p 못 미치지만 마지막 4개 평균 12.30%·최종 낙상·두 시드 평균도 지지 조건을 채우지 못했습니다. 게이트 2.0초 구성의 붕괴는 2/2, 같은 벌점 일정의 v19b(게이트 1.5초)는 0/2이며(창 밖 −0.4 구성 2/4), 사전에 정한 대로 "게이트 2.0초가 붕괴 원인"이라고 쓰지 않습니다(n=2, 게이트 위치와 총 벌점량 감소 미분리). 판정 밖의 기록: 1,500회차 뒤 회차당 낙상 종료가 10회차 이상 연속으로 200을 넘었다가 회복한 급증이 v19e 두 시드에 두 번 / 세 번, v19b 두 시드에 0번 / 0번 있었고(결과를 본 뒤의 집계), 평가 1,000·1,750회차의 0.07% / 0.00%는 그런 급증 안에서 저장된 체크포인트입니다; 11월 18일의 가치 손실 문턱은 오늘도 붕괴 시작 전에 넘지 않았으나(붕괴 전 최대 2.5653) 이 실행은 전향 표본으로 세지 않습니다. 붕괴 집계는 −300 at 2,000 2/3, at 2,500 6/13, at 3,500 0/2, 없음 0/2. 앵커 51.43%. v12 기준선(시드 43·44)과 v19b 두 시드의 결과는 그대로입니다. 다음은 v19e에서 낙상 벌점 상한만 −100으로 둔 새 id(시드 43; 붕괴와 게이트 길이의 분리), 대안은 v19d300f 시드 46, 대체안은 v19c 시드 45입니다. 2026-11-22 갱신. v19e 구성에서 낙상 벌점을 −100에서 멈춘 새 id(시드 43, 3,250회차)는 3,249회차까지 되돌아오지 않는 붕괴 없이 끝났고 최종 유효 점프 15.69%·낙상 0.07%로 사전 등록한 붕괴 축 기준을 통과했습니다 — 판정 지지(시드 1회, 재현성 주장 불가; v19e 두 시드는 2,693 / 2,782회차부터 붕괴해 최종 0.00%). 경과 1,500~3,000회차 평균 18.58%·마지막 4개 평균 20.23%는 절대 경계로 "v12 띠 안"이지만 대조 실행이 없고 여유 2.58%p가 재현 폭 4.17%p 안이어서 기록만 합니다. 10회차 이상 이어지는 낙상 급증은 1,500회차 뒤 다섯 번(가장 긴 것 78회차, 최종 77회차 전에 끝남)으로 기준값(v19e 두 번 / 세 번, v19b 0 / 0번)보다 많았고, 모두 회복됐을 뿐 없어지지 않았습니다. "−300 단계가 붕괴 원인"이라고는 쓰지 않습니다(v19b는 −300을 지나고도 0/2). 붕괴 집계는 −300 at 2,000 2/3, at 2,500 6/13, at 3,500 0/2, 없음 0/3. 앵커 49.02%. 다음은 같은 id의 시드 44(붕괴 축 두 시드, 게이트 축 두 시드 평균 ≥ 16%), 대안은 v19d300f 시드 46, 대체안은 v19c 시드 45입니다.

  1. v10 재시도 — 초기 정책 검정 — v9 레시피를 그대로 두고 초기 정책만 평지 보행 정책(warm_flat_s43/model_5999)으로 바꿉니다. 10월 4일에 준비를 마쳤으나 스케줄러 결함으로 학습이 시작되지 않았습니다. 사전 등록 기준: 최종 유효 점프 ≥ 8.0%, 경과 1,500~3,000회차 평균 > 5.55%(v9의 같은 구간), 낙상률 ≤ 1.0%이면 지지. 최종 ≤ 6.0%이고 구간 평균 ≤ 5.55%이면 반박이며, 그 경우 다음 변수는 초기 정책이 아니라 보상 구조입니다. 그 뒤 무작위 초기화를 같은 가설의 두 번째 검정으로 돌립니다. 2026-10-05 완료. 판단보류(최종 7.36%, 구간 평균 4.61%, 낙상 0.26%). 위 "2026-10-05" 기록 참조.
  2. 다음 밤: 무작위 초기화 — 초기 정책 검정 (b) — 웜스타트 없이 v9 레시피를 같은 예산(약 3,750회차)으로 학습합니다. 대조군은 v9·v10의 경과 1,500~3,000회차 평균(5.55% / 4.61%)과 같은 경과 회차의 값이며, 대표값은 최종 체크포인트에 마지막 4개 평균을 보조로 사전 등록합니다. 세 출발점이 모두 4~6% 띠로 모이면 다음 변수는 보상 구조(PR #28의 단계 보상 또는 1 → 6cm 높이 밴드 커리큘럼)입니다. 3,750회차 안에 서지도 못하면(낙상률 > 5%) 그대로 기록하고 보상 구조로 넘어갑니다. 2026-10-07 완료. 판단보류(최종 5.01%, 구간 평균 6.05%, 마지막 4개 평균 4.95%, 낙상 0.72%; 250회차 24.67% 뒤 감소). 위 "2026-10-07" 기록 참조.
  3. 다음 밤: 기반 코드 커리큘럼 고정 — v12 — v11과 같은 무작위 초기화·예산에서 스텝 수에 따라 올라가는 커리큘럼(행동 변화율 벌점 가중치 −0.1 → −1.0, 머리 자세 명령 범위 0.07 → 1.4, 머리 자세 편향 벌점 0 → 3.0, 무게중심 범위)을 회차 0의 값에 고정합니다. 대조군은 v11의 같은 경과 값(250회차 24.67%, 경과 1,500~3,000 평균 6.05%, 마지막 4개 평균 4.95%, 최종 5.01%). 사전 등록 초안: 경과 1,500~3,000 평균 ≥ 15%이고 마지막 4개 평균 ≥ 12%이고 낙상률 ≤ 2%이면 "커리큘럼 상승이 감소의 원인"을 지지, 구간 평균 ≤ 8%이면 반박(감소는 학습의 자연 표류). 반박이면 다음 변수는 PR #28의 단계 보상 또는 높이 밴드 커리큘럼입니다. 2026-10-08 완료. 지지(최종 48.37%, 구간 평균 24.93%, 마지막 4개 평균 50.20%, 낙상 0.33%; v11 같은 조건 재채점 3.26%). 위 "2026-10-08" 기록 참조.
  4. 다음 밤: v12 이어 돌리기 — 경과 6,000회차까지 — 변수를 더하지 않고 v12의 마지막 체크포인트(3,749회차)에서 같은 태스크 id로 약 3,750회차를 더 학습합니다. 학습 곡선이 수렴하지 않았고 −500 벌점은 종료 249회차 전에 시작됐으므로, v12가 −500 아래서 유지되는지(기준선 후보 확정) 아니면 v4처럼 후퇴하는지를 봅니다. 사전 등록 초안: 경과 6,000회차 부근 마지막 4개 평균 ≥ 40%이고 낙상률 ≤ 2%이면 유지, ≤ 25%이면 후퇴. 그 다음 밤은 다섯 커리큘럼 중 행동 변화율 벌점만 되살린 v13으로 원인 항목을 가르고(구간 평균 ≤ 8%이면 그 항목이 원인), 시드 44는 그 뒤입니다. 2026-10-09 완료. 판단보류(경과 5,250~6,000회차 평균 34.95%, 마지막 4개 평균 30.84%, 최종 30.99%, 낙상 0.20%; 앵커 재채점 52.54% 대 10월 8일 48.37% → 재현 폭 4.17%p). 위 "2026-10-09" 기록 참조.
  5. 다음 밤: 벌점 상한 −300 고정으로 같은 체크포인트에서 이어 돌리기 — v14 — v12 구성에서 낙상 벌점 커리큘럼의 −500 단계만 제거하고(0 → −100 → −300에서 멈춤), 10월 8일의 3,749회차 체크포인트에서 10월 9일과 같은 이어 학습 절차(원점 고정 플래그, 옵티마이저 복원)로 3,500회차를 돌립니다. 같은 체크포인트·같은 절차에서 벌점만 다르므로 10월 9일의 감소가 −500 단계 때문인지 이어 학습 자체 때문인지 갈립니다. 대조군은 10월 9일 실행의 같은 경과 값(판정 창 평균 34.95%, 마지막 4개 평균 30.84%, 3,750 → 4,000회차 −11.5%p)과 앵커 재채점입니다. 사전 등록 초안: 경과 5,250~6,000회차 평균 ≥ 43%이면 "−500 단계가 원인", ≤ 39%이면 "원인 아님", 낙상률 ≤ 2% 유지. 새 태스크 id로 등록합니다. 그 다음은 v13(행동 변화율 벌점 커리큘럼만 되살려 원인 항목 분리), 그 뒤 시드 44입니다. 2026-10-12 완료. 반박(경과 5,250~6,000회차 평균 35.48% ≤ 39%; 10월 9일 34.95%와 0.5%p 차이; 첫 250회차 −22.3%p; 최종 54.49%·낙상 0.33%는 판정 창 밖의 상승). 위 "2026-10-12" 기록 참조.
  6. 다음 밤: v14 이어 돌리기(2일차) — 경과 7,248 → 약 10,748회차 — 변수를 더하지 않고 10월 12일 실행의 마지막 체크포인트(7,248회차, 유효 점프 54.49%)에서 같은 태스크 id·같은 절차(원점 고정 플래그, 옵티마이저 복원)로 3,500회차를 더 학습합니다. 두 가지를 봅니다: (a) 마지막 750회차의 상승(31.5 → 54.5%)이 유지되는지 — 사전 등록 초안은 경과 9,000~9,750회차 4개 평균 ≥ 48%(마지막 4개 평균 43.85% + 재현 폭)이면 유지, ≤ 39%(10월 9일의 띠)이면 후퇴, 낙상률 ≤ 2% 유지; (b) 이어 학습 직후의 감소가 다시 나타나는지 — 7,250 → 7,500회차 변화량이 −8%p 이하이면 재현, 재현 폭 4.17%p 안이면 미재현. 앵커는 7,248회차 체크포인트의 재채점입니다. 그 다음은 이어 학습 감소의 원인 분리(같은 체크포인트를 시드 44로 재개, 또는 첫 250회차 학습률 0), 그 뒤 v13과 시드 44입니다.
  7. 다음 밤: 이어 학습 메커니즘 검정 — 첫 250회차 학습률 0 — 세 밤 연속(−11.5 / −22.3 / −52.7%p) 나타난 이어 학습 직후 감소를 직접 가릅니다. 10월 8일 v12의 3,749회차 체크포인트(안정 상태)를 v14 id로 재개하되 첫 250회차의 학습률을 0으로 두어(정책 고정, 롤아웃·관측 정규화만 재충전) 감소가 환경 재생성 뒤의 첫 업데이트에서 오는지 봅니다. 사전 등록 초안: 3,750 → 4,000회차 변화량이 4.17%p 안이면 지지, −8%p 이하이면 반박. 구현이 어려우면 같은 체크포인트를 시드 44로 재개합니다. 10월 13일의 v14 2일차는 이어 학습 직후 붕괴(유효 점프 0%, 낙상 100%)로 끝났고, 10월 12일의 54.49%는 이어 학습을 거치면 유지되지 않음이 확인됐습니다. 2026-10-15 완료(변형). 학습률 0 대신 무재개 대조군 설계로 돌렸습니다(준비 단계에서 TensorBoard로 학습률 가설을 배제): 10월 8일 v12의 3,250회차 체크포인트에서 같은 id·같은 절차로 이어 학습해 원래 실행의 3,500·3,749회차와 비교. 반박(판정값 59.28% 대 대조군 54.19%; 이어 학습 직후 −5.07%p; 앵커 49.54 / 51.04%). 위 "2026-10-15" 기록 참조.
  8. 다음 밤: v12 시드 44 — 유일한 지지 결과의 두 번째 시드 — v12 구성(기반 코드 커리큘럼 5개 고정, 무작위 초기화, 벌점 0 → −100 → −300 → −500)을 시드 44로 3,250회차 학습합니다. 변수는 시드 하나입니다. 10월 15일 검정에서 이어 학습 사건은 체계적 감소의 원인이 아니었지만 인접 체크포인트·인접 출발점 간 변동이 15~30%p로 커서, 시드 1회·간격 8%p로 내린 지금까지의 판정이 궤적 분산보다 넓은 간격이었는지 확인된 적이 없습니다. 대조군은 시드 43의 같은 경과 값(경과 1,500~3,000회차 평균 24.93%, 3,000회차 44.08%, 3,250회차 50.52%; v11 같은 구간 3.47%). 사전 등록 초안: 구간 평균 ≥ 15%이고 마지막 4개(2,500~3,250회차) 평균 ≥ 20%이면 v12 효과 재현(지지), 구간 평균 ≤ 8%이면 반박, 사이는 판단보류. 후반 상승 시점은 시드마다 다를 수 있으므로 3,250회차 단일값은 관측만 합니다. 앵커는 시드 43의 3,250회차 재채점입니다. 그다음은 v14-scratch(무작위 초기화, 벌점 상한 −300, 이틀 밤 분할)와 v13입니다. 2026-10-16 완료. 지지(구간 평균 23.47%, 마지막 4개 평균 33.24%, 최종 46.42%, 낙상 0.00%; 시드 간 차 −1.46 / −2.89 / −4.10%p로 재현 폭 4.17%p 안; 앵커 51.04%). 위 "2026-10-16" 기록 참조.
  9. 다음 밤: v13 — 동결 커리큘럼 다섯 개 중 행동 변화율 벌점 하나만 복원 — v12 구성에서 행동 변화율 벌점 가중치의 스텝 커리큘럼(−0.1 → −1.0)만 되살리고 나머지 네 개(머리 자세 범위·편향, 무게중심 두 개)는 고정한 채 무작위 초기화·시드 43·3,250회차로 학습합니다(새 태스크 id). 변수는 항목 하나의 해제입니다. 10월 16일에 v12 효과(약 +20%p)가 시드 간 차(≤ 4.1%p)보다 큼이 확인돼 항목별 분리 결과를 해석할 수 있게 됐습니다. 대조군은 v12 시드 43·44의 같은 경과 값(구간 평균 24.93 / 23.47%, 마지막 4개 36.13 / 33.24%). 사전 등록 초안: 경과 1,500~3,000회차 평균 ≥ 15%이면 "이 항목은 하락의 원인이 아님", ≤ 8%(v11 수준)이면 "이 항목이 원인", 사이는 판단보류; 낙상률 ≤ 2%; 앵커는 시드 43의 3,250회차 재채점. 그다음은 v14-scratch(이틀 밤 분할 — 이어 학습 사건이 끼어듦을 명시)와 v12 시드 45입니다. 2026-10-17 완료. 지지(구간 평균 4.52%, 마지막 4개 평균 3.79%, 최종 2.21%, 낙상 0.13%; 750~1,500회차 하락이 v11과 3.4%p 안; 앵커 50.59%). 위 "2026-10-17" 기록 참조.
  10. 다음 밤: v15 — 동결 커리큘럼 다섯 개 중 머리 자세 그룹 세 개 복원 — v12 구성에서 머리 자세 명령 범위(0.07 → 1.4rad)·머리 자세 편향 벌점(0 → 3.0)·머리 무게중심 랜덤화의 커리큘럼 세 개만 되살리고 행동 변화율 벌점(−0.1 고정)과 몸통 무게중심 랜덤화는 고정한 채 무작위 초기화·시드 43·3,250회차로 학습합니다(새 태스크 id). 변수는 한 그룹의 해제입니다. 10월 17일에 행동 변화율 벌점 커리큘럼이 v11 하락의 충분조건임이 확인됐으므로 남은 질문은 다른 항목도 원인인가입니다. 평가용 구성에서는 머리 명령 범위를 ±0.07rad으로 고정해 v12 대조군과 같은 조건으로 잽니다(10월 8일 평가 혼동 메모). 대조군은 v12 시드 43·44(구간 평균 24.93 / 23.47%, 마지막 4개 36.13 / 33.24%), v11 3.47%, v13 4.52%. 사전 등록 초안: 경과 1,500~3,000회차 평균 ≤ 8%이면 "머리 그룹도 원인"(지지), ≥ 16%이고 마지막 4개 평균 ≥ 16%이고 낙상 ≤ 2%이면 "원인 아님"(반박), 사이는 판단보류; 앵커는 시드 43의 3,250회차 재채점. 대안은 행동 변화율 벌점 상수 −0.3 / −0.5 검정과 v13 시드 44입니다. 2026-10-18 갱신. 10월 18일 밤에 실행해 반박으로 판정했습니다(위 10월 18일 기록).
  11. 다음 밤: v16 — 동결 커리큘럼 다섯 개 중 몸통 무게중심 랜덤화 하나만 복원 — v12 구성에서 몸통 무게중심 랜덤화 범위의 스텝 커리큘럼만 기반 코드대로 되살리고 나머지 네 개(행동 변화율 벌점 −0.1, 머리 명령 범위 ±0.07rad, 머리 편향 벌점 0, 머리 무게중심 0.003m)는 고정한 채 무작위 초기화·시드 43·3,250회차로 학습합니다(새 태스크 id, 평가용 구성은 다섯 개 모두 고정). 변수는 항목 하나의 해제이며 동결 다섯 개 중 마지막 미검정 항목입니다. 10월 17일(행동 변화율 = 충분조건)과 10월 18일(머리 그룹 = 원인 아님)의 결과를 잇는 검정입니다. 대조군은 v12 시드 43·44(구간 평균 24.93 / 23.47%, 마지막 4개 36.13 / 33.24%), v13 4.52%, v15 32.57%, v11 3.47%. 사전 등록 초안: 경과 1,500~3,000회차 평균 ≤ 8%이면 "원인"(지지), ≥ 16%이고 마지막 4개 평균 ≥ 16%이고 낙상 ≤ 2%이면 "원인 아님"(반박), 사이는 판단보류; 앵커는 시드 43의 3,250회차 재채점; 기반 코드의 무게중심 단계 목록(회차·값)을 준비 단계에 유효성 조건으로 적습니다. 그 뒤 행동 변화율 벌점의 고정값 수준 검정(−0.3 / −0.5)으로 넘어갑니다. 2026-10-19 갱신. 10월 19일 밤에 실행해 반박으로 판정했습니다(위 10월 19일 기록).
  12. 다음 밤: v17 — 행동 변화율 벌점 가중치 −0.3 상수(램프 없음) — v12 구성(다섯 개 고정)에서 행동 변화율 벌점 가중치만 −0.1에서 −0.3으로 바꾸어 3,250회차 전부 고정한 채 무작위 초기화·시드 43으로 학습합니다(새 태스크 id, 평가용 구성은 v12와 동일). 변수는 상수 하나입니다. 다섯 항목의 분리가 끝나 원인이 행동 변화율 벌점 커리큘럼 하나로 좁혀졌으므로(v12 −0.1 고정에서 점프, v13 −1.0 도달에서 소실), 다음 질문은 점프와 양립하는 가중치 상한입니다. 대조군은 v12 시드 43·44(구간 평균 24.93 / 23.47%, 마지막 4개 36.13 / 33.24%), v13 4.52%. 사전 등록 초안: 경과 1,500~3,000회차 평균 ≤ 8%이면 "−0.3에서도 소실"(지지), ≥ 16%이고 마지막 4개 평균 ≥ 16%이고 낙상 ≤ 2%이면 "−0.3은 양립"(반박), 사이는 판단보류; 앵커는 시드 43의 3,250회차 재채점; 유효성은 로그의 가중치가 3,250회차 전부 −0.3. 반박이면 다음 밤 −0.5. 대안은 v15 또는 v16의 시드 44(두 밤 연속 "복원 실행 > v12" +6.5~9.1%p의 시드 차 분리)입니다. 2026-10-20 갱신. 10월 20일 밤에 실행해 판단보류로 판정했습니다(위 10월 20일 기록).
  13. 다음 밤: v17 시드 44 — 행동 변화율 벌점 −0.3 상수의 두 번째 시드 — v17 구성(v12 다섯 개 고정, 행동 변화율 벌점 −0.3 상수, 램프 없음)을 시드만 43 → 44로 바꿔 무작위 초기화·3,250회차로 학습합니다(같은 태스크 id, 평가용 구성 동일). 변수는 시드 하나입니다. 10월 20일의 구간 평균 9.00%가 지지 경계 8%와 1%p 차이여서 시드 띠 폭(지금까지 n=2, ≤ 4.10%p)을 재지 않으면 "−0.3에서 소실"과 "부분 효과"를 구분할 수 없습니다. 대조군은 v17 시드 43(구간 평균 9.00%, 마지막 4개 8.64%, 최종 7.42%), v12 시드 43·44(24.93 / 23.47%), v13 4.52%. 사전 등록 초안: 시드 44의 구간 평균 ≤ 8%이면 "−0.3에서 소실"(지지; 두 시드 평균 ≤ 8.5), 8~16%이면 "부분 효과 두 시드 확인"(소실 아님)으로 판정하고 다음 밤 −0.2 또는 −0.5 상수로, ≥ 16%이면 시드 띠 폭이 검정 간격을 넘으므로 판단보류로 두고 설계를 재검토합니다. 앵커는 시드 43의 3,250회차를 v17 id로 재채점, 유효성은 가중치 −0.3000이 3,250회차 전부. 대안은 −0.2 상수(v18), 대체안은 v15 또는 v16의 시드 44와 v12 시드 45입니다. 2026-10-24 갱신. 10월 24일 밤에 실행해 지지로 판정했습니다(위 10월 24일 기록).
  14. 다음 밤: v18 — 행동 변화율 벌점 가중치 −0.2 상수(램프 없음), 경계 탐색 — v12 구성(다섯 개 고정)에서 행동 변화율 벌점 가중치만 −0.2 상수로 두고 무작위 초기화·시드 43·3,250회차로 학습합니다(새 태스크 id, 10월 20일에 더한 "가중치 고정값" 인자 사용, v12~v17 id 불변, 평가용 구성은 v12와 동일). 변수는 상수 하나입니다. −0.1(v12, 두 시드, 구간 23~25%)과 −0.3(v17, 두 시드, 구간 7.6~9.0%)의 두 끝값이 측정됐으므로 중간값 하나로 경계를 0.1 단위로 좁힙니다. 대조군은 v12 시드 43·44(24.93 / 23.47%), v17 시드 43·44(9.00 / 7.57%), v13 4.52%. 사전 등록 초안: 경과 1,500~3,000회차 평균 ≥ 16%이고 마지막 4개 평균 ≥ 16%이고 낙상 ≤ 2%이면 "−0.2는 v12 띠(경계 −0.2~−0.3)", 구간 평균 ≤ 8%이면 "−0.2도 소실(경계 −0.1~−0.2)", 8~16%이면 판단보류(중간 띠, 시드 44 추가); 앵커는 v12 시드 43의 3,250회차를 v18 id로 재채점; 유효성은 가중치 −0.2000이 3,250회차 전부. 대안은 −0.5 상수(상한 탐색), 대체안은 v15 또는 v16의 시드 44와 v12 시드 45입니다. 2026-10-25 갱신. 10월 25일 밤에 실행해 판단보류로 판정했습니다(구간 평균 9.58%, 마지막 4개 평균 11.93%, 최종 15.23%·낙상 0.26%; v17 두 시드와의 차가 재현 폭 안; 앵커 51.37%; 위 10월 25일 기록).
  15. 다음 밤: v18 시드 44 — 행동 변화율 벌점 −0.2 상수의 두 번째 시드 — v18 구성(v12 다섯 개 고정, 행동 변화율 벌점 −0.2 상수, 램프 없음)을 시드만 43 → 44로 바꿔 무작위 초기화·3,250회차로 학습합니다(같은 태스크 id, 코드 변경 없음, 평가용 구성 동일). 변수는 시드 하나입니다. 10월 25일의 구간 평균 9.58%는 소실 경계 8%와 지지 경계 16% 사이의 "중간 띠"이고 v17 두 시드(9.00 / 7.57%)와의 차가 재현 폭(4.17%p) 안이어서, 시드 44 없이는 경계가 −0.1~−0.2 사이인지 −0.2~−0.3 사이인지 적을 수 없습니다(10월 20일 → 24일과 같은 절차). 대조군은 v18 시드 43(구간 평균 9.58%, 마지막 4개 11.93%, 최종 15.23%), v17 시드 43·44(9.00 / 7.57%), v12 시드 43·44(24.93 / 23.47%), v13 4.52%. 사전 등록 초안(두 시드 평균 규칙, 간격 8%p 유지): 시드 44 구간 평균 ≤ 8%이고 두 시드 평균 ≤ 9%이면 "−0.2도 소실(경계 −0.1~−0.2)", 시드 44 구간 평균 ≥ 16%이고 두 시드 평균 ≥ 13%이면 "−0.2는 양립(경계 −0.2~−0.3)", 그 외이면 "−0.2는 두 시드 모두 중간 띠"로 수준 스윕 종료·v12 레시피의 평활 상한 −0.1 기록; 앵커는 v12 시드 43의 3,250회차를 v18 id로 재채점(10월 25일 51.37%); 유효성은 seed=44와 가중치 −0.2000이 3,250회차 전부. 대안은 −0.15 상수(시드 44 뒤), 대체안은 v15 또는 v16의 시드 44와 v12 시드 45입니다. 2026-10-26 갱신. 10월 26일 밤에 실행해 판단보류(부분 효과 재현)로 판정했습니다(시드 44 구간 평균 12.07%, 두 시드 평균 10.83%, 마지막 4개 평균 10.97%, 최종 8.46%·낙상 0.00%; 소실 ≤ 8·양립 ≥ 16 모두 미충족; 앵커 50.33%; 수준 스윕 종료, v12 평활 상한 −0.1 기록; 위 10월 26일 기록).
  16. 다음 밤: v15 시드 44 — 머리 자세 그룹 커리큘럼 복원 구성의 두 번째 시드 — 10월 18일 v15 구성(v12에서 머리 자세 명령 범위·머리 자세 편향 벌점·머리 무게중심 랜덤화 세 개의 커리큘럼만 학습용 구성에 되살린 것)을 시드만 43 → 44로 바꿔 무작위 초기화·3,250회차로 학습합니다(같은 태스크 id, 코드 변경 없음, 평가용 구성은 머리 명령 범위 ±0.07rad 고정 유지). 변수는 시드 하나입니다. v15(구간 평균 32.57%)와 v16(31.41%)은 "v11 하락의 원인이 아님"으로 반박 판정이 났지만 두 실행 모두 v12 두 시드 평균(24.20%)보다 7.2~8.4%p 높았고, 이 초과분은 사전 등록 검정이 아니었습니다. 행동 변화율 수준 스윕이 끝났으므로 남은 미분리 관측 중 가장 큰 것을 시드 44로 가릅니다. 사전 등록 초안(두 시드 평균 규칙, 간격 8%p 유지): 시드 44 구간 평균 ≥ 32.2%(v12 두 시드 평균 + 8)이고 두 시드 평균 ≥ 30%이면 지지("머리 그룹 커리큘럼은 v12보다 높은 구간을 만든다"), 시드 44 구간 평균 ≤ 28.4%(v12 두 시드 평균 + 재현 폭 4.17) 또는 두 시드 평균 ≤ 28%이면 반박, 그 외 판단보류(시드 띠 폭 보고). 대조군은 v15 시드 43(구간 32.57%, 마지막 4개 40.30%, 최종 39.84%), v12 시드 43·44, v16 시드 43; 앵커는 v12 시드 43의 3,250회차를 v15 id로 재채점; 유효성은 seed=44, 머리 그룹 세 개의 램프 전환 회차가 10월 18일 로그와 같고 행동 변화율 가중치 −0.1000·몸통 무게중심 0.0030이 3,250회차 전부. 대안은 v16의 시드 44(같은 규칙), 대체안은 v12 레시피를 이틀에 나눈 6,000회차 또는 v12 시드 45입니다. 2026-10-26 정정. 주간 검토 세션에서 v19(창 밖 전용 평활)를 먼저 돌리기로 하여 후순위로 내렸습니다.
  17. 다음 밤: v19 — 점프 신호 창 밖에서만 걷히는 행동 변화율 벌점 −0.9(창 안 −0.1 / 창 밖 −1.0) — v12 구성(다섯 개 고정)에 보상 항 하나를 더해 신호 창 1.5초 밖의 스텝에서만 추가 평활 −0.9를 걷히게 하고(창 안 합계는 v12와 같은 −0.1, 창 밖 합계는 기반 코드 보행 끝값이자 Pollen spring_v2가 실물 이전 보호 수준으로 둔 −1.0) 무작위 초기화·시드 43·3,250회차로 학습합니다(새 태스크 id, 10월 26일 등록·검사 58개·짧은 검증 통과). 변수는 창 밖 추가 평활 하나입니다. 전역 가중치 수준 검정(−0.1 양립 / −0.2·−0.3 중간·소실)이 끝났으므로, 같은 −1.0 예산을 점프 창 밖에만 두면 점프가 v12 띠에 남는지를 봅니다. 대조군은 v12 시드 43·44(24.93 / 23.47%), v18 시드 43·44(9.58 / 12.07%), v17 시드 43·44(9.00 / 7.57%), v13 4.52%. 사전 등록 초안: 경과 1,500~3,000회차 평균 ≥ 16%이고 마지막 4개 평균 ≥ 16%이고 최종 낙상 ≤ 2%이면 "창 밖 −1.0 예산은 점프를 소실시키지 않는다" 지지, 구간 평균 ≤ 8%이면 반박(창 밖 평활도 창 안 점프를 끌어내림), 8~16%이면 판단보류(시드 44); 앵커는 v12 시드 43의 3,250회차를 v19 id로 재채점; 유효성은 창 안 가중치 −0.1000이 3,250회차 전부, 창 밖 항이 매 회차 기록. 보조로 10월 26일에 만든 품질 프로브(체공 ≥ 40ms·상승 ≥ 5mm 비율, 좌우 발 첫 이탈 차)를 최종·앵커에 기록합니다. 2026-10-27 완료. 판단보류 + 학습 불가 기록(구간 평균 10.05%, 마지막 4개 8.64%, 최종 0.00%·낙상 100%; 2,775회차부터 붕괴; 앵커 49.67%). 위 "2026-10-27" 기록 참조.
  18. 다음 밤: v19 시드 44 — 창 밖 전용 평활 −0.9의 두 번째 시드 — v19 구성 그대로 코드 변경 없이 시드만 43 → 44로 바꿔 무작위 초기화·3,250회차로 학습합니다(같은 태스크 id, 평가용 구성 동일). 변수는 시드 하나입니다. 10월 27일의 구간 평균 10.05%는 소실 경계 8%와 양립 경계 16% 사이였고, 2,775회차부터의 붕괴가 시드 사건인지 구성의 성질인지 한 시드로는 적을 수 없습니다. 대조군은 v19 시드 43(구간 10.05%, 마지막 4개 8.64%, 최종 0.00%), v12·v18·v17 시드 43·44, v13. 사전 등록 초안(두 시드 평균 규칙, 간격 8%p 유지): 시드 44 구간 평균 ≥ 16%이고 마지막 4개 평균 ≥ 16%이고 최종 낙상 ≤ 2%이고 두 시드 구간 평균 ≥ 16%(시드 44 ≥ 21.95%)이면 지지, 시드 44 구간 평균 ≤ 8% 또는 두 시드 평균 ≤ 8%이면 반박, 그 외 "창 밖 −0.9는 두 시드 모두 중간 띠"로 적고 창 밖 −0.4(v19b)로 넘어갑니다. 판정과 별도로 2,500회차 뒤 붕괴(회차당 낙상 > 200, 평가 낙상 100%)와 250~1,000회차 낙상 33~64%의 재현 여부를 관측합니다. 앵커는 v12 시드 43의 3,250회차를 v19 id로 재채점(10월 27일 49.67%), 유효성은 10월 27일의 여섯 개에 seed=44. 대안은 창 밖 −0.4(v19b, 새 id, 시드 43), 대체안은 v20(정점 높이 밴드 커리큘럼) 또는 v15 시드 44입니다.
  19. 다음 밤: v19b — 창 밖 전용 평활 −0.4(창 안 −0.1 / 창 밖 −0.5), 게이트 수준 두 번째 측정 — v19 구성에서 창 밖 전용 행동 변화율 벌점만 −0.9 → −0.4로 낮춘 새 태스크 id Mjlab-Jump-Stand-v19b-MicroDuck를 무작위 초기화·시드 43·3,250회차로 학습합니다(v19 등록 블록 복제, 새 테스트·짧은 검증, 평가용 구성 동일). 변수는 창 밖 가중치 하나입니다. 10월 27·28일의 창 밖 −0.9는 두 시드 모두 중간 띠(10.05 / 13.77%)였고 수준을 하나만 쟀으므로, 게이트 방식을 접기 전에 낮은 수준 하나를 더 잽니다. 대조군은 v19 시드 43·44(두 시드 평균 11.91%), v12·v18 시드 43·44, v13. 사전 등록 초안(간격 8%p 유지): 구간 평균 ≥ 16%이고 마지막 4개 평균 ≥ 16%이고 최종 낙상 ≤ 2%이면 지지, 구간 평균 ≤ 8%이면 반박, 그 외는 "게이트 수준 두 개 모두 중간 띠"로 게이트 검정 종료. 붕괴가 시드 44에서 재현되지 않았으므로 예산은 줄이지 않습니다. 별도 관측: 250~1,000회차 낙상과 벌점 0 구간 학습 낙상이 −0.4에서 줄어드는지. 앵커는 v12 시드 43의 3,250회차를 v19b id로 재채점. 대체안은 v15 시드 44, 보류는 v20(정점 높이 밴드 커리큘럼)입니다. 2026-10-29 완료. 지지(구간 평균 27.49%, 마지막 4개 평균 35.97%, 최종 41.60%, 낙상 0.39%; v12 띠와 구별 안 됨; 붕괴 없음; 시드 1회). 위 "2026-10-29" 기록 참조.
  20. 다음 밤: v19b 시드 44 — 창 밖 전용 평활 −0.4의 두 번째 시드 — v19b 구성 그대로 코드 변경 없이 시드만 43 → 44로 바꿔 무작위 초기화·3,250회차로 학습합니다(같은 태스크 id, 평가용 구성 동일). 변수는 시드 하나입니다. 10월 29일의 지지(구간 평균 27.49%)는 시드 1회이고 이 계열의 체크포인트별 시드 차가 최대 5.14%p(v19)·7.62%p(v18)였으므로 두 번째 시드로 띠를 확정합니다. 대조군은 v19b 시드 43(구간 27.49%, 마지막 4개 35.97%, 최종 41.60%), v19 시드 43·44, v12 시드 43·44, v18, v17, v13. 사전 등록 초안(간격 8%p 유지): 시드 44 구간 평균 ≥ 16%이고 마지막 4개 평균 ≥ 16%이고 최종 낙상 ≤ 2%이면 지지(두 시드 평균 ≥ 16은 시드 44 ≥ 4.51%로 자동), 시드 44 구간 평균 ≤ 8%이면 반박, 그 외는 "창 밖 −0.4는 시드 의존". 별도 관측: v12 두 시드와의 차가 4.17%p 안인지(v12 띠와 구별 안 됨 재현), 250~1,000회차 낙상과 창 안 평활 항 크기 재현. 앵커는 v12 시드 43의 3,250회차를 v19b id로 재채점(10월 29일 50.00%). 두 시드가 지지이면 그다음은 창 밖 행동 지표(창 밖 행동 변화율·관절 속도)를 평가기에 추가한 뒤 창 밖 −0.65(합계 −0.75)로 상한 탐색. 대체안은 v15 시드 44, 보류는 v20입니다. 2026-10-30 완료. 지지(두 시드; 시드 44 구간 평균 30.85%, 마지막 4개 37.94%, 최종 49.22%, 낙상 0.39%, 두 시드 29.17%; "v12 띠와 구별 안 됨"은 구간에서 재현 안 됨 +5.92 / +7.38%p). 위 "2026-10-30" 기록 참조.
  21. 다음 밤: 평가기에 창 밖 행동 지표 추가 — "창 밖 평활이 실제로 얻어졌는가"의 첫 측정 — 학습 없이, 점프 신호 창 1.5초 밖과 안의 스텝에서 행동 변화율(연속 행동 차의 제곱 평균)·관절 속도 RMS·발 접촉 전환 수를 따로 집계하는 평가 지표를 추가하고 기존 체크포인트(v12 시드 43의 3,250회차·시드 44의 3,249회차, v19b 시드 43·44의 3,249회차, v19 시드 44, v18·v17 시드 43)를 재채점합니다. 변수는 평가 지표 하나이며 학습 결과는 바뀌지 않습니다. 근거: v19b는 두 시드 지지였지만 창 밖 동작이 실제로 부드러워졌는지를 재는 지표가 없어 10월 29일·30일 모두 "확인되지 않았다"로 끝났습니다. 사전 등록 초안: 같은 체크포인트를 평가 시드 1000·1001로 두 번 재채점해 재현 폭을 먼저 재고, v19b 두 시드의 창 밖 행동 변화율이 v12 두 시드의 0.8배 이하이고 창 안 값은 0.8~1.25배이면 지지(창 밖만 평활), 창 밖 비 ≥ 0.95이면 반박(평활 효과 없음), 창 안 비 ≤ 0.8이면 "창 안까지 끌어내림"으로 기록. 그 뒤는 v19c 창 밖 −0.65(합계 −0.75, 새 id, 시드 43, 지지 ≥ 16 / 반박 ≤ 8)로 양립 상한 탐색, 또는 "v19b > v12(구간)"를 시드 45 두 밤으로 세 시드 검정. 평가기 작업이 준비 시간 안에 끝나지 않으면 대체안은 v19c 바로 실행, 보류는 v20·v15 시드 44입니다. 2026-10-31 정정. 10월 31일 밤에는 지표 설계·재현 폭 측정·테스트가 준비 시간 35분 안에 끝나지 않아 10월 30일 보고서의 대체안대로 v19c(창 밖 −0.65)를 먼저 돌렸습니다(위 "2026-10-31" 기록). 이 항목은 다음 후보로 유지하며, 대상 체크포인트에 v19c 두 시드를 더합니다. 2026-11-01 정정. 11월 1일 밤도 같은 이유로 v19c 시드 44를 먼저 돌렸습니다. 세 수준 × 두 시드의 수준 검정이 끝났으므로 이 항목을 다음 밤의 첫 후보로 다시 둡니다 — 학습이 없는 밤이므로 준비 시간 35분 제한이 적용되지 않고 새벽 창 전체를 지표 구현·재현 폭 측정·재채점에 씁니다. 대상 체크포인트는 v12 두 시드, v19b 두 시드, v19c 두 시드, v19 시드 44, v18·v17 시드 43의 최종입니다. 2026-11-02 갱신. 11월 2일 밤에 실행(학습 없음, 32개 재채점, 00:10 → 00:24): 창 밖 비 0.486(≤ 0.80)·창 안 비 1.059(0.80~1.25)로 지지. 재현 폭 0.045 / 0.041(관문 0.15), 앵커 49.48%(−0.32%p). 수준별 창 밖 비 0.486 / 0.294 / 0.192 단조, 창 안 비 1.059 / 0.995 / 1.073. 보고서 experiments/reports/20261102-eval-outside-metric.md.
  22. 다음 밤: v19c 시드 44 — 창 밖 전용 평활 −0.65(합계 −0.75)의 두 번째 시드 — v19c 구성 그대로 코드 변경 없이 시드만 43 → 44로 바꿔 무작위 초기화·3,250회차로 학습합니다(같은 태스크 id, 평가용 구성 동일). 변수는 시드 하나입니다. 10월 31일의 지지는 시드 1회이고 구간 평균 17.02%가 지지 경계 16%와 재현 폭 4.17%p 안(차 1.02%p)이어서, 시드 44 없이는 양립과 중간 띠가 갈리지 않습니다. 사전 등록 초안(10월 28일·30일의 두 시드 규칙 그대로): 시드 44 구간 평균 ≥ 16%이고 마지막 4개 ≥ 16%이고 최종 낙상 ≤ 2%이고 두 시드 구간 평균 ≥ 16%이면 지지("합계 −0.75는 양립(두 시드), 상한은 −0.75와 −1.0 사이"); 시드 44 구간 평균 ≤ 8%이면 반박("−0.65는 시드 의존·소실 띠, 상한은 −0.5와 −0.75 사이"); 그 외는 "합계 −0.75는 중간 띠의 시작점, 상한은 −0.5와 −0.75 사이". 별도 관측: 250~1,000회차 낙상이 다시 v19 띠(30% 이상)인지, 벌점 0 구간 급증 횟수, 창 안 평활 항 크기(v12의 1/3~1/5)·창 밖/창 안 비(3.7~4.3)가 시드 43과 겹치는지, 2,750~2,999회차 학습 낙상 블록(17.28)이 재현되는지. 앵커는 v12 시드 43의 3,250회차를 v19c id로 재채점(10월 31일 49.61%). 그다음은 평가기 창 밖 행동 지표(세 수준 × 두 시드 재채점) 또는 시드 44가 지지이면 −0.8(합계 −0.9). 대체안은 v19b 시드 45, 보류는 v20·v15 시드 44입니다. 2026-11-01 완료. 지지(두 시드): 시드 44 구간 평균 20.89%, 마지막 4개 28.89%, 최종 30.73%·낙상 1.76%, 두 시드 구간 평균 18.96% — "합계 −0.75는 양립(두 시드), 상한은 −0.75와 −1.0 사이"(위 "2026-11-01" 기록). 초기 낙상은 250회차만 v19 띠, 벌점 0 구간 급증 두 번, 창 안 항·창 밖/창 안 비·행동 표준편차는 시드 43과 겹침, 2,750~2,999회차 블록 11.97(시드 43 17.28), 붕괴 없음, 앵커 49.80%.
  23. 다음 밤: v19d — 창 밖 전용 평활 −0.8(창 안 −0.1 / 창 밖 합계 −0.9), 양립 상한 좁히기 — v19c 구성에서 창 밖 전용 행동 변화율 벌점만 −0.65 → −0.8로 바꿔 새 태스크 id, 시드 43, 무작위 초기화·약 3,250회차로 학습합니다(평가용 구성 동일). 변수는 벌점 수준 하나입니다. 근거: 세 수준의 두 시드 구간 평균 29.17 / 18.96 / 11.91%가 수준에 단조이고 −0.75는 양립(두 시드)·−1.0은 중간 띠였으므로 상한은 −0.75와 −1.0 사이에 있습니다. 11월 2일에 추가한 게이트 지표가 자동으로 붙어 창 밖 비가 0.294(−0.75)와 0.192(−1.0) 사이에 단조로 놓이는지, 창 안 비가 0.80~1.25를 유지하는지도 같은 밤에 서술됩니다. 사전 등록 초안: 경과 1,500~3,000회차 평균 ≥ 16%이면 지지("합계 −0.9 양립, 상한은 −0.9와 −1.0 사이"), ≤ 8%이면 반박("상한은 −0.75와 −0.9 사이"), 그 사이는 중간 띠. 두 시드 평균 18.96%가 경계 +2.96%p라 중간 띠 가능성이 높습니다. 보류: 게이트 창을 1.5 → 2.0초로 늘린 v19e(창 밖 −0.4 유지; 창 안 발 접촉 전환 감소 0.86 / 0.74 / 0.76이 창 끝 벌점을 예상한 조기 정착인지 접촉 전환 비로 분리). 대체(스모크 2회 실패): v19b 또는 v19c 시드 45. 2026-11-04 완료. 판단보류(중간 띠) + 학습 불가 기록: 구간 평균 12.68%, 마지막 4개 8.27%, 최종 0.00%·낙상 100%(2,952회차부터 붕괴, 이 계열 두 번째). 양립 상한은 −0.75와 −0.9 사이. 위 "2026-11-04" 기록 참조.
  24. 다음 밤: v19d 시드 44 — 창 밖 전용 평활 −0.8(합계 −0.9)의 두 번째 시드와 붕괴 재현 관측 — v19d 구성 그대로 코드 변경 없이 시드만 43 → 44로 바꿔 무작위 초기화·약 3,250회차로 학습합니다(같은 태스크 id, 평가용 구성 동일). 변수는 시드 하나입니다. 11월 4일의 구간 평균 12.68%는 중간 띠이고 계획서가 미리 적은 시드 44 추가 조건(≥ 12%)을 넘었으며, 붕괴(2,952회차~)가 이 계열에서 시드 43의 창 밖 −0.8 이상 두 실행에서만 났기 때문에 시드 사건인지 수준의 성질인지 한 시드로는 적을 수 없습니다. 대조군은 v19d 시드 43(구간 12.68%, 마지막 4개 8.27%, 최종 0.00%), v19c 시드 43·44(17.02 / 20.89%), v19 시드 43·44(10.05 / 13.77%), v12 시드 43·44. 사전 등록 초안(두 시드 평균 규칙, 간격 8%p 유지): 시드 44 구간 평균 ≥ 16%이고 마지막 4개 ≥ 16%이고 최종 낙상 ≤ 2%이고 두 시드 평균 ≥ 16%(시드 44 ≥ 19.32%)이면 지지("합계 −0.9 양립, 상한은 −0.9와 −1.0 사이"), 시드 44 구간 평균 ≤ 8% 또는 두 시드 평균 ≤ 8%이면 반박(소실), 그 외 "합계 −0.9는 두 시드 중간 띠, 상한은 −0.75와 −0.9 사이(확정)". 별도 관측: 2,500회차 뒤 붕괴(회차당 낙상 종료 > 200, 평가 낙상 100%) 재현 여부 — 재현되면 "창 밖 −0.8 이상 × −300 단계" 가설을 다음 검정(벌점 상한 −100 유지 또는 −300 단계 지연)으로 적습니다. 앵커는 v12 시드 43의 3,250회차를 v19d id로 재채점(11월 4일 49.35%). 그 뒤는 게이트 창 2.0초의 v19e, 대체안은 v19c 시드 45입니다.
  25. 다음 밤: 벌점 상한 −100 — 창 밖 −0.8 구성에서 −300 단계만 제거해 붕괴 원인 분리 — v19d 구성(창 안 −0.1 / 창 밖 −0.8, 동결 네 항목, 정점 배율 0.06, 기준 상태 초기화 60/25/15) 그대로 낙상 벌점 커리큘럼만 0 → −100 → −100 → −100(2,500회차의 −300 단계 제거)으로 바꾼 새 태스크 id를 시드 43·무작위 초기화·약 3,250회차로 학습합니다(평가용 구성 동일). 변수는 벌점 상한 하나입니다. 근거: 이 계열의 붕괴 세 번(v19 시드 43 2,775회차, v19d 시드 43 2,952회차, v19d 시드 44 2,949회차)이 모두 −300 단계 안에서 275~452회차 뒤에 났고 시드 44가 재현해 시드 사건이 아니며, v12·v19b·v19c는 같은 단계를 붕괴 없이 지났으므로 "창 밖 −0.8 이상 × −300 단계" 조합 중 벌점 단계가 필요조건인지를 먼저 가릅니다. 대조군은 v19d 시드 43·44(2/2 붕괴). 사전 등록 초안: 2,500~3,249회차에서 회차당 낙상 종료 > 200이 20회차 연속으로 한 번도 없고 3,000·최종 평가 낙상 ≤ 5%이고 최종 유효 점프 ≥ 8%이면 지지("−300 단계는 붕괴의 필요조건"); 20회차 연속 > 200이 생기거나 최종 낙상 ≥ 50%이면 반박("창 밖 −0.8만으로 붕괴"); 그 외 판단보류. 구간 평균은 v19d 두 시드 12.41%와 나란히 기록만 하고 수준 스윕 값과 섞지 않습니다. 앵커는 v12 시드 43의 3,250회차를 새 id로 재채점(11월 5일 50.39%). 대안은 −300 단계를 3,500회차로 늦추는 것(3,250회차 예산에서는 같은 결과)이고, 그 뒤는 게이트 창 2.0초의 v19e, 대체안은 v19c 시드 45입니다.
  26. 다음 밤: v19d300d — −300 단계를 3,500회차로 늦춰 "단계 전환"과 "벌점 크기"를 분리(이틀 밤) — v19d100 구성(창 안 −0.1 / 창 밖 −0.8, 벌점 0 → −100)에 3,500회차의 −300 전환만 더한 새 태스크 id를 시드 43으로 첫째 밤 3,250회차 학습하고, 둘째 밤 같은 id로 이어 돌려 전환을 지납니다. 변수는 −300 단계의 위치 하나(v19d 2,500 → 3,500)입니다. 첫째 밤 전제: 2,500회차~최종에서 20회차 연속 > 200 없음(있으면 "−100에서도 붕괴"로 적고 둘째 밤 취소). 둘째 밤 판정: 전환 뒤 600회차 안 20회차 연속 > 200·최종 낙상 ≥ 50%이면 지지("전환이 붕괴를 유발"), 4,499회차까지 연속 구간 없이 낙상 ≤ 5%·유효 점프 ≥ 8%이면 반박, 그 외 판단보류. 보조 관측: 10회차 연속·25회차 블록 최대·전환 전후 벌점 항과 행동 표준편차. 대안 v19e 게이트 창 2.0초, 대체안 v19c 시드 45. 2026-11-11 첫째 밤 완료. 전제 충족(최장 17회차 2,549~2,565, 경계까지 3회차), 최종 12.50%·낙상 1.30%, 앵커 48.83%; 둘째 밤(11월 12일)에 model_3249에서 이어 학습해 판정합니다. 위 "2026-11-11" 기록 참조. 2026-11-12 둘째 밤 완료. 반박(3,499회차 전환 뒤 2,999회차 동안 학습 낙상 종료 > 200 회차 0회, 최종 6,498회차 유효 점프 38.87%·낙상 0.33%, 앵커 49.41%; 시드 1회). 위 "2026-11-12" 기록 참조.
  27. 다음 밤: v19d300d 시드 44 — 전환 지연 구성의 두 번째 시드(이틀 밤) — v19d300d 구성 그대로 코드 변경 없이 시드만 43 → 44로 바꿔 첫째 밤 무작위 초기화 3,250회차, 둘째 밤 3,249회차 체크포인트에서 커리큘럼 원점 0으로 이어 학습 1,250회차 이상. 변수는 시드 하나입니다. 근거: 11월 12일의 반박은 시드 1회이고 붕괴는 확률적(2,500회차 전환 10회 중 3회)이라 한 번의 무붕괴로는 약하지만, 같은 시드 쌍(43·44)이 v19d에서 2/2 붕괴였으므로 v19d300d가 0/2이면 "전환 시점 2,500 대 3,500"의 효과를 시드 분산 위에서 적을 수 있습니다. 사전 등록 기준은 11월 11·12일 계획서 그대로: 첫째 밤 전제 = 2,500회차~최종에서 20회차 연속 > 200 없음(있으면 "−100에서도 붕괴"로 적고 둘째 밤 취소); 둘째 밤 지지 = 전환~4,100회차에서 시작하는 20회차 연속 > 200·최종 낙상 ≥ 50%, 반박 = 전환~최종(≥ 4,499) 연속 구간 0회·낙상 ≤ 5%·유효 점프 ≥ 8%, 그 외 판단보류. 그 뒤 "덜 성숙한 정책 × −300" 검정(0 → −100(500회차) → −300(2,500회차), 새 id), 그 뒤 v19e 게이트 창 2.0초. 대체안 v19c 시드 45. 2026-11-13 첫째 밤 완료. 미완(둘째 밤 대기, 전제 충족): 2,500회차 뒤 200 초과 0회(단일 최대 25.2), 최종 16.28%·낙상 3.06%. 위 "2026-11-13" 기록 참조.
  28. 다음 밤: v19d300d 시드 44 둘째 밤 — 이어 학습으로 3,499회차 전환 통과 — 11월 13일 실행의 3,249회차 체크포인트를 같은 id·시드 44·커리큘럼 원점 0으로 1,250회차 이상 이어 학습합니다. 새 변수는 없습니다. 사전 등록 기준(11월 11·13일 계획서 그대로): 지지 = 3,500~4,100회차에서 시작하는 20회차 연속 > 200·최종 낙상 ≥ 50%, 반박 = 전환~최종(≥ 4,499) 연속 구간 0회·낙상 ≤ 5%·유효 점프 ≥ 8%, 그 외 판단보류. 반박이면 "지연 전환 무붕괴 2/2", 지지이면 "시드 의존 1/2". 그 뒤 반박이면 "덜 성숙한 정책 × −300" 변형(0 → −100(500회차) → −300(2,500회차), 새 id), 지지이면 v19e 게이트 창 2.0초. 대체안 v19c 시드 45. 2026-11-14 둘째 밤 완료. 반박(3,499회차 전환 뒤 6,498회차까지 학습 낙상 종료 > 200 회차 0회·단일 최대 18.5, 최종 유효 점프 27.41%·낙상 1.04%, 앵커 50.13%; 지연 전환 무붕괴 2/2, 오늘 실행은 시드 1회). 위 "2026-11-14" 기록 참조.
  29. 다음 밤: "덜 성숙한 정책 × −300" 변형 — −100을 500회차부터, −300은 2,500회차 — v19d300d 구성에서 낙상 벌점 단계만 0 → −100(500회차) → −300(2,500회차)으로 바꾼 새 태스크 id를 시드 43·무작위 초기화·3,250회차로 학습합니다. 변수는 −100 시작 회차 하나(1,500 → 500)입니다. 근거: v19d(−100 기간 1,000회차·−300 도착 2,500회차)는 시드 43·44 2/2 붕괴, v19d300d(−100 기간 2,000회차·−300 도착 3,500회차)는 0/2로, "−300 도착 회차"와 "−300 전 −100 기간"이 함께 달라 분리되지 않았습니다. 변형은 도착 회차를 v19d와 같게 두고 −100 기간만 2,000회차로 늘립니다. 대조군은 v19d 시드 43(2,952회차 붕괴)과 v19d100 시드 43(무붕괴). 사전 등록 초안(11월 9일 규칙 그대로): 2,500회차~최종에서 20회차 연속 > 200이 없고 최종 낙상 ≤ 5%·유효 점프 ≥ 8%이면 "−100 기간이 붕괴를 가른다" 쪽, 연속 구간이 생기거나 최종 낙상 ≥ 50%이면 "도착 회차 2,500" 쪽, 그 외 판단보류. 1,500회차 체크포인트의 유효 점프·낙상을 v19d 시드 43과 나란히 기록합니다(−100이 낙상이 많은 초기 구간에 걸리는 부작용 관측). 그 뒤 v19e 게이트 창 2.0초, 대체안 v19c 시드 45. 2026-11-15 완료. 반박 + 학습 불가 기록(−100 기간 2,000회차로도 2,958회차부터 최종까지 학습 낙상 종료 > 200 292회차 연속, 평가 3,000회차 낙상 99.80%, 최종 유효 점프 0.00%·낙상 100.00%, 앵커 47.53%; 시드 1회). 위 "2026-11-15" 기록 참조.
  30. 다음 밤: −300 도착 회차 2,500 → 2,000 변형 — "도착 뒤 지연"과 "절대 회차" 분리 — v19d300e 구성에서 낙상 벌점 단계만 0 → −100(500회차) → −300(2,000회차)으로 둔 새 태스크 id를 시드 43·무작위 초기화·3,250회차 하룻밤으로 학습합니다. 변수는 −300 도착 회차 하나입니다. 근거: 창 밖 −0.8 구성에서 −300을 2,500회차에 둔 세 실행의 붕괴 시작이 2,949 / 2,952 / 2,958회차로 모여 있지만, 세 실행 모두 도착이 2,500회차라 "도착 뒤 약 450회차"와 "절대 회차 약 2,950"이 분리되지 않았습니다. 사전 등록 초안: 20회차 연속 > 200의 첫 구간 시작이 2,300~2,600회차이면 "도착 뒤 지연", 2,850~3,050회차이면 "절대 회차", 2,000회차~최종 0회이고 평가 3,000회차·최종 낙상 ≤ 5%·유효 점프 ≥ 8%이면 무붕괴, 그 외 판단보류. 대안은 v19d300e 시드 44(붕괴 재현 확인), 그 뒤 v19e 게이트 창 2.0초, 대체안 v19c 시드 45. 2026-11-16 완료. 판단보류 + 학습 불가 기록(붕괴 시작 2,183회차 — 두 띠 밖, −300 도착 뒤 183회차; 2,183회차부터 최종까지 학습 낙상 종료 > 200 1,067회차 연속, 평가 2,250회차부터 유효 점프 0.00%·낙상 100.00%, 앵커 48.11%; 시드 1회). 위 "2026-11-16" 기록 참조.
  31. 다음 밤: v19d300f 시드 44 — −300 도착 2,000회차 구성의 두 번째 시드로 붕괴 시작 회차 재현 확인 — v19d300f 구성 그대로 코드 변경 없이 시드만 43 → 44로 바꿔 무작위 초기화·3,250회차 하룻밤으로 학습합니다. 변수는 시드 하나입니다. 근거: 11월 16일의 붕괴 시작 2,183회차는 사전 등록한 두 띠 밖의 한 번이며, 도착 2,500회차의 세 실행이 9회차 폭(2,949~2,958회차)에 모였던 것처럼 도착 2,000회차에서도 모이는지는 확인되지 않았습니다. 사전 등록 초안: 시드 44의 붕괴 시작이 2,083~2,283회차이고 최종 낙상 ≥ 50%이면 "도착 2,000회차의 이른 붕괴 재현(두 시드)", 2,300~2,600회차이면 "도착 뒤 지연" 쪽, 2,850~3,050회차이면 "절대 회차" 쪽(두 경우 모두 시드 43과 불일치 명시), 2,000회차~최종 20회차 연속 > 200이 0회이고 평가 3,000회차·최종 낙상 ≤ 5%·유효 점프 ≥ 8%이면 무붕괴(붕괴 1/2), 그 외 판단보류. 대안은 학습 없이 붕괴 실행 넷·무붕괴 실행 넷의 붕괴 전 300회차 로그를 정렬해 비교하는 분석, 그 뒤 v19e 게이트 창 2.0초, 대체안 v19c 시드 45. 2026-11-17 완료. 판단보류 + 학습 불가 기록(붕괴 시작 2,293회차 — 재현 띠 상한 2,283을 10회차 넘고 지연 띠 하한 2,300에 7회차 못 미침, −300 도착 뒤 293회차; 2,293회차부터 최종까지 학습 낙상 종료 > 200 957회차 연속, 평가 2,500회차부터 유효 점프 0.00%·낙상 100.00%, 앵커 51.24%; 오늘 실행 시드 1회). 위 "2026-11-17" 기록 참조.
  32. 다음 밤: 학습 없는 로그 정렬 분석 — 붕괴 다섯 실행과 무붕괴 네 실행의 붕괴 전 구간 비교 — GPU 학습 없이, 붕괴한 다섯 실행(v19d 시드 43·44, v19d300e 시드 43, v19d300f 시드 43·44; 붕괴 시작 2,952 / 2,949 / 2,958 / 2,183 / 2,293회차)의 학습 로그를 붕괴 시작 전 300회차 기준으로 정렬하고, 무붕괴 네 실행(v19d300d 두 시드, v19d100 두 시드)의 같은 길이 구간과 비교합니다. 대상 지표는 회차당 낙상 종료, 행동 표준편차, 평균 에피소드 길이, 가치 손실, 낙상 벌점 항입니다. 근거: 다섯 실행 모두 조용한 구간 뒤 약 60~100회차의 단조 상승으로 붕괴가 시작됐고, 11월 17일에 확인한 −300 도착 시점의 세 지표(낙상 종료·행동 표준편차·2,000회차 평가)로는 두 시드의 지연 차(183 대 293회차)가 설명되지 않았습니다. 판정 규칙(붕괴 실행 몇 개 이상에서 붕괴 시작 몇 회차 전에 문턱을 넘고, 무붕괴 실행 몇 개 이하에서만 넘는 지표가 있으면 지지)은 분석 전에 숫자로 등록합니다. 대안은 v19d300f 시드 45(띠를 새로 사전 등록하고 11월 16·17일은 다시 판정하지 않음), 그 뒤 v19e 게이트 창 2.0초, 대체안 v19c 시드 45.
  33. 다음 밤: v19d300f 시드 45 — 가치 손실 문턱의 전향 검증 — v19d300f 구성(낙상 벌점 0 → −100(500회차) → −300(2,000회차)) 그대로 코드 변경 없이 시드만 45로 바꿔 무작위 초기화·3,250회차 하룻밤으로 학습합니다. 변수는 시드 하나입니다. 근거: 11월 18일 분석에서 가치 손실의 25회차 평균이 붕괴 다섯 실행 모두에서 붕괴 시작 114~219회차 전에 2.8582를 넘었지만 이는 같은 실행들로 문턱을 정한 표본 내 결과입니다. 지표·문턱·구간(1,500회차~붕괴 시작 직전)을 그대로 고정해 학습 전에 등록합니다 — 붕괴가 나고 문턱 초과가 붕괴 시작보다 50회차 이상 앞서면 지지, 붕괴가 났는데 넘지 않았거나 선행이 50회차 미만이면 반박, 넘고도 3,249회차까지 붕괴하지 않으면 판단보류(오경보 기록). 대안은 v19e 게이트 창 2.0초, 대체안 v19c 시드 45. 2026-11-19 완료. 판단보류(정보 없음): 3,249회차까지 붕괴가 없었고(−300 도착 뒤 낙상 종료 > 200 0회) 가치 손실의 25회차 평균도 문턱을 넘지 않아(최대 2.7935) 전향 검증이 성립하지 않았습니다. 최종 22.53%·낙상 0.91%, 도착 2,000회차 붕괴 집계 2/3(11월 19일 기록).
  34. 다음 밤: v19e — 점프 신호 창 1.5 → 2.0초 — 창 밖 −0.4·낙상 벌점 상한 −100 구성(붕괴 0/2)에서 창 폭 하나만 바꾼 새 태스크 id를 시드 43·무작위 초기화·3,250회차 하룻밤으로 학습합니다. 변수는 창 폭 하나입니다. 근거: 창 밖 평활과 점프의 양립 상한이 창 밖 합계 −0.75~−0.9로 좁혀진 뒤(11월 5일) 창 폭이 이 상한을 움직이는지는 검정하지 않았고, 붕괴 선행 지표의 전향 검증은 붕괴가 나지 않으면 정보를 주지 않습니다(11월 19일, 도착 2,000회차 붕괴 2/3). 사전 등록 초안: 경과 1,500~3,000회차 평균 ≥ 16%·마지막 4개 평균 ≥ 16%·최종 낙상 ≤ 2%이면 지지, 구간 평균 ≤ 8%이면 반박, 그 사이는 판단보류. 평가기의 게이트 열은 창 폭이 달라 기존 값과 비교하지 않습니다. 대안은 v19d300f 시드 46(문턱 2.8582·같은 규칙), 대체안 v19c 시드 45. 2026-11-20 정정. 등록·실행한 구성은 벌점 상한 −100 없이 v19b의 벌점 일정 그대로이고, 점프 신호 창이 아니라 창 밖 전용 벌점 항의 게이트 길이만 2.0초로 바꿨습니다. 2026-11-20 완료. 판단보류(중간 띠) + 학습 불가 기록: 구간 평균 14.40%, 2,693회차부터 붕괴해 최종 0.00%·낙상 100.00%(v19b 두 시드는 붕괴 없음, 구간 평균 27.49 / 30.85%). 11월 20일 기록 참조.
  35. 다음 밤: v19e 시드 44 — 게이트 2.0초 구성의 두 번째 시드 — v19e 구성 그대로 코드 변경 없이 시드만 43 → 44로 바꿔 무작위 초기화·3,250회차 하룻밤으로 학습합니다. 변수는 시드 하나입니다. 근거: 11월 20일의 판단보류는 2,693회차 붕괴가 구간 평균을 14.40%로 끌어내린 결과이고, 창 밖 −0.4 구성의 붕괴는 세 실행 중 한 번이어서 게이트 변경에 따른 것인지 확인되지 않았습니다. 사전 등록 초안: 시드 44의 구간 평균 ≥ 16%·마지막 4개 평균 ≥ 16%·최종 낙상 ≤ 2%이고 두 시드 구간 평균 ≥ 16%이면 지지, 시드 44 구간 평균 ≤ 8% 또는 두 시드 평균 ≤ 8%이면 반박, 그 외 판단보류(두 시드 중간 띠). 붕괴 여부는 판정과 별도로 기록합니다(붕괴 시작 회차, 최종 낙상). 대안은 v19d300f 시드 46(문턱 2.8582·같은 규칙), 대체안 v19c 시드 45. 2026-11-21 완료. 판단보류(두 시드 중간 띠) + 학습 불가 기록: 시드 44 구간 평균 15.84%(두 시드 15.12%), 2,782회차부터 붕괴해 최종 0.00%·낙상 100.00%; 게이트 2.0초 구성 붕괴 2/2(v19b 0/2). 11월 21일 기록 참조.
  36. 다음 밤: v19e 낙상 벌점 상한 −100 — 붕괴와 게이트 길이의 분리 — v19e 구성(창 밖 −0.4, 창 밖 항 게이트 2.0초)에서 낙상 벌점 일정만 0 → −100(1,500회차)로 끝내는(−300·−500 단계 제거) 새 태스크 id를 시드 43·무작위 초기화·3,250회차 하룻밤으로 학습합니다. 변수는 벌점 일정 하나입니다. 근거: v19e 두 시드는 모두 −300 단계에서 붕괴해(2,693 / 2,782회차) 구간 평균 14.40 / 15.84%의 판단보류로 끝났고, 붕괴가 게이트 길이에 관한 판정을 덮었습니다. 창 밖 −0.8 구성에서는 −300 단계를 없애자 되돌아오지 않는 붕괴가 사라졌습니다(11월 9·10일). 사전 등록 초안: 게이트 축 — 경과 1,500~3,000회차 평균 ≥ 16%·마지막 4개 평균 ≥ 16%·최종 낙상 ≤ 2%이면 지지, 구간 평균 ≤ 8%이면 반박, 그 사이는 판단보류; 붕괴 축은 판정과 별도로 기록(2,500회차 뒤 붕괴 시작 유무, 최종 낙상 ≤ 5%); 1,500회차 뒤 10회차 이상 연속 급증의 횟수를 2차 관측으로 미리 등록합니다. 게이트 1.5초·상한 −100·창 밖 −0.4의 대조 실행은 없으므로 구간 평균은 절대 경계로만 읽습니다. 대안은 v19d300f 시드 46(문턱 2.8582·같은 규칙), 대체안 v19c 시드 45. 2026-11-22 갱신. 11월 22일 밤에 실행해 지지(붕괴 축, 시드 1회)로 판정했습니다(붕괴 시작 없음, 최종 15.69%·낙상 0.07%, 구간 평균 18.58%, 1,500회차 뒤 회복된 급증 다섯 번; 위 11월 22일 기록).
  37. 다음 밤: v19e100 시드 44 — 낙상 벌점 상한 −100 구성의 두 번째 시드 — 11월 22일의 id(v19e 구성 + 낙상 벌점 0 → −100에서 상한)를 코드 변경 없이 시드만 43 → 44로 바꿔 무작위 초기화·3,250회차로 학습합니다. 변수는 시드 하나입니다. 11월 22일 시드 43은 붕괴 없이 최종 15.69%·낙상 0.07%였지만 시드 1회이고, 1,500회차 뒤 급증이 다섯 번(가장 긴 것 78회차)이어서 한 번의 실행으로는 "붕괴하지 않는다"의 폭을 알 수 없습니다. 대조군은 v19e100 시드 43(구간 평균 18.58%, 마지막 4개 20.23%, 최종 15.69%·낙상 0.07%)과 v19e 시드 43·44(붕괴 시작 2,693 / 2,782회차, 최종 0.00%). 사전 등록 초안: 붕괴 축 — 붕괴 시작 없음·최종 낙상 ≤ 5%·최종 유효 점프 ≥ 8%이면 지지(두 시드 0/2), 붕괴 시작이 있고 최종 낙상 ≥ 50%이면 반박(1/2); 게이트 축 — 시드 44의 구간 평균 ≥ 16%·마지막 4개 ≥ 16%·최종 낙상 ≤ 2%·두 시드 구간 평균 ≥ 16%(시드 44가 13.42% 이상)이면 "v12 띠 안(두 시드)", 시드 44 또는 두 시드 평균 ≤ 8%이면 "소실", 그 외 중간 띠; 2차 관측은 1,500회차 뒤 급증의 횟수와 가장 긴 길이. 대안은 v19d300f 시드 46, 대체안 v19c 시드 45.
  38. 10월 2일부터 매일 자동 실험 — 매일 00시부터 06시까지 한 번의 자동 세션이 (1) 최근 문헌·기반 코드 저장소·커뮤니티의 방법을 조사하고, (2) 이전 밤의 결과가 가리키는 다음 검정을 우선해 변수 하나를 고른 뒤, (3) 계획서를 사전 등록하고, (4) 새 태스크로 구현해 짧은 실행으로 검증하고, (5) 약 4시간 30분 학습과 전량 재채점을 마친 다음, (6) 사전 등록 기준으로 판정해 이 페이지에 그날의 기록을 추가합니다. 같은 방법을 반복하지 않도록 시도한 방법의 목록을 유지합니다. 다음 후보는 PR #28의 단계 보상(웅크림 → 이륙 속도 → 체공), 1 → 6cm 높이 밴드 커리큘럼과 밴드 내 비율 기준 체크포인트 선택, 좌우 대칭 손실, 시드 추가입니다. 2026-10-04 정정. 실제 창은 00시~04시이고 하룻밤 학습 예산은 약 3,000회차로 v5~v9(6,000회차)의 절반입니다. 하룻밤 결과는 대조군의 같은 경과 회차 값과만 비교하며, 6,000회차가 필요한 실험은 이틀 밤에 나눠 이어 돌립니다. 10월 3일·4일은 스케줄러 결함으로 학습이 실행되지 않았습니다. 2026-10-05 추가. 10월 5일 밤에 우회 조치로 첫 학습(3,750회차)을 완주했습니다.
  39. 같은 조건에서 주행 성능 비교 — 제자리 점프 후보가 생기면 주행 조건에서도 평가해 v3와 비교합니다.
  40. 초기 자세별 기립 학습 — 엎드린 자세와 누운 자세를 분리하고, 몸통 높이에 따라 동작 단계를 나누는 구성을 검토합니다. 자세 간 학습 간섭은 가능한 설명 중 하나이며, 현재의 성공률 0%만으로 원인을 확정할 수는 없습니다.

모든 실험은 한 번에 하나의 조건만 바꾸고 평가 기준을 학습 전에 정합니다. 사후에 가장 좋은 체크포인트를 고르지 않고 전량 곡선과 최종 체크포인트로 보고하며, 관측된 차이와 그 차이를 설명하는 가설을 구분해 기록합니다.