본 연구는 HMD 기반 camera hand-tracking으로 취득한 인간 손 SE(3)·joint pose를 실시간 로봇 joint-space 명령으로 변환하는 end-to-end teleoperation·dataset 파이프라인을 제안한다. 과제의 필요성은 고가 장비(모캡·데이터 글러브)와 복잡한 시뮬레이터 의존을 줄이고, 누구나 직관적으로 고품질 demonstrations를 대량 생성하려는 데 있다. 해결방안은 (1) HoloLens 2/Quest 3에서 marker-less hand tracking 수집, (2) Unity에 URDF를 임포트해 EE 목표를 정의하고 Analytical IK+Jacobian-DLS로 q-vector를 계산, (3) TCP 30 Hz로 ROS 2 joint_trajectory_controller에 전달해 실기 로봇을 구동하는 방식이다. 좌표계 정합·joint limits·collision을 Unity에서 선제 검증해 sim-to-real 일관성을 확보했고, low-pass filtering과 slew-rate 제한으로 실시간 안정성을 높였다. Quest 계열 hand tracking의 ≈1 cm 위치오차·≈10° 관절오차·≈45 ms 지연을 고려해 주기·보간을 설계했다. 결과물의 특장점은 컨트롤러/장갑 없이 구동되는 pure hand-tracking teleop, URDF single-source 기반의 기기·로봇 범용성, 표준 ROS 2 인터페이스로 인한 통합 용이성이다. 기대효과로는 BC/DAgger/RL·VLA 학습용 대규모 데이터 생성, 의료·제조 원격보조·교육 적용, SDK 패키징을 통한 사업화 가능성을 제시한다.