Markerless Foot Tracking

Асуулт

Phi Step-д virtual таван бүсийн mat-д зориулсан баруун, зүүн хөлийн давтагдах байрлал хэрэгтэй. Өнгөт оймс, marker-гүй, энгийн гуталтай, доод биеийн framing-ээр энэ input ажиллах уу?

Туршсан аргууд

OpenCV-ийн HSV ба contour арга sampled өнгөөр камераас бүс, цааш event хүртэлх урсгалыг шалгасан. Энэ нь interaction-ийг турших боломж өгсөн ч харагдах өнгөт marker, хоёр хөлийг зөв ялгах нөхцөл шаардсан.

MediaPipe Pose Landmarker marker-ийг арилгасан. Гэхдээ physical comparison-д бараг бүтэн биеийн framing хэрэгтэй, зөвхөн бэлхүүснээс доош framing найдвартай биш байв.

Одоогийн судалгаа

Хөлд зориулсан судалгааны model тогтмол доод биеийн frame-ээс баруун, зүүн хөлийн эрхий хуруу, чигчий хуруу, өсгий гэсэн зургаан цэг гаргана. Зөвшөөрөгдсөн цэгүүд жинлэсэн anchor болж, temporal tracking богино хугацааны uncertainty-г зохицуулсны дараа player-space calibration болон Step Event Engine бүсийн оролтыг тодорхойлно.

Нотолгоо

Pretrained RTMW-г Phi Step-ийн бодит зогсолт, хөдөлгөөний бичлэгүүд дээр өөр өөр crop-оор харьцуулсан. Run бүр annotated video, frame-level keypoint CSV, summary ба timing output гаргасан. Model-family үр дүн найдвар төрүүлсэн ч availability ба харагдах trajectory нь ground-truth accuracy биш.

Дараагийн зургаан цэгийн Core ML research checkpoint болон ирүүлсэн iPhone бичлэгүүд энгийн гуталтай, доод биеийн хязгаарлагдмал vertical slice, step-event judgement-ийг харуулсан. Энэ нь олон нөхцөлд найдвартай эсвэл нийтэд гаргахад бэлэн гэсэн үг биш.

Нээлттэй зүйлс

Хөл ойртох, зөрөх, удаан халхлагдах, frame-ийн ирмэгт очих, олон хүний anatomical identity болон бүтэн physical rhythm-game session-д илүү хүчтэй evidence хэрэгтэй. Дараагийн хэрэгтэй шалгалт нь эдгээр нөхцөлийн бие даасан, төлөөлөхүйц үнэлгээ.