Интерактив спорт · Input system

Phi Step

Утасны камераар хөлийн хөдөлгөөнийг таван бүсийн rhythm game-ийн input болгох tracking, calibration, step-event систем.

Product prototype ба implementationДотоод судалгааны prototype2026 · Үргэлжилж буй судалгаа

Нөхцөл

Камерт суурилсан rhythm experience-д хөлийг зүгээр харах нь хангалтгүй. Тоглогч хаана зогсож байна, хөл аль бүсэд орж байна, тэр хөдөлгөөн хэзээ шинэ input болох вэ гэдгийг нэг утгаар ойлгох хэрэгтэй.

Миний хариуцсан ажил

Загварчилсан

Хөлийн ажиглалт, тохируулсан interaction, game input-ийн зааг.

Хэрэгжүүлсэн

Камер ба tracking интеграц, player-space calibration, step-event тайлбарлалт, дотоод тоглоомын хэсэг.

Шалгалтын хүрээ

Координат, event-ийн deterministic нөхцөлүүд, tracking diagnostics, ирүүлсэн iPhone бичлэгийн баримтжуулсан review.

Дахин ашигласан суурь

Платформын камер, model runtime болон өмнөх pose-model family. Миний ажил interaction систем, түүний интеграцад төвлөрсөн.

Хязгаарлалтууд

Setup

Physical step mat шаардахгүй, утасны камер, энгийн гутлаар interaction турших.

Тодорхой бус input

Хөл халхлагдаж, давхцаж, дүрсний ирмэгт очиж болно. Тодорхой бус ажиглалт шинэ hit зохиох ёсгүй.

Нэг утгатай координат

Дүрсэн дээрх overlay ба input-ийн тайлбарлалт тоглогчтой харьцуулсан ижил бүсийг заах ёстой.

Судалгааны хүрээ

Одоогийн model, тоглоомын хэсэг дотоод судалгааны төлөвтэй. Олон төхөөрөмж, олон хүний найдвартай байдал нээлттэй.

Системийн бүтэц

Capture ба ажиглалт
Хариуцлагын хилПлатформын service + tracking интеграц
Камерын input-ийг uncertainty нь тодорхой хөлийн ажиглалт болгоно.
1. Камерын input
2. Хөлийн ажиглалт
3. Anchor representation
Хөлийн байрлал ба ажиглалтын чанар
Interaction тайлбарлалт
Хариуцлагын хилМиний calibration ба event-ийн зааг
Step болсон эсэхийг шийдэхээс өмнө ажиглалтыг тоглогчийн тохируулсан орон зайд ойлгоно.
1. Calibration
2. Interaction бүс
3. Step event
Тусдаа interaction event
Тоглоомын туршлага
Хариуцлагын хилМиний дотоод game интеграц
Зөвшөөрөгдсөн event-ээр judgement, feedback өгч, tracking алга болсон үеийн төлөвийг ил тод зохицуулна.
1. Input adapter
2. Game judgement
3. Тоглогчийн feedback

Эдгээр зааг яагаад хэрэгтэй вэ

Ажиглалт нь хөл хаана харагдаж байгааг хэлнэ. Interaction нь тэр байрлал тоглогчид ямар утгатайг шийднэ. Тоглоом event ашигладаг тул tracking аргыг солиход input-ийн бүх логикийг дахин хийх шаардлагагүй.

Инженерчлэлийн шийдвэрүүд

Тусгай model-оос өмнө interaction-ийг шалгах

Нөхцөл: Эхний асуулт нь камерын input хэрэгтэй zone-to-event interaction үүсгэж чадах эсэх байв.
Хувилбарууд: Тусгай perception model-оор эхлэх
Харагдах marker-ээр interaction-ийг эхэлж шалгах
Шийдвэр: Marker-assisted baseline-ээр эхэлж, дараа нь markerless хувилбаруудыг үнэлсэн.
Шалтгаан: Perception гол судалгааны асуудал болохоос өмнө calibration, event-ийн behavior-ийг ажиглах боломж өгсөн.
Ашиг ба хязгаарлалт: Baseline marker шаардсан. Тэр setup-ийн ачаалал body pose, дараа нь хөлд зориулсан ажиглалтыг судлах шалтгаан болсон.

Perception солигдоход event-ийн утгыг хадгалах

Нөхцөл: Marker-assisted, general pose, foot-specific аргуудын ажиглалтын чанар өөр.
Шийдвэр: Тохируулсан бүс, step event-ийг нийтлэг observation boundary-ийн цаана хадгалсан.
Шалтгаан: Хөлийн ажиглалтын эх үүсвэр солигдсон ч тоглоомын input нэг утгатай байх хэрэгтэй.
Ашиг ба хязгаарлалт: Арга бүрт uncertainty, identity-ийн өөрийн шалгалт хэрэгтэй хэвээр. Нийтлэг зааг бүх provider-ийг адил найдвартай болгохгүй.

Юу ажиллаагүй вэ

Tracking зөв ч тоглогчийн чиглэл буруу

Ажиглалт: Ирүүлсэн төхөөрөмжийн бичлэгт хөл дагаж байсан ч virtual mat-ийн чиглэлийн тайлбарлалт буруу байв.
Шалтгаан: Камерын координат, тоглогчтой харьцуулсан чиглэлийг нэг convention гэж үзсэн байв.
Өөрчлөлт: Координатын заагийг тодорхой болгож, overlay ба input classification-ийг нэг logical mat-аас гаргасан.
Нээлттэй зүйл: Одоогийн candidate дээр чиглэл болон бүтэн game session-ийн physical acceptance хэрэгтэй хэвээр.

Markerless гэдэг framing-ээс хамаарахгүй гэсэн үг биш

Ажиглалт: Зөвхөн доод бие харагдах үед general body-pose comparison найдвартай биш байв.
Шалтгаан: Interaction-д general model-ийн сайн ажилладаг нөхцөлөөс нарийн framing-д хөлийн ажиглалт хэрэгтэй байсан.
Өөрчлөлт: Өмнөх аргуудыг comparison baseline болгон хадгалж, хөлд зориулсан ажиглалтыг үнэлсэн.
Нээлттэй зүйл: Хөл зөрөх, удаан халхлагдах, өөр өөр оролцогчид илүү өргөн evidence хэрэгтэй.

Хөгжлийн үе шатууд

01
Marker-assisted baseline
Камерын input, calibration, step event-ийг туршиж болох болгох.
02
General markerless pose
Marker-ийн хамаарлыг арилгаж, framing-ийн хязгаарыг харьцуулалтаар илрүүлэх.
03
Хөлд зориулсан судалгаа
Доод биеийн ажиглалтыг судлахдаа interaction-ийн өмнөх утгыг хадгалах.

Шалгалт ба нотолгоо

Автомат нөхцөлүүд
БҮРТГЭГДСЭН
Source-д calibration, координатын mapping, бүсийн behavior, step event-ийн deterministic тестүүд бий. Эдгээр record шалгасан нөхцөлүүдийн behavior-ийг харуулна; physical acceptance тусдаа үнэлэгдэнэ.
Төхөөрөмжийн ажиглалт
ХЭСЭГЧИЛСЭН
Ирүүлсэн iPhone бичлэгүүд доод биеийн tracking, interaction-ийн хязгаарлагдмал хэсгийг харуулсан. Бүх edge case, бүтэн game experience-ийг хамраагүй.
Артефактууд
СУДАЛГАА
Annotated бичлэг, frame-level output, diagnostics, session summary нь ажиглалтын чанарыг game judgement-ээс ялгаж харахад тусалдаг.

Одоогийн төлөв

ДОТООД СУДАЛГААНЫ PROTOTYPE

Дотоод зам нь камераас хөлийн ажиглалт, тохируулсан step event, тоглоомын хэсэг хүртэл холбогдсон. Production readiness, өргөн compatibility, бүтэн physical acceptance нээлттэй хэвээр.

Холбогдох төслийн талаар ярилцах