Overview & Introduction
AR/VR에서 유저의 움직임을 capture해서 avatars에 반영하는 것이 중요하다.이를 가능하게 하기 위해서는
sensor를 사용해서 user의 움직임을 캡쳐하고, real-time으로 full body motion을 만들어내야한다.
기존의 solution은 두가지의 방식으로 이루어진다.
1) Optical maker-based solution:
사람 몸에 마커를 부착시키고 motion을 캡쳐하는 방법, 정확하긴한데 설치가 번거롭다
2) markless motion capture solution:
사람 몸에 마커를 부착하지 않는 방법이다. 하지만 이 또한 센서가 필요하고, 방 사이를 움직이거나 large scale motion cpautre에는 적합하지 않다.
그러다보니 wearable sensor를 사용해서 motion capture 하는 방식이 motivates 되었다.
(이 방법은 external sensing modality가 필요없다.)
그런데, AR/VR 디바이스를 통해 얻을 수 있는 sensor signal는 다음의 문제점을 가지고 있다
1) signal이 너무 sparse하고
2) signal에 lower body에 대한 정보가 없다.
이러한 데이터를 사용해서 full body pose를 reconstruct해야하는데,
단순히 kinematic approaches를 사용하면 jitter(덜덜 떠는 현상), foot skating, unstable contact등의 문제가 생길 수 있다.
(all possible human pose는 너무 방대하기 때문에)
그래서 본 연구에서는 off-the-shelf physics simulator와 tracking pipeline을 합성해서
physically valid pose로 한정시킴으로써 위에서 언급한 문제점(jitter, foot skating, unstable contact)을 완화시켰다.
즉, 이 연구를 요약하자면...
HMD(Head Mounted Devices) 와 두 개의 controller를 사용해서 그럴듯하고 물리적으로 올바른 full body motion을 만들어낸다.
lower body에 대한 observation 없이도 ground truth와 비슷한 움직임을 만들어내는 것을 증명하였으며
다양한 locomotion sytle, 다른 body size, 새로운 environment에도 robust함을 보였다.