DeepMotion: Animate 3D (2) - Motion Tracking 관련조사

https://chickencat-jjanga.tistory.com/69

DeepMotion: Animate 3D (1) - Face Tracking 관련조사

저번 포스팅에서 DeepMotion의 Animate 3D 기술을 사용하여 Face Tracking 하는 것과 관련된 내용을 정리해보았다. 이번 포스팅에서는 Full body Motion Tracking과 관련된 내용을 정리해볼 예정이다. 그럼 고!

Full body Motion Tracking

저번 포스팅을 읽었으면 알 수 있겠지만 DeepMotion의 Animate 3D 기술은 video로부터 3D animation을 생성해낼 수 있는 기술이다. 별도의 소프트웨어나 하드웨어가 필요없으며 web을 통해 영상을 드래그해주면 바로 데이터를 뽑아낼 수 있다는 점에서 굉장히 유용하다.
DeepMotion의 Animate 3D 기술을 사용하면, 단순히 모션 데이터를 뽑아낼 수 있을뿐만 아니라 여러가지 옵션을 지정해줄 수 있다. 하나씩 옵션들을 살펴보자.

* Character Retargeting

fbx, glb 또는 vrm 형식의 custom character를 업로딩하면 넣어준 영상의 모션을 취하는 custom character animation이 만들어진다. 또한 데이터(bvh, fbx, glb 가능)를 다운로드하기 전에 web에서 그 결과를 preview 할 수 있다.

* Foot Locking

foot locking mode는 발의 움직임과 관련된 옵션으로, 아래 사진의 화살표 항목을 통해 foot locking 옵션의 모드를 바꿔줄 수 있다.

여러가지 모드가 있는데 하나씩 살펴보자.

• Auto: most cases에 추천되는 옵션이자 디폴트 옵션이다. "발을 지면에 고정시키는 것"과 "발이 지면에서 미끄러지게 하는 것" 을 번갈아가면서 실행한다. 
• Always: Auto mode를 했을 때 발 미끄러짐이 너무 심하게 일어날 경우 Always 모드를 사용하는 것을 추천한다. 이렇게 하면 발이 지면에 항상 닿도록 강제할 수 있다.
• Never: 발이 지면에 닿지 않는 aerial이나 water motion에서 적합한 옵션이다. 이 옵션을 사용할 경우 character가 ground에서 떨어지도록 강제할 수 있다.
• Grounding: Auto mode를 했을 때, 원하는 것보다 발 미끄러짐이 너무 사라질 경우 추천되는 모드이다. 이 모드를 사용할 경우 발을 지면에 locking하는 것은 없애지만, character가 ground plane에 있도록 만들어준다.  (셔플댄스, 스프린트, 점프와 같은 동작에 적합한 모드이다.)

 

* Fallback Pose

fallback Pose는 default Pose를 의미한다. 관절이 detect되지 않을 때 character가 취하는 pose를 의미하며 상체 또는 얼굴만 추적할 경우, 추적되지 않은 나머지 관절들이 취하는 포즈이다.
아래사진과 같이 fallback pose 옵션의 pose를 바꿔줄 수 있다.

fallback Pose로는 t-pose, i-pose, a-pose 또는 새롭게 앉은 포즈 등을 설정할 수 있다고 한다.
 

* Output

앞의 포스트에도 언급했다싶히, 내가 원하는 character 혹은 default character에 대한 애니메이션을 생성해내고 나면 bvh, fbx, glb의 형태로 애니메이션을 다운받을 수 있다.
animation을 bvh 형태로 다운받아서 확인해보니 default pose가 T 모양의 t-pose였다. (Lafan1의 default pose가 하도 이상해서 고생한 기억이 있어서 언급해봤다..)

다시 한번 느끼지만 참 유용한 기능인것 같다!
누군가에게 도움이 되길!