치킨고양이짱아 공부일지

Method 정리 1. Observation 3가지의 파트로 나뉜다. simulated character의 observation (312차원) sensor로부터 sparse하게 오는 observation (162차원) scale of the user (1차원) 1) simulated character observation (총 312차원) 캐릭터는 33 dof, link는 총 16개 → joint의 angle (33차원) → joint의 angle velocities (33차원) → link의 Cartesian position (16*3 = 48차원, character local frame에 대해 표현된다.) → link의 orientations (16*6 = 96차원, rotation matrix의 앞..

Overview & Introduction AR/VR에서 유저의 움직임을 capture해서 avatars에 반영하는 것이 중요하다.이를 가능하게 하기 위해서는 sensor를 사용해서 user의 움직임을 캡쳐하고, real-time으로 full body motion을 만들어내야한다. 기존의 solution은 두가지의 방식으로 이루어진다. 1) Optical maker-based solution: 사람 몸에 마커를 부착시키고 motion을 캡쳐하는 방법, 정확하긴한데 설치가 번거롭다 2) markless motion capture solution: 사람 몸에 마커를 부착하지 않는 방법이다. 하지만 이 또한 센서가 필요하고, 방 사이를 움직이거나 large scale motion cpautre에는 적합하지 않..

Experiments and results * 본 실험에서는 모션 퀄리티랑 모션 스타일의 다양성을 테스트하기 위해 Lafan1 dataset을 주로 사용하였으며 generalizability(일반화 가능성)를 테스트하기 위해 Human3.6M dateset을 사용하였다. * 별 설명이 없더라도 모든 모델은 Lafan1 dataset으로 training 된 것이고, transition lengths는 5~30 frames이다. * test window는 65 frames이고 두 dataset의 Subject 5로부터 sampled 하였다. * 본 실험에서는 1) motion quality 2) transition quality 3) 본적 없는 시그널이 주어졌을 때 model generalizability ..

Implemenation Data formatting 본 연구에서는 LaFAN1 dataset과 Human3.6M dataset을 사용하였다. Human3.6 dataset을 사용할 때는 wrist 와 thumb joints를 제거하여 21 joints만 남겨두었고 Lafan1 dataset은 그냥 사용하였다. (Lafan1 dataset의 joint 수는 22개) 그리고 joint마다 다른 representation을 사용하였다. 아래의 8개 joint(Lower body joint)에 대해서는 position-based representation을 사용하였고 위의 joint(Upper joints)에 대해서는 rotation-based representation을 사용하였다. 모든 lower join..

Transition Sampling Real-time Controllable Motion Transition for Characters(1)에서 배운 CVAE를 통해서 motion manifold를 학습할 수 있긴 하지만 uncontrolled generation만 할 수 있다. CVAE에 해당되는 식을 보면, distribution이 S^t(target frame)와 z_dt(transition duration)에 conditioned 되어있지 않다. 따라서 S^t, z_dt에 conditioned된 P(M)을 Explicitly하게 학습하기 위해선 모든 possible duration동안 reverse Markov chain을 학습해야하는데, 이건 매우 까다로운 과정이다. 그래서 이 모델에서 택한건 ..

이 논문에서 소개하는 방법은 2가지의 components를 가지고 있다. 1) a natural motion manifold model: low level의 단거리 motion dynamics를 학습 2) sampler for motion generation: learned manifold로부터 target frame과 목표 transition duration을 만족하는 motion 생성 1) The Motion Manifold (n-1)개의 프레임으로 구성된 motion M = {S^1, ...S^n-1}을 생성하기 위해 각 프레임은 다음과 같이 표현된다. 여기서 p는 joint position, r은 joint rotation, v는 joint velocity를 의미한다. L은 Lower body j..

1. Bullet이란? 불릿 물리 라이브러리(Bullet Physics Library, 간단히 불릿)는 충돌 감지, 강체/연체 물리 시뮬레이션을 위한 전문 물리 라이브러리이다. 불릿은 하복 물리엔진에서 일했던 개발자가 만들었으며, 딱딱한 블록같은 소재의 시뮬레이션 뿐 아니라, 연체 소재의 시뮬레이션을 연속적으로 가능하게 하는 기능을 가지고 있다 2. 설치 방법 pip3 install pybullet 이 입력어를 통해 아주 간단하게 설치된다 3. 기능 및 사용방법 먼저 pybullet을 사용하기 위해 import 해주자. import pybullet as p 그리고 PyBullet에서 제공하는 유용한 object들이 담겨있는 pybullet_data를 사용하기 위해 pybullet_data도 import ..