치킨고양이짱아 공부일지

Implemenation Data formatting 본 연구에서는 LaFAN1 dataset과 Human3.6M dataset을 사용하였다. Human3.6 dataset을 사용할 때는 wrist 와 thumb joints를 제거하여 21 joints만 남겨두었고 Lafan1 dataset은 그냥 사용하였다. (Lafan1 dataset의 joint 수는 22개) 그리고 joint마다 다른 representation을 사용하였다. 아래의 8개 joint(Lower body joint)에 대해서는 position-based representation을 사용하였고 위의 joint(Upper joints)에 대해서는 rotation-based representation을 사용하였다. 모든 lower join..

Transition Sampling Real-time Controllable Motion Transition for Characters(1)에서 배운 CVAE를 통해서 motion manifold를 학습할 수 있긴 하지만 uncontrolled generation만 할 수 있다. CVAE에 해당되는 식을 보면, distribution이 S^t(target frame)와 z_dt(transition duration)에 conditioned 되어있지 않다. 따라서 S^t, z_dt에 conditioned된 P(M)을 Explicitly하게 학습하기 위해선 모든 possible duration동안 reverse Markov chain을 학습해야하는데, 이건 매우 까다로운 과정이다. 그래서 이 모델에서 택한건 ..

이 논문에서 소개하는 방법은 2가지의 components를 가지고 있다. 1) a natural motion manifold model: low level의 단거리 motion dynamics를 학습 2) sampler for motion generation: learned manifold로부터 target frame과 목표 transition duration을 만족하는 motion 생성 1) The Motion Manifold (n-1)개의 프레임으로 구성된 motion M = {S^1, ...S^n-1}을 생성하기 위해 각 프레임은 다음과 같이 표현된다. 여기서 p는 joint position, r은 joint rotation, v는 joint velocity를 의미한다. L은 Lower body j..

Mixture of Expert model Mixture of Experts model는 ME 또는 MoE model이라고 부른다. 복잡한 문제를 최대한 단순하게 분리하며, 이렇게 단순화된 해는 합쳐져서 최종적인 해를 산출하는 분리와 해결의 원리를 이용한다. 각 expert network는 Input Vector에 대한 Output Vector를 생성한다. Gating Network는 Input vector x를 받아 input space에서 각 지점으로 분할하는 스칼라 결과를 생성한다. Input Network에서 Expert Network에 대한 확률로서의 linear combination을 제공하기 때문에 ME network의 최종 결과는 expert network들에 의해 생성되는 모든 Outpu..

Conditional VAE Conditional VAE는 이름에서도 알수있듯이 VAE에 Condition을 부여하게 된다. 앞서 살펴본 VAE는 latent space가 임의로 sampling되면 VAE는 어떤 숫자가 샘플링될지 제어할 수 없다. 하지만 CVAE는 생성할 숫자의 조건(one-hot lable)을 도입함으로써 이 문제를 해결할 수 있다. 이 조건은 Encoder와 Decoder에 모두 제공된다 . Vanila VAE와 Conditional VAE의 차이를 비교해보자. VAE와 비교했을 때 Conditional VAE에서 두드러지게 나타나는 차이점은 y라는 노드가 새로 추가된다는 점이다. Conditional VAE에서는 y(label 정보)를 알고 있다면 Encoder와 Decoder에 ..

들어가기에 앞서 * AE와 VAE는 이름이 유사하지만, 수학적으로는 아무런 관련이 없음 * VAE는 Generative model임! * Generative model? training data가 주어졌을 때 이 data가 sampling 된 분포와 같은 분포에서 새로운 sample을 생성하는 model 즉 p_model(x)가 최대한 p_data(x)에 가깝게 만드는 것이 목표이다. 따라서 얼마나 기존 모델과 가까운 것인가에 대한 지표를 만들어야 하며 그 차이를 최소화하는 방향으로 업데이트함 VAE란? VAE는 Input image X를 잘 설명하는 feature를 추출하여 Latent vector z에 담고, 이 Latent vector z를 통해 X와 유사하지만 완전히 새로운 데이터를 생성해내는 것..

1. Bullet이란? 불릿 물리 라이브러리(Bullet Physics Library, 간단히 불릿)는 충돌 감지, 강체/연체 물리 시뮬레이션을 위한 전문 물리 라이브러리이다. 불릿은 하복 물리엔진에서 일했던 개발자가 만들었으며, 딱딱한 블록같은 소재의 시뮬레이션 뿐 아니라, 연체 소재의 시뮬레이션을 연속적으로 가능하게 하는 기능을 가지고 있다 2. 설치 방법 pip3 install pybullet 이 입력어를 통해 아주 간단하게 설치된다 3. 기능 및 사용방법 먼저 pybullet을 사용하기 위해 import 해주자. import pybullet as p 그리고 PyBullet에서 제공하는 유용한 object들이 담겨있는 pybullet_data를 사용하기 위해 pybullet_data도 import ..