치킨고양이짱아 공부일지

smpl-x에서 motion feature를 추출할 방법을 찾다가...굉장히 유용한 코드를 찾게 되었다!!!! https://github.com/KosukeFukazawa/CharacterAnimationTools#13-load-animation-from-amass GitHub - KosukeFukazawa/CharacterAnimationTools: Character Animation Tools for Python. Character Animation Tools for Python. Contribute to KosukeFukazawa/CharacterAnimationTools development by creating an account on GitHub. github.com bvh, smpl+h의 파..

1) SMPL-X 살펴보기 SMPL-X의 JOINT는 총 55개이다. blender에 import했을 때 나타나는 hierarchy 구조로 살펴보면 아래와 같고, smpl-x 파일의 pose parameter 순서에 맞게 joint들을 나열해보면 아래와 같다. 아래의 list를 보면 알 수 있듯이 body joint는 22개, jaw에 해당하는 joint가 1개, eye에 해당하는 joint가 2개, hand에 해당하는 joint가 30개로 총 55개의 joint가 존재한다. SMPLX_JOINT_LIST = [ # body joint 'pelvis', 'left_hip', 'right_hip', 'spine1', 'left_knee', 'right_knee', 'spine2', 'left_ankle',..

https://github.com/IDEA-Research/Motion-X#dataset-download 표정과 손동작까지 포함하는 데이터를 만들었다는 말 같다.) Motion-X dataset에서는 모두 같은 format(SMPL-X)을 사용하여 data를 표현하고 있다. 위의 8가지 데이터셋 + Online videos을 모두 사용하여 dataset을 구축하였다보니 확실해 Motion-X의 dataset 양이 방대한 것을 확인할 수 있다. 참고로 원본 Mocap dataset(AMASS, GRAB, EgoBody)와 원본 RGB 비디오는 제공하지 않는다. 또한 Mocap subset에 대해서는 text labels와 facial expression만 제공하며 Non-Mocap Subset에 대해서는 ..

Rotation Matrix 기존에 딥러닝에서 많이 사용하던 rotational representation은 Rotation matrix이다. continuous하게 1-to-1 mapping을 할 수 있다는 장점이 있지만 9 numbers를 딥러닝에 다 사용하기엔...부담스러운 면이 많다. 그래서 최근에 많이 사용하는 rotation representation은 6D Rotational Representation이다. 6D Rotational Representation 어렵게 생각할 필요가 없는게 기존의 rotation matrix에서 column 2개만 가져오면 된다. 두 colmns만 가져오면 나머지 하나의 column은 cross product를 사용해 구할 수 있다. (rotation matri..

default fbx model에 저장되어있는 facial motion data를 custom fbx model에 적용하는 과정을 담아보았다. 나만 볼 것 같고..내가 기억 안날까봐 정리하는거니까 친절하게 서술하지 않을거다! * 상황 정리 default fbx model의 face mesh의 shape keys는 총 53개이고, 그 중 사용하는 shape keys는 39개였다. custom fbx model의 face mesh의 shape keys는 약 70개 정도였고, 여기에 default fbx model이 사용하는 39개의 shape keys는 모두 포함되어있다. facial motion data가 담겨있는 fcurves의 default fbx model과 custom fbx model 모두 39개..

joint local frame 기준 angular velocity 구하는 방법 joint j의 (frame i)에서의 orientation을 rotation matrix로 나타낸 것을 R_prev라고 하자. joint j의 (frame i+1)에서의 orientation을 rotation matrix로 나타낸 것을 R_cur라고 하자. R_prev와 R_cur은 모두 joint local frame에 대해 기술되었다. R_diff = R_pev.T @ R_cur과 같다. 이때 R_diff @ R_prev = R_cur가 성립하기 때문에 R_diff는 R_prev와 같은 frame에 대해 기술되어있다. scaling을 해주기 위해 rotation matrix인 R_diff를 rotation vector ..

urdf에서 mjcf로 갈아탔다.. isaac gym에서 지원하는 urdf로 character model을 만드려고 했는데 urdf에서는 ball joint를 지원하지 않아서 ball joint를 구현하기 위해서는 3개의 연속된 hinge joint를 배치해서 euler angle처럼 사용하는 식으로 해야한다고 하는데 완전히 잘 동작한다고 보기는 어려운 부분이 많아서 ball joint를 지원하면서도 isaac gym에서도 지원하는 mjcf 형식으로 character model을 만들기로 했다! 막막하지만 그래도 고! https://ropiens.tistory.com/170 Let's do MuJoCo - 2.1 Mujoco XML File(MJCF) 분석 이번 게시물의 목표는 Mujoco XML 파일(..

2023.01.19 - [컴퓨터 그래픽스] - URDF 튜토리얼(2) (Building a Movable Robot Model with URDF) URDF 튜토리얼(2) (Building a Movable Robot Model with URDF) 이전 게시물의 튜토리얼 통해서 Robot의 joint, link의 위치를 정할 수 있었고 material도 설정해줄 수 있었다. 2023.01.19 - [컴퓨터 그래픽스] - URDF 튜토리얼(1) (Building Visual Robot Model) URDF 튜토리얼(1) (Build chickencat-jjanga.tistory.com 이전 게시물의 튜토리얼을 통해 로봇을 움직이게 만들 수 있었다. 이번에는 urdf 파일에 physical properties..

이전 게시물의 튜토리얼 통해서 Robot의 joint, link의 위치를 정할 수 있었고 material도 설정해줄 수 있었다. 2023.01.19 - [컴퓨터 그래픽스] - URDF 튜토리얼(1) (Building Visual Robot Model) URDF 튜토리얼(1) (Building Visual Robot Model) skel file 이해하는것도 힘들었는데 isaac gym에서 skel file을 지원하지 않아서 urdf 파일을 새로 만들어야하는 상황이 생겨버렸다..ㅠㅠㅠㅠㅠㅠㅠ 어쨌든 이해해보자구!! 1. URDF란? unified robot description chickencat-jjanga.tistory.com 하지만 이 튜토리얼에서 정의한 로봇은 Movable하지 않다! 이번 튜토리얼..

skel file 이해하는것도 힘들었는데 isaac gym에서 skel file을 지원하지 않아서 urdf 파일을 새로 만들어야하는 상황이 생겨버렸다..ㅠㅠㅠㅠㅠㅠㅠ 어쨌든 이해해보자구!! 1. URDF란? unified robot description format의 줄임말로, '로봇 기술용 통일 포맷'이라고 번역할 수 있다. 한마디로 로봇의 동작을 구현함에 있어서 URDF 포맷 하나로 어느 OS에서도 구현이 가능하다는 의미이다. 로봇의 움직임을 구현하는데 사용되며, xml format으로 제작이 가능하다. 2. URDF 로봇 제작해보기 http://wiki.ros.org/urdf/Tutorials urdf/Tutorials - ROS Wiki Prerequisite Learning URDF Step b..