치킨고양이짱아 공부일지

smpl-x에서 motion feature를 추출할 방법을 찾다가...굉장히 유용한 코드를 찾게 되었다!!!! https://github.com/KosukeFukazawa/CharacterAnimationTools#13-load-animation-from-amass GitHub - KosukeFukazawa/CharacterAnimationTools: Character Animation Tools for Python. Character Animation Tools for Python. Contribute to KosukeFukazawa/CharacterAnimationTools development by creating an account on GitHub. github.com bvh, smpl+h의 파..

1) SMPL-X 살펴보기 SMPL-X의 JOINT는 총 55개이다. blender에 import했을 때 나타나는 hierarchy 구조로 살펴보면 아래와 같고, smpl-x 파일의 pose parameter 순서에 맞게 joint들을 나열해보면 아래와 같다. 아래의 list를 보면 알 수 있듯이 body joint는 22개, jaw에 해당하는 joint가 1개, eye에 해당하는 joint가 2개, hand에 해당하는 joint가 30개로 총 55개의 joint가 존재한다. SMPLX_JOINT_LIST = [ # body joint 'pelvis', 'left_hip', 'right_hip', 'spine1', 'left_knee', 'right_knee', 'spine2', 'left_ankle',..

1) armature space에서의 position global_location = bpy.data.objects['원하는 오브젝트'].bones['원하는 bone'].head 를 통해 접근하면 joint의 armature space에서의 position(bone의 head global position)를 바로 구할 수 있다. armature space가 world space와 같다면 이 값은 global joint를 의미한다. 2) global space에서의 position obj = bpy.data.objects['원하는 오브젝트'] global_location = obj.matrix_world @ obj.pose.bones['원하는 bone'].head

blender를 실행시키면 가장 먼저 나오는 화면인 viewport에서의 시점을 변경하는 법(pan, oribit 기능)을 python script로 어떻게 구현할 수 있을지 알아보자. 1) target 지점 변경: pan 현재 viewport view location이 (0, 0, 0)으로 세팅되어있다. 이 경우에는 viewport가 원점을 바라보게 된다. 이 값(viewport에서 바라보는 지점)을 변경하기 위해선 다음과 같은 코드를 사용하면 된다. # 현재 활성화된 3d viewport를 찾기 for area in bpy.context.screen.areas: if area.type == 'VIEW_3D': break # 3d viewport의 정보 가져오기 space_data = area.spac..

https://github.com/IDEA-Research/Motion-X#dataset-download 표정과 손동작까지 포함하는 데이터를 만들었다는 말 같다.) Motion-X dataset에서는 모두 같은 format(SMPL-X)을 사용하여 data를 표현하고 있다. 위의 8가지 데이터셋 + Online videos을 모두 사용하여 dataset을 구축하였다보니 확실해 Motion-X의 dataset 양이 방대한 것을 확인할 수 있다. 참고로 원본 Mocap dataset(AMASS, GRAB, EgoBody)와 원본 RGB 비디오는 제공하지 않는다. 또한 Mocap subset에 대해서는 text labels와 facial expression만 제공하며 Non-Mocap Subset에 대해서는 ..

Wav2vec 2.0 이 speech representation과 같은 분야에서 효과적인 성능을 보이는 것은 지난 포스트를 통해 확인할 수 있었다. 하지만 내가 하고자하는건 music representation이라 music representation에도 wav2vec 2.0이 효과적인 성능을 보이는지 좀 더 알아볼 필요가 있었다. 이와 관련된 내용을 "Learning Music Reprsentation with WAV2VEC 2.0" 이라는 논문에서 확인할 수 있다. https://arxiv.org/pdf/2210.15310.pdf 본 논문에서는 wav2vec 2.0을 pretraining 단계에서부터 음악을 통해 학습시켜 wav2vec 2.0 모델이 pitch나 Instrument를 인코딩하는 Lat..

wav2vec 2.0: A Framework for Self-Supervised Learning of Speech Representations 논문에 대한 간단한 요약이다. https://arxiv.org/abs/2006.11477 wav2vec 2.0: A Framework for Self-Supervised Learning of Speech Representations We show for the first time that learning powerful representations from speech audio alone followed by fine-tuning on transcribed speech can outperform the best semi-supervised methods whil..