치킨고양이짱아 공부일지

https://lava.kaist.ac.kr/?page_id=6467 https://arxiv.org/abs/2202.05274 Motion Puzzle: Arbitrary Motion Style Transfer by Body Part This paper presents Motion Puzzle, a novel motion style transfer network that advances the state-of-the-art in several important respects. The Motion Puzzle is the first that can control the motion style of individual body parts, allowing for local style e arxiv.org..

https://netease-gameai.github.io/ChoreoMaster/ ChoreoMaster Networks ChoreoMaster netease-gameai.github.io ChoreoMaster 논문에서는 음악을 Input으로 받아 그에 맞는 춤동작을 생성하는 framework를 제안하고 있다. 결과 영상을 보면, 음악에 어울리는, 꽤나 퀄리티가 좋은 동작을 생성해내는 것을 알 수 있다. 전체적인 구조를 살펴보면 위와 같다. Choreographic Oriented Choreomusical Style Embedding 부분과 Choreographic-Oriented Choreomusical Rhythm Embedding 부분을 나눠서 살펴보자. 1. Choreographic Orien..

연구 관련해서 음성 데이터를 사용할 일이 생겼다. 보통 음성 데이터를 Raw data로 사용하면 용량이 너무 커지므로 딥러닝에서는 음성의 feature를 추출하여 사용한다. 이때 가장 많이 사용하는 음성 특징 추출 방법이 mel spectrogram이다. 이번 글에서는 mel spectrogram이 무엇인지, 그리고 어떻게 뽑아내는지에 대해 알아보고자 한다. 1. mel spectrogram이란? 소리의 파형을 인간이 들을 수 있는 범위로 줄인 mel scale로 다운 스케일한 이후, 그 파형을 그림으로 그린 모양이다. 2. 어떻게 뽑아낼 수 있을까? librosa library를 사용하면 된다. 스크립트를 보면 다음과 같다. audio_file = "sound.wav" y, sr = librosa.lo..

default fbx model에 저장되어있는 facial motion data를 custom fbx model에 적용하는 과정을 담아보았다. 나만 볼 것 같고..내가 기억 안날까봐 정리하는거니까 친절하게 서술하지 않을거다! * 상황 정리 default fbx model의 face mesh의 shape keys는 총 53개이고, 그 중 사용하는 shape keys는 39개였다. custom fbx model의 face mesh의 shape keys는 약 70개 정도였고, 여기에 default fbx model이 사용하는 39개의 shape keys는 모두 포함되어있다. facial motion data가 담겨있는 fcurves의 default fbx model과 custom fbx model 모두 39개..

이지원 이가은의 간절한 요청으로 올립니다

DeepMotion의 Animate 3D와 호환되는 캐릭터들을 찾다가 뭔가 정보가 부족한 느낌이 들어 character retargeting과 관련된 조사를 조금 더 해보았다. 1. Animation retargeting이란? custom character를 upload하여 만든 animation을 원하는 character에 부여할 수 있는 것을 의미한다. 2. Custom character를 uploading하는 것이 중요한 이유는 무엇일까? Unity나 Unreal 같은 게임엔진은 auto mapping algorithms이 잘 되어있기 때문에 retargeting이 쉽다. 하지만 blender와 같은 소프트웨어에서는 retarget이 쉽지 않다. 따라서 결과 자체가 custom character에 ..

https://chickencat-jjanga.tistory.com/69 DeepMotion: Animate 3D (1) - Face Tracking 관련조사 full-body motion + facial motion이 모두 포함되어있는 데이터가 필요해서, 비디오로부터 이 데이터들을 뽑아낼 수 있는 방법이 있는지 조사해보다가 DeepMotion에서 관련기술을 지원하고 있다는 사실을 chickencat-jjanga.tistory.com https://chickencat-jjanga.tistory.com/70 DeepMotion: Animate 3D (2) - Motion Tracking 관련조사 https://chickencat-jjanga.tistory.com/69 DeepMotion: Animate 3..