치킨고양이짱아 공부일지

첫번째 문단speech-driven facial animation은 여러 분야에서 관심을 받고 있으며, 상업적으로 사용하기 위해 보통 사전에 작성된 script에 의해 facial expression을 제어하는데 이는 시간과 돈이 많이 든다. 이러한 문제에 딥러닝을 이용하면1) high quality의 animation을 만들 수 있을 뿐만 아니라2) 비용을 훨씬 절감할 수 있다.  두번째 문단하지만 current method는 facial expression에서 emotion으로 인한 variation을 무시하고 있는데, emotion은 굉장히 중요한 표현적 요소이기 때문에 facial animation에서 이가 없게 되면 불쾌한 골짜기를 유발할 수 있다. 그런데 emotional information..

https://ziqiaopeng.github.io/emotalk/ EmoTalkSpeech-driven 3D face animation aims to generate realistic facial expressions that match the speech content and emotion. However, existing methods often neglect emotional facial expressions or fail to disentangle them from speech content. To address this iziqiaopeng.github.ioSpeech-driven 3D face animation aims to generate realistic facial expressions..

SIGGRAPH 2024에 발표된 해당 논문의 코드를 사용하려고 한다. 그 전에 모델의 동작에 대해 확실하게 이해할 필요가 있어서 그 내용에 대해 정리하고자 한다.3.1 Motion Diffusion ModelMotion Diffsuion Model은 diffusion probabilistic model을 통해 모션 데이터를 생성하며,확산 과정과 디노이징 과정으로 나뉘는데확산과정에서는 초기 모션 데이터에 노이즈를 점진적으로 추가하고디노이징 과정에서는 신경망을 사용하여 노이즈를 역으로 제거하게 된다.3.2 Conditional Autoregressive Motion Diffusion Model본 논문에서 사용하는 구조는 Motion Diffusion Model을 확장한 Conditional Autoregr..