치킨고양이짱아 공부일지

SAME: Skeleton-Agnostic Motion Embedding for Character Animation 코드를 사용해야할 일이 있어 논문의 개념을 빠르게 살펴보았다.내가 하고자하는 건 skeleton에 구애받지 않는 motion embedding vector를 사용하는 것인데, 그림의 z를 생성하는 Encoder를 사용하고자 한다고 보면 된다. Skeletal motion data 𝑀 = (𝑆, 𝐷1:𝑇 ) 는 skeleton data 𝑆 and motion data 𝐷로 이루어진다.스켈레톤 데이터( 𝑆 )캐릭터의 스켈레톤 구조를 나타내며, 관절의 절대 위치(𝑝𝑗)와 부모 관절에 대한 상대 오프셋(𝑜𝑗)으로 구성된다. 즉  𝑆 = {𝑝1:𝐽 , 𝑜1:𝐽 } 의 형..

1. Motion Diffusion class모델 코드는 생각보다 간단해서 이해가 쉽다.class MotionDiffusion(nn.Module): def __init__(self, input_feats, nstyles, njoints, nfeats, rot_req, clip_len, latent_dim=256, ff_size=1024, num_layers=8, num_heads=4, dropout=0.2, ablation=None, activation="gelu", legacy=False, arch='trans_enc', cond_mask_prob=0, device=None): super().__i..

첫번째 문단speech-driven facial animation은 여러 분야에서 관심을 받고 있으며, 상업적으로 사용하기 위해 보통 사전에 작성된 script에 의해 facial expression을 제어하는데 이는 시간과 돈이 많이 든다. 이러한 문제에 딥러닝을 이용하면1) high quality의 animation을 만들 수 있을 뿐만 아니라2) 비용을 훨씬 절감할 수 있다.  두번째 문단하지만 current method는 facial expression에서 emotion으로 인한 variation을 무시하고 있는데, emotion은 굉장히 중요한 표현적 요소이기 때문에 facial animation에서 이가 없게 되면 불쾌한 골짜기를 유발할 수 있다. 그런데 emotional information..

https://ziqiaopeng.github.io/emotalk/ EmoTalkSpeech-driven 3D face animation aims to generate realistic facial expressions that match the speech content and emotion. However, existing methods often neglect emotional facial expressions or fail to disentangle them from speech content. To address this iziqiaopeng.github.ioSpeech-driven 3D face animation aims to generate realistic facial expressions..

SIGGRAPH 2024에 발표된 해당 논문의 코드를 사용하려고 한다. 그 전에 모델의 동작에 대해 확실하게 이해할 필요가 있어서 그 내용에 대해 정리하고자 한다.3.1 Motion Diffusion ModelMotion Diffsuion Model은 diffusion probabilistic model을 통해 모션 데이터를 생성하며,확산 과정과 디노이징 과정으로 나뉘는데확산과정에서는 초기 모션 데이터에 노이즈를 점진적으로 추가하고디노이징 과정에서는 신경망을 사용하여 노이즈를 역으로 제거하게 된다.3.2 Conditional Autoregressive Motion Diffusion Model본 논문에서 사용하는 구조는 Motion Diffusion Model을 확장한 Conditional Autoregr..

기존 내용 정리첫번재 문단speech로부터 3D 아바타의 얼굴을 animating하는 것은 가상환경이나 게임 등 다양한 곳에 적용될 수 있다.1. 이때 speaker의 특성에 구애받지 않고 다양한 speaker의 음성 데이터를 처리할 수 있어야하고,2. speech content랑 입의 모양이 일치해야한다. 그리고 emotion이 facial expression을 통해 드러나게 되는데, 이 분야는 잘 연구되고 있지만 speech를 하는 동안의 emotion modeling은 연구되지 않았다. 두번째 문단주요한 이슈는 emotion을 expressing하는 것과 audio에 맞게 입모양을 맞추는 것 사이의 충돌이 일어난다는 점이다. 이를 해결하기 위해 우리는 EMOTE network를 제안하였는데, 이 n..

하고자 하는 것Audio Input과 Emotion labels을 받으면, 해당 emotion에 적절하면서도 audio input에 맞는 speech facial animation을 생성할 수 있는 EMOTE framework 제안Datasetemotional speech에 대한 dataset은 존재하지 않음. 그래서 emotional video dataset인 MEAD dataset에서 reconstruction method 사용해서 생성한 data 사용.MEAD dataset에 포함된 감정 label을 사용하는 것이 아니라 emotion feature를 따로 extract해서 사용EMOCA’s public available emotion recognition network를 사용해서 emotion f..

Character Controllers Using Motion VAEs의 conditional VAE 부분을 기존에도 구현해서 사용하고 있었는데...다시 보니까 빠뜨린게 왜이렇게 많냐ㅠ 다시 확실하게 정리할 필요가 있을 것 같아서 코드 분석 & 논문에서 필요한 내용을 가져와 정리할 예정이다. 전체 코드는 아래의 링크에서 볼 수 있다. https://github.com/electronicarts/character-motion-vaes/tree/main GitHub - electronicarts/character-motion-vaes: Character Controllers using Motion VAEs Character Controllers using Motion VAEs. Contribute to el..

기존의 Introudction 첫번째 문단 Facial animation은 컴퓨터 그래픽스에서 중요. 기존의 Facial animtation은 캐릭터마다 의미적으로 대응되는 blend shape rig를 설정해두고, 같은 표정을 지을 때는, 같은 blendshape 값을 직접적으로 넣어주는 식으로 캐릭터의 표정을 만들어냄 두번째 문단 이렇게 되면 expression을 수행할때마다 나타나는 개별적인 style을 무시하게 된다. 이런 style 정보들을 앞에서와 같은 방식으로 다루게 되면 style 정보가 blendshape 값에 baked되어버리게 됨 따라서 본 연구에서는 expression과 style 모두를 다룰 수 있는 모델을 제안하고자 함 세번째 문단 style은 서로 다른 근육 activation..

1. 논문 소개 An Implicit Physical Face Model Driven by Expression and Styles는 Siggraph Asia 2023에 디즈니리서치에서 발표한 논문으로, data-driven implicit neural physics model을 기반으로 한 새로운 face model을 제안하고 있다. https://www.youtube.com/watch?v=-qM_XUv-JhA 기존의 facial animation들은 보통 blendweight vector로 expression을 정의하여 다루게됨. 이때, 캐릭터마다 대응되는 blendshape rig를 설정하고, 같은 blendshape weight 적용해서 그들만의 style로 expression을 수행하도록 한다. ..