치킨고양이짱아 공부일지

SAME: Skeleton-Agnostic Motion Embedding for Character Animation 코드를 사용해야할 일이 있어 논문의 개념을 빠르게 살펴보았다.내가 하고자하는 건 skeleton에 구애받지 않는 motion embedding vector를 사용하는 것인데, 그림의 z를 생성하는 Encoder를 사용하고자 한다고 보면 된다. Skeletal motion data 𝑀 = (𝑆, 𝐷1:𝑇 ) 는 skeleton data 𝑆 and motion data 𝐷로 이루어진다.스켈레톤 데이터( 𝑆 )캐릭터의 스켈레톤 구조를 나타내며, 관절의 절대 위치(𝑝𝑗)와 부모 관절에 대한 상대 오프셋(𝑜𝑗)으로 구성된다. 즉  𝑆 = {𝑝1:𝐽 , 𝑜1:𝐽 } 의 형..

1. Motion Diffusion class모델 코드는 생각보다 간단해서 이해가 쉽다.class MotionDiffusion(nn.Module): def __init__(self, input_feats, nstyles, njoints, nfeats, rot_req, clip_len, latent_dim=256, ff_size=1024, num_layers=8, num_heads=4, dropout=0.2, ablation=None, activation="gelu", legacy=False, arch='trans_enc', cond_mask_prob=0, device=None): super().__i..

작년에 이어서 작성하는 KCGS 2024 학회 후기! 작년에는 제주도에서 했는데 이번엔 경주에서 했당 이번에는 내가 발표해야해서 그런지 마냥 즐겁진 않았다는..😅다같이 모여서 ktx를 타구 경주역에 갔당 이렇게 보니까 새삼 사람 많아진거 실감나구만ㅎ하이~~난 이런거 꼭 찍어줘야해서 이름표 빨리 들어라하고 찍음ㅋㅋ다들 말 잘들어줘서 고맙습니당🥹첫날에는 여름학교 강의 열심히 듣구 웰컴파티를 했다...근데 작년에도 그렇구 웰컴파티 음식 웰케 적죠.. 우리 진짜 많이 먹는데ㅠ라는 서운함을 가진것도 잠깐...담날 점심 너무 맛있었다발표 열심히 듣구ㅎㅎ또 내가 기다렸던 클로 발표 이번엔 설립자 분이 발표하셨는데 역시나 멋있었당명함도 받구...궁금한거 연락해도 된다고 하셨는데 일단 연구 잘하는게 우선이라 생각해서 메..

VAE에 대해선 다들 알고 있을 것이다. 내가 작성했던 아래의 포스트에서도 VAE에 대한 설명을 제공하고 있다.https://chickencat-jjanga.tistory.com/3 VAE 설명들어가기에 앞서 * AE와 VAE는 이름이 유사하지만, 수학적으로는 아무런 관련이 없음 * VAE는 Generative model임! * Generative model? training data가 주어졌을 때 이 data가 sampling 된 분포와 같은 분포에서 새로chickencat-jjanga.tistory.comVAE를 간단하게 복습해보자면, VAE(Variational Autoencoder)는 데이터를 잠재 공간(latent space)으로 압축한 후 다시 복원하는 방법론을 제공한다. VAE는 잠재 공간을..

연구실 홈페이지 관리자가 되었는데,,,git에 익숙하지 않아 업데이트 할 때마다 찾아보려니 너무 귀찮아서ㅎㅎ내가 보려고 정리하는 글...CASE1) 내가 업데이트하고자 할 때1. 공식 저장소의 update를 fork로 생성한 본인 계정의 저장소에 반영하기$ git pull upstream master2. branch 생성# develop 이라는 이름의 branch를 생성한다.$ git checkout -b developSwitched to a new branch 'develop'# 이제 2개의 브랜치가 존재한다.$ git branch* develop master3. 수정 작업 후 add, commit, push주의사항 push 진행시에 branch 이름을 명시해주어야 한다# develop 브랜치의 수정..

첫번째 문단speech-driven facial animation은 여러 분야에서 관심을 받고 있으며, 상업적으로 사용하기 위해 보통 사전에 작성된 script에 의해 facial expression을 제어하는데 이는 시간과 돈이 많이 든다. 이러한 문제에 딥러닝을 이용하면1) high quality의 animation을 만들 수 있을 뿐만 아니라2) 비용을 훨씬 절감할 수 있다.  두번째 문단하지만 current method는 facial expression에서 emotion으로 인한 variation을 무시하고 있는데, emotion은 굉장히 중요한 표현적 요소이기 때문에 facial animation에서 이가 없게 되면 불쾌한 골짜기를 유발할 수 있다. 그런데 emotional information..

https://ziqiaopeng.github.io/emotalk/ EmoTalkSpeech-driven 3D face animation aims to generate realistic facial expressions that match the speech content and emotion. However, existing methods often neglect emotional facial expressions or fail to disentangle them from speech content. To address this iziqiaopeng.github.ioSpeech-driven 3D face animation aims to generate realistic facial expressions..

SIGGRAPH 2024에 발표된 해당 논문의 코드를 사용하려고 한다. 그 전에 모델의 동작에 대해 확실하게 이해할 필요가 있어서 그 내용에 대해 정리하고자 한다.3.1 Motion Diffusion ModelMotion Diffsuion Model은 diffusion probabilistic model을 통해 모션 데이터를 생성하며,확산 과정과 디노이징 과정으로 나뉘는데확산과정에서는 초기 모션 데이터에 노이즈를 점진적으로 추가하고디노이징 과정에서는 신경망을 사용하여 노이즈를 역으로 제거하게 된다.3.2 Conditional Autoregressive Motion Diffusion Model본 논문에서 사용하는 구조는 Motion Diffusion Model을 확장한 Conditional Autoregr..

기존 내용 정리첫번재 문단speech로부터 3D 아바타의 얼굴을 animating하는 것은 가상환경이나 게임 등 다양한 곳에 적용될 수 있다.1. 이때 speaker의 특성에 구애받지 않고 다양한 speaker의 음성 데이터를 처리할 수 있어야하고,2. speech content랑 입의 모양이 일치해야한다. 그리고 emotion이 facial expression을 통해 드러나게 되는데, 이 분야는 잘 연구되고 있지만 speech를 하는 동안의 emotion modeling은 연구되지 않았다. 두번째 문단주요한 이슈는 emotion을 expressing하는 것과 audio에 맞게 입모양을 맞추는 것 사이의 충돌이 일어난다는 점이다. 이를 해결하기 위해 우리는 EMOTE network를 제안하였는데, 이 n..

supervised contrastive learning을 하기 위해 공개된 코드를 사용해야할 일이 생겼다. 아무리 가져온 코드라 하더라도 이해하지 않고 사용하는건 말이 안되는 것 같아, 해당 코드를 분석하는 포스트를 작성하고자 한다.🍀 코드 출처: https://ffighting.net/deep-learning-paper-review/self-supervised-learning/supervised-contrastive-learning/ Supervised Contrastive Learning - 딥러닝 논문 리뷰Supervised Contrastive Learning 논문의 핵심 내용을 리뷰합니다. Supervised Contrastive Learning의 제안 방법을 살펴봅니다. 마지막으로 성능 비..