치킨고양이짱아 공부일지

파이썬 딕셔너리는 사용법만 익히면 굉장히 편리하다. 딕셔너리에 key를 추가하고,딕셔너리에 특정 key가 있는지 확인하고, 딕셔너리의 key값들만 불러오고, 딕셔너리를 value값을 기준으로 정렬하는 방법을 알아보자 1. 딕셔너리에 key추가하는 방법my_dict = {}my_dict['apple'] = 3print(my_dict) # {'apple': 3}이런식으로 새로운 key값에 대해 값을 지정해주면 딕셔너리에 key:value쌍을 추가할 수 있다. 2. 특정 key가 딕셔너리에 있는지 확인하는 방법if 'apple' in my_dict: print('Key exists!')else: print('Key does not exist.')key in dict 과 같이 in을 통해 쉽게 확인..

numpy 같은 외부 라이브러리를 사용하지 않고 파이썬에서 2차원 list를 전치시키는 방법이다. graph = [list(map(int, input().split())) for _ in range(N)]transposed_graph = [list(row) for row in zip(*graph)]graph를 전치시킨 transpose_graph를 생성하는 과정이다. 동작과정을 살펴보면 다음과 같다. 1. *graph는 graph의 각 행을 개별 리스트로 풀어준다. 즉 [matirx[0], matrix[1], matrix[2]]...를matrix[0], matrix[1], matrix[2]...로 풀어준다 2. zip()은 동일 인덱스 요소를 묶어서 튜플로 변환해준다. 즉, zip([1, 2, 3], [..

파이썬에서 입력을 받는 방법이다. 50 0 1 0 00 0 0 0 00 0 0 0 00 0 0 0 00 0 0 0 060 0 0 0 0 00 1 0 0 0 00 0 0 0 0 00 0 0 0 0 00 0 0 0 0 00 0 0 0 0 0 이런식으로 n, nxn의 입력이 들어올 때 파이썬에서는 다음과 같이 입력을 받을 수 있다. n = int(input())먼저 input()으로 받으면 string 형태로 들어오게 되므로 int로 형변환을 해주어야한다. 그리고 nxn의 입력을 받아받아 [[0, 0, 1, 0, 0], [0, 0, 0, 0, 0], [0, 0, 0, 0, 0], [0, 0, 0, 0, 0], [0, 0, 0, 0, 0]]과 같이 저장해주어야하는데 방식이 조금 어색했다. graph = [lis..

1. Motion Diffusion class모델 코드는 생각보다 간단해서 이해가 쉽다.class MotionDiffusion(nn.Module): def __init__(self, input_feats, nstyles, njoints, nfeats, rot_req, clip_len, latent_dim=256, ff_size=1024, num_layers=8, num_heads=4, dropout=0.2, ablation=None, activation="gelu", legacy=False, arch='trans_enc', cond_mask_prob=0, device=None): super().__i..

첫번째 문단speech-driven facial animation은 여러 분야에서 관심을 받고 있으며, 상업적으로 사용하기 위해 보통 사전에 작성된 script에 의해 facial expression을 제어하는데 이는 시간과 돈이 많이 든다. 이러한 문제에 딥러닝을 이용하면1) high quality의 animation을 만들 수 있을 뿐만 아니라2) 비용을 훨씬 절감할 수 있다.  두번째 문단하지만 current method는 facial expression에서 emotion으로 인한 variation을 무시하고 있는데, emotion은 굉장히 중요한 표현적 요소이기 때문에 facial animation에서 이가 없게 되면 불쾌한 골짜기를 유발할 수 있다. 그런데 emotional information..

https://ziqiaopeng.github.io/emotalk/ EmoTalkSpeech-driven 3D face animation aims to generate realistic facial expressions that match the speech content and emotion. However, existing methods often neglect emotional facial expressions or fail to disentangle them from speech content. To address this iziqiaopeng.github.ioSpeech-driven 3D face animation aims to generate realistic facial expressions..

SIGGRAPH 2024에 발표된 해당 논문의 코드를 사용하려고 한다. 그 전에 모델의 동작에 대해 확실하게 이해할 필요가 있어서 그 내용에 대해 정리하고자 한다.3.1 Motion Diffusion ModelMotion Diffsuion Model은 diffusion probabilistic model을 통해 모션 데이터를 생성하며,확산 과정과 디노이징 과정으로 나뉘는데확산과정에서는 초기 모션 데이터에 노이즈를 점진적으로 추가하고디노이징 과정에서는 신경망을 사용하여 노이즈를 역으로 제거하게 된다.3.2 Conditional Autoregressive Motion Diffusion Model본 논문에서 사용하는 구조는 Motion Diffusion Model을 확장한 Conditional Autoregr..

기존 내용 정리첫번재 문단speech로부터 3D 아바타의 얼굴을 animating하는 것은 가상환경이나 게임 등 다양한 곳에 적용될 수 있다.1. 이때 speaker의 특성에 구애받지 않고 다양한 speaker의 음성 데이터를 처리할 수 있어야하고,2. speech content랑 입의 모양이 일치해야한다. 그리고 emotion이 facial expression을 통해 드러나게 되는데, 이 분야는 잘 연구되고 있지만 speech를 하는 동안의 emotion modeling은 연구되지 않았다. 두번째 문단주요한 이슈는 emotion을 expressing하는 것과 audio에 맞게 입모양을 맞추는 것 사이의 충돌이 일어난다는 점이다. 이를 해결하기 위해 우리는 EMOTE network를 제안하였는데, 이 n..

하고자 하는 것Audio Input과 Emotion labels을 받으면, 해당 emotion에 적절하면서도 audio input에 맞는 speech facial animation을 생성할 수 있는 EMOTE framework 제안Datasetemotional speech에 대한 dataset은 존재하지 않음. 그래서 emotional video dataset인 MEAD dataset에서 reconstruction method 사용해서 생성한 data 사용.MEAD dataset에 포함된 감정 label을 사용하는 것이 아니라 emotion feature를 따로 extract해서 사용EMOCA’s public available emotion recognition network를 사용해서 emotion f..

Character Controllers Using Motion VAEs의 conditional VAE 부분을 기존에도 구현해서 사용하고 있었는데...다시 보니까 빠뜨린게 왜이렇게 많냐ㅠ 다시 확실하게 정리할 필요가 있을 것 같아서 코드 분석 & 논문에서 필요한 내용을 가져와 정리할 예정이다. 전체 코드는 아래의 링크에서 볼 수 있다. https://github.com/electronicarts/character-motion-vaes/tree/main GitHub - electronicarts/character-motion-vaes: Character Controllers using Motion VAEs Character Controllers using Motion VAEs. Contribute to el..