치킨고양이짱아 공부일지

PyToch DataLoader를 사용하는 방법 및 epoch, batch, iteration 개념에 대해 살펴보자. epoch, batch, iteration 개념 epoch: 전체 데이터 셋을 반복하는 횟수 전체 데이터셋으로 forward propagation(순전파)와 backward propagation(역전파)가 완료되면 1번의 epoch가 진행되었다고 보면 된다. 반복적인 학습을 통해 높은 정확도의 모델을 만들 수 있다. epoch 값을 너무 낮게 설정하면 underfitting, 너무 높게 설정하면 overfitting이 발생할 확률이 높아진다. batch size: forward와 backward에서 한번에 학습할 데이터 수 모델 학습 중 parameter를 업데이트 할 때 사용할 데이터 ..

머신러닝을 진행할 때, 네트워크가 어떻게 학습이 되고 있는지 확인하기 위해서는 loss 그래프 등을 확인할 필요가 있다. 이때 흔히 사용하는 것이 TensorBoard이다. Tensorboard는 다음과 같은 기능을 제공한다. 손실 및 정확도와 같은 측정항목 추적 및 시각화 모델 그래프(작업 및 레이어) 시각화 시간의 경과에 따라 달라지는 가중치, 편향, 기타 텐서의 히스토그램 확인 저차원 공간에 임베딩 투영 이미지, 텍스트, 오디오 데이터 표시 TensorFlow 프로그램 프로파일링 그 외 다양한 도구 그럼 Pytorch에서 Tensorbard를 어떻게 사용할 수 있을지 알아보자! 1. SummaryWriter 인스턴스 생성하기 import torch from torch.utils.tensorboard..

Rotation Matrix 기존에 딥러닝에서 많이 사용하던 rotational representation은 Rotation matrix이다. continuous하게 1-to-1 mapping을 할 수 있다는 장점이 있지만 9 numbers를 딥러닝에 다 사용하기엔...부담스러운 면이 많다. 그래서 최근에 많이 사용하는 rotation representation은 6D Rotational Representation이다. 6D Rotational Representation 어렵게 생각할 필요가 없는게 기존의 rotation matrix에서 column 2개만 가져오면 된다. 두 colmns만 가져오면 나머지 하나의 column은 cross product를 사용해 구할 수 있다. (rotation matri..

오늘두 역시나 gesture generation 관련 논문 리뷰! 작년 Siggraph Asia에서 직접 발표를 들었던 논문이라 더 반갑게 읽었던 것 같다. 그때도 생각했던거지만 다시봐도 결과물의 퀄리티가 꽤 괜찮다. 교수님 허락만 맡으면 논문세미나에서 발표할 생각이라 꽤 열심히 읽었지롱 https://arxiv.org/abs/2209.07556 ZeroEGGS: Zero-shot Example-based Gesture Generation from Speech We present ZeroEGGS, a neural network framework for speech-driven gesture generation with zero-shot style control by example. This means s..

딥러닝 모델을 학습시키기 위해 가장 먼저 필요한 준비물은 "데이터"이다. 주어진 데이터를 효과적으로 활용하기 위해, pytorch에서는 Dataset 클래스를 제공하고 있다. pytorch의 Dataset 클래스를 활용해서 학습을 위한 데이터셋을 어떻게 만들 수 있을지 알아보자. step1. 클래스 정의 사용할 모듈은 다음과 같다. import os import torch from torch.utils.data import Dataset from PIL import Image import torchvision.transforms as transforms 커스텀 데이터셋을 만들기 위해 클래스를 만들어보자. class MyBaseDataset(Dataset): def __init__(self, x_data,..

집중안되는데 용케 다 읽었다..고생했으 https://arxiv.org/abs/2009.02119 Speech Gesture Generation from the Trimodal Context of Text, Audio, and Speaker Identity For human-like agents, including virtual avatars and social robots, making proper gestures while speaking is crucial in human--agent interaction. Co-speech gestures enhance interaction experiences and make the agents look alive. However, it is difficult ..

blender에서 keyframes들을 일정한 비율로 늘리거나 줄여 keyframe 총 개수를 바꾸는 방법이다. 방법1: Blender 창에서 하는 방법 1) Timeline 창 띄우기 위와 같이 창을 띄우면 animation 정보가 Timeline 창에 나타난다. 키보드 A를 누르면 모든 animation 전체가 클릭된다. 2) scaling 시키기 참고로 현재 frame을 기준으로 scaling 된다. 보통의 경우 current frame을 첫번째 frame으로 맞춰놓고 사용하면 된다. 키보드 S 버튼을 누르면 기준 frame(현재 frame)을 기준으로 마우스 커서의 위치에 따라 원하는 만큼 scaling 시킬 수 있다. 커서를 이리저리 옮기면서 원하는 만큼 keyframe들이 scaling 되었다..

https://tutorials.pytorch.kr/beginner/blitz/neural_networks_tutorial.html 신경망(Neural Networks) 신경망은 torch.nn 패키지를 사용하여 생성할 수 있습니다. 지금까지 autograd 를 살펴봤는데요, nn 은 모델을 정의하고 미분하는데 autograd 를 사용합니다. nn.Module 은 계층(layer)과 output 을 반환하는 for tutorials.pytorch.kr 위의 글을 보면서, 내가 이해하기 쉽게 정리한 내용이다. 난 정리하면서 이해하는 편이라...처음 보는 사람들은 위의 글을 참고하는게 더 이해가 쉬울듯하다. 1. Neural Network 설계 설계해볼 Neural Network는 숫자 이미지를 분류하는 신..

https://lava.kaist.ac.kr/?page_id=6467 https://arxiv.org/abs/2202.05274 Motion Puzzle: Arbitrary Motion Style Transfer by Body Part This paper presents Motion Puzzle, a novel motion style transfer network that advances the state-of-the-art in several important respects. The Motion Puzzle is the first that can control the motion style of individual body parts, allowing for local style e arxiv.org..

https://netease-gameai.github.io/ChoreoMaster/ ChoreoMaster Networks ChoreoMaster netease-gameai.github.io ChoreoMaster 논문에서는 음악을 Input으로 받아 그에 맞는 춤동작을 생성하는 framework를 제안하고 있다. 결과 영상을 보면, 음악에 어울리는, 꽤나 퀄리티가 좋은 동작을 생성해내는 것을 알 수 있다. 전체적인 구조를 살펴보면 위와 같다. Choreographic Oriented Choreomusical Style Embedding 부분과 Choreographic-Oriented Choreomusical Rhythm Embedding 부분을 나눠서 살펴보자. 1. Choreographic Orien..