치킨고양이짱아 공부일지

supervised contrastive learning을 하기 위해 공개된 코드를 사용해야할 일이 생겼다. 아무리 가져온 코드라 하더라도 이해하지 않고 사용하는건 말이 안되는 것 같아, 해당 코드를 분석하는 포스트를 작성하고자 한다.🍀 코드 출처: https://ffighting.net/deep-learning-paper-review/self-supervised-learning/supervised-contrastive-learning/ Supervised Contrastive Learning - 딥러닝 논문 리뷰Supervised Contrastive Learning 논문의 핵심 내용을 리뷰합니다. Supervised Contrastive Learning의 제안 방법을 살펴봅니다. 마지막으로 성능 비..

하고자 하는 것Audio Input과 Emotion labels을 받으면, 해당 emotion에 적절하면서도 audio input에 맞는 speech facial animation을 생성할 수 있는 EMOTE framework 제안Datasetemotional speech에 대한 dataset은 존재하지 않음. 그래서 emotional video dataset인 MEAD dataset에서 reconstruction method 사용해서 생성한 data 사용.MEAD dataset에 포함된 감정 label을 사용하는 것이 아니라 emotion feature를 따로 extract해서 사용EMOCA’s public available emotion recognition network를 사용해서 emotion f..

Triplet LossTriplet Loss는 딥러닝 기반의 임베딩 학습에서 자주 사용되는 손실 함수이다. 해당 손실 함수를 사용하면, 주어진 데이터들의 관계를 고려하여 임베딩 공간에서 특정한 거리를 유지하도록 학습하는데 도움을 준다. Triplet Loss는 이름에서도 추측할 수 있듯이 세가지 샘플(triplet set)로 구성된 입력 데이터(Anchor, Postive, Negative)를 사용하여 정의된다. Triplet Loss의 구성요소1) Anchor(A): 기준이 되는 데이터 포인트2) Postive(P): Anchor와 같은 클래스에 속하는 데이터 포인트3) Negative(N):Anchor과 다른 클래스에 속하는 데이터 포인트 Triplet Loss의 목표Triplet Loss의 주요 목..

Soft Actor-Critic: Off-Policy Maximum Entropy Deep Reinforcement Learning with a Stochastic Actor에서 제안하는 방법론에 대한 컨셉을 이해하는 글이다. 1. Soft Actor-Critic(SAC)란? SAC는 오프-폴리시(off-policy) 액터-크리틱(actor-critic) 기반 딥 강화학습 알고리즘이다. SAC의 기본 아이디어는 "standard maximum reward reinforcement leraning에 entropy term을 추가해서 단순히 reward를 최대화하는 것 뿐만이 아니라, 엔트로피를 최대화하면서 정책의 탐험을 장려"하는 것이다. 즉, task를 수행하면서 가능한 무작위로 행동하려고 하기 때문에,..

Character Controllers Using Motion VAEs의 conditional VAE 부분을 기존에도 구현해서 사용하고 있었는데...다시 보니까 빠뜨린게 왜이렇게 많냐ㅠ 다시 확실하게 정리할 필요가 있을 것 같아서 코드 분석 & 논문에서 필요한 내용을 가져와 정리할 예정이다. 전체 코드는 아래의 링크에서 볼 수 있다. https://github.com/electronicarts/character-motion-vaes/tree/main GitHub - electronicarts/character-motion-vaes: Character Controllers using Motion VAEs Character Controllers using Motion VAEs. Contribute to el..

기존의 Introudction 첫번째 문단 Facial animation은 컴퓨터 그래픽스에서 중요. 기존의 Facial animtation은 캐릭터마다 의미적으로 대응되는 blend shape rig를 설정해두고, 같은 표정을 지을 때는, 같은 blendshape 값을 직접적으로 넣어주는 식으로 캐릭터의 표정을 만들어냄 두번째 문단 이렇게 되면 expression을 수행할때마다 나타나는 개별적인 style을 무시하게 된다. 이런 style 정보들을 앞에서와 같은 방식으로 다루게 되면 style 정보가 blendshape 값에 baked되어버리게 됨 따라서 본 연구에서는 expression과 style 모두를 다룰 수 있는 모델을 제안하고자 함 세번째 문단 style은 서로 다른 근육 activation..

1. 논문 소개 An Implicit Physical Face Model Driven by Expression and Styles는 Siggraph Asia 2023에 디즈니리서치에서 발표한 논문으로, data-driven implicit neural physics model을 기반으로 한 새로운 face model을 제안하고 있다. https://www.youtube.com/watch?v=-qM_XUv-JhA 기존의 facial animation들은 보통 blendweight vector로 expression을 정의하여 다루게됨. 이때, 캐릭터마다 대응되는 blendshape rig를 설정하고, 같은 blendshape weight 적용해서 그들만의 style로 expression을 수행하도록 한다. ..

아주 많이 늦은 것 같지만...ㅋㅋㅎㅎㅎ 더 늦기 전에 정리하는 도쿄 여행! (사실 여행 같이 간 친구들이랑 배터지게 놀고와서 새벽에 소화가 안돼서 정리하는거😂) 올해 2월 1일부터 2월 4일까지 고등학교 친구들과 도쿄 여행을 다녀왔다. 친구들끼리 가는 첫 여행이기도 하구 너무 마음적으로 힘들때 도피처 느낌으로 예약한 여행이라 아주아주 기대가 많았당😀 그럼 1일차 정리 시작~~~~~~~!ᕕ( ᐛ )ᕗ2월 1일 아침에 소정이랑 유성쓰랑 공항에서 만났다! 먹짱답게 다같이 햄버거 야무지게 먹고 비행기 놓칠뻔함ㅋㅋㅋㅋㅋㅠ 국제선은 미리미리 준비합시다~~비행기에서 너무 심심해서 물리 문제 풀었다ㅋㅋㅋㅋㅋㅋㅋㅋ 나는 대치에서 물리 문제 제작 알바도 오래했는데..;; 1년 쉬었다고 1도 기억 안나는거 실화야? 답지가..

An Implicit Physical Face Model Driven by Expression and Styles의 Background 개념을 정리하는 글이다. Human bodies와 face -> activation object로, 내부적으로 형태를 변화시킬 수 있다. facial simulation에서는 이러한 actuation mechanism은 D_M(변형되지 않은 facial space)상에서 정의된 actuation tensor field를 사용하여 modeling한다. actuation tensor field는 local 3x3 symmetric matrices A들로 이루어져있는데 이 matrix들은 수축방향(contractile directions)과 정도에 대한 정보를 포함하고 있으며..

서로 다른 형태의 shape key를 가진 model을 호환시켜야할 필요성이 생겨, 방법을 찾아보다가 Faceit이라는 blender addon을 발견하게 되었다. 아직 사용해보진 못했지만..제공하는 주요기능들을 정리해보면 해당 기능을 필요로 하는 분들이 도움을 받을 수 있을 것 같아 정리해보게 되었다. https://blendermarket.com/products/faceit Faceit : Facial Expressions And Performance Capture Faceit - With Faceit you can ready your character model for high quality Animation in minutes! Safe weeks of work! blendermarket.com ..