치킨고양이짱아 공부일지

하고자 하는 것Audio Input과 Emotion labels을 받으면, 해당 emotion에 적절하면서도 audio input에 맞는 speech facial animation을 생성할 수 있는 EMOTE framework 제안Datasetemotional speech에 대한 dataset은 존재하지 않음. 그래서 emotional video dataset인 MEAD dataset에서 reconstruction method 사용해서 생성한 data 사용.MEAD dataset에 포함된 감정 label을 사용하는 것이 아니라 emotion feature를 따로 extract해서 사용EMOCA’s public available emotion recognition network를 사용해서 emotion f..

Character Controllers Using Motion VAEs의 conditional VAE 부분을 기존에도 구현해서 사용하고 있었는데...다시 보니까 빠뜨린게 왜이렇게 많냐ㅠ 다시 확실하게 정리할 필요가 있을 것 같아서 코드 분석 & 논문에서 필요한 내용을 가져와 정리할 예정이다. 전체 코드는 아래의 링크에서 볼 수 있다. https://github.com/electronicarts/character-motion-vaes/tree/main GitHub - electronicarts/character-motion-vaes: Character Controllers using Motion VAEs Character Controllers using Motion VAEs. Contribute to el..

기존의 Introudction 첫번째 문단 Facial animation은 컴퓨터 그래픽스에서 중요. 기존의 Facial animtation은 캐릭터마다 의미적으로 대응되는 blend shape rig를 설정해두고, 같은 표정을 지을 때는, 같은 blendshape 값을 직접적으로 넣어주는 식으로 캐릭터의 표정을 만들어냄 두번째 문단 이렇게 되면 expression을 수행할때마다 나타나는 개별적인 style을 무시하게 된다. 이런 style 정보들을 앞에서와 같은 방식으로 다루게 되면 style 정보가 blendshape 값에 baked되어버리게 됨 따라서 본 연구에서는 expression과 style 모두를 다룰 수 있는 모델을 제안하고자 함 세번째 문단 style은 서로 다른 근육 activation..

1. 논문 소개 An Implicit Physical Face Model Driven by Expression and Styles는 Siggraph Asia 2023에 디즈니리서치에서 발표한 논문으로, data-driven implicit neural physics model을 기반으로 한 새로운 face model을 제안하고 있다. https://www.youtube.com/watch?v=-qM_XUv-JhA 기존의 facial animation들은 보통 blendweight vector로 expression을 정의하여 다루게됨. 이때, 캐릭터마다 대응되는 blendshape rig를 설정하고, 같은 blendshape weight 적용해서 그들만의 style로 expression을 수행하도록 한다. ..

An Implicit Physical Face Model Driven by Expression and Styles의 Background 개념을 정리하는 글이다. Human bodies와 face -> activation object로, 내부적으로 형태를 변화시킬 수 있다. facial simulation에서는 이러한 actuation mechanism은 D_M(변형되지 않은 facial space)상에서 정의된 actuation tensor field를 사용하여 modeling한다. actuation tensor field는 local 3x3 symmetric matrices A들로 이루어져있는데 이 matrix들은 수축방향(contractile directions)과 정도에 대한 정보를 포함하고 있으며..

서로 다른 형태의 shape key를 가진 model을 호환시켜야할 필요성이 생겨, 방법을 찾아보다가 Faceit이라는 blender addon을 발견하게 되었다. 아직 사용해보진 못했지만..제공하는 주요기능들을 정리해보면 해당 기능을 필요로 하는 분들이 도움을 받을 수 있을 것 같아 정리해보게 되었다. https://blendermarket.com/products/faceit Faceit : Facial Expressions And Performance Capture Faceit - With Faceit you can ready your character model for high quality Animation in minutes! Safe weeks of work! blendermarket.com ..

blender에서 Armature(뼈대)에 Mesh를 연결하는 방법을 알아보자. 아래의 그림에서 왼쪽의 skeleton이 Armature(뼈대)에 해당하며, 오른쪽 아래의 사람 모양이 Armature에 연결하고자 하는 Mesh이다. 아래의 그림은 Object Mode에서 보았을때의 화면을 캡쳐한 것으로, Armature가 rest pose를 취하고 있지 않아 Mesh의 pose와는 차이가 있는 상태이다. Edit Mode에서의 화면을 보면, 위와 같이 Mesh와 Armature의 모양이 잘 일치하는 것을 볼 수 있다. 이러한 상황에서, 이 둘을 연결하는 방법을 알아보자. 1) 다시 Object 모드로 돌아가서, Mesh를 클릭해준 다음, shift 키를 누른 상태로 armature를 선택하여 Mesh와 ..

pytorch tensor를 사용하다보면 dimension을 늘려줘야하는 상황이 많이 발생한다. 이때 많이 사용하는 함수가 torch.expand, torch.repeat, torch.repeat_interleave이다. 상황마다 쓰기 편리한 함수들이 있는데 매번 까먹어서;; 내가 보려고 작성하는 비교 글이다. 1) torch.expand(*size) torch.expand 함수는 개수가 1인 차원에 대해서만 확장이 가능하며, desired size를 input으로 받는다. >>> x = torch.tensor([[1], [2], [3]]) >>> x.size() torch.Size([3, 1]) >>> x.expand(3, 4) tensor([[1, 1, 1, 1], [2, 2, 2, 2], [3, 3..

blender에서는 다양한 종류의 matrix를 사용하고 있다. Posebone.matrix, Posebone.matrix_basis, bone.matrix_local...등 다양한 종류의 matrix가 등장하는데..각각의 의미와 이들간의 관계에 대해서 알아보자. Posebone.matrix: armature space에서의 bone의 transformation을 의미한다. 만약 object가 rest pose를 취하고 있다면 Posebone.matrix의 값은 bone.matrix_local의 값과 동일하다. Posebone.matrix_basis: bone space(rest pose에 대해 표현한다는 의미)에 대한 bone의 transformation 값을 담고 있다. bone.matrix_loca..

1) parent joint에 대해 표현된 joint orientation obj = bpy.data.objects['원하는 오브젝트 이름'] pb = obj.pose.bones['원하는 posebone이름'] rotation_matrix = (pb.bone.matrix_local @ matrix_basis @ pb.bone.matrix_local.inv()).to_3x3() 위의 코드를 거치면 blender 상에서 joint의 orientation을 구할 수 있다. opengl 상에서의 orientation을 구하고 싶다면, def blender_to_opengl(mb): mb = np.array(mb) mo = np.array([ [mb[0, 0], mb[0, 2], -1 * mb[0, 1]], [m..