728x90
728x90
기존의 Introudction
첫번째 문단
- Facial animation은 컴퓨터 그래픽스에서 중요.
- 기존의 Facial animtation은 캐릭터마다 의미적으로 대응되는 blend shape rig를 설정해두고, 같은 표정을 지을 때는, 같은 blendshape 값을 직접적으로 넣어주는 식으로 캐릭터의 표정을 만들어냄
두번째 문단
- 이렇게 되면 expression을 수행할때마다 나타나는 개별적인 style을 무시하게 된다. 이런 style 정보들을 앞에서와 같은 방식으로 다루게 되면 style 정보가 blendshape 값에 baked되어버리게 됨
- 따라서 본 연구에서는 expression과 style 모두를 다룰 수 있는 모델을 제안하고자 함
세번째 문단
- style은 서로 다른 근육 activation에 의해 나타난다는 점에 주목해서 physics based actuation model을 사용함
- 기존의 physical face model이 종종 있었는데 마지막에 나온 Yang의 연구는 single identity에 대해서 개별 muscle actuation style을 학습하는 연구였음
- 본 연구에서는 여러 identities에 걸쳐 나타나는 actuation style의 미묘한 뉘앙스를 학습하기 위해선 multi identity를 동시에 학습시키고자함
네번째 문단
- 이러한 목적을 위해 디자인적으로 다음과 같은 결정을 함
- implicit neural network를 사용해서 simulation mesh를 일일히 생성하는 노동집약적인 과정 줄임
- 각 개인은 unique material space을 가지도록 하였음. 하지만 이러한 개별 space에서 학습을 시키면 공통적인 특징을 놓치는 것 같아 shared canonical space상에 mapping을 시켜 학습을 시킴
- 직접적인 control을 위해 expression을 전통적인 blendshape weight 값을 사용해 표현함, 반면에 style은 개인마다 고유한 style code를 사용함
다섯번째 문단
- multi identity training을 하게 되면서 몇가지 흥미로운 부분들이 가능해짐
- actuation을 identities를 넘어서서 학습을 하게 됨. 따라서 training 하기 위해 같은 expression을 여러 identity가 수행한 데이터 필요없음
- 또한 identity specific한 style을 학습하고 이 사이에 interpolation 하는 것이 가능
- physics based model이라 여러 physical effect를 표현하는게 가능
새로운 Introudction
첫번째 문단
- Facial animation은 body animation가 더불어 인간의 비언어적 행위에서 매우 중요한 요소
- Facial animation을 통해 사람들은 자신의 감정을 전달하기도 하고, 자신의 상황을 설명하기도 함
- 이러한 Facial animation을 잘 시뮬레이션 하는 것은 사실적인 애니메이션을 위해 굉장히 중요하다
두번째 문단
- Facial animation은 중요한만큼 굉장히 미묘한 영역이기도 함
- 개별마다 나타나는 표정에는 고유의 style이 있다.
- 이러한 style은 생김새가 비슷하다고 같게 나오는 것도 아니며, 서로 다른 생김새를 가진 사람들끼리도 비슷한 style로 표정을 생성하기도 함
세번째 문단
- 사람마다의 고유한 스타일은 한 사람만 분석한다고 터득할 수 있는게 아님
- 여러 사람들끼리의 비교를 통해 그들간의 차이를 통해서 터득할 수 있는 부분
- 우리는 이를 위해 multi-identity를 한번에 학습하는 방식을 택함
- 이때, 이들간의 공통적으로 나타나는 특징을 학습하기 위해 canonical space 상에서 mapping을 시켜 학습을 진행하였음
네번째 문단
- 또한 사람마다의 style이 근육에서 나온다는 점을 고려하여 phyics-based actuation model로 설계를 하였으며, identity 별의 스타일을 성공적으로 학습시키는 것을 확인함
- 성공적인 학습의 결과로, style retargeting, style interpolation과 같은 작업들이 가능함을 확인함
다섯번째 문단
- 물리 기반으로 동작하기 때문에 더 사실적인 face model을 생성할 수 있으며 여러 물리 효과를 시뮬레이션 할 수 있다.
728x90
728x90