An Implicit Physical Face Model Driven by Expression and Styles의 Background 개념을 정리하는 글이다.
Human bodies와 face -> activation object로, 내부적으로 형태를 변화시킬 수 있다. facial simulation에서는 이러한 actuation mechanism은 D_M(변형되지 않은 facial space)상에서 정의된 actuation tensor field를 사용하여 modeling한다.
actuation tensor field는 local 3x3 symmetric matrices A들로 이루어져있는데 이 matrix들은 수축방향(contractile directions)과 정도에 대한 정보를 포함하고 있으며, 회전성분을 포함하고 있지 않는다.
물리 기반 모델링에서는 actuation tensor field의 정의를 위해 아래와 같은 energy density function을 많이 사용한다.
(위의 식에서 F는 deformation gradient이며, rotation factor R은 F와 A 사이의 rotational difference를 제거하고 energy density를 rotationally-invariant하게 만든다.)
일반적으로 물리 기반 시뮬레이션에서는 시스템의 에너지를 나타내는 함수를 정의하고, 이 함수의 최소값을 찾아 시스템이 자연 상태에서 도달할 수 있는 가장 안정적인 상태를 예측하게 되는데, 우리의 경우 위의 식을 최소화시키는 actuation tensor field를 찾는 것이 목표이며, 이 방향으로 generative actuation network를 학습시키게 된다.
관련하여 두가지의 연구를 설명하고 있는데,
1. Srinivasan et al.[2021]에서는 discretization-attached actuation network를 제안하는데, 이는 muscle actuation mechanisms을 표방하고 있으며, latent activation space를 사용한다.
2. Yang et al. [2022]에서는 위의 연구를 더욱 발전시켜, actuation을 mateiral space에서의 continuous function으로 모델링하는 방법을 제안하였다. 이 방법론에서는 메시 이산화(메시를 삼각형이나 사각형 등으로 나누는 과정)에 대한 의존성을 제거하였으며, 순수하게 기하학적 방법에만 의존되는 이전 모델들과 구분된다. 훈련 후에는 데이터에 있는 표현 뿐만 아니라, 실제 물리적 원리를 학습해, 새로운 물리적 효과에 대해서도 일반화가 가능하다.
나머지 내용은 다른 글에서 정리할 예정...