치킨고양이짱아 공부일지

저번시간에는 effectiveness를 좋게 하기 위한 regularization을 배웠음(퀄리티를 좋게 하기 위한 방법)이번 시간에는 efficiency를 좋게 하기 위한 optimization algorithm을 배울거임machine learning은 highly empirical process임→ 결과보고 tuning을 하는 과정이 계속 필요함deep learning은 big data를 가정하고 하는거!💡dataset도 크고 empirical process이기 때문에 training을 빨리하는 것이 매우 중요함 Batch vs mini-batch gradient descent우리 training data 전체를 하나의 matrix로 만들어서 계산했었음→ 근데 이 방법은 training data가 너..

effectiveness 와 efficiency는 다름→ effectiveness는 quality를 의미→ efficiency는 서비스 수행하는데 필요한 자원의 양(시간, 메모리)을 따지는거빠른데 메모리 엄청 많이 필요하고 이러면 efficiency 안좋은거사람 인식 진짜 정확하게 하는데 1년 걸리고 이러면 efficiency 안좋은거→ 오늘 배우는 regularziation은 effectiveness를 위한거즉 퀄리티를 높이기기 위한거!Train/Dev/Test Sets💡Data를 전부 training data로 쓰는게 아님! 일부는 성능 평가하는걸로 사용해야함→ 만약 training할 때 쓴 data로 성능평가하는데 사용한다면 성능이 왜곡될거임feature를 학습한게 아니라 그냥 외운건데 성능이 좋게..

What is a deep neural network?hidden layer가 2개 이상이면 deep neural network임→ hidden layer 없거나 1개면 “shallow” network→ hidden layer 2개 이상이면 “deep” networkDeep neural network notation→ 이때 input data를 가상의 뉴런의 출력값으로 봄x=a[0]x = a^{[0]}x=a[0]→ 마지막으로 출력되는 값은 이렇게 표현Forward propagation in deep neural networkForward propagation in deep networktraining data 하나에 대한 forward propagation → 그냥 이런식으로 우리가 알던대로 진행→ 그..

deep neural net을 배우기 전에 shallow neural net 먼저 배울거임What is Neural Network이제 뉴런 하나 쓰는게 아니라 뉴런 4개 쓰고 있음총 4개의 logistic regression이 2개의 layer로 연결된 상태표기에서 [i] → 이건 i 번째 layer 의미표기에서 (i) → 이건 i 번째 training data라는 의미training data가  이런식으로 주어질거임computation graph로 나타내면Neural Network Representationtraining data는 Input layer의 값과 output layer의 값으로 주어짐근데 중간 layer의 값은 실제로 값을 넣어봐야 나오는거기 때문에 training data에서 값을 명..

Logistic Regression: 이건 출력값이 binary 함 (0/1, true/false) → 이렇더라도 함수를 modeling할 때는 연속적인 함수를 씀→ 함수의 출력 값을 확률로 modeling해서 1에 가까우면 true로 판단, 0에 가까우면 false로 판단Binary Classificationneural net model 학습해서 사진 vector 값 주어지면 고양이 맞는지 아닌지 판단해서 결과값을 1 또는 0으로 맞추게 하는 함수를 만듬이 함수는 logistic regression 기법으로 modeling할 수 있음input은 아주 많은 픽셀들을 하나의 벡터로 만든거→ 각 숫자가 의미하는건 해당 픽셀의 각 color의 density→ 만약 사진이 64X64라면 → 사진의 dimensi..

AI(Artificial Intelligence) Artificial Intelligence(인공지능)→ 기계가 지능을 가진 것처럼 행동하도록 연구하는 분야→ 지능에는 high level, low level이 있음high level: 추상적 사고가 가능한가?를 기준으로 지능인지 판단함low level: 금붕어가 먹이 줄려고 하면 뻐끔거리는거, 모기가 살기 위해 피하는것과 같은것도 지능으로 봄⇒ 이렇게 지능은 사람마다 다르게 정의할 수 있음⇒ 우리 수업 시간에는 지능을 high level 기준으로 생각할거임Machine Learning(머신러닝)→ 고등학교 때까지 배운건 deduction(연역)만유인력 법칙 배우고, 공 어디 떨어질지 계산요약하면, 지식, 수학적 모델을 배우고 이걸로 data를 줬을 때 결..

Experiments and results * 본 실험에서는 모션 퀄리티랑 모션 스타일의 다양성을 테스트하기 위해 Lafan1 dataset을 주로 사용하였으며 generalizability(일반화 가능성)를 테스트하기 위해 Human3.6M dateset을 사용하였다. * 별 설명이 없더라도 모든 모델은 Lafan1 dataset으로 training 된 것이고, transition lengths는 5~30 frames이다. * test window는 65 frames이고 두 dataset의 Subject 5로부터 sampled 하였다. * 본 실험에서는 1) motion quality 2) transition quality 3) 본적 없는 시그널이 주어졌을 때 model generalizability ..

Implemenation Data formatting 본 연구에서는 LaFAN1 dataset과 Human3.6M dataset을 사용하였다. Human3.6 dataset을 사용할 때는 wrist 와 thumb joints를 제거하여 21 joints만 남겨두었고 Lafan1 dataset은 그냥 사용하였다. (Lafan1 dataset의 joint 수는 22개) 그리고 joint마다 다른 representation을 사용하였다. 아래의 8개 joint(Lower body joint)에 대해서는 position-based representation을 사용하였고 위의 joint(Upper joints)에 대해서는 rotation-based representation을 사용하였다. 모든 lower join..

Transition Sampling Real-time Controllable Motion Transition for Characters(1)에서 배운 CVAE를 통해서 motion manifold를 학습할 수 있긴 하지만 uncontrolled generation만 할 수 있다. CVAE에 해당되는 식을 보면, distribution이 S^t(target frame)와 z_dt(transition duration)에 conditioned 되어있지 않다. 따라서 S^t, z_dt에 conditioned된 P(M)을 Explicitly하게 학습하기 위해선 모든 possible duration동안 reverse Markov chain을 학습해야하는데, 이건 매우 까다로운 과정이다. 그래서 이 모델에서 택한건 ..

이 논문에서 소개하는 방법은 2가지의 components를 가지고 있다. 1) a natural motion manifold model: low level의 단거리 motion dynamics를 학습 2) sampler for motion generation: learned manifold로부터 target frame과 목표 transition duration을 만족하는 motion 생성 1) The Motion Manifold (n-1)개의 프레임으로 구성된 motion M = {S^1, ...S^n-1}을 생성하기 위해 각 프레임은 다음과 같이 표현된다. 여기서 p는 joint position, r은 joint rotation, v는 joint velocity를 의미한다. L은 Lower body j..