치킨고양이짱아 공부일지

개념 이해하기Latent Diffusion은 기존 Diffusion Model의 연산 부담을 줄이기 위해 나온 모델이다. 기존 diffusion model은 고해상도 이미지 공간에서 직접 노이즈를 제거해야하다보니 계산량이 너무 많았다. latent diffusion은 이에 주목하여 이미지를 먼저 autoencoder를 통해 압축된 latent space로 옮겨서 latent 공간에서 diffusion을 수행한 뒤 마지막에 다시 이미지를 복원한다. u net이 노이즈 제거시에 latent값과 추가조건(ex: text embedding)을 함게 고려하면서 노이즈를 제거할 수 있기 때문에 conditioning이 가능하다 코드 뜯어보기사전 학습된 Stable Diffusion 모델이 돌아가도록 하는 코드를 통..

1. 딥러닝 개념 및 기본 이론(1) 딥러닝이란 무엇인가?딥러닝은 인공 신경망(Artificial Neural Networks, ANN)을 기반으로 한 머신러닝의 한 분야이다. 여러 층(layer)로 이루어진 신경망을 사용하여 복잡한 데이터에서 패턴을 학습하고 추출할 수 있다. 대표적인 딥러닝 모델로는 합성곱 신경망(CNN), 순환 신경망(RNN), 변환자(Transformer) 등이 있다. (2) 딥러닝과 머신러닝의 차이점은 무엇인가?머신러닝: 컴퓨터가 데이터를 기반으로 학습하여 패턴을 인식하고 예측하는 기술. 주로 특징(feature)을 사람이 직접 설계해야 함.딥러닝: 딥러닝은 머신러닝의 한 분야로, 인공 신경망을 이용하여 데이터에서 자동으로 특징을 추출하는 능력을 갖춤. 따라서 딥러닝은 보다 복잡..

다익스트라 알고리즘은 음의 가중치가 없는 그래프에서, 한 vertex에서 모든 vertex들까지의(one-to-all) 최단거리를 구하는 알고리즘이다.그럼 알고리즘의 내용을 살펴보자. 설명에서d[N]:  출발 vertex -> N 까지 계산된 최단거리S: 방문한 노드들의 집합Q: 방문하지 않은 노드들의 집합를 의미한다.아래와 같은 네트워크에서 A->F까지의 최단 거리 계산을 목표로 하는 상황이라고 가정하자.1. 다익스트라 알고리즘은 아직 확인되지 않은 거리를 모두 무한(infinity)로 설정한다.최단거리 update출발지로부터 출발지까지의 거리는 무조건 0이기 때문에 d[A] = 0으로 설정한다.d[나머지 node]= infinity로 설정이되어있는데 실제로 무한이라는 의미는 아니고, 아직 확인되지 않..

SVM은 지도 학습 알고리즘으로, 주로 분류(classification) 문제에 사용됩니다. SVM은 기존의 분류방법들과 기본원리가 크게 다르다.신경망을 포함하여 기존의 방법들은 분류 '오류율을 최소화'하려는 목적으로 설계되었다.하지만 SVM은 한 발짝 더 나아가 두 부류 사이에 존재하는 '여백을 최대화'하려는 목적으로 설계되었다.좀 더 구체적으로 SVM에 대해 알아보자. SVM의 목표는분류 문제에서 데이터를 최대한 분리하는 최적의 초평면(hyperplane)을 찾는 것이다.이 초평면은 두 개의 클래스 사이의 마진을 최대화하는 것을 목표로 한다.마진은, 초평면과 가장 가까운 데이터 포인트(서포트 벡터) 간의 거리를 의미한다.SVM은 기본적으로 선형 분류 문제에 사용되지만, 커널 트릭(kernel tric..

한 점으로부터 물체를 바라보는 direction vector, up vector가 주어졌을 때, viewing matrix를 어떻게 구할 수 있을까?viewing matrix란?일단, viewing matrix가 무엇인지부터 알아보자. viewing matrix M_v는 world space 상의 좌표인 p_w를 camera space상의 좌표인 p_v로 바꿔주는 matrix이다. (즉, p_v = M_v @ p_w가 성립하는 matrix이다.) 어떠한 방식으로 구할 수 있을까?object space 상의 좌표를 world space상의 좌표로 바꿔주기 위해p_w = (object space를 world space상에서 표현한 matrix) @ p_o가 성립했던 것을 떠올리면,p_w = (camera s..

VAE에 대해선 다들 알고 있을 것이다. 내가 작성했던 아래의 포스트에서도 VAE에 대한 설명을 제공하고 있다.https://chickencat-jjanga.tistory.com/3 VAE 설명들어가기에 앞서 * AE와 VAE는 이름이 유사하지만, 수학적으로는 아무런 관련이 없음 * VAE는 Generative model임! * Generative model? training data가 주어졌을 때 이 data가 sampling 된 분포와 같은 분포에서 새로chickencat-jjanga.tistory.comVAE를 간단하게 복습해보자면, VAE(Variational Autoencoder)는 데이터를 잠재 공간(latent space)으로 압축한 후 다시 복원하는 방법론을 제공한다. VAE는 잠재 공간을..

supervised contrastive learning을 하기 위해 공개된 코드를 사용해야할 일이 생겼다. 아무리 가져온 코드라 하더라도 이해하지 않고 사용하는건 말이 안되는 것 같아, 해당 코드를 분석하는 포스트를 작성하고자 한다.🍀 코드 출처: https://ffighting.net/deep-learning-paper-review/self-supervised-learning/supervised-contrastive-learning/ Supervised Contrastive Learning - 딥러닝 논문 리뷰Supervised Contrastive Learning 논문의 핵심 내용을 리뷰합니다. Supervised Contrastive Learning의 제안 방법을 살펴봅니다. 마지막으로 성능 비..

Triplet LossTriplet Loss는 딥러닝 기반의 임베딩 학습에서 자주 사용되는 손실 함수이다. 해당 손실 함수를 사용하면, 주어진 데이터들의 관계를 고려하여 임베딩 공간에서 특정한 거리를 유지하도록 학습하는데 도움을 준다. Triplet Loss는 이름에서도 추측할 수 있듯이 세가지 샘플(triplet set)로 구성된 입력 데이터(Anchor, Postive, Negative)를 사용하여 정의된다. Triplet Loss의 구성요소1) Anchor(A): 기준이 되는 데이터 포인트2) Postive(P): Anchor와 같은 클래스에 속하는 데이터 포인트3) Negative(N):Anchor과 다른 클래스에 속하는 데이터 포인트 Triplet Loss의 목표Triplet Loss의 주요 목..

Soft Actor-Critic: Off-Policy Maximum Entropy Deep Reinforcement Learning with a Stochastic Actor에서 제안하는 방법론에 대한 컨셉을 이해하는 글이다. 1. Soft Actor-Critic(SAC)란? SAC는 오프-폴리시(off-policy) 액터-크리틱(actor-critic) 기반 딥 강화학습 알고리즘이다. SAC의 기본 아이디어는 "standard maximum reward reinforcement leraning에 entropy term을 추가해서 단순히 reward를 최대화하는 것 뿐만이 아니라, 엔트로피를 최대화하면서 정책의 탐험을 장려"하는 것이다. 즉, task를 수행하면서 가능한 무작위로 행동하려고 하기 때문에,..