치킨고양이짱아 공부일지

💡Deep Reinforcement Learning을 Deep Q Learning network 구조를 기반으로 설명할거임💡Deep Reinforcement Learning은 인공지능 분야 중에서도 엄청나게 인기를 끌고 있음. (Atari player, AlphaGo)Part1 - Q learningQ learningContextReinforcement learning💡Reinforcement learning의 대표적인 케이스가 Q-learning임2개의 function이 있음위의 함수를 사용해 다음과 같이 표기함목표: 미래 보상의 기댓값을 최대로 하는 action을 선택하는 policy function을 학습하는거!→ policy function은 이렇게 표기함Cumulative reward metri..

1. Generative 이름의 의미→ 생성하는 모델!→ 무엇을 생성하냐면 실제와 비슷한 분포를 가지는 그럴듯한 가짜 데이터를 생성한다!(seed vector를 주면 그럴듯한 가짜 데이터를 생성해냄)→ 랜덤하게 픽셀들 값 세팅한다고 언젠가 이미지가 되냐? 절대 아님!실제 데이터와 랜덤 데이터는 분포가 다름실제 데이터는 무언가 메커니즘에 의해 분포를 맞추면서 나타나진다. seed vector의 분포를 실제 데이터와 비슷하게 맞추어 그 메커니즘을 따라해보자는거지학습 진행 양상GAN으로 만든 예시💡즉, GAN의 목적은 이 가짜 데이터를 만들어주는 Generator 함수를 찾는거!Generator 함수 G2. Adversarial 이름의 의미adversarial: 적대적인 이라는 의미!Generator와 Dis..

CPU, GPU → 조금만 파괴시켜도 전체가 작동안함neural net, 뇌 → 일부분이 파괴되어도 전체가 망가지는건 아님. accuracy가 낮아질 뿐💡근데 뇌를 살펴보면 자기를 향하는 링크가 있음. RNN은 뇌와 마찬가지로 자기 layer의 뉴런으로의 링크를 허용하는 neural netMotivation우리가 이때까지 배웠던 neural net은 function(many to one)의 형태, 그리고 fixed size data만 다룸→ 같은 input을 넣으면 같은 output이 나옴근데 사람은 (one to many, many to many) 문제를 다루기도 하고 variable size data도 다룸ex) 자연어이런건 우리가 이때까지 배웠던 neural net으로 못다룸ex) variable ..

Object Detection→ classification 뿐만 아니라 발견된 위치까지 찾아줌OutlineClassification with localization→ 클래스 이렇게 4개 (보행자, 차, 오토바이, 배경)Car detection example학습시킬 때 동작시킬 때→ 동작할 때는 자른 이미지 넣어주는게 아니라 전체 이미지 넣어줌→ 근데 한꺼번에 넣어주는게 아니라 이런식으로 넣어줌Turning FC layer into convolutional layer(FC layer를 convolutional layer로 전환)Convolutional implementation of sliding windowsliding window는 filter의 stride와 다름→ sliding window 하나하나..

💡주로 컴퓨터 비전에서 사용하는 딥러닝 모델Computer Vision Problem💡이중에서 제일 쉬운 Image Classification 문제 살펴볼거임!Deep Learning on large images→ 근데 여기서 n의 크기는 얼마나 되는거냐? 엄청 크다!1000X1000 이미지라면 n=1000X1000그래서 이미지는 일반적으로 vector의 dimension이 큰 input을 다루는 문제이기 때문에이전 layer와 이후 layer의 모든 뉴런이 연결되어 있는 fully connected로 구현하게 되면weight의 dimension이 너무 큼!그래서 training data가 보통 많은게 아니고서야(training data 개수) < (weight matrix component 개수) 임⇒..

이때까지 한건 Supervised learning→ labeling한 데이터를 주는거지금부터 살펴볼건 Unsupervised learning→ labeling 안해주고 알아서 분류해라 하는거 ground truth를 안준다. → 대신 입력값이 생성되는 원리를 학습하거나 입력값을 알아서 clustering 해라!Supervised learningSupervised learning에서는 data를 이런식으로 줌Supervised learning에서의 목표는 다음과 같이 mapping 시켜주는 f를 학습하는거ex)→ Single object가 있을 때 뭔지 판별만 하는거: Classification model→ Single object가 있을 때 뭔지 판별하고 어디있는지 박스 만들어주는거: Classifica..

지금까지 출력은 1개였음근데 출력 여러개일 수 있다. 1개일 때랑 내용이 똑같음→ softmax function만 이해하면 된다!→ sigmoid가 softmax의 특이한 케이스임 Recognizing cats, dogs, baby chicks, and others 4X1 벡터에서 각 숫자가 의미하는건 이거첫번째 숫자: 아무데도 포함 안될 확률두번째 숫자: 고양이일 확률세번째 숫자: 개일 확률네번째 숫자: 병아리일 확률마지막 layer의 activation function으로는 softmax function 사용softmax 함수를 쓰면 이렇게 다양한 클래스로 나누는게 가능하다!Understanding softmax왜 결과가 확률이냐고 그러는데→ 다 합하면 1이고→ 각 숫자가 0과 1 사이의 값 가지니까..

HyperparmetersTry random values: Don’t use a grid→ 왼쪽처럼 grid 형태로 parameter를 발생시키지 마라!→ 오른쪽 처럼 random하게 parameter를 발생시켰을 때 성능 좋은 parameter를 더 빨리 찾을 수 있다.💡이유: parameter마다 민감도가 다르기 때문!Coarse to fineAppropriate scale for hyperparameter💡그래서 이 부분에서는 log scale에 uniform하도록 랜덤하게 해주는 것이 좋다! Hyperparmeters for exponentially weighted averages → β 가 0.9~0.9005 사이일 때는 별로 안중요함. 정밀하게 세팅할 필요가 없음→ β 가 0.9990~0.99..

저번시간에는 effectiveness를 좋게 하기 위한 regularization을 배웠음(퀄리티를 좋게 하기 위한 방법)이번 시간에는 efficiency를 좋게 하기 위한 optimization algorithm을 배울거임machine learning은 highly empirical process임→ 결과보고 tuning을 하는 과정이 계속 필요함deep learning은 big data를 가정하고 하는거!💡dataset도 크고 empirical process이기 때문에 training을 빨리하는 것이 매우 중요함 Batch vs mini-batch gradient descent우리 training data 전체를 하나의 matrix로 만들어서 계산했었음→ 근데 이 방법은 training data가 너..

effectiveness 와 efficiency는 다름→ effectiveness는 quality를 의미→ efficiency는 서비스 수행하는데 필요한 자원의 양(시간, 메모리)을 따지는거빠른데 메모리 엄청 많이 필요하고 이러면 efficiency 안좋은거사람 인식 진짜 정확하게 하는데 1년 걸리고 이러면 efficiency 안좋은거→ 오늘 배우는 regularziation은 effectiveness를 위한거즉 퀄리티를 높이기기 위한거!Train/Dev/Test Sets💡Data를 전부 training data로 쓰는게 아님! 일부는 성능 평가하는걸로 사용해야함→ 만약 training할 때 쓴 data로 성능평가하는데 사용한다면 성능이 왜곡될거임feature를 학습한게 아니라 그냥 외운건데 성능이 좋게..