치킨고양이짱아 공부일지

Object Detection→ classification 뿐만 아니라 발견된 위치까지 찾아줌OutlineClassification with localization→ 클래스 이렇게 4개 (보행자, 차, 오토바이, 배경)Car detection example학습시킬 때 동작시킬 때→ 동작할 때는 자른 이미지 넣어주는게 아니라 전체 이미지 넣어줌→ 근데 한꺼번에 넣어주는게 아니라 이런식으로 넣어줌Turning FC layer into convolutional layer(FC layer를 convolutional layer로 전환)Convolutional implementation of sliding windowsliding window는 filter의 stride와 다름→ sliding window 하나하나..

💡주로 컴퓨터 비전에서 사용하는 딥러닝 모델Computer Vision Problem💡이중에서 제일 쉬운 Image Classification 문제 살펴볼거임!Deep Learning on large images→ 근데 여기서 n의 크기는 얼마나 되는거냐? 엄청 크다!1000X1000 이미지라면 n=1000X1000그래서 이미지는 일반적으로 vector의 dimension이 큰 input을 다루는 문제이기 때문에이전 layer와 이후 layer의 모든 뉴런이 연결되어 있는 fully connected로 구현하게 되면weight의 dimension이 너무 큼!그래서 training data가 보통 많은게 아니고서야(training data 개수) < (weight matrix component 개수) 임⇒..

이때까지 한건 Supervised learning→ labeling한 데이터를 주는거지금부터 살펴볼건 Unsupervised learning→ labeling 안해주고 알아서 분류해라 하는거 ground truth를 안준다. → 대신 입력값이 생성되는 원리를 학습하거나 입력값을 알아서 clustering 해라!Supervised learningSupervised learning에서는 data를 이런식으로 줌Supervised learning에서의 목표는 다음과 같이 mapping 시켜주는 f를 학습하는거ex)→ Single object가 있을 때 뭔지 판별만 하는거: Classification model→ Single object가 있을 때 뭔지 판별하고 어디있는지 박스 만들어주는거: Classifica..

지금까지 출력은 1개였음근데 출력 여러개일 수 있다. 1개일 때랑 내용이 똑같음→ softmax function만 이해하면 된다!→ sigmoid가 softmax의 특이한 케이스임 Recognizing cats, dogs, baby chicks, and others 4X1 벡터에서 각 숫자가 의미하는건 이거첫번째 숫자: 아무데도 포함 안될 확률두번째 숫자: 고양이일 확률세번째 숫자: 개일 확률네번째 숫자: 병아리일 확률마지막 layer의 activation function으로는 softmax function 사용softmax 함수를 쓰면 이렇게 다양한 클래스로 나누는게 가능하다!Understanding softmax왜 결과가 확률이냐고 그러는데→ 다 합하면 1이고→ 각 숫자가 0과 1 사이의 값 가지니까..

HyperparmetersTry random values: Don’t use a grid→ 왼쪽처럼 grid 형태로 parameter를 발생시키지 마라!→ 오른쪽 처럼 random하게 parameter를 발생시켰을 때 성능 좋은 parameter를 더 빨리 찾을 수 있다.💡이유: parameter마다 민감도가 다르기 때문!Coarse to fineAppropriate scale for hyperparameter💡그래서 이 부분에서는 log scale에 uniform하도록 랜덤하게 해주는 것이 좋다! Hyperparmeters for exponentially weighted averages → β 가 0.9~0.9005 사이일 때는 별로 안중요함. 정밀하게 세팅할 필요가 없음→ β 가 0.9990~0.99..

저번시간에는 effectiveness를 좋게 하기 위한 regularization을 배웠음(퀄리티를 좋게 하기 위한 방법)이번 시간에는 efficiency를 좋게 하기 위한 optimization algorithm을 배울거임machine learning은 highly empirical process임→ 결과보고 tuning을 하는 과정이 계속 필요함deep learning은 big data를 가정하고 하는거!💡dataset도 크고 empirical process이기 때문에 training을 빨리하는 것이 매우 중요함 Batch vs mini-batch gradient descent우리 training data 전체를 하나의 matrix로 만들어서 계산했었음→ 근데 이 방법은 training data가 너..

effectiveness 와 efficiency는 다름→ effectiveness는 quality를 의미→ efficiency는 서비스 수행하는데 필요한 자원의 양(시간, 메모리)을 따지는거빠른데 메모리 엄청 많이 필요하고 이러면 efficiency 안좋은거사람 인식 진짜 정확하게 하는데 1년 걸리고 이러면 efficiency 안좋은거→ 오늘 배우는 regularziation은 effectiveness를 위한거즉 퀄리티를 높이기기 위한거!Train/Dev/Test Sets💡Data를 전부 training data로 쓰는게 아님! 일부는 성능 평가하는걸로 사용해야함→ 만약 training할 때 쓴 data로 성능평가하는데 사용한다면 성능이 왜곡될거임feature를 학습한게 아니라 그냥 외운건데 성능이 좋게..

What is a deep neural network?hidden layer가 2개 이상이면 deep neural network임→ hidden layer 없거나 1개면 “shallow” network→ hidden layer 2개 이상이면 “deep” networkDeep neural network notation→ 이때 input data를 가상의 뉴런의 출력값으로 봄x=a[0]x = a^{[0]}x=a[0]→ 마지막으로 출력되는 값은 이렇게 표현Forward propagation in deep neural networkForward propagation in deep networktraining data 하나에 대한 forward propagation → 그냥 이런식으로 우리가 알던대로 진행→ 그..

deep neural net을 배우기 전에 shallow neural net 먼저 배울거임What is Neural Network이제 뉴런 하나 쓰는게 아니라 뉴런 4개 쓰고 있음총 4개의 logistic regression이 2개의 layer로 연결된 상태표기에서 [i] → 이건 i 번째 layer 의미표기에서 (i) → 이건 i 번째 training data라는 의미training data가  이런식으로 주어질거임computation graph로 나타내면Neural Network Representationtraining data는 Input layer의 값과 output layer의 값으로 주어짐근데 중간 layer의 값은 실제로 값을 넣어봐야 나오는거기 때문에 training data에서 값을 명..

Logistic Regression: 이건 출력값이 binary 함 (0/1, true/false) → 이렇더라도 함수를 modeling할 때는 연속적인 함수를 씀→ 함수의 출력 값을 확률로 modeling해서 1에 가까우면 true로 판단, 0에 가까우면 false로 판단Binary Classificationneural net model 학습해서 사진 vector 값 주어지면 고양이 맞는지 아닌지 판단해서 결과값을 1 또는 0으로 맞추게 하는 함수를 만듬이 함수는 logistic regression 기법으로 modeling할 수 있음input은 아주 많은 픽셀들을 하나의 벡터로 만든거→ 각 숫자가 의미하는건 해당 픽셀의 각 color의 density→ 만약 사진이 64X64라면 → 사진의 dimensi..