치킨고양이짱아 공부일지

Batch normalization과 Input normalization은 모두 데이터 정규화 기술이지만, 방식과 적용되는 시점에서 차이가 있다. 1) Batch normalization Batch normalization은 각 mini batch의 평균과 표준편차를 계산하고, 이를 사용하여 입력을 정규화하는 방식이다. normalization 작업이 별도의 과정으로 떼어진 것이 아니라 신경망 안에 포함되어, normalization 작업 역시 학습과정에서 같이 조절되게 된다. 즉, 각 레이어마다 정규화하는 레이어를 두어, 변형된 분포가 나오지 않도록 조절하는 것이 batch normalization이다. normalization 작업 역시 학습 과정에서 조절된다. 따라서 위의 식에서 베타와 감마는 학습..

Pod관련있는 하나 이상의 containers 집합depolyment(배포)의 basic unit이다.each pod는 자신만의 IP, hostname, process, newtork interface 및 다른 Resource를 가진다.-> 위의 그림을 보면 하나의 worker node에 두 개 이상의 pod가 있을 수 있으며 각 pod마다 ip가 다름 -> 참고로, pod는 컨테이너의 실행단위이며, depolyment는 애플리케이션의 배포와 업데이트를 관리하는 쿠버네티스 리소스. depolyment를 사용하여 pod를 만들고 관리할 수 있음.Behind the Scenes1) 'kubectl' 명령을 사용하여 쿠버네티스에 depolyment를 생성하도록 지시한다. depolyment는 쿠버네티스에서 애..

Paradigm shift of computing Model80, 90년대) 워크스테이션이나 고정된 서버가 있고 client로 PC가 있음 2000년대) peer-to-peer로 넘어감Client/Server 아키텍쳐서버는 powerful, reliable 해야함클라이언트는 최소한의 리소스만 가지고 있어야함ex) WWW(Http), FTP, Web service(http 말하는게 아니라 별도의 웹서비스가 있었음. 프로토콜도 별도로 soup라는게 있었음)Client/Server Limitation모든걸 서버가 처리하다보니 scalability 측면에서 제한이 무조건 있게 된다.물리적으로 communication line의 용량 제한이 있을수밖에 없음. request를 모두 같은 지점에서 처리하다보니 병목현..

Skip Connection이라는 개념을 활용해 Residual Block을 연속적으로 쌓아 깊은 네트워크를 형성했음에도 불구하고 좋은 성능을 가지는 ResNet에 대해 알아보자. 등장 배경 기존의 네트워크들은 네트워크 깊이가 깊어지면 gradient vanishing과 같은 치명적인 문제가 발생하게 된다. 네트워크를 깊게 쌓으면서도, gradient vanishing 문제가 발생하지 않는 방법이 없을까 하는 고민에서 등장한 network가 Residual Network(ResNet)이다. 네트워크가 깊어질수록 Optimize(Train)하는 것이 어렵기 때문에 Deep Network는 Shallow Network만큼의 퍼포먼스를 보이지 않는다. 하지만 ResNet은 gradient vanishing 문..

overview Diffusion Model은 data를 만들어내는 deep generative model 중 하나로, data로부터 Noise를 조금씩 더해가면서 data를 완전한 Noise로 만드는 1) Forward diffusion process와 이와는 반대로 Noise로부터 noise를 조금씩 제거해나가면서 입력 data와 유사한 확률 분포를 가지는 결과 data를 생성해나가는 2) reverse diffusion process를 활용한다. 위의 그림에서 x_0가 원본 data이며 forward diffusion process에서는 여러 단계에 걸쳐 noise를 추가해나가며 완전한 noise x_T를 만들어낸다. reverse diffusion process에서는 x_T로부터 Noise를 제거..