zlzon

이 글은 'Batch Normalization: Accelerating Deep Network Training by ReducingInternal Covariate Shift' 논문리뷰 입니다. 아직 공부하는 학생이라 부족한 부분이 많을수 있다는 점 유의하여 읽어주시면 감사하겠습니다. 피드백은 언제나 환영입니다. Abstracct Deep Neural Networks이 학습되는 동안 각 layer의 input값 변화는 학습을 복잡하게 한다. 이러한 문제점은 Learning rate감소, careful parameter initialization, saturating nonlinearities를 야기한다. 이러한 현상을 'internal covariate shift' 라고 부르며, layer input을 ..

이 글은 VGGNet 이라 불리는 'Very Deep Convolutional Networks for Large-Scale Image Recognition' 논문리뷰 입니다. 또한, 저도 아직 공부하는 학생이라 부족한 부분이 많을수 있다는 점 유의하여 읽어주시면 감사하겠습니다. 피드백은 언제나 환영입니다. ILSVRC 2014 에서 1, 2등을 차지한 GoogleNet과 VGGNet은 이전모델들에 비해 매우 깊어진다. (8 layers -> 19, 22 layers) ILSVRC 2012에서 우승한 AlexNet(8 layers) 과 비교하여 VGG(16 - 19 layer)는 2배가량 깊어졌다. VGGNet은 항상 이웃픽셀을 포함할 수 있는 가장 작은 필터 3 * 3 필터만 사용한다. 이렇게 작은 필터..

이 글은 'AlexNet', 'ImageNet Classification with Deep Convolutional Neural Networks' 논문리뷰 입니다. 저도 아직 공부하는 학생이라 부족한 부분이 많을수 있다는 점 유의하여 읽어주시면 감사하겠습니다. 피드백은 언제나 환영입니다. AlexNet은 ILSVRC-2012에서 우승한 최초의 CNN 기반 우승모델이다. 3. The Architecture AlexNet은 기본적으로 conv - pool - normalization 구조가 두 번 반복되며, 마지막에는 FC-layer가 몇 개 붙는다 3. 1 ReLU 일반적으로 activation function으로 tanh, sigmoid를 사용하는 것과 달리 AlexNet에서는 activation fun..

이 글은 'ResNet', 'Deep Residual Learning for Image Recognition' 논문리뷰 입니다. 저도 아직 공부하는 학생이라 부족한 부분이 많을수 있다는 점 유의하여 읽어주시면 감사하겠습니다. 피드백은 언제나 환영입니다. Abstrct 딥러닝에서 NN(Neural Networks)는 깊어질수록 train은 더 어려워진다. 그래서 이 논문에서는 residual learning framework 을 이용해 깊은 신경망에서도 training이 쉽게한다. 함수를 새로 만드는 방법 대신에 residual function을 train에 사용하는 것으로 layer를 재구성한다. 또한 ResNet 은 데이터를 이용한 실험을 통해 optimize를 더 쉽게하고, 더 깊은 모델에서도 acc..