[LG Aimers] Deep Neural Networks 딥러닝1 - DNN

LG Aimers 학습 내용을 정리한 글입니다.

 

 

1. Deep Neural Network(DNN) 심층신경망

 - Big data, GPU acceleration, Algorithm improvements이 필요하다. 

 

Perceptron : 뉴런 동작 과정을 수학적으로 본따서 만든 알고리즘

Single layer perceptron

 

Single layer perceptron - AND Gate, OR Gate

Decision Boundary : output으로 나오는 0과 1의 경계를 정하는 선

input feature space : input x1과 x2의 좌표공간, decision boundaty에 의해서 양분된다. 

 

Multi layer perceptron XOR Gate

 

Tensorflow Playground   에서 놀아보기

 

Forward Propagation

     : multi-layer perceptron에서의 순차적인 계산과정

     - 활성함수 : sigmoid - 0에서 1사이의 실수값

 

첫번째 layer의 계산

두번째 layer 계산

       ex) MNIST Classification Model

MSE loss

              → MSE loss의 문제점 : 특정 class에서의 예측 값과 참 값의 차이가 최대 1이 될 수가 있고, 거기에서 발생하는 학습에 사용되는 gradient 값이 크지 않을 수 있다. (학습이 상대적으로 느려질 수 있다. )

 

  - softmax layer(softmax classifier) : multi-class classification을 목적으로 하여 output vector의 형태가 다 합쳤을 때 1이 나오는 확률분포의 형태로 output을 내어줄 수 있도록 하는 활성함수 

              → cross-entropy loss

            - Logistic Regression (special case of softmax classifier) : output 노드가 하나의 노드로 구성

              → binary cross-entropy loss

 

 

 

 

출처 : https://www.lgaimers.ai/