[LG Aimers] 지도학습(분류/회귀)4 - Advanced Classification

 

LG Aimers 학습 내용을 정리한 글입니다.

 

 

 

Margin : SVM의 핵심 아이디어, postivie sample을 지나가는 점선과 negative sample을 지나가는 점선의 사이에 위치한 hyper plane이 최대 margin을 확보할 수 있는 최적화이다.

Support Vector Machine(SVM) :  Choose the linear separator(hyperplane) with the largest margin on wither side.

  Support vector : an instance with the minumum margin, which will be the most sensicle data points to affect the                                      performance.

  → Support vector 거리를 가장 최대화 하도록 하는 maximum margin을 설정해야 한다. 

Optimization : 

 SVM Optimization 1. Hard margin SVM : assumes linear seperability (support vector 사이의 영역에는 어떠한 샘플도 존재하지 않을 것으로 생각)

 SVM Optimization 2. Soft margin SVM : extends to non-seperable cases (어느정도 error는 용인)

 SVM Optimization 3. Nonlinear transform & Kernel trick : SVM이 linear separable한 hyper plane을 이용해 수행하기 때문에 linear한 경우에만 사용할 수 있다는 단점을 극복, 2차원의 샘플을 보다 고차원의 샘플로 맵핑하는 함수를 이용해 수행

 

Hard margin SVM : SVM에서 풀고자하는 문제는 ||w||를 최소화하여 margin을 극대화하는 것이다. 이를 SVM Primal Problem이라고 여긴다.

Kernal함수 : linearly sepable하지 않은 data sample들이 있다고 할 때, 그 차수를 높여 linearly sepable하게 만드는 과정

Nonlinear transform & Kernel trick

kernel에서 사용하는 주요 기법

 

 

 

Artificial neural network(ANN) : Nonlinear Classification Model, Deep Neural Network(DNN)의 기본

 

 

 Actication Functions : Sigmoid, ReLU, Leaky ReLU, tanh

  → 해당 함수들(ReLU)은 미분을 하더라도 gradient가 1로 수렴되어 학습이 멈추지 않는다. 그러나 Sigmoid는 Z 값이 크거나 작을 경우 gradient가 너무 작아 학습을 진행함에 따라 학습량이 계속 작아지는 문제가 있다.

 

DNN 

 

XOR 문제 : linear plane을 통해서 해결할 수 없는 대표적인 문제, 어떤 방향으로 plane을 그려도 0과 1을 정확히 구별할 수 없다.

  → Multilayer Perceptron(MLP)을 이용하면 XOR Problem도 간단히 해결할 수 있다.

 

→ nerual network는 linear classification 문제에서 수행할 수 없는 non-linear한 문제들을 잘 해결하며, 고차원의 신호나 이미지와 데이터에 더 정확하게 동작한다.

→  Gradient Vanishing Problem :DNN의 계층이 커질수록 Gradient가 줄게되어 깊은 레이어에서 학습이 제대로 되지 않는다.

Backapropagation(BP) ,Breakthrough : Pre training + fine tuning

 

요약

• SVM : support vector의 개념을 이용해서 hyper plane을 그림으로 효과적인 데이터에 linearly sepable이라는 모델을 가지게 되므로 분류를 할 수 있는 효과적인 classfication model이다. (nonlinear한 모델에도 Kernel transformation과 같은 기술을 통해 대응이 가능하다.)
• NN  : non-linear classication framework로 activation function에 의해서 non-linear 문제들을 해결할 수 있다.

 

출처 : https://www.lgaimers.ai/