LG Aimers 4기 그리고 Advanced Classification Model

LG Aimers: AI전문가과정 4차

Module 4. 『지도학습(분류/회귀)』 

 

ㅇ 교수 : 이화여자대학교 강제원 교수 
ㅇ 학습목표 
Machine Learning의 한 부류인 지도학습(Supervised Learning)에 대한 기본 개념과 regression/classification의 목적 및 차이점에 대해 이해하고,  다양한 모델 및 방법 (linear and nonlinear regression, classification, ensemble methods, kernel methods 등)을 통해 언제 어떤 모델을 사용해야 하는지, 왜 사용하는지, 모델 성능을 향상시키는 방법을 학습하게 됩니다.

 

Advanced Classification Model
ㄴ Linear and non-linear model…

 

• Support vector machine (SVM)
• Neural network (NN)

-Support vector machine (SVM)
• Choose the linear separator (hyperplane) with the largest margin on either side
• Maximum margin hyperplane with support vectors
• Robust to outliers

Support vector : 
an instance with the minimum margin, which will be the most sensible data points to affect the performance

-Margin
• Twice the distance from the hyperplane to the nearest instance on either side

-Optimization
• Optimal weight 𝑤 and bias 𝑏
  • Classifies points correctly as well as achieves the largest possible margin
  • Hard margin SVM – assumes linear separability
  • Soft margin SVM – extends to non-separable cases
  • Nonlinear transform & kernel trick

-Optimization
constraints: linearly separable; hard-margin linear SVM
objective function: linearly separable; hard-margin linear SVM

-Problem of SVM
• What if the data samples are not linearly separable?

-Support Vector Machine
not linearly separable; Kernel Trick

• Data is not linearly separable in the input space

• Data is linearly separable in the feature space obtained by a kernel

kernel

-Radial-basis function (RBF) kernel
• Radial-basis function kernel

-Artificial neural network (ANN)
non-linear classification model

 

ANN

 

-Artificial neural network (ANN)
activation functions 

• Sigmoid neurons give a real-valued output that is a smooth and bounded function of their total input.
• Non-linearity due to the activation functions

-Artificial neural network (ANN)
deep neural network

deep neural network

-Artificial neural network (ANN)
multilayer perceptron

multilayer perceptron

 

• Multilayer Perceptron (MLP)
  • Proposed by Prof. Marvin Minsky at MIT (1969)
  • Can solve XOR Problem

 

 

-Artificial neural network (ANN)
ANN for non-linear problem

Observation
• There exists cases when the accuracy is low even if the # layers is high. Why?

Answer
• The result of one ANN is the result of sigmoid function (between 0 and 1).
• The numerous multiplication of this result converges to near zero.
 Gradient Vanishing Problem

-Breakthrough in Back Propagation
• Backpropagation (BP) barely changes lower-layer parameters (vanishing gradient)

Breakthrough
• Pre-training+ fine tuning
• Convolutional neural networks (CNN) for reducing redundant parameters.
• Rectified linear unit (constant gradient propagation)
• Dropout

Quiz
What answers are correct? Select all that apply.

A. Support vector machine can be applied to non-linear classification

Correct. 
Kernel transform converts an input into a new feature space so that data is linearly separable in the feature space obtained by a kernel

B. 
Neural network is a non-linear classifier given with an activation function, when a neuron produces an output. The performance is always improved with an increasing number of layers.

False. 
The performance degrades when gradients are vanishing through activation functions 


Summary

SVM
• Uses fewer support vectors in training data sets -> computationally efficient.
• For non linear data : use Kernel transformation

NN
• Provides a non-linear classification framework
• Needs elaborated training schemes to improve performance