LG Aimers 4기 그리고 머신러닝을 위한 수학, Optional Course

LG Aimers: AI전문가과정 4차

Module 2. 『Mathematics for ML

ㅇ 교수 : KAIST 신진우 교수 
ㅇ 학습목표 
본 모듈은 AI기술을 이해하기 위한 바탕이 되는 수학적 지식을 학습하기 위한 과정입니다.
이에 관하여 행렬 분해, 블록 최적화, 주성분 분석 등 데이터를 다루기 위한 방법을 학습하게 됩니다.

Lecture 1: Matrix Decompositions
(1) Determinant and Trace
(2) Eigenvalues and Eigenvectors
(3) Cholesky Decomposition
(4) Eigendecomposition and Diagonalization
(5) Singular Value Decomposition

Summary
• How to summarize matrices: determinants and eigenvalues
• How matrices can be decomposed: Cholesky decomposition, diagonalization,
singular value decomposition

Determinant: Properties
(1) det(AB) = det(A) det(B)
(2) det(A) = det(AT)
(3) For a regular A, det(A−1) = 1/ det(A)
(4) For two similar matrices A, A0
(i.e., A0= S^−1AS for some S), det(A) = det(A0)


Lecture 2: Convex Optimization
(1) Optimization Using Gradient Descent
(2) Constrained Optimization and Lagrange Multipliers
(3) Convex Sets and Functions
(4) Convex Optimization

Summary
• Training machine learning models = finding a good set of parameters
• A good set of parameters = Solution (or close to solution) to some optimization problem
• Directions: Unconstrained optimization, Constrained optimization, Convex optimization
• High-school math: A necessary condition for the optimal point: f(x) = 0 (stationary point)
◦ Gradient will play an important role

Lecture 3: Principal Component Analysis
(1) Problem Setting
(2) Maximum Variance Perspective
(3) Eigenvector Computation and Low-Rank Approximations
(4) PCA in High Dimensions

PCA Algorithm
S1. Centering. Centering the data by subtracting mean
S2. Standardization. Divide the data points by the standard deviation for every
dimension (original feature) d = 1, . . . , D
S3. Eigenvalue/vector. Compute the M-largest eigenvalues and the
eigenvectors of the data covariance matrix (M is the dimension that needs
to be reduced)
S4. Projection. Project all data points onto the space defined by the
eigenvectors (i.e., principal subspace).
S5. Undo standardization and centering.

사실 이번에 머신러닝을 위한 수학을 배우겠다 해서 조금 설렜는데 너무 어려웠다...
1시간 30분만에 이걸 다 설명하실 교수님도 힘들 거 같았고 나름 2학년 1학기 선형대수학 성적을 잘 받아서 자신이 있었는데 30분 듣고 거의 포기했다. 그래서 완벽한 이해를 목표로 하기보다 우선 어느정도 들어 놓으면 3학년 1학기 수업을 들을 때 편하거나 나중에 한번 더 접했을 때 쉽게 다가갈 수 있겠지로 했다.

그렇게 심란한 마음으로 좀 찾아보니 Optional Course에 

기초(수학,통계, 트렌드)
 [선형대수] KOOC : AI 비전공자를 위한 기초 수학 1: 선형대수학
 [선형대수] 3Blue1Brown : Essence of linear algebra
 [확률/통계] Seeing Theory : Basic Probability/Compound Probability/Probability         Distributions/Frequentist Inference/Basyesian Inference/Regression Analysis
 [수학/계산] 3Blue1Brown : Essence of calculus
 [확실성 및 추정이론] Havard Univ. : Introduction to Probability

프로그래밍&데이터 분석
 [프로그래밍/툴] Harvard Univ. : Introduction to Artificial Intelligence with Python
 [빅데이터/데이터분석/데이터마이닝] Harvard Univ. : Data Science: R Basics

인공지능
 [인공지능 기초/특강] Udacity : Intro to Artificial Intelligence

딥러닝
 [심층학습/강화학습/다층학습] Stanford Univ. : Reinforcement Learning
 [심층학습/강화학습/다층학습] MIT : Introduction to Deep Learning
 [컴퓨터 비전/인식/영상] Stanford Univ. : CS231N Convolutional Neural Networks for Visual Recognition (비쥬얼 인식을 위한 CNN)
 [컴퓨터 비전/인식/영상] Georgia Tech. : Introduction to Computer Vision
 [언어(NLP,NLU,STT)] Stanford Univ. : Natural Langugage Processing Understanding
 [언어(NLP,NLU,STT)] Stanford Univ. : Natural Language Processing with Deep Learning

기타
 [로봇/로보틱스/자율주행] Stanford Univ. : Introduction to Robotics
 [기타 산업응용(융합)] Stanford Univ. : Computer Science for Business Professionals
 [로봇/로보틱스/자율주행] 세종대학교 : 로보틱스 강의 (곽관웅 교수)

이렇게 많은 선택 강의들이 있었다.
다 듣기보다 필요한 거 재미있어 보이는 것들 위주로 들어보면서 완벽히 흡수 보다는 듣는 것에 의의를 두고 다음에 접할 때 남들보다 좀 더 친숙히 다가가는 것이 목표이다.