꾸준히 기록해보자

머신러닝은 크게 3가지로 분류할 수 있다. 지도 학습 비지도 학습 강화 학습 그리고 딥러닝은 신경망을 베이스로 한 구조로 더 많은 학습변수를 사용할 수 있고 그 덕분에 비선형의 복잡한 문제를 다룰 수 있다. 지도학습(Supervised Learning) 지도학습은 레이블 있는 데이터로 학습하는 경우를 말한다. 예를 들어, 강아지 사진들과 강아지라는 값을 페어링한 데이터를 학습하는 것이다. 지도학습은 예측하거나 분류를 하기 위해 사용된다. 대표적인 지도학습 모델은 k NN 모델, 서포트 벡터 머신, 디시즌 트리이다. k NN 모델 학습 데이터에서 d개의 특성을 추출 한 후, d차원 공간에 위치 시킨다. 그리고 분류되지 않은 데이터가 새로 입력되면 d차원의 공간에 위치시킨 후 가까이 있는 k개의 데이터를 추..

모델링에서 가장 중요한 것은 손실 함수(비용 함수)를 최적화 시키는 것이라 생각한다. 손실 함수에 따라 모델링의 정확도가 달라지기 때문이다. 손실 함수, 비용 함수는 최소값을 찾는 함수여서 아래로 볼록한 함수를 갖는다. 그 최솟값을 경사하강을 사용하여 찾는다. 경사하강법는 최적화 기법으로 원리는 가장 가파른 방향을 선정하여 최솟값에 빠르게 도달하는 것이다. 그것을 테일러 급수로 표현할 수 있다. $$ f(x+\Delta x)=f(x)+\frac{f(x)'}{1!}\Delta x+\frac{f(x)''}{2!}\Delta x^2+\frac{f(x)'''}{3!}\Delta x^3 $$ 경사하강법 예제 예제는 y=3x+2라는 회귀식을 예측해보는 것이다. In [3]: import numpy as np imp..

소프트맥스 함수 (softmax function) 소프트맥스 함수는 N개의 요소값을 가지는 벡터에서 각 요소간 상대적인 확률을 구하고자 할 때 적용하는 함수이다. 예를 들어, 데이터를 N개의 개체로 분류하는 모델이 있을때, 그 모델의 최종 출력 백터(N개의 요소를 가진)에서 모든 요소를 기준으로 특정 요소의 비율을 표현한 것이다. 소프트맥수 함수는 분류 모델에서 최종 출력층의 활성화 함수(active function)로 사용한다. 소프트플러스 함수(softplus function) 소프트플러스 함수는 활성화 함수 중에 하나다. 활성화 함수는 신경망에서 정보를 전달할 때 희소성(sparsity)을 증가시키기 위해서 사용된다. 희소성이란 의미 있는 정보는 1에 가깝게 하고 무의미한 정보는 0에 가깝게 하는 ..