소프트맥스 함수 (softmax function) 소프트맥스 함수는 N개의 요소값을 가지는 벡터에서 각 요소간 상대적인 확률을 구하고자 할 때 적용하는 함수이다. 예를 들어, 데이터를 N개의 개체로 분류하는 모델이 있을때, 그 모델의 최종 출력 백터(N개의 요소를 가진)에서 모든 요소를 기준으로 특정 요소의 비율을 표현한 것이다. 소프트맥수 함수는 분류 모델에서 최종 출력층의 활성화 함수(active function)로 사용한다. 소프트플러스 함수(softplus function) 소프트플러스 함수는 활성화 함수 중에 하나다. 활성화 함수는 신경망에서 정보를 전달할 때 희소성(sparsity)을 증가시키기 위해서 사용된다. 희소성이란 의미 있는 정보는 1에 가깝게 하고 무의미한 정보는 0에 가깝게 하는 ..