DL\ML/기본개념 (5) 썸네일형 리스트형 [DL/기본개념] 옵티마이저(Optimizer) 종류 📍목차 1. 옵티마이저란? 2. 옵티마이저의 종류 1. 옵티마이저(Optimizer)란? 손실함수를 사용해서 구한 오차를 이용하여 미분을 하여 기울기를 구하고 이를 통해 어떻게 파라미터를 업데이트 할지 결정하는 방법이다. 방법에는 아래 사진과 같이 여러 종류가 있다. 2. 옵티마이저의 종류 1. SGD ( Stochastic Gradient Descent; 확률적 경사하강법 ) 미니배치 단위로 가중치와 편향이 업데이트 배치로 학습하는 이유는 full-batch로 epoch마다 weight를 수정하지 않고 빠르게 mini-batch로 weight를 수정하면서 학습하기 위해 2. Momentum 관성의 방향을 고려해 진동과 폭을 줄이는 효과 SGD의 느린 학습 속도와 협곡과 안장점을 만났을 때 학습이 안되는.. [DL/기본개념] 역전파(Backpropagation) 알고리즘과 경사 하강법(Gradient descent) 📍목차 1. 역전파 알고리즘이란? - 순전파 - 역전파 - 신경망 학습 과정 2. 경사 하강법이란? - 최적화 과정 - 수식 유도 - 한계점 1. 역전파 알고리즘이란? 1.1 순전파(Forward Propagation) 순전파는 입력층에서 입력된 신호가 은닉층의 연산을 거쳐서 출력층에 값을 내보내는 과정. 1. 입력층으로부터 데이터를 입력받음 2. 입력된 데이터를 가중치 및 편향과 연산한 뒤에 더해준다 3. 가중합을 통해 구해진 값은 활성화 함수를 통해 다음 층으로 전달된다 1.2 역전파(Backpropagation) 알고리즘 역전파란 역방향으로(출력층-> 입력층) 오차를 전파시키면서 각 층의 가중치를 업데이트하고 최적의 학습 결과를 찾아가는 방법이다. 출력값에 대한 입력값의 기울기(미분값)을 출력층 l.. [DL/기본개념] 손실함수(Loss Function) 개념 및 종류 📍목차 1. 손실함수란? 2. 손실함수의 종류 1. 손실함수 (Loss Function)란? 손실함수는 머신러닝/딥러닝 에서 모델이 예측한 값과 실제 정답의 차이를 나타내는 함수이다. '학습 중에 알고리즘이 얼마나 잘못 예측하는지'를 확인하기 위한 함수로 최적화를 위해 오차를 최소화하는 것이 목적인 함수이다. 손실(loss)가 커질수록 학습이 잘 안되고 있음을 나타낸다. 모델을 학습하는 과정은 즉, 손실함수를 최소화 하는 가중치와 편향을 찾는 것이 목표이다. 손실함수를 목적함수, 비용함수 라고도 혼용해서 부르는데 정의는 완전히 다르다 손실함수 : 입력으로 받은 데이터를 하나씩 모두 오차를 계산하는 방식 비용함수 : 입력으로 들어온 데이터를 기반으로 모든 데이터의 비용을 계산하는 방식 목적함수 : 말그대로.. [DL/기본개념] 활성화 함수(Activation Function) 개념 및 종류 📍목차 1. 활성화 함수란? 2. 활성화 함수 종류 2.1 계단함수 2.2 sigmoid 2.3 tanh 2.4 softmax 2.5 relu 2.6 leaky relu 1. 활성화 함수란? 활성화 함수(Activation Function)란 입력 신호의 총합을 출력 신호로 변환하는 함수를 말한다. 입력 신호의 총합이 활성화를 일으키는지를 정하는 역할이다. 활성화 함수는 비선형(non-linear)을 표현 할 수 있게 해준다. 선형 함수란 1개의 곧은 직선으로 나타나는 함수이고 비선형 함수는 직선 하나로는 그릴 수 없는 함수이다. 신경망에서 선형 함수를 사용하면 신경망의 층을 깊게 하는 의미가 없어진다. 선형 함수를 아무리 합성해도 선형 함수이기 때문이다. 따라서 여러개의 층을 쌓기 위해서는 비선형 함수.. [DL/기본개념] 퍼셉트론(Perceptron) 개념 📍목차 1. 퍼셉트론이란 2. 퍼셉트론 종류 2.1 단층 퍼셉트론 2.2 다층 퍼셉트론 1. 퍼셉트론(Perceptron) 이란 사람의 뇌 신경세포의 동작과정을 흉내내어 만든 수학적 모델이 퍼셉트론이다. 퍼셉트론은 인공 신경망(Aritificial Neural Network, ANN)의 구성 요소(unit)로서 다수의 값을 입력받아 하나의 값으로 출력하는 알고리즘이다. 퍼셉트론의 구조는 입력층과 출력층이라는 2개의 층으로 구성되는 단순한 구조 원을 뉴런 또는 노드라고 하며 x는 입력신호, y는 출력신호, w는 가중치를 뜻한다 뉴련에서 전달 받은 신호의 총합이 임계값을 넘을 때만 1을 출력 2. 퍼셉트론 종류 퍼셉트론의 종류는 입력층과 출력층 사이에 은닉층의 존재 여부에 따라 단층(single-layer).. 이전 1 다음
