역전파(Back Propagation) 그림과 수식으로 쉽게 이해하기
아마 딥러닝을 공부할 때 가장 먼저 접하게 되는 것이 신경망(Perceptron)일 것이다. 가장 기초가 되는 부분이지만, 대부분의 서적이나 자료를 찾아보면 복잡한 수식과 기호들로 이해하기가 힘든 경우가 많다. 아래는 한개의 은닉층과 각 층마다 3개의 노드를 가진 예시로 델타규칙(Delta rule을 통한 역전파의 원리를 설명한다. 하지만 미분에 대해선 미분 전의 식과 후의 결과만을 표시하였으므로, 미분에 대한 사전 지식이 필요할 것이다. 본격적으로 역전파를 통한 가중치 갱신을 해보기 전에 몇 가지 정해야 할 사항들이 있다. 아래에 사항들의 대해서 자세한 설명은 이 포스트에서는 생략한다. 첫 째로는 활성함수(Activation Function) 인 데, 최근에는 ReLu 등 다른 활성함수를 많이 사용하는..
Data Analysis/Deep Learning
2020. 8. 11. 14:06