덧셈, 곱셈 역전파덧셈, 곱셈 역전파 문제풀이(p.160)ReLU, Sigmoid 역전파Affine 역전파 배치용 Affine 역전파 Softmax-with-Loss 역전파(간소화) - Softmax는 입력값을 정규화(출력의 합이 1이 되도록)하여 출력한다. - 신경망에서 수행하는 작업은 학습, 추론이 있다. 추론에서 답을 하나만 내는 경우에는 가장 높은 점수만 알면 되어서 Softmax 계층은 필요 없지만, 학습할 때는 필요하다. - y는 Softmax 계층의 출력이고, t는 정답 레이블(One-Hot Encoding)이므로 역전파는 Softmax 계층의 출력과 정답 레이블의 차분이다. (역전파가 깔끔하게 떨어지는 이유는 Cross Entropy Error 함수가 그렇게 설계되었기 때문이다! 회귀의 출..
