매개변수 갱신 신경망 학습의 목적은 매개변수의 최적값을 찾는 문제(손실함수의 값을 가능한 한 낮추는 매개변수를 찾는 것)이다. 이러한 문제를 푸는 것을 최적화(optimization)이라 한다. 확률적 경사 하강법(SGD: Stochastic Gradient descent)- SGD는 단순하고 구현도 쉽지만, 문제에 따라서 비효율적일 때가 있다. - 비등방성(anisotropy)함수(방향에 따라 기울기가 달라지는 함수)에서는 탐색 경로가 비효율적이다. 코드class SGD: def __init__(self, lr=0.01): self.lr = lr def update(self, params, grads): for key in params.keys(): ..
