사용안내 및 노트

☐ Reducing Loss - Learning Rate

 ○ learning rate = step-size

  - new weight = existing weight – (learning rate x gradient)

  - hyper parameter의 일종

  - next point를 계산하는데 사용되며 프로그래머가 직접 설정

  - 너무 작으면 학습 시간이 길어지고

  - 너무 크면 분산되어 minimum을 찾지 못함

  - gradient가 작으면 상대적으로 큰 값으로 설정해도 된다.

 ○ 실무에서 완벽한 또는 완벽에 가까운 learning rate를 찾는 것은 필수사항이 아니다. converging이 가능한 충분한 크기의 learning rate를 사용하면 된다.