목록sgd (1)

동까의 코딩

Easy! 딥러닝 chapter 2-2

최적화 및 검증 기법 정리이 글에서는 딥러닝 모델 학습 시 중요한 웨이트 초기화 방법, 경사 하강법 변형, 최적화 알고리즘, 그리고 검증 및 교차 검증 기법에 대해 정리합니다.1. 웨이트 초기화 (Weight Initialization)신경망 학습의 안정성과 속도는 초기 웨이트(가중치) 설정에 크게 의존합니다. 일반적으로 웨이트는 평균이 0인 랜덤 값으로 초기화하며, 분산은 각 초기화 기법에 따라 조절합니다.대표적인 초기화 방식은 다음과 같습니다:Yann LeCun 초기화:주로 sigmoid나 tanh 활성화 함수에 적합하며, 입력 뉴런의 수에 기반하여 분산을 설정합니다.Xavier (Glorot) 초기화:입력과 출력 뉴런의 수를 고려하여 분산을 조절, 양방향 흐름에 적합한 초기화 방법입니다.Kaimin..
ML, DL 2024. 12. 26. 20:40
이전 Prev 1 Next 다음