[용어정리] 파라미터와 하이퍼 파라미터

추후 참고를 위한 기록~!

 

파라미터 (Parameter) : 한국어로 매개변수, 모델 내부에서 결정되는 변수, 
-> ex) 정규분포에서 평균과 표준편차

-> 사용자가 직접 설정하는것이 아니라 모델링에 의해 자동 결정되는 값.

-> 측정되거나 데이터로부터 학습되어짐

 

하이퍼 파라미터 (Hyper parameter) : 모델링할 때 사용자가 직접 세팅해주는 값.
-> ex) learning rate나 서포트 벡터 머신에서의 C, sigma값, KNN에서의 K값, 은닉층의 뉴런 개수, 에포크(epoch),
배치사이즈 (batch size), 반복(iteration) 등

-> 하이퍼 파라미터는 정해진 최적의 값이 없음. 휴리스틱한 방법이나 경험법칙에 의해 결정하는 경우가 많음
-> 베이지안 옵티마이제이션처럼 자동으로 하이퍼 파라미터를 선택해주는 라이브러리도 있음. 

 

참고 링크

https://bkshin.tistory.com/entry/%EB%A8%B8%EC%8B%A0%EB%9F%AC%EB%8B%9D-13-%ED%8C%8C%EB%9D%BC%EB%AF%B8%ED%84%B0Parameter%EC%99%80-%ED%95%98%EC%9D%B4%ED%8D%BC-%ED%8C%8C%EB%9D%BC%EB%AF%B8%ED%84%B0Hyper-parameter

머신러닝 - 13. 파라미터(Parameter)와 하이퍼 파라미터(Hyper parameter)