GgongssLog

인공신경망 신경망 알고리즘 = 딥러닝 = 다층 퍼셉트론 무작정 layer수가 많더라도 성능이 낮을 수 있기에 모델을 간소화하면서 성능을 높일 수 있는 방법을 찾아야함. 얼마나 deep한 신경망을 사용해야하는지 예측 불가. 사람이 설정해줘야하는 많은 Hyper Parameter가 존재 입력, 출력이 직접 연결되지 않아 비선형성 포함. 구성된 층만큼 더 다양한 패턴학습(회귀)가능 인공신경망의 구조 : 입력층, 은닉층, 출력층 // 특징들은 가중치를 의미 + 신경망 : 많은 숫자로 구성된 행렬 뉴런 : 입력에 가중치를 곱한 뒤 활성화 함수를 취하면 출력을 얻음. 뉴런에서 학습할떄 변하는 것은 가중치. 가중치는 처음 초기화를 통해 랜덤값을 넣고, 학습과정에서 점차 일정한 값으로 수렴 배치 정규화 (Batch N..

Auto ML(Automated Machine Learning) 이란? : 기계학습 적용 과정을 자동화 하는 것. : 기계학습 적용시 적합한 모델을 찾기 위해 활용되는 모델 기계학습 적용과정 1) Data Preprocessing : 데이터 전처리 - 데이터를 모델에 활용할 수 있는 형태로 변형. null값 제거, 자료형 수정 등 2) Feature Engineering : 특징 공학 - 데이터에서 특징을 얻는 과정. - 특징 추출 (Feature Extraction) : 데이터를 조합하여 새로운 특징을 얻어내는 것. 새로운 변수 생성 - 특징 선택 (Feature Selection) : 주어진 특징 중 적합한 특징을 선택하는 과정. 기존에 존재하던 특징값인 데이터 값중 선택 or 추출된 특징 중 선택 ..

등장배경 데이터 과학자가 모델을 만들고, 해당 모델을 서비스에 적용하기 위해 API서버, Batch job과 같이 개발된 모델을 위한 endpoint가 제공되어야함. 이런 endpoint 개발을 위해서는, 소프트웨어 개발과 마찬가지로 Infrastructure 설계, 개발, CI/CD와 같이 고려되어야 할 것들이 많음. MLOps는 머신러닝 시스템을 사용자에게 빠르게 전달하는 것이 목표 모델의 서비스적용의 어려움, 모델 성능추적의 어려움, 모델과 데이터 관리의 어려움, 협업의 어려움 MLOps 개념 MLOps의 목표는 DevOps의 목표와 마찬가지로 사용자에게 서비스를 빠르게 전달하는 개발문화. (코드 통합) : 머신러닝 개발은 데이터 더미에서 유의미한 학습 데이터 만들기, 알고리즘 구현, 하이퍼 파라미..

pandas?! : 파이썬 라이브러리, 구조화된 데이터를 효과적으로 처리하고 저장 : Array 계산에 특화된 Numpy를 기반으로 설계 Series??! : Numpy의 array가 보강된 형태. Data와 Index를 가지고 있음 : 값(value)을 ndarray형태로 갖고 있음 # csv형태로 저장 df.to_csv('./df.csv') # excel형태로 저장 df.to_excel('df.xlsx') #csv 파일 불러오기 df = pd.read_csv('./df.csv') #excel 파일 불러오기 df = pd.read_excel('df.xlsx') import pandas as pd data = pd.Series([1,2,3,4]) print(data) #0 1 #1 2 #2 3 #3 4 ..

추후 참고를 위한 기록~! 파라미터 (Parameter) : 한국어로 매개변수, 모델 내부에서 결정되는 변수, -> ex) 정규분포에서 평균과 표준편차 -> 사용자가 직접 설정하는것이 아니라 모델링에 의해 자동 결정되는 값. -> 측정되거나 데이터로부터 학습되어짐 하이퍼 파라미터 (Hyper parameter) : 모델링할 때 사용자가 직접 세팅해주는 값. -> ex) learning rate나 서포트 벡터 머신에서의 C, sigma값, KNN에서의 K값, 은닉층의 뉴런 개수, 에포크(epoch), 배치사이즈 (batch size), 반복(iteration) 등 -> 하이퍼 파라미터는 정해진 최적의 값이 없음. 휴리스틱한 방법이나 경험법칙에 의해 결정하는 경우가 많음 -> 베이지안 옵티마이제이션처럼 자동..