이것저것 공부 기록하기

교차검증이란? 머신러닝을 돌리기 전에 train test로 나눠 머신을 훈련한다. 하지만 이 훈련 때 학습 데이터에 과도하게 초점을 맞춰 머신이 훈련될 수가 있다. 이 같은 경우에는 훈련시에는 점수가 잘 나오지만 실제 테스트를 할 때는 점수가 잘 나오지 않는다. 이걸 과적합(overfitting)이라고 한다. 우리는 훈련시에 이 같은 과적합을 막아야 한다. 이걸 위해 교차검증 이란 것 을 사용한다. 교차검증이란 훈련 데이터 세트를 바꿔가면 훈련하면서 나온 평균을 정확도로 보는 방법을 뜻한다. 이렇게 훈련 데이터 세트를 교차하면서 검증을 하기에 교차 검증이라고 한다. # K-fold 교차검증 학습세트와 검증 세트를 나눠 반복해서 검증한다. 이걸 k값만큼의 폴드 세트에 k번의 학습과 검증을 한다. 이러한 방..

오픈 AI GPT 시리즈의 세 번째 논문이 공개되었씁니다!!!! GPT1 - Improving Language Understanding by Generative Pre-Training GPT2 - Language Models are Unsupervised Multitask Learners GPT3 - Language Models are Few-Shot Learners 2020/07/20 - [AI] - GPT-3, 이런 것도 된다고? GPT-3, 이런 것도 된다고? 오픈AI의 GPT-3가 할 수 있는 놀라운 일들 2020/06/22 - [AI] - [논문리뷰] GPT3 - Language Models are Few-Shot Learners [논문리뷰] GPT3 - Language Models are Fe..

실제로 이 세가지 함수에 대해 큰 차이를 두지 않지만, 미묘한 차이가 존재합니다. 1. Loss Function Loss Function은 single data set을 다룹니다. 2. Cost Function Loss Function의 합, 평균 에러를 다룹니다. 즉, single data set이 아니라 entire data set을 다룹니다. 그냥 순간순간의 loss를 판단할 땐 loss function을 사용하고 학습이 완료된 후에는 cost function을 확인하면 될 것 같습니다. 3. Objective function 모델(함수)에 대하여 우리가 가장 일반적으로 사용하는 용어로서 최댓값, 최솟값을 구하는 함수를 말합니다. 애초에 cost function과 loss function 모두 비용..

Linear Regression이란? Linear Regression은 OLS(Ordinary Least Square, 최소제곱법)이라고도 불리는 가장 오래된 회귀용 선형 알고리즘이다. Linear Regression의 Hypothesis는 다음과 같다. 기본적인 가정은 ${x}$와 ${Y}$가 선형관계라는 것이다. Linear Regrssion(선형 회귀)은 회귀분석(입력 변수 ${x}$의 정보를 활용하여 출력 변수 ${Y}$를 예측하는 방법)의 기본적인 방법이며, 이러한 선형회귀를 바탕으로 좀 더 복잡한 비선형회귀가 개발되기도 했다. 변수가 2개 이상이면 다중선형회귀라고 한다. 우선 여기서는 변수가 하나인 단순선형회귀부터 살펴보자. 단순선형회귀의 식은 다음과 같이 나타낼 수 있다. $${Y} = \b..

현재 저는 데이콘의 제주 신용카드 빅데이터 경진대회에 참가 중인데 제주 가중치에 대해 고민을 하며 오늘은 손실 함수 관련 포스팅을 올리게 되었습니다! https://dacon.io/competitions/official/235615/overview/ 제주 신용카드 빅데이터 경진대회 출처 : DACON - Data Science Competition dacon.io Loss Function, Cost Function, Objective Function의 차이 비용/손실을 표시하는 함수로는 Loss Function, Cost Function, Objective Function 이 있습니다. 모델을 학습할 때는 cost를 최소화하는 방향으로 진행되며, 비용이 최소화되는 곳이 성능이 가장 잘 나오는 부분입니다...

먼저, XGBoost와 lightGBM은 앙상블 알고리즘이므로 잠시 앙상블에 대해 간략히 다뤄보겠습니다. 앙상블(Ensemble)이란? 앙상블 학습은 여러 개의 결정 트리(Decision Tree)를 결합하는 것으로, 하나의 결정 트리보다 알고리즘 성능을 더 높일 수 있습니다. 앙상블 학습을 통해 약한 분류기(Weak Classifier) 여러 개를 결합해서 강한 분류기(Strong Classifier)를 만들 수 있습니다. 머신러닝 앙상블은 크게 배깅(Bagging), 부스팅(Boosting)으로 구분됩니다. 배깅(Bagging) 배깅(Bagging)은 Bootstrap Aggregation의 약자로 샘플을 여러 번 뽑는 Bootstrap 과정을 거쳐 각 모델을 학습시킨 후 그 결과물을 집계(Aggre..