이것저것 공부 기록하기

실제로 이 세가지 함수에 대해 큰 차이를 두지 않지만, 미묘한 차이가 존재합니다. 1. Loss Function Loss Function은 single data set을 다룹니다. 2. Cost Function Loss Function의 합, 평균 에러를 다룹니다. 즉, single data set이 아니라 entire data set을 다룹니다. 그냥 순간순간의 loss를 판단할 땐 loss function을 사용하고 학습이 완료된 후에는 cost function을 확인하면 될 것 같습니다. 3. Objective function 모델(함수)에 대하여 우리가 가장 일반적으로 사용하는 용어로서 최댓값, 최솟값을 구하는 함수를 말합니다. 애초에 cost function과 loss function 모두 비용..

현재 저는 데이콘의 제주 신용카드 빅데이터 경진대회에 참가 중인데 제주 가중치에 대해 고민을 하며 오늘은 손실 함수 관련 포스팅을 올리게 되었습니다! https://dacon.io/competitions/official/235615/overview/ 제주 신용카드 빅데이터 경진대회 출처 : DACON - Data Science Competition dacon.io Loss Function, Cost Function, Objective Function의 차이 비용/손실을 표시하는 함수로는 Loss Function, Cost Function, Objective Function 이 있습니다. 모델을 학습할 때는 cost를 최소화하는 방향으로 진행되며, 비용이 최소화되는 곳이 성능이 가장 잘 나오는 부분입니다...

먼저, XGBoost와 lightGBM은 앙상블 알고리즘이므로 잠시 앙상블에 대해 간략히 다뤄보겠습니다. 앙상블(Ensemble)이란? 앙상블 학습은 여러 개의 결정 트리(Decision Tree)를 결합하는 것으로, 하나의 결정 트리보다 알고리즘 성능을 더 높일 수 있습니다. 앙상블 학습을 통해 약한 분류기(Weak Classifier) 여러 개를 결합해서 강한 분류기(Strong Classifier)를 만들 수 있습니다. 머신러닝 앙상블은 크게 배깅(Bagging), 부스팅(Boosting)으로 구분됩니다. 배깅(Bagging) 배깅(Bagging)은 Bootstrap Aggregation의 약자로 샘플을 여러 번 뽑는 Bootstrap 과정을 거쳐 각 모델을 학습시킨 후 그 결과물을 집계(Aggre..