지난 글에서는 EXP-013 이후 EXP-018까지의 실험을 정리했다.EXP-018은 현재 시즌 정보를 행별로 복원하고 residual 모델의 영향력을 제한했다. 여러 시즌 rolling 검증에서는 평균 Skill Score 1140.54를 기록했지만, 실제 Public 점수는 895.8368767677로 EXP-013의 935.8108097065보다 낮았다.EXP-018의 실패를 통해 다음과 같은 문제를 확인했다.2022년의 높은 점수가 전체 평균을 끌어올리고 있었다.최신 시즌인 2023년과 2024년의 최저 성능이 충분히 높지 않았다.현재 시즌 표본 수가 적은 구간에서 과대 예측이 발생했다.기존 예측 후보를 단순히 재가중하는 것만으로는 목표 점수에 도달하기 어려울 수 있었다.이번 글에서는 EXP-01..

지난 글에서는 RandomForest 베이스라인부터 CatBoost와 LightGBM 앙상블까지 총 13개의 실험을 정리했다.최종 실험이었던 EXP-013에서는 CatBoost와 LightGBM의 예측 확률을 섞고 선형 확률 보정을 적용했다.2024년 로컬 검증에서는 Brier Score 0.247862497, Skill Score 778.37을 기록했고, 실제 Public 평가에서는 935.8108097065점을 받았다.당시에는 지금까지 진행한 실험 중 가장 좋은 결과였다. 이번 글에서는 EXP-013 이후에 어떤 시도를 했는지 정리해보려고 한다.이번 과정은 점수가 계속 올라가는 과정이 아니었다. 오히려 2024년 로컬 검증 점수는 좋아졌지만 실제 Public 점수는 하락하는 경험을 했다.특히 EXP-..

이번 프로젝트의 목표는 KBO 투구 데이터를 이용해 각 투구의 제구 성공 확률을 예측하는 것이다.단순히 제구 성공 여부를 0과 1로 맞히는 문제가 아니다. 모델이 “이 투구가 성공할 확률은 0.63이다”처럼 확률을 예측해야 하며, 예측 확률이 실제 결과와 얼마나 가까운지를 Brier Score로 평가한다. 처음에는 운영진이 제공한 RandomForest 베이스라인을 실행하는 것부터 시작했다. 이후 새로운 피처를 만들고, 여러 모델을 비교하고, 마지막에는 CatBoost와 LightGBM을 앙상블해 첫 공식 제출에서 935.8108097065점을 받았다. 이번 글에서는 EXP-001부터 EXP-013까지 어떤 부분을 바꿨고, 왜 점수가 오르거나 떨어졌는지 공부한 내용을 정리해보려고 한다. 1. 실험 조건부..

지난 글에서는 LG Aimers 9기 프로젝트의 문제와 데이터, 앞으로 공부해야 할 내용을 전체적으로 정리했다.이번 글에서는 실제로 모델을 개발하고 제출하기 위해 어떤 파일을 만들어야 하는지, 로컬에서 학습한 모델이 평가 서버에서 어떻게 실행되는지 정리해보려고 한다. 이번 대회는 예측 결과 CSV를 직접 제출하는 일반적인 대회와 다르다.모델 파일과 추론 코드를 ZIP으로 압축해서 제출하면, 데이콘 평가 서버가 비공개 테스트 데이터로 직접 코드를 실행한다. 그래서 모델 성능뿐 아니라 다음 요소도 중요하다.학습 환경과 평가 환경의 라이브러리 버전학습과 추론에서 동일한 전처리를 사용하는지제출 ZIP의 디렉터리 구조평가 서버에서의 실행 시간외부 인터넷 없이 실행 가능한지결과 파일이 정해진 경로에 생성되는지이번 ..

1. 이번 프로젝트는 어떤 프로젝트인가이번 프로젝트의 목표는 야구 경기에서 투수가 공을 던지기 직전의 상황을 보고, 해당 투구가 제구에 성공할 확률을 예측하는 것이다.한 행은 하나의 투구를 의미한다. 모델은 다음과 같은 정보를 입력으로 받는다.현재 이닝과 경기 유형볼·스트라이크·아웃 카운트양 팀의 점수와 점수 차이주자 상황홈팀의 기대 승률과 상황 중요도투수와 타자의 정보투수가 과거에 보여준 제구 성공률과 투구 특성타자가 과거에 경험한 제구 패턴투수의 구종 사용 비율그리고 최종적으로 해당 투구가 제구에 성공할 확률을 0부터 1 사이의 값으로 출력한다.이 프로젝트는 단순히 “공이 스트라이크였는가”를 맞히는 문제가 아니다. 투구 직전의 경기 상황, 투수와 타자의 과거 기록, 최근 컨디션, 투구 선택 경향을 종..

지도학습Supervised Learning Overview선행 개념 정리지도학습은 입력 데이터 x와 정답 라벨 y가 함께 주어진 상태에서, 새로운 입력에 대한 정답을 예측하는 방법이다.예측하려는 값이 정해진 범주이면 classification, 연속적인 숫자이면 regression 문제로 볼 수 있다.핵심은 데이터로부터 입력과 정답 사이의 규칙을 학습해, 보지 못한 데이터에도 잘 맞는 함수를 찾는 것이다.강의 듣고 정리한 내용강의 전체 흐름이번 강의는 “머신러닝이 무엇인가?”라는 큰 질문에서 시작해서, 그중에서도 가장 기본이 되는 지도학습의 구조를 설명하는 강의였다. 처음에는 이미지 분류, 텍스트 분류, 다음 단어 예측, 번역, 가격 예측 같은 다양한 예시를 통해 우리가 일상적으로 보는 AI 문제들이 사..

『Tabular ML From Classical Models to Foundation Models』 01~06 강의에서 자주 나오는 용어를 처음 보는 사람도 이해할 수 있게 짧게 정리한 버전. 1. Tabular ML 기본 용어강의 01에서는 표 데이터가 행과 열로 구성된 데이터이며, 각 행은 하나의 샘플, 각 열은 하나의 feature, 특정 열은 target 또는 label이 될 수 있다고 설명한다. 용어뜻쉽게 말하면Tabular Data행과 열로 구성된 데이터엑셀, CSV, 데이터프레임Row / Sample / Record데이터의 한 줄고객 1명, 거래 1건Column / Feature데이터의 한 속성나이, 소득, 직업Target / Label모델이 맞혀야 하는 정답이탈 여부, 합격 여부, 가격Nu..

『Tabular ML From Classical Models to Foundation Models』 New Paradigm : TabPFN선행 개념 정리TabPFN은 표 데이터용 Foundation Model을 만드는 최신 연구이다.새로운 데이터가 들어와도 추가 학습 없이 빠르게 예측할 수 있다."표 데이터의 GPT"를 목표로 하는 차세대 접근법이다.강의 듣고 정리한 내용강의 전체 흐름이번 강의는 Tabular ML 강의 시리즈의 마지막 흐름으로, 표 데이터에서도 Foundation Model을 만들 수 있는지 다루는 강의였다.앞선 강의들에서는 전통 ML, 딥러닝, Representation Learning, LLM with Tabular Data를 순서대로 배웠다.이번 강의는 그 흐름의 끝에서 “그렇..

『Tabular ML From Classical Models to Foundation Models』 LLM with Tabular Data선행 개념 정리GPT 같은 LLM을 표 데이터 분석에 활용하는 방법을 다룬다.표 데이터를 자연어로 변환하여 LLM이 이해하도록 만든다.LLM을 Feature Engineering이나 데이터 분석 보조 도구로 활용할 수 있다.강의 듣고 정리한 내용강의 전체 흐름이번 강의는 LLM을 Tabular Data에 어떻게 활용할 수 있는지 다루는 강의였다.앞선 강의들에서는 Tabular Data를 주로 숫자와 범주형 값의 조합으로 보고, XGBoost, LightGBM, MLP, Transformer 같은 모델이 그 안의 통계적 패턴을 학습하는 방식을 배웠다.이번 강의에서는 여기..

『Tabular ML From Classical Models to Foundation Models』 Tabular Representation Learning선행 개념 정리라벨이 없는 데이터로도 좋은 특징(Representation)을 학습하는 방법이다.Self-Supervised Learning(SSL) 기반 기법들을 배운다.적은 데이터만 있어도 성능을 높이는 최신 연구 분야이다.강의 듣고 정리한 내용강의 전체 흐름이번 강의는 Tabular Data에서 Representation Learning을 어떻게 할 수 있는지 다루는 강의였다.앞선 강의들에서는 주로 라벨이 있는 데이터를 바탕으로 예측 모델을 학습하는 방법을 배웠다.하지만 실제 기업 데이터에서는 라벨이 항상 충분하지 않다.고객 데이터, 센서 데이..