데이터 분석 · AI 기초집LESSON 20

모델 평가 기초: 정확도, 정밀도, 재현율, MAE 해석

난이도초급

예상 시간35분

선수지식이전 강의

20강. 모델 평가 기초: 정확도, 정밀도, 재현율, MAE 해석

1. 이번 강의에서 해결할 문제

승리가 드문 데이터에서 항상 패배를 예측해도 정확도가 높을 수 있습니다. 하나의 지표가 어떤 오류를 숨기는지 알아야 합니다.

2. 학습 목표

3. 핵심 개념

정확도는 전체 중 정답 비율, 정밀도는 승리라고 예측한 것 중 실제 승리 비율, 재현율은 실제 승리 중 찾아낸 비율입니다. 어떤 오류가 더 중요한지에 따라 지표가 달라집니다. MAE는 예측과 실제 연속값 차이의 절댓값 평균으로 원래 레이블 단위를 유지합니다.

4. 단계별 실습

1. 예제 파일 작성

실행 환경: 코드 편집기

실행 위치: C:\dev\game-data-lab

실행 전 확인: 기존 파일이 있으면 내용을 덮어쓰지 말고 Git diff로 이번 강의 변경 범위를 확인합니다. 실제 개인정보·API Key·토큰은 사용하지 않습니다.

대상 파일: src/evaluate_models.py

src/evaluate_models.py
import pandas as pd
from sklearn.dummy import DummyClassifier
from sklearn.linear_model import LinearRegression
from sklearn.metrics import accuracy_score, confusion_matrix, mean_absolute_error, precision_score, recall_score
from sklearn.model_selection import train_test_split

df = pd.read_csv("data/raw/game_sessions_model.csv")
X = df[["play_minutes", "score"]]
y = df["win"]
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.25, random_state=42, stratify=y)
baseline = DummyClassifier(strategy="most_frequent").fit(X_train, y_train)
pred = baseline.predict(X_test)
print({"accuracy": accuracy_score(y_test, pred), "precision": precision_score(y_test, pred, zero_division=0), "recall": recall_score(y_test, pred, zero_division=0)})
print("confusion matrix:", confusion_matrix(y_test, pred), sep="\n")

Xr_train, Xr_test, yr_train, yr_test = train_test_split(df[["play_minutes"]], df["score"], test_size=0.25, random_state=42)
reg = LinearRegression().fit(Xr_train, yr_train)
print("score MAE:", round(mean_absolute_error(yr_test, reg.predict(Xr_test)), 2))

2. 실행과 결과 확인

실행 환경: Windows PowerShell

실행 위치: C:\dev\game-data-lab

실행 전 확인: Python 코드는 프로젝트의 .venv 인터프리터를 사용하고 입력 파일 경로가 존재하는지 확인합니다.

대상: src/evaluate_models.py과 이 강의가 만드는 출력

Windows PowerShell
Set-Location C:\dev\game-data-lab
.\.venv\Scripts\python.exe .\src\evaluate_models.py

예상 결과: 기준 분류기의 세 지표와 혼동행렬, 선형 회귀의 점수 단위 MAE가 출력됩니다.

5. 분석 또는 모델이 동작하는 이유

혼동행렬의 참·거짓 양성/음성이 지표의 분자를 구성합니다. MAE는 큰 오류를 제곱하지 않아 평균적으로 몇 점 벗어나는지 직접 설명할 수 있습니다.

6. 자주 하는 실수와 해결법

7. 직접 실습

8. 이해 점검 질문 3개

9. 핵심 요약

MINI QUIZ