ROC-AUC và Gini Coefficient

1. ROC Curve

1.1 Định nghĩa

ROC (Receiver Operating Characteristic) là đồ thị thể hiện trade-off giữa:

• TPR (True Positive Rate) = Recall = Sensitivity
• FPR (False Positive Rate) = 1 - Specificity

1.2 Công thức

$TPR = \frac{TP}{TP + FN}$

$FPR = \frac{FP}{FP + TN}$

1.3 Cách vẽ ROC Curve

Hình: ROC Space - Các điểm trong không gian ROC

2. Ví dụ tính toán thủ công ROC

2.1 Dữ liệu

Tổng: 4 Positive, 4 Negative

2.2 Tính TPR, FPR cho các thresholds

Threshold = 0.9:

• Predict Positive: A
• TP = 1, FP = 0, FN = 3, TN = 4
• TPR = 1/4 = 0.25, FPR = 0/4 = 0

Threshold = 0.8:

• Predict Positive: A, B
• TP = 2, FP = 0, FN = 2, TN = 4
• TPR = 2/4 = 0.50, FPR = 0/4 = 0

Threshold = 0.6:

• Predict Positive: A, B, C, D
• TP = 3, FP = 1, FN = 1, TN = 3
• TPR = 3/4 = 0.75, FPR = 1/4 = 0.25

Threshold = 0.5:

• Predict Positive: A, B, C, D, E
• TP = 3, FP = 2, FN = 1, TN = 2
• TPR = 3/4 = 0.75, FPR = 2/4 = 0.50

Threshold = 0.35:

• Predict Positive: A, B, C, D, E, F
• TP = 3, FP = 3, FN = 1, TN = 1
• TPR = 3/4 = 0.75, FPR = 3/4 = 0.75

Threshold = 0.25:

• Predict Positive: A, B, C, D, E, F, G
• TP = 4, FP = 3, FN = 0, TN = 1
• TPR = 4/4 = 1.00, FPR = 3/4 = 0.75

2.3 Bảng tổng hợp ROC Points

3. AUC (Area Under Curve)

3.1 Định nghĩa

AUC = Diện tích duoi duong ROC

3.2 Ý nghĩa

$AUC = P(\text{Score}_{positive} > \text{Score}_{negative})$

"Xác suất model xếp hạng một positive sample cao hơn mot negative sample"

3.3 Giải thích gia tri AUC

3.4 Tính AUC bang Trapezoidal Rule

$AUC = \sum_{i=1}^{n-1} \frac{(TPR_i + TPR_{i+1})}{2} \tìmes (FPR_{i+1} - FPR_i)$

4. Gini Coefficient

4.1 Công thức

$Gini = 2 \tìmes AUC - 1$

4.2 Ý nghĩa

4.3 Vi du tinh

Neu AUC = 0.85: $Gini = 2 \tìmes 0.85 - 1 = 0.70$

4.4 QUAN TRỌNG: Gini Coefficient vs Gini Impurity

5. Thực hành với Scikit-learn

5.1 Code vẽ ROC và tính AUC

1import numpy as np
2from sklearn.datasets import make_classification
3from sklearn.model_selection import train_test_split
4from sklearn.linear_model import LogisticRegression
5from sklearn.metrics import roc_curve, auc, roc_auc_score
6import matplotlib.pyplot as plt
7
8# Tạo dữ liệu
9X, y = make_classification(n_samples=1000, n_features=20, 
10                           n_classes=2, random_state=42)
11X_train, X_test, y_train, y_test = train_test_split(
12    X, y, test_size=0.3, random_state=42
13)
14
15# Train model
16model = LogisticRegression()
17model.fit(X_train, y_train)
18
19# Lấy probabilities
20y_prob = model.predict_proba(X_test)[:, 1]
21
22# Tính ROC curve
23fpr, tpr, thresholds = roc_curve(y_test, y_prob)
24roc_auc = auc(fpr, tpr)
25gini = 2 * roc_auc - 1
26
27print(f"AUC: {roc_auc:.4f}")
28print(f"Gini Coefficient: {gini:.4f}")
29
30# Ve ROC Curve
31plt.figure(figsize=(10, 8))
32plt.plot(fpr, tpr, color='blue', lw=2, 
33         label=f'ROC curve (AUC = {roc_auc:.3f})')
34plt.plot([0, 1], [0, 1], color='gray', lw=2, 
35         linestyle='--', label='Random (AUC = 0.5)')
36plt.xlim([0.0, 1.0])
37plt.ylim([0.0, 1.05])
38plt.xlabel('False Positive Rate (FPR)')
39plt.ylabel('True Positive Rate (TPR)')
40plt.title('ROC Curve')
41plt.legend(loc='lower right')
42plt.grid(True)
43plt.show()

Hinh: Vi du ROC Curve tu Scikit-learn

5.2 So sanh nhieu models

1from sklearn.ensemble import RandomForestClassifier
2from sklearn.svm import SVC
3
4# Train multiple models
5models = {
6    'Logistic Regression': LogisticRegression(),
7    'Random Forest': RandomForestClassifier(n_estìmators=100),
8    'SVM': SVC(probability=True)
9}
10
11plt.figure(figsize=(10, 8))
12
13for name, model in models.items():
14    model.fit(X_train, y_train)
15    y_prob = model.predict_proba(X_test)[:, 1]
16    fpr, tpr, _ = roc_curve(y_test, y_prob)
17    roc_auc = auc(fpr, tpr)
18    plt.plot(fpr, tpr, lw=2, label=f'{name} (AUC = {roc_auc:.3f})')
19
20plt.plot([0, 1], [0, 1], 'k--', lw=2, label='Random')
21plt.xlabel('False Positive Rate')
22plt.ylabel('True Positive Rate')
23plt.title('ROC Curve Comparison')
24plt.legend(loc='lower right')
25plt.grid(True)
26plt.show()

6. Khi nào dùng ROC-AUC?

Uu điểm

• Khong phu thuoc vao threshold
• Tot cho imbalanced data
• So sanh duoc nhieu models
• Đánh giá kha nang ranking

Nhuoc điểm

• Khong cho biet performance o threshold cu the
• Co the misleading voi highly imbalanced data
• Khong truc quan nhu Precision/Recall

Khi nào dùng

Bài tập tự luyện

1. Bài tập 1: Tính AUC bằng tay cho 5 samples với labels và probabilities
2. Bài tập 2: Vẽ ROC curve và tính Gini cho model trên Titanic dataset
3. Bài tập 3: So sánh AUC của Logistic Regression vs Random Forest

Tài liệu tham khảo

Câu hỏi tự kiểm tra

1. ROC Curve thể hiện mối quan hệ giữa TPR và FPR như thế nào? Đường chéo y = x có ý nghĩa gì?
2. AUC = 0.5 và AUC = 1.0 có ý nghĩa gì? AUC < 0.5 xảy ra khi nào?
3. Gini Coefficient và Gini Impurity khác nhau như thế nào? Công thức Gini = 2×AUC - 1 được dùng trong lĩnh vực nào?
4. Khi nào nên dùng ROC-AUC và khi nào nên dùng PR-AUC để đánh giá model?