Python cho Data Science 2026: Thư viện, Kỹ năng & Lộ trình thực chiến

1import numpy as np
2import time
3
4# Python list: chậm vì loop
5python_list = list(range(1_000_000))
6start = time.time()
7result = [x * 2 for x in python_list]
8print("Python list: %.3f giây" % (time.time() - start))
9# → ~0.150 giây
10
11# NumPy array: nhanh vì vectorized operations (C code)
12numpy_arr = np.arange(1_000_000)
13start = time.time()
14result = numpy_arr * 2
15print("NumPy array: %.3f giây" % (time.time() - start))
16# → ~0.003 giây (nhanh hơn 50x!)

1import numpy as np
2
3# 1. Tạo array
4arr = np.array([1, 2, 3, 4, 5])
5matrix = np.random.randn(3, 4)        # Ma trận 3x4 random
6zeros = np.zeros((100, 50))           # Ma trận toàn số 0
7
8# 2. Broadcasting — tính toán trên arrays khác shape
9prices = np.array([100, 200, 350])    # Giá gốc (nghìn VND)
10discounts = np.array([0.1, 0.2, 0.15])
11final_prices = prices * (1 - discounts)   # [90, 160, 297.5]
12
13# 3. Boolean indexing — lọc dữ liệu không cần loop
14sales = np.array([150, 89, 220, 45, 310, 78])
15high_sales = sales[sales > 100]       # [150, 220, 310]
16
17# 4. Aggregation
18print("Tổng: %d" % sales.sum())       # 892
19print("TB: %.1f" % sales.mean())      # 148.7
20print("Std: %.1f" % sales.std())      # 95.3

1import pandas as pd
2
3# Đọc dữ liệu
4df = pd.read_csv("sales_data.csv")
5
6# Xem tổng quan
7print(df.shape)          # (10000, 12) — 10K dòng, 12 cột
8print(df.info())         # Kiểu dữ liệu từng cột
9print(df.describe())     # Thống kê cơ bản
10
11# Xử lý missing values
12print(df.isnull().sum())                   # Đếm null mỗi cột
13df["revenue"] = df["revenue"].fillna(0)    # Fill null bằng 0
14df = df.dropna(subset=["customer_id"])     # Xóa dòng null customer_id
15
16# Tạo features mới
17df["month"] = pd.to_datetime(df["date"]).dt.month
18df["revenue_per_quantity"] = df["revenue"] / df["quantity"]

1# Doanh thu theo tháng
2monthly = df.groupby("month")["revenue"].agg(["sum", "mean", "count"])
3print(monthly)
4
5# Top 10 sản phẩm bán chạy
6top_products = (
7    df.groupby("product_name")["quantity"]
8    .sum()
9    .sort_values(ascending=False)
10    .head(10)
11)
12
13# Phân tích theo nhiều chiều
14pivot = df.pivot_table(
15    values="revenue",
16    index="region",           # Dòng: khu vực
17    columns="category",       # Cột: danh mục
18    aggfunc="sum",
19    fill_value=0
20)

1# Giảm RAM 60-70% bằng cách chọn dtype phù hợp
2df["age"] = df["age"].astype("int8")              # -128 to 127
3df["salary"] = df["salary"].astype("float32")     # Thay vì float64
4df["gender"] = df["gender"].astype("category")    # Thay vì object

1import matplotlib.pyplot as plt
2
3fig, axes = plt.subplots(1, 2, figsize=(12, 5))
4
5# Line chart — xu hướng theo thời gian
6axes[0].plot(months, revenue, marker="o", color="#1f77b4")
7axes[0].set_title("Doanh thu theo tháng")
8axes[0].set_xlabel("Tháng")
9axes[0].set_ylabel("Doanh thu (triệu VND)")
10
11# Bar chart — so sánh giữa các nhóm
12axes[1].bar(categories, values, color=["#2ecc71", "#e74c3c", "#3498db"])
13axes[1].set_title("Doanh thu theo danh mục")
14
15plt.tight_layout()
16plt.savefig("report.png", dpi=150)
17plt.show()

1import seaborn as sns
2
3# Distribution plot
4sns.histplot(data=df, x="salary", hue="department", kde=True)
5
6# Correlation heatmap — tìm mối quan hệ giữa features
7corr = df[["age", "salary", "experience", "performance"]].corr()
8sns.heatmap(corr, annot=True, cmap="RdBu_r", center=0)
9
10# Box plot — phát hiện outliers
11sns.boxplot(data=df, x="department", y="salary")

1from sklearn.model_selection import train_test_split, cross_val_score
2from sklearn.preprocessing import StandardScaler
3from sklearn.ensemble import RandomForestRegressor
4from sklearn.metrics import mean_absolute_error, r2_score
5
6# 1. Chia dữ liệu
7X_train, X_test, y_train, y_test = train_test_split(
8    X, y, test_size=0.2, random_state=42
9)
10
11# 2. Scaling features
12scaler = StandardScaler()
13X_train_scaled = scaler.fit_transform(X_train)
14X_test_scaled = scaler.transform(X_test)   # Chỉ transform, KHÔNG fit lại!
15
16# 3. Training
17model = RandomForestRegressor(n_estimators=200, max_depth=15, random_state=42)
18model.fit(X_train_scaled, y_train)
19
20# 4. Đánh giá
21y_pred = model.predict(X_test_scaled)
22print("MAE: %.2f triệu VND" % (mean_absolute_error(y_test, y_pred) / 1e6))
23print("R2 Score: %.4f" % r2_score(y_test, y_pred))
24
25# 5. Cross-validation — đánh giá ổn định
26cv_scores = cross_val_score(model, X_train_scaled, y_train, cv=5, scoring="r2")
27print("CV R2: %.4f (+/- %.4f)" % (cv_scores.mean(), cv_scores.std()))

1from sklearn.pipeline import Pipeline
2from sklearn.compose import ColumnTransformer
3from sklearn.preprocessing import OneHotEncoder
4
5# Tự động hóa toàn bộ preprocessing + training
6numeric_features = ["area", "bedrooms", "distance_to_center"]
7categorical_features = ["district", "property_type"]
8
9preprocessor = ColumnTransformer([
10    ("num", StandardScaler(), numeric_features),
11    ("cat", OneHotEncoder(handle_unknown="ignore"), categorical_features),
12])
13
14pipeline = Pipeline([
15    ("preprocessor", preprocessor),
16    ("model", RandomForestRegressor(n_estimators=200)),
17])
18
19# Một dòng duy nhất: preprocess + train
20pipeline.fit(X_train, y_train)
21predictions = pipeline.predict(X_test)

1# ❌ Chậm: Python loop
2result = []
3for i in range(len(df)):
4    result.append(df.iloc[i]["price"] * df.iloc[i]["quantity"])
5
6# ✅ Nhanh 100x: Vectorized
7result = df["price"] * df["quantity"]

1# Phân loại khách hàng theo RFM
2def classify_customer(row):
3    if row["recency"] < 30 and row["frequency"] > 10:
4        return "VIP"
5    elif row["recency"] < 90:
6        return "Active"
7    else:
8        return "At-risk"
9
10df["segment"] = df.apply(classify_customer, axis=1)

1# Dataset 10GB → đọc từng chunk 100K dòng
2chunks = pd.read_csv("huge_data.csv", chunksize=100_000)
3results = []
4for chunk in chunks:
5    processed = chunk.groupby("category")["revenue"].sum()
6    results.append(processed)
7
8final = pd.concat(results).groupby(level=0).sum()