Neuron và Activation Functions

Neuron và Activation Functions | MinAI Learning

🎯 Mục tiêu bài học

TB5 min

Sau bài này, bạn sẽ:

✅ Hiểu Neuron nhân tạo hoạt động như thế nào

✅ Biết công thức tính toán của neuron

✅ Hiểu 5 Activation Functions quan trọng

✅ Biết cách chọn activation function phù hợp

Ôn lại bài trước

Bài 1 ta đã biết Deep Learning là gì và các thành phần cơ bản. Hôm nay sẽ đi sâu vào đơn vị nhỏ nhất của mạng neural: Neuron!

Task 0

🧬 Neuron Sinh học vs Neuron Nhân tạo

TB5 min

Neuron sinh học (trong não)

Não người có khoảng 86 tỷ neurons kết nối với nhau. Mỗi neuron:

Nhận tín hiệu từ các dendrites (nhánh đầu vào)
Xử lý tín hiệu tại cell body (thân tế bào)
Truyền tín hiệu qua axon (sợi trục) đến các neurons khác

Neuron nhân tạo (Artificial Neuron)

Neuron nhân tạo mô phỏng cách hoạt động của neuron sinh học:

Biological vs Artificial Neuron Nguồn: Stanford CS231n - Neural Networks

Bảng so sánh

Thành phần	Neuron sinh học	Neuron nhân tạo
Đầu vào	Dendrites	Input $x_i$
Xử lý	Cell body	Weighted sum + Activation
Đầu ra	Axon	Output $a$
Kết nối	Synapse	Weight

Checkpoint

Bạn đã hiểu sự tương đồng giữa neuron sinh học và nhân tạo?

Task 1

📐 Công thức tính toán của Neuron

TB5 min

Công thức cơ bản

$z = \sum_{i=1}^{n} w_i x_i + b = \mathbf{w}^T \mathbf{x} + b$

Task 2

⚡ Tại sao cần Activation Functions?

TB5 min

Vấn đề không có Activation

Không có activation function:

Mạng neural chỉ là tổ hợp tuyến tính
KHÔNG thể học các pattern phức tạp
Nhiều layers = 1 layer (do tính chất tuyến tính)

Activation tạo ra gì?

Tính phi tuyến (non-linearity) - cho phép mạng học được các mối quan hệ phức tạp!

Diagram

Đang vẽ diagram...

Ví dụ minh họa

Bài toán	Linear (không activation)	Non-linear (có activation)
XOR problem	❌ Không giải được	✅ Giải được
Phân loại ảnh

Task 3

📈 Sigmoid và Tanh

TB5 min

1. Sigmoid Function

$\sigma(z) = \frac{1}{1 + e^{-z}}$

Đặc điểm:

Đầu ra: Luôn trong khoảng $($

Task 4

🚀 ReLU và Leaky ReLU

TB5 min

3. ReLU (Rectified Linear Unit)

$\text{ReLU}(z) = \max(0, z) = \begin{cases} z & \text{nếu } z > 0 \\ 0 & \text{nếu } z \leq 0 \end{cases}$

Task 5

🎯 Softmax Function

TB5 min

5. Softmax

$\text{Softmax}(z_i) = \frac{e^{z_i}}{\sum_{j=1}^{K} e^{z_j}}$

Task 6

📊 Bảng Tổng hợp & Chọn Activation

TB5 min

Bảng so sánh tất cả Activation Functions

Activation	Công thức	Range	Ưu điểm	Nhược điểm	Dùng ở đâu
Sigmoid	$\frac{1}{1+e^{-z}}$

Task 7

💻 Code Ví dụ

TB5 min

Triển khai Activation Functions

python.py

1import numpy as np
2import matplotlib.pyplot as plt
3
4# 1. Sigmoid
5def sigmoid(z):
6    return 1 / (1 + np.exp(-z))
7
8# 2. Tanh
9def tanh(z):
10    return np.tanh(z)
11
12# 3. ReLU
13def relu(z):
14    return np.maximum(0, z)
15
16# 4. Leaky ReLU
17def leaky_relu(z, alpha=0.01):
18    return np.where(z > 0, z, alpha * z)
19
20# 5. Softmax
21def softmax(z):
22    exp_z = np.exp(z - np.max(z))  # Trừ max để tránh overflow
23    return exp_z / exp_z.sum()
24
25# Test các activation functions
26z = np.array([-2, -1, 0, 1, 2])
27
28print("z       :", z)
29print("Sigmoid :", sigmoid(z).round(3))
30print("Tanh    :", tanh(z).round(3))
31print("ReLU    :", relu(z))
32print("LeakyReLU:", leaky_relu(z).round(3))
33
34# Softmax cho multi-class
35logits = np.array([2.0, 1.0, 0.1])
36print("\nSoftmax:", softmax(logits).round(3))
37print("Sum    :", softmax(logits).sum())  # = 1.0

Expected Output

1z       : [-2 -1  0  1  2]
2Sigmoid : [0.119 0.269 0.5   0.731 0.881]
3Tanh    : [-0.964 -0.762  0.     0.762  0.964]
4ReLU    : [0 0 0 1 2]
5LeakyReLU: [-0.02 -0.01  0.    1.    2.  ]
6 
7Softmax: [0.659 0.242 0.099]
8Sum    : 1.0

Checkpoint

Bạn đã chạy thử code và hiểu kết quả chưa?

Task 8

🎯 Tổng kết

TB5 min

Những điểm quan trọng cần nhớ

Neuron nhân tạo mô phỏng neuron sinh học: Input → Weighted Sum → Activation → Output
Công thức: $a = f(\sum w_i x_i + b)$
tạo tính phi tuyến, cho phép học patterns phức tạp

Task 9

📚 Tài liệu tham khảo

Nguồn	Link	Ghi chú
TensorFlow Tutorials	https://www.tensorflow.org/tutorials	Hướng dẫn chính thức TensorFlow
Keras Documentation	https://keras.io/guides/	Tài liệu Keras API
3Blue1Brown - Neural Networks	https://www.youtube.com/playlist?list=PLZHQObOWTQDNU6R1_67000Dx_ZCJB-3pi	Trực quan hóa Neural Networks
Stanford CS231n	https://cs231n.stanford.edu/	Khóa Computer Vision từ Stanford

w_{i}

w_i

Ký hiệu	Tên	Giải thích	Ví dụ
$x_i$	Input	Các giá trị đầu vào	Tuổi, thu nhập
$w_i$	Weight	Mức độ quan trọng của input	Thu nhập quan trọng hơn tuổi
$b$	Bias	Hằng số điều chỉnh	Dịch chuyển ngưỡng kích hoạt
$z$	Weighted Sum	Tổng có trọng số	$z = w_1 \times \text{tuổi} + w_2 \times \text{thu nhập} + b$
$f$	Activation	Hàm quyết định đầu ra	ReLU, Sigmoid...
$a$	Output	Kết quả sau activation	Giá trị truyền sang layer tiếp

Dự đoán khách hàng có mua sản phẩm không:

Input	Giá trị	Weight	Ý nghĩa
Tuổi ( $x_1$ )	30	$w_1 = 0.1$	Ít quan trọng
Thu nhập ( $x_2$ )	50	$w_2 = 0.8$	🔥 Rất quan trọng
Đã xem QC ( $x_3$ )	1	$w_3 = 0.5$	Quan trọng vừa

Bias: $b = -2$

$z = 0.1 \times 30 + 0.8 \times 50 + 0.5 \times 1 + (-2) = 3 + 40 + 0.5 - 2 = \boxed{41.5}$

$a = \text{sigmoid}(41.5) \approx 1.0 \; \rightarrow \; \text{Khả năng cao sẽ mua! ✅}$

0

,

1

)

(0, 1)

Ví dụ giá trị Sigmoid:

Input $z$	$\sigma(z)$	Ý nghĩa
$z = -10$	$\approx 0.00005$	Gần 0 → xác suất rất thấp ❌
$z = 0$	$= 0.5$	50-50 (ranh giới) ⚖️
$z = 10$	$\approx 0.99995$	Gần 1 → xác suất rất cao ✅

Đặc điểm	Sigmoid	Tanh
Range	(0, 1)	(-1, 1)
Tâm tại 0	❌ Không	✅ Có
Triệt tiêu gradient	❌ Có	❌ Có
Output layer (binary)	✅ Dùng	❌ Không dùng

Ví dụ giá trị ReLU:

Input $z$	$\text{ReLU}(z)$	Giải thích
$z = -5$	$0$	Âm → bị cắt về 0 ❌
$z = 0$	$0$	Ranh giới → output 0
$z = 3$	$3$	Dương → giữ nguyên ✅
$z = 100$	$100$	Dương lớn → giữ nguyên ✅

Ví dụ giá trị Leaky ReLU (với $\alpha = 0.01$ ):

Input $z$	$\text{LeakyReLU}(z)$	Giải thích
$z = -5$	$0.01 \times (-5) = -0.05$	Âm → vẫn có gradient nhỏ! 💡
$z = 0$	$0$	Ranh giới
$z = 3$	$3$	Dương → giữ nguyên ✅

Phân loại ảnh: Chó/Mèo/Chim (3 lớp)

Logits (đầu ra từ layer trước): $z = [2.0, \; 1.0, \; 0.1]$

Bước 1 — Tính $e^{z_i}$ :

Lớp	$z_i$	$e^{z_i}$
🐕 Chó

Bước 2 — Tính xác suất:

$P(\text{chó}) = \frac{7.39}{11.22} = 0.66 \; (66\%)$

$P(\text{mèo}) = \frac{2.72}{11.22} = 0.24 \; (24\%)$

$P(\text{chim}) = \frac{1.11}{11.22} = 0.10 \; (10\%)$

Kiểm tra: $0.66 + 0.24 + 0.10 = 1.00$ ✅

→ Dự đoán: 🐕 Chó (xác suất cao nhất)

Số classes	Activation	Loss function
2 classes	Sigmoid	Binary Cross-Entropy
> 2 classes	Softmax	Categorical Cross-Entropy

🎯 Mục tiêu bài học

Sau bài này, bạn sẽ:

Ôn lại bài trước

🧬 Neuron Sinh học vs Neuron Nhân tạo

Neuron sinh học (trong não)

Neuron nhân tạo (Artificial Neuron)

Bảng so sánh

Checkpoint

📐 Công thức tính toán của Neuron

Công thức cơ bản

⚡ Tại sao cần Activation Functions?

Vấn đề không có Activation

Activation tạo ra gì?

Ví dụ minh họa

📈 Sigmoid và Tanh

1. Sigmoid Function

🚀 ReLU và Leaky ReLU

3. ReLU (Rectified Linear Unit)

🎯 Softmax Function

5. Softmax

📊 Bảng Tổng hợp & Chọn Activation

Bảng so sánh tất cả Activation Functions

💻 Code Ví dụ

Triển khai Activation Functions

Checkpoint

🎯 Tổng kết

Những điểm quan trọng cần nhớ

📚 Tài liệu tham khảo

Giải thích từng thành phần

Ví dụ trực quan

Checkpoint

Checkpoint

2. Tanh Function

So sánh Sigmoid vs Tanh

Checkpoint

4. Leaky ReLU

Đồ thị so sánh

📊 Đồ thị so sánh ReLU vs Leaky ReLU

Checkpoint

Ví dụ thực tế

Khi nào dùng Softmax?

Checkpoint

Hướng dẫn chọn Activation

Checkpoint

Bài tập thực hành