Neuron và Activation Functions

Sau bài này, bạn sẽ:

Ôn lại bài trước

Bài 1 ta đã biết Deep Learning là gì và các thành phần cơ bản. Hôm nay sẽ đi sâu vào đơn vị nhỏ nhất của mạng neural: Neuron!

Neuron sinh học (trong não)

Não người có khoảng 86 tỷ neurons kết nối với nhau. Mỗi neuron:

• Nhận tín hiệu từ các dendrites (nhánh đầu vào)
• Xử lý tín hiệu tại cell body (thân tế bào)
• Truyền tín hiệu qua axon (sợi trục) đến các neurons khác

Neuron nhân tạo (Artificial Neuron)

Neuron nhân tạo mô phỏng cách hoạt động của neuron sinh học:

Nguồn: Stanford CS231n - Neural Networks

Bảng so sánh

Công thức cơ bản

$z = \sum_{i=1}^{n} w_i x_i + b = \mathbf{w}^T \mathbf{x} + b$

$a = f(z)$

Giải thích từng thành phần

Ví dụ trực quan

Vấn đề không có Activation

Activation tạo ra gì?

Tính phi tuyến (non-linearity) - cho phép mạng học được các mối quan hệ phức tạp!

Ví dụ minh họa

1. Sigmoid Function

$\sigma(z) = \frac{1}{1 + e^{-z}}$

Đặc điểm:

• Đầu ra: Luôn trong khoảng $(0, 1)$
• Ý nghĩa: Có thể hiểu như xác suất
• Sử dụng: Output layer cho binary classification

Nhược điểm:

• ❌ Vanishing Gradient - gradient rất nhỏ khi z quá lớn/nhỏ
• ❌ Output không centered (không đối xứng quanh 0)

2. Tanh Function

$\tanh(z) = \frac{e^z - e^{-z}}{e^z + e^{-z}}$

Đặc điểm:

• Đầu ra: Trong khoảng $(-1, 1)$
• Ưu điểm: Output centered (đối xứng quanh 0)
• Sử dụng: Hidden layers (ít phổ biến hơn ReLU)

Nhược điểm:

• ❌ Vẫn có Vanishing Gradient

So sánh Sigmoid vs Tanh

3. ReLU (Rectified Linear Unit)

$\text{ReLU}(z) = \max(0, z) = \begin{cases} z & \text{nếu } z > 0 \\ 0 & \text{nếu } z \leq 0 \end{cases}$

Đặc điểm:

• Đầu ra: $[0, +\infty)$
• ⭐ Phổ biến nhất cho hidden layers
• Ưu điểm: Tính toán cực kỳ nhanh, giảm Vanishing Gradient

Nhược điểm:

• ❌ Dying ReLU - neurons có thể "chết" (luôn output 0)

4. Leaky ReLU

$\text{LeakyReLU}(z) = \begin{cases} z & \text{nếu } z > 0 \\ \alpha z & \text{nếu } z \leq 0 \end{cases}$

Đặc điểm:

• Khắc phục Dying ReLU
• Cho phép gradient nhỏ ($\alpha$, thường = 0.01) khi z < 0

Đồ thị so sánh

5. Softmax

$\text{Softmax}(z_i) = \frac{e^{z_i}}{\sum_{j=1}^{K} e^{z_j}}$

Đặc điểm:

• Đầu ra: Vector xác suất, tổng = 1
• Sử dụng: Output layer cho multi-class classification

Ví dụ thực tế

Khi nào dùng Softmax?

Bảng so sánh tất cả Activation Functions

Hướng dẫn chọn Activation

Implementing Activation Functions

1import numpy as np
2import matplotlib.pyplot as plt
3
4# 1. Sigmoid
5def sigmoid(z):
6    return 1 / (1 + np.exp(-z))
7
8# 2. Tanh
9def tanh(z):
10    return np.tanh(z)
11
12# 3. ReLU
13def relu(z):
14    return np.maximum(0, z)
15
16# 4. Leaky ReLU
17def leaky_relu(z, alpha=0.01):
18    return np.where(z > 0, z, alpha * z)
19
20# 5. Softmax
21def softmax(z):
22    exp_z = np.exp(z - np.max(z))  # Trừ max để tránh overflow
23    return exp_z / exp_z.sum()
24
25# Test các activation functions
26z = np.array([-2, -1, 0, 1, 2])
27
28print("z       :", z)
29print("Sigmoid :", sigmoid(z).round(3))
30print("Tanh    :", tanh(z).round(3))
31print("ReLU    :", relu(z))
32print("LeakyReLU:", leaky_relu(z).round(3))
33
34# Softmax cho multi-class
35logits = np.array([2.0, 1.0, 0.1])
36print("\nSoftmax:", softmax(logits).round(3))
37print("Sum    :", softmax(logits).sum())  # = 1.0

1z       : [-2 -1  0  1  2]
2Sigmoid : [0.119 0.269 0.5   0.731 0.881]
3Tanh    : [-0.964 -0.762  0.     0.762  0.964]
4ReLU    : [0 0 0 1 2]
5LeakyReLU: [-0.02 -0.01  0.    1.    2.  ]
6 
7Softmax: [0.659 0.242 0.099]
8Sum    : 1.0

Những điểm quan trọng cần nhớ

1. Neuron nhân tạo mô phỏng neuron sinh học: Input → Weighted Sum → Activation → Output

2. Công thức: $a = f(\sum w_i x_i + b)$

3. Activation function tạo tính phi tuyến, cho phép học patterns phức tạp

4. 5 Activation phổ biến:

   • Sigmoid: Output layer binary (0-1)
   • Tanh: Centered (-1, 1)
   • ReLU: Hidden layer (⭐ phổ biến nhất)
   • Leaky ReLU: Khắc phục Dying ReLU
   • Softmax: Output multi-class (sum = 1)

5. Chọn activation:

   • Hidden: ReLU
   • Output binary: Sigmoid
   • Output multi-class: Softmax

Bài tập thực hành

1. Tính $\text{sigmoid}(2)$ bằng tay
2. Nếu $z = [1, 2, 3]$, tính Softmax và kiểm tra tổng = 1
3. Tại sao ReLU phổ biến hơn Sigmoid cho hidden layers?