> For the complete documentation index, see [llms.txt](https://www.nhasachso.io.vn/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://www.nhasachso.io.vn/truc-tuyen/interactive-blocks-1/tac-gia/nguyen-hong-phuong/sach-cong-cu-ai-python/phan-2-hoc-may-machine-learning/xgboost-and-lightgbm-toi-uu-cho-cac-bai-toan-ve-cay-quyet-dinh-gradient-boosting.md).

# XGBoost & LightGBM: Tối ưu cho các bài toán về cây quyết định gradient boosting

#### **XGBoost & LightGBM**

**Mục tiêu:** Giải quyết hiệu quả các bài toán học máy với thuật toán **Gradient Boosting** dựa trên cây quyết định — nổi bật với tốc độ huấn luyện nhanh và độ chính xác cao.

**🌳 XGBoost (Extreme Gradient Boosting)**

* Thư viện mạnh mẽ, tối ưu hóa thuật toán boosting truyền thống.
* Hỗ trợ xử lý giá trị thiếu, regularization (L1/L2), song song hóa (parallel computing).
* Được sử dụng rộng rãi trong các cuộc thi **Kaggle** nhờ hiệu năng vượt trội.

**⚡ LightGBM (Light Gradient Boosting Machine)**

* Phát triển bởi Microsoft, tập trung vào hiệu suất với tập dữ liệu lớn.
* Áp dụng kỹ thuật **Histogram-based learning** và **Leaf-wise growth**, giúp tăng tốc độ và giảm tiêu thụ bộ nhớ.
* Tích hợp tốt với Pandas, NumPy và Scikit-learn.

**✅ Ưu điểm chung**

* Dễ tích hợp vào pipeline học máy hiện đại.
* Hỗ trợ các bài toán: phân loại, hồi quy, xếp hạng, phát hiện bất thường,...
* Được tối ưu hóa cho GPU (đặc biệt LightGBM).

**Ví dụ với XGBoost:**

```python
import xgboost as xgb
from sklearn.datasets import load_breast_cancer
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score

# Dữ liệu mẫu
data = load_breast_cancer()
X_train, X_test, y_train, y_test = train_test_split(data.data, data.target, test_size=0.2)

# Mô hình
model = xgb.XGBClassifier()
model.fit(X_train, y_train)

# Dự đoán & đánh giá
y_pred = model.predict(X_test)
print("Độ chính xác:", accuracy_score(y_test, y_pred))
```

***