آموزش Decision Tree با Scikit-learn: راهنمای جامع و عملی برای هر برنامه‌نویس

رفیق برنامه‌نویس، حالت چطوره؟ امروز می‌خوایم بریم سراغ یکی از اون الگوریتم‌های جذاب و پرکاربرد تو دنیای یادگیری ماشین که هم ساده‌ست و هم فوق‌العاده قدرتمند: Decision Tree یا همون درخت تصمیم. اگه تا حالا اسمش رو شنیدی یا دوست داری عمیق‌تر باهاش آشنا بشی و ببینی چطور می‌تونی با Scikit-learn پایتون ازش استفاده کنی، دقیقاً اومدی جای درست. قراره صفر تا صدشو با هم بریم جلو و آخرش یه مدل خفن داشته باشیم. راستی، اگه دنبال کدهای آماده پایتون، سی‌اس‌اس یا هر چیز دیگه‌ای هستی که کارت رو راه بندازه، یه سر به آرشیو `فا‌تولز` بزن؛ اونجا کلی اسنیپت خفن منتظرته که هر برنامه‌نویسی بهش نیاز داره: [کدهای آماده و اسنیپت‌های برنامه‌نویسی](https://fa-tools.ir/snippets/)

—

🗺️ نقشه راه شما برای تسلط بر Decision Tree 🗺️

آموزش decision tree با scikit-learn — تصویر 1

🌲 درخت تصمیم چیست؟

مفاهیم اساسی و منطق پشت درخت تصمیم.

🛠️ چرا Scikit-learn؟

راحتی و قدرت این کتابخانه پایتونی.

🚀 پیاده‌سازی گام به گام

آماده‌سازی داده، آموزش مدل، پیش‌بینی و ارزیابی.

⚙️ تنظیم هایپرپارامترها

بهبود عملکرد مدل با GridSearch و RandomizedSearch.

🔍 عیب‌یابی و راه‌حل

مشکلات رایج و چگونگی رفع آن‌ها.

🌟 گام‌های بعدی

نگاهی به روش‌های پیشرفته‌تر.

این مسیر به شما کمک می‌کنه تا نه تنها Decision Tree رو یاد بگیرید، بلکه بتونید اون رو به صورت عملی پیاده‌سازی کنید و ازش نتایج عالی بگیرید.

—

درخت تصمیم چیست و چطور کار می‌کند؟

آموزش decision tree با scikit-learn — تصویر 2

ببین، درخت تصمیم مثل یه فلوچارت (flowchart) عمل می‌کنه که قراره بر اساس یه سری سوال، یه تصمیم بگیره. فرض کن می‌خوایم پیش‌بینی کنیم یه نفر می‌ره فوتبال یا نه. سوال اول ممکنه این باشه: “هوا آفتابیه؟” اگه آره، میریم به سوال بعدی. اگه نه، مثلاً میگیم “احتمالاً نمیره.” این سوال و جواب‌ها تا جایی ادامه پیدا می‌کنه که به یه تصمیم نهایی (برگ یا leaf) می‌رسیم.

تو دنیای یادگیری ماشین، هر گره (node) تو این درخت یه ویژگی (feature) از داده‌هاست، هر شاخه (branch) یه قانون تصمیم‌گیریه (مثلاً “اگه دما بالای ۲۰ درجه باشه”) و هر برگ (leaf) نتیجه نهاییه (مثلاً “بله، می‌ره فوتبال” یا “خیر، نمیره”).

**انواع درخت تصمیم:**

* **درخت‌های طبقه‌بندی (Classification Trees):** برای پیش‌بینی دسته‌های گسسته (مثل “بله/خیر”، “سیب/پرتقال”).
* **درخت‌های رگرسیون (Regression Trees):** برای پیش‌بینی مقادیر پیوسته (مثل قیمت خونه، دما).

این الگوریتم‌ها با پیدا کردن بهترین تقسیم‌بندی‌ها (splits) تو هر گره، درخت رو می‌سازن تا خالص‌ترین برگ‌ها رو داشته باشن. معیارهایی مثل **Gini impurity** یا **Entropy** (برای طبقه‌بندی) و **Mean Squared Error (MSE)** (برای رگرسیون) بهشون کمک می‌کنه تا بهترین تقسیم رو پیدا کنن.

چرا Scikit-learn بهترین دوست شماست؟

آموزش decision tree با scikit-learn — تصویر 3

وقتی صحبت از پیاده‌سازی الگوریتم‌های یادگیری ماشین تو پایتون میشه، Scikit-learn (یا به قول ما برنامه‌نویس‌ها `sklearn`) مثل یه سوپرقهرمانه. چرا؟

1. **سادگی و شهودی بودن:** استفاده ازش خیلی راحته. API یکپارچه‌ای داره که برای اکثر الگوریتم‌ها شبیه به همه.
2. **جامعیت:** تقریباً هر الگوریتمی که نیاز داشته باشی رو داره، از رگرسیون خطی گرفته تا شبکه‌های عصبی ساده.
3. **کارآیی بالا:** تحت لایه SciPy و NumPy نوشته شده، پس از نظر عملکردی حرف نداره و برای داده‌های بزرگ هم خوب کار می‌کنه.
4. **مستندات عالی:** داکیومنت‌هاش کامل و با مثال‌های واقی هستن، همیشه می‌تونی بهشون مراجعه کنی.

با Scikit-learn، پیاده‌سازی یه درخت تصمیم چند خط کد بیشتر نیست و اینجاست که قدرت پایتون و این کتابخونه خودش رو نشون میده. اگه تا حالا باهاش کار نکردی، الان بهترین فرصته که شروع کنی.

گام به گام: پیاده‌سازی Decision Tree با Scikit-learn

خب، بریم سراغ بخش هیجان‌انگیز قضیه: کدنویسی! ما از یه مجموعه داده فرضی استفاده می‌کنیم تا بتونیم مراحل رو خوب درک کنیم. اگه دوست داری با کد‌های پایتون بیشتری آشنا بشی و برای پروژه‌هات الهام بگیری، [اینجا رو حتماً ببین](https://fa-tools.ir/snippets/python/).

۱. آماده‌سازی داده‌ها (Data Preparation)

اولین قدم، همیشه آماده کردن داده‌هاست. ما یه دیتاست ساده می‌سازیم.

“`python
import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.tree import DecisionTreeClassifier
from sklearn.metrics import accuracy_score, classification_report
import matplotlib.pyplot as plt
from sklearn.tree import plot_tree
import numpy as np

# ساخت یه دیتاست فرضی برای مثال
data = {
‘دما_سانتیگراد’: [25, 30, 15, 20, 35, 10, 28, 22, 18, 27],
‘رطوبت_درصد’: [60, 70, 40, 50, 80, 30, 65, 55, 45, 75],
‘وزش_باد’: [0, 1, 0, 0, 1, 0, 1, 0, 0, 1], # 0: کم, 1: زیاد
‘وضعیت_آسمان’: [‘آفتابی’, ‘ابری’, ‘آفتابی’, ‘کمی_ابری’, ‘بارانی’, ‘آفتابی’, ‘ابری’, ‘آفتابی’, ‘کمی_ابری’, ‘بارانی’],
‘می‌رود_پیک‌نیک’: [1, 0, 1, 1, 0, 1, 0, 1, 1, 0] # 1: بله, 0: خیر
}
df = pd.DataFrame(data)

# تبدیل متغیرهای کتگوریکال به عددی با One-Hot Encoding
df = pd.get_dummies(df, columns=[‘وضعیت_آسمان’], drop_first=True)

# تعریف فیچرها (X) و تارگت (y)
X = df.drop(‘می‌رود_پیک‌نیک’, axis=1)
y = df[‘می‌رود_پیک‌نیک’]

# تقسیم داده‌ها به بخش‌های آموزشی و تست
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)

print(“داده‌های آموزشی X_train:”)
print(X_train.head())
print(“nتعداد نمونه‌های آموزشی:”, len(X_train))
print(“تعداد نمونه‌های تست:”, len(X_test))
“`
توی این کد، ما اول یه `DataFrame` پانداس ساختیم. بعدش برای اینکه متغیرهای متنی مثل `وضعیت_آسمان` رو بتونیم تو مدل استفاده کنیم، از `pd.get_dummies` برای **One-Hot Encoding** استفاده کردیم. در نهایت، داده‌ها رو به دو بخش `X` (ویژگی‌ها) و `y` (هدف) تقسیم کردیم و بعد با `train_test_split` به داده‌های آموزشی و تستی جداشون کردیم. این کار برای جلوگیری از **Overfitting** (بیش‌برازش) خیلی مهمه.

۲. آموزش مدل (Model Training)

حالا که داده‌ها آماده‌ان، می‌تونیم مدل رو آموزش بدیم. اینجا از `DecisionTreeClassifier` استفاده می‌کنیم چون هدفمون پیش‌بینی یه دسته (می‌رود پیک‌نیک یا خیر) هست.

“`python
# ایجاد نمونه‌ای از مدل Decision Tree Classifier
# می‌تونیم هایپرپارامترهایی مثل max_depth و criterion رو تنظیم کنیم.
# random_state رو برای نتایج قابل تکرار تنظیم می‌کنیم.
model = DecisionTreeClassifier(max_depth=3, random_state=42, criterion=’entropy’)

# آموزش مدل با داده‌های آموزشی
model.fit(X_train, y_train)

print(“nمدل با موفقیت آموزش داده شد!”)
“`
توی `DecisionTreeClassifier` چند تا هایپرپارامتر مهم داریم:
* `max_depth`: حداکثر عمق درخت رو مشخص می‌کنه. اگه اینو خیلی زیاد بذاریم، ممکنه مدل دچار Overfitting بشه.
* `criterion`: معیاریه که برای اندازه‌گیری کیفیت تقسیم‌ها استفاده میشه. `gini` (Gini Impurity) و `entropy` (Information Gain) دو انتخاب رایج هستن.

۳. پیش‌بینی (Prediction)

حالا که مدل آموزش دید، نوبت به پیش‌بینی روی داده‌های تستی می‌رسه که مدل تا حالا ندیده.

“`python
# پیش‌بینی روی داده‌های تست
y_pred = model.predict(X_test)

print(“nپیش‌بینی‌های مدل روی داده‌های تست:”)
print(y_pred)
print(“nمقادیر واقی داده‌های تست:”)
print(y_test.values)
“`

۴. ارزیابی مدل (Model Evaluation)

بعد از پیش‌بینی، باید ببینیم مدل چقدر خوب عمل کرده. برای طبقه‌بندی، معیارهایی مثل `accuracy_score`، `precision`، `recall` و `f1-score` رو داریم.

“`python
# محاسبه دقت (Accuracy) مدل
accuracy = accuracy_score(y_test, y_pred)
print(f”nدقت مدل: {accuracy:.2f}”)

# نمایش گزارش کامل طبقه‌بندی
print(“nگزارش طبقه‌بندی:”)
print(classification_report(y_test, y_pred))
“`
`accuracy` بهمون میگه مدل چند درصد از پیش‌بینی‌هاش درست بوده. `classification_report` هم جزئیات بیشتری مثل Precision, Recall و F1-Score رو برای هر کلاس نشون میده. اگه دنبال آموزش‌های بیشتر درباره ارزیابی مدل‌ها هستی، [اسنیپت‌های عمومی رو فراموش نکن](https://fa-tools.ir/snippets/).

۵. بصری‌سازی درخت (Tree Visualization)

یکی از مزایای خفن Decision Tree اینه که می‌تونی درخت ساخته شده رو ببینی و بفهمی مدل چطور تصمیم می‌گیره.

“`python
# بصری‌سازی درخت تصمیم
plt.figure(figsize=(15, 10))
plot_tree(model,
feature_names=X.columns.tolist(), # نام ویژگی‌ها
class_names=[‘خیر’, ‘بله’], # نام کلاس‌ها (0: خیر، 1: بله)
filled=True, # پر کردن گره‌ها با رنگ
rounded=True, # گوشه‌های گرد برای گره‌ها
fontsize=8)
plt.title(“درخت تصمیم برای پیش‌بینی رفتن به پیک‌نیک”, fontsize=16)
plt.show()
“`
با این کد، یه نمودار درختی زیبا خواهی داشت که هر گره رو با رنگ و مقادیرش نشون میده. این نمودار بهت کمک می‌کنه بفهمی کدوم ویژگی‌ها بیشترین تاثیر رو تو تصمیم‌گیری دارن.

تنظیم هایپرپارامترها برای عملکرد بهتر (Hyperparameter Tuning)

مدلی که ساختیم خوبه، ولی همیشه جا برای بهتر شدن هست. هایپرپارامترها مثل `max_depth` یا `criterion` رو میشه تنظیم کرد تا بهترین عملکرد رو از مدل بگیریم. این فرآیند رو بهش میگن **Hyperparameter Tuning**.
برای این کار، معمولاً از `GridSearchCV` یا `RandomizedSearchCV` استفاده می‌کنیم.

“`python
from sklearn.model_selection import GridSearchCV

# تعریف فضای جستجو برای هایپرپارامترها
param_grid = {
‘max_depth’: [2, 3, 4, 5, 6, 7, 8],
‘min_samples_split’: [2, 5, 10],
‘min_samples_leaf’: [1, 2, 4],
‘criterion’: [‘gini’, ‘entropy’]
}

# ایجاد یک نمونه از GridSearchCV
grid_search = GridSearchCV(estimator=DecisionTreeClassifier(random_state=42),
param_grid=param_grid,
cv=3, # تعداد Foldها برای Cross-Validation
n_jobs=-1, # استفاده از تمام هسته‌های CPU
verbose=1, # نمایش جزئیات پیشرفت
scoring=’accuracy’) # معیاری که برای ارزیابی استفاده میشه

# اجرای جستجو روی داده‌های آموزشی
grid_search.fit(X_train, y_train)

print(f”nبهترین هایپرپارامترها: {grid_search.best_params_}”)
print(f”بهترین دقت با هایپرپارامترهای بهینه: {grid_search.best_score_:.2f}”)

# استفاده از بهترین مدل پیدا شده
best_model = grid_search.best_estimator_
y_pred_tuned = best_model.predict(X_test)
accuracy_tuned = accuracy_score(y_test, y_pred_tuned)
print(f”دقت مدل تنظیم‌شده روی داده‌های تست: {accuracy_tuned:.2f}”)
“`
`GridSearchCV` همه ترکیبات ممکن از هایپرپارامترهایی که بهش دادی رو امتحان می‌کنه و بهترینشون رو انتخاب می‌کنه. این کار باعث میشه مدل شما دقیق‌تر و قوی‌تر بشه.

عیب‌یابی سریع: مشکلات رایج و راه‌حل‌ها

وقتی با درخت‌های تصمیم کار می‌کنی، ممکنه با چند تا چالش روبه‌رو بشی. نگران نباش، اینا مشکلاتیه که برای همه پیش میاد و راه حل دارن:

مشکل رایج	راه‌حل عملی
Overfitting (بیش‌برازش) مدل روی داده‌های آموزشی خیلی خوب عمل می‌کنه، ولی روی داده‌های جدید (تست) عملکردش افتضاحه.	تنظیم `max_depth`: عمق درخت رو محدود کن (مثلاً 3 تا 7). تنظیم `min_samples_leaf`: حداقل تعداد نمونه در هر برگ رو افزایش بده. تنظیم `min_samples_split`: حداقل تعداد نمونه برای هر گره جهت تقسیم رو افزایش بده. استفاده از Pruning (هرس کردن): شاخه‌هایی که اهمیت کمی دارن رو حذف کن. استفاده از Ensemble Methods: الگوریتم‌هایی مثل Random Forest یا Gradient Boosting کمتر دچار بیش‌برازش میشن.
Underfitting (کم‌برازش) مدل روی هر دو داده آموزشی و تست عملکرد ضعیفی داره و انگار هیچی یاد نگرفته.	افزایش `max_depth`: اجازه بده درخت عمیق‌تر بشه و الگوهای پیچیده‌تر رو یاد بگیره. کاهش `min_samples_leaf`/`min_samples_split`: محدودیت‌های روی پیچیدگی درخت رو کمتر کن. استفاده از ویژگی‌های بیشتر: شاید داده‌های ورودی تو کافی نیستن یا ویژگی‌های مهمی رو از دست دادی. مهندسی ویژگی (Feature Engineering): ویژگی‌های جدیدی بساز که اطلاعات بیشتری داشته باشن.
Bias و Variance بالا درخت‌های تصمیم به تنهایی می‌تونن واریانس بالایی داشته باشن (حساس به تغییرات کوچک در داده‌ها).	Ensemble Methods: این روش‌ها با ترکیب چندین درخت (مثل Random Forest که چندین درخت تصمیم رو آموزش میده) هم Bias و هم Variance رو کاهش میدن و کارآئی مدل رو بالا می‌برن. Cross-Validation: از Cross-Validation برای ارزیابی پایدارتر مدل و اطمینان از تعمیم‌پذیری (generalization) اون استفاده کن.
داده‌های نامتوازن (Imbalanced Data) یکی از کلاس‌ها تعداد نمونه‌های خیلی بیشتری نسبت به بقیه داره و مدل به سمت کلاس اکثریت گرایش پیدا می‌کنه.	Weighted Classes: در `DecisionTreeClassifier` می‌تونی پارامتر `class_weight=’balanced’` رو تنظیم کنی تا به کلاس‌های اقلیت وزن بیشتری داده بشه. Oversampling/Undersampling: با تکنیک‌هایی مثل SMOTE (Oversampling) یا حذف نمونه‌ها از کلاس اکثریت (Undersampling) توازن رو برقرار کن. استفاده از معیارهای ارزیابی مناسب: به جای Accuracy، روی Precision، Recall و F1-Score تمرکز کن، به خصوص برای کلاس اقلیت.

گام‌های بعدی: فراتر از یک درخت

درخت تصمیم یه نقطه شروع عالیه، اما دنیای یادگیری ماشین پر از الگوریتم‌های جذاب دیگه است که می‌تونی ازشون استفاده کنی:

* **Random Forest:** یه الگوریتم Ensemble که تعداد زیادی درخت تصمیم رو آموزش میده و خروجی‌هاشون رو با هم ترکیب می‌کنه. این کار باعث میشه مدل قدرتمندتر و کمتر دچار Overfitting بشه.
* **Gradient Boosting (XGBoost, LightGBM, CatBoost):** اینها هم از خانواده Ensemble Methods هستن، ولی به جای آموزش موازی، درخت‌ها رو به صورت ترتیبی آموزش میدن و هر درخت خطاهای درخت قبلی رو جبران می‌کنه. فوق‌العاده قوی و دقیقن.
* **Support Vector Machines (SVM):** برای طبقه‌بندی و رگرسیون استفاده میشه و تو فضاهای ابعاد بالا خوب کار می‌کنه.
* **Neural Networks (شبکه‌های عصبی):** اگه داده‌هات خیلی زیاد و پیچیده‌ان، شبکه‌های عصبی و Deep Learning می‌تونن معجزه کنن.

هر کدوم از این الگوریتم‌ها داستان خودشون رو دارن و بسته به نوع داده و مشکلت، می‌تونی ازشون استفاده کنی. اگه قصد داری بیشتر در مورد این الگوریتم‌ها بدونی یا به کدهای نمونه CSS برای طراحی وب نیاز داری تا پروژه‌هات رو جذاب‌تر کنی، [اینجا کلیک کن](https://fa-tools.ir/snippets/css/) یا اگه می‌خوای با جاوااسکریپت عملکرد وب‌سایتت رو ارتقا بدی، [به این صفحه سر بزن](https://fa-tools.ir/snippets/js/). برای هر نیاز برنامه‌نویسی، [فا‌تولز یه راه حل داره](https://fa-tools.ir/).

سوالات متداول (FAQ)

۱. آیا Decision Tree همیشه بهترین انتخابه؟

نه همیشه. Decision Tree برای شروع و فهم مدل خیلی خوبه چون بصریه. اما ممکنه روی داده‌های پیچیده یا نویزدار دچار بیش‌برازش (overfitting) بشه و عملکردش به اندازه Ensemble Methods مثل Random Forest یا Gradient Boosting نباشه. برای داده‌های خطی هم ممکنه الگوریتم‌های ساده‌تر مثل رگرسیون لجستیک یا خطی بهتر باشن.

۲. چه تفاوتی بین Gini Impurity و Entropy وجود داره؟

هر دو معیار `criterion` برای اندازه‌گیری “ناخالصی” یک گره در درخت تصمیم (برای مسائل طبقه‌بندی) استفاده می‌شن.
* **Gini Impurity:** احتمال طبقه‌بندی اشتباه یک نمونه تصادفی از گره، در صورت تصادفی بودن انتخاب کلاس.
* **Entropy:** معیاری از بی‌نظمی یا عدم قطعیت در گره.
در عمل، نتایج این دو معیار معمولاً خیلی شبیه به هم هستن و تفاوت چشمگیری در عملکرد نهایی مدل ایجاد نمی‌کنن. انتخاب یکی از آن‌ها بستگی به ترجیح و گاهی اوقات سرعت محاسبه داره.

۳. چطور می‌تونم با داده‌های کتگوریکال (متنی) تو Decision Tree کار کنم؟

Decision Treeها مستقیماً با داده‌های عددی کار می‌کنن. برای داده‌های کتگوریکال (مثل “رنگ: قرمز، آبی، سبز”) باید اون‌ها رو به فرمت عددی تبدیل کنی. رایج‌ترین روش‌ها:
* **One-Hot Encoding:** برای متغیرهای کتگوریکال اسمی (Nominal) که ترتیب ندارن (مثل رنگ‌ها). این کار هر دسته رو به یک ستون با مقادیر 0 و 1 تبدیل می‌کنه. (همونطور که تو مثال بالا برای `وضعیت_آسمان` دیدی.)
* **Label Encoding:** برای متغیرهای کتگوریکال ترتیبی (Ordinal) که ترتیب دارن (مثل “کوچک، متوسط، بزرگ”). این روش هر دسته رو به یک عدد صحیح (0, 1, 2, …) تبدیل می‌کنه.
برای `One-Hot Encoding` می‌تونی از `pd.get_dummies` در پانداس یا `OneHotEncoder` در Scikit-learn استفاده کنی.

۴. آیا درخت تصمیم برای داده‌های بزرگ هم مناسبه؟

Decision Tree به تنهایی می‌تونه روی داده‌های بزرگ کند باشه، به خصوص اگر عمق درخت خیلی زیاد بشه. اما Scikit-learn بهینه شده است و معمولاً برای اکثر مجموعه داده‌ها عملکرد خوبی داره. برای مجموعه داده‌های فوق‌العاده بزرگ (میلیون‌ها نمونه و هزاران ویژگی)، ممکنه نیاز به استفاده از نسخه‌های موازی (parallelized) یا الگوریتم‌های Distributed Machine Learning داشته باشی. با این حال، استفاده از Ensemble Methods مثل Random Forest یا Gradient Boosting که از چندین درخت استفاده می‌کنن و می‌تونن به صورت موازی پردازش بشن، اغلب راه‌حل بهتری هست.

حرف آخر

خب دوست من، تا اینجا یه سفر کامل داشتیم با Decision Tree و Scikit-learn. دیدی که چقدر ساده و در عین حال قدرتمنده. از آماده‌سازی داده‌ها گرفته تا آموزش، پیش‌بینی، ارزیابی و حتی بصری‌سازی، همه رو با هم رفتیم جلو. یادت باشه، کلید تسلط بر این ابزارها، تمرین و تجربه کردن با دیتاست‌های مختلفه. پس دست به کار شو و خودت امتحان کن.

همیشه دنبال یادگیری باش و اگه برای پروژه‌هات به هر نوع اسنیپت یا کد آماده‌ای نیاز داشتی، از پایتون و HTML گرفته تا وردپرس و جاوا اسکریپت، یه سر به [fa-tools.ir](https://fa-tools.ir/) بزن. اونجا کلی چیز به درد بخور پیدا می‌کنی که کار رو برات راحت‌تر می‌کنه:
* [اسنیپت‌های پایتون](https://fa-tools.ir/snippets/python/)
* [اسنیپت‌های CSS](https://fa-tools.ir/snippets/css/)
* [اسنیپت‌های جاوا اسکریپت](https://fa-tools.ir/snippets/js/)
* [اسنیپت‌های HTML](https://fa-tools.ir/snippets/html/)
* [اسنیپت‌های وردپرس](https://fa-tools.ir/snippets/wordpress/)
* [همه اسنیپت‌ها](https://fa-tools.ir/snippets/)

اگه سوالی داری یا تو مسیر یادگیری به مشکلی خوردی، می‌تونی با شماره [09202232789](tel:09202232789) تماس بگیری و از متخصصین ما مشاوره بگیری. موفق باشی رفیق!