آموزش pipeline در scikit-learn

✨ نقشه راه Pipeline در Scikit-learn ✨

💡 ترنسفورمر (Transformer)

اینا چیزایی هستن که داده‌ها رو تغییر میدن ولی خروجی رو پیش‌بینی نمی‌کنن. مثل StandardScaler (مقیاس‌بندی) یا SimpleImputer (پر کردن مقادیر گمشده). اینا متد fit و transform دارن.

🎯 استیمیتور (Estimator)

معمولاً آخرین مرحله Pipeline هست و مدل نهایی ماست که خروجی رو پیش‌بینی می‌کنه. مثل LogisticRegression یا RandomForestClassifier. اینا متد fit و predict دارن.

import numpy as np
from sklearn.pipeline import Pipeline
from sklearn.impute import SimpleImputer
from sklearn.preprocessing import StandardScaler
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import train_test_split
from sklearn.datasets import make_classification

# ساخت یه دیتاست نمونه
X, y = make_classification(n_samples=100, n_features=10, random_state=42)
# اضافه کردن مقادیر گمشده
X[0, 0] = np.nan
X[1, 5] = np.nan

# تقسیم داده‌ها
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# تعریف مراحل Pipeline
# 1. پر کردن مقادیر گمشده با میانگین
imputer_step = ('imputer', SimpleImputer(strategy='mean'))
# 2. مقیاس‌بندی داده‌ها
scaler_step = ('scaler', StandardScaler())
# 3. مدل رگرسیون لجستیک
model_step = ('model', LogisticRegression(random_state=42))

# ساخت Pipeline
pipeline = Pipeline(steps=[imputer_step, scaler_step, model_step])

# آموزش Pipeline
pipeline.fit(X_train, y_train)

# پیش‌بینی روی داده‌های تست
y_pred = pipeline.predict(X_test)

print("Pipeline با موفقیت اجرا شد!")
print(f"اولین 5 پیش‌بینی: {y_pred[:5]}")
    

🔗 لینک داخلی مرتبط:

برای یادگیری بیشتر در مورد برنامه‌نویسی پایتون و اسنیپت‌های مفید، می‌تونی به بخش کدهای آماده و اسنیپت سایت ما سر بزنی!

import pandas as pd
from sklearn.compose import ColumnTransformer
from sklearn.preprocessing import OneHotEncoder
from sklearn.impute import SimpleImputer
from sklearn.linear_model import LogisticRegression

# ساخت یه دیتافریم نمونه با داده‌های عددی و دسته‌ای
data = {
    'age': [25, 30, np.nan, 40, 22],
    'salary': [50000, 60000, 75000, np.nan, 45000],
    'city': ['NY', 'SF', 'NY', 'LA', 'SF'],
    'gender': ['Male', 'Female', 'Male', 'Female', 'Male']
}
df = pd.DataFrame(data)
target = [0, 1, 0, 1, 0] # هدف (مثلاً خرید کردن)

# تعریف ستون‌های عددی و دسته‌ای
numerical_features = ['age', 'salary']
categorical_features = ['city', 'gender']

# Pipeline برای ستون‌های عددی
numerical_transformer = Pipeline(steps=[
    ('imputer', SimpleImputer(strategy='mean')),
    ('scaler', StandardScaler())
])

# Pipeline برای ستون‌های دسته‌ای
categorical_transformer = Pipeline(steps=[
    ('imputer', SimpleImputer(strategy='most_frequent')), # برای دسته‌ای‌ها معمولاً با mode پر میشه
    ('onehot', OneHotEncoder(handle_unknown='ignore'))
])

# ترکیب ترنسفورمرها با ColumnTransformer
preprocessor = ColumnTransformer(
    transformers=[
        ('num', numerical_transformer, numerical_features),
        ('cat', categorical_transformer, categorical_features)
    ])

# Pipeline نهایی که شامل پیش‌پردازش و مدل نهایی هست
full_pipeline = Pipeline(steps=[('preprocessor', preprocessor),
                                 ('classifier', LogisticRegression(random_state=42))])

# آموزش Pipeline
full_pipeline.fit(df, target)

print("ColumnTransformer Pipeline با موفقیت اجرا شد!")
# حالا می‌تونی روی داده‌های جدید پیش‌بینی کنی
# مثال: full_pipeline.predict(new_data_df)
    

⚙️ چطور با Grid Search استفاده کنیم؟

برای هر مرحله توی Pipeline، می‌تونی اسم مرحله رو (همون رشته‌ای که به عنوان اولین عنصر تاپل میدی) به همراه دو تا آندرسکور __ و بعد اسم پارامتر رو مشخص کنی. مثلاً: 'classifier__C' برای پارامتر C در مرحله classifier.

from sklearn.model_selection import GridSearchCV

# Pipeline که قبلاً ساختیم
# pipeline = Pipeline(steps=[imputer_step, scaler_step, model_step])

# تعریف فضای پارامترها برای Grid Search
param_grid = {
    'imputer__strategy': ['mean', 'median'], # پارامتر برای مرحله imputer
    'scaler__with_mean': [True, False], # پارامتر برای مرحله scaler
    'model__C': [0.1, 1.0, 10.0] # پارامتر برای مرحله model (LogisticRegression)
}

# ساخت GridSearchCV
grid_search = GridSearchCV(pipeline, param_grid, cv=5, scoring='accuracy', n_jobs=-1)

# اجرای Grid Search
grid_search.fit(X_train, y_train)

print(f"بهترین پارامترها: {grid_search.best_params_}")
print(f"بهترین امتیاز: {grid_search.best_score_:.2f}")

# حالا می‌تونی بهترین مدل رو استفاده کنی
best_pipeline = grid_search.best_estimator_
y_pred_tuned = best_pipeline.predict(X_test)