آموزش پانداس در پایتون: تحلیل و پردازش داده‌ها از صفر تا سطح پیشرفته

فهرست مطالب

• کتابخانه پانداس (Pandas) چیست و چه کاربردی دارد؟
• ساختارهای داده اصلی: Series در برابر DataFrame
• نصب و آماده‌سازی محیط توسعه
• فراخوانی و ذخیره‌سازی داده‌ها (CSV، Excel، SQL)
• تمیزکاری و پالایش داده‌ها (Data Cleaning)
• فیلتر، انتخاب و دستکاری داده‌ها (loc و iloc و query)
• گروه‌بندی و تجمیع داده‌ها (Groupby)
• بهینه‌سازی حافظه و سرعت اجرای کدهای پانداس
• مقایسه کارایی پانداس با حلقه‌های سنتی پایتون
• عیب‌یابی سریع و رفع خطاهای رایج
• پرسش‌های متداول

کار با داده‌های خام همیشه چالش‌برانگیز است؛ داده‌های ناقص، قالب‌بندی‌های نادرست و حجم بالای اطلاعات می‌توانند پروژه پردازش داده شما را کاملاً متوقف کنند. کتابخانه پانداس در پایتون دقیقا برای حل همین مشکل طراحی شده است تا بتوانید مانند یک متخصص تحلیل داده، میلیون‌ها سطر اطلاعات را در چند ثانیه بررسی، تمیز و تحلیل کنید.

کتابخانه پانداس (Pandas) چیست و چه کاربردی دارد؟

پانداس (Pandas) یک کتابخانه متن‌باز و قدرتمند در زبان پایتون است که ساختارهای داده‌ای سریع و انعطاف‌پذیری را برای کار با داده‌های ردیفی و ستونی (جدولی) ارائه می‌دهد. این کتابخانه بر پایه NumPy ساخته شده و ابزار اصلی تحلیلگران داده، دانشمندان داده و مهندسان ماشین لرنینگ است.

اگر در برنامه‌نویسی پایتون به دنبال ابزاری هستید که مانند نرم‌افزار اکسل اما با قدرت و سرعت چند صد برابری عمل کند، پانداس همان گزینه نهایی است. این کتابخانه به شما اجازه می‌دهد داده‌ها را از منابع مختلف مثل CSV، اکسل، پایگاه‌های داده SQL و حتی JSON بارگذاری کرده و عملیات پیچیده ریاضی، فیلتر کردن و گروه‌بندی را روی آن‌ها انجام دهید. برای یادگیری کامل سایر متدها می‌توانید به مجموعه اسنیپت‌های پایتون مراجعه کنید.

ساختارهای داده اصلی: Series در برابر DataFrame

برای کار با پانداس، شناخت دو ساختار داده اصلی الزامی است: Series که آرایه‌ای یک‌بعدی همراه با اندیس است و DataFrame که ساختاری دو‌بعدی (جدولی شامل سطرها و ستون‌ها) دارد.

import pandas as pd

# ساخت یک سری (Series)
sales_series = pd.Series([120, 250, 180], index=['Jan', 'Feb', 'Mar'])

# ساخت یک دیتافریم (DataFrame)
data = {
    'Product': ['Laptop', 'Mouse', 'Monitor'],
    'Price': [1200, 25, 300],
    'Stock': [15, 120, 45]
}
df = pd.DataFrame(data)
print(df)

نصب و آماده‌سازی محیط توسعه

برای شروع کار با پانداس، می‌توانید آن را به راحتی از طریق مدیر بسته‌های پایتون (pip) یا آناکوندا (Conda) نصب کنید. پیشنهاد می‌شود حتماً کتابخانه NumPy را نیز به همراه آن به‌روزرسانی کنید.

1. ترمینال یا Command Prompt را باز کنید.
2. دستور زیر را برای نصب پانداس وارد کنید:

pip install pandas openpyxl sqlalchemy

فراخوانی و ذخیره‌سازی داده‌ها (CSV، Excel، SQL)

خواندن داده در پانداس با متدهای خانواده pd.read_* و ذخیره‌سازی آن‌ها با متدهای to_* انجام می‌شود که توانایی خواندن فرمت‌های متنوعی همچون CSV، Excel، JSON، Parquet و جداول دیتابیس را دارند.

علاوه بر فایل‌های ذخیره‌شده روی سیستم، گاهی نیاز است داده‌ها را مستقیماً از وب استخراج کرده و به DataFrame تبدیل کنید. در این حالت می‌توانید از متد read_html استفاده کنید یا برای استخراج پیشرفته‌تر صفحات وب، فرآیند را همراه با آموزش BeautifulSoup در پایتون ترکیب نمایید.

# خواندن فایل CSV
df_csv = pd.read_csv('users.csv', encoding='utf-8')

# خواندن فایل اکسل
df_excel = pd.read_excel('sales.xlsx', sheet_name='Sheet1')

# ذخیره خروجی تمیز شده به فرمت CSV
df_csv.to_csv('cleaned_users.csv', index=False)

تمیزکاری و پالایش داده‌ها (Data Cleaning)

در پروژه‌های واقعی، داده‌ها به‌ندرت کامل و بی‌نقص هستند. مقادیر گم‌شده (Missing Values) یا داده‌های تکراری باعث انحراف در نتایج تحلیل می‌شوند. پانداس متدهای مستقیمی برای مدیریت این خطاها ارائه می‌دهد.

مدیریت مقادیر خالی (NaN)

برای پیدا کردن مقادیر خالی از isna()، برای حذف آن‌ها از dropna() و برای جایگزینی آن‌ها با یک مقدار مشخص (مثل میانگین) از fillna() استفاده می‌کنیم:

# بررسی تعداد مقادیر خالی در هر ستون
print(df.isna().sum())

# جایگزینی مقادیر خالی ستون سن با میانگین سن‌ها
df['Age'].fillna(df['Age'].mean(), inplace=True)

# حذف سطرهایی که حداقل یک مقدار خالی دارند
df_clean = df.dropna()

فیلتر، انتخاب و دستکاری داده‌ها (loc و iloc و query)

برای انتخاب و فیلتر سطرها و ستون‌ها در پانداس، متد loc بر اساس برچسب‌ها (Name Labels) و متد iloc بر اساس اندیس عددی (Integer Position) عمل می‌کند. همچنین متد query() خواناترین روش برای شرط‌های پیچیده است.

• loc: جهت دسترسی بر اساس نام سطر و ستون df.loc[row_label, column_name]
• iloc: جهت دسترسی بر اساس موقعیت عددی df.iloc[row_index, column_index]
• query: فیلتر کردن سریع بر اساس عبارت‌های شرطی متنی.

# فیلتر کاربران بالای ۲۵ سال با loc
adults = df.loc[df['Age'] > 25, ['Name', 'Email']]

# انتخاب ۵ سطر اول و ۳ ستون اول با iloc
subset = df.iloc[0:5, 0:3]

# استفاده از متد قدرتمند query برای خوانایی بیشتر
expensive_items = df.query('Price > 500 and Stock > 0')

گروه‌بندی و تجمیع داده‌ها (Groupby)

فرآیند “Split-Apply-Combine” در تحلیل داده‌ها با متد groupby() انجام می‌شود. شما می‌توانید داده‌ها را بر اساس یک یا چند ستون دسته‌بندی کرده و سپس توابع تجمیعی مثل sum()، mean() یا count() را روی آن‌ها اعمال کنید.

# محاسبه مجموع فروش و میانگین قیمت بر اساس دسته‌بندی محصول
category_summary = df.groupby('Category').agg({
    'Sales': 'sum',
    'Price': 'mean'
}).reset_index()

print(category_summary)

بهینه‌سازی حافظه و سرعت اجرای کدهای پانداس

یکی از مشکلات رایج برنامه‌نویسان، کند شدن پانداس هنگام کار با فایل‌های چند گیگابایتی است. با رعایت ۳ نکته کلیدی زیر می‌توانید مصرف حافظه رم را تا ۸۰ درصد کاهش دهید:

• تغییر نوع داده متنی به Category: اگر ستونی دارای داده‌های متنی تکراری است (مثل نام استان یا جنسیت)، نوع آن را به category تغییر دهید.
• کاهش دقت اعداد (Downcasting): نوع داده‌های عددی مثل int64 یا float64 را به int32 یا float32 تبدیل کنید.
• جایگزینی apply با متدهای برداری: از تابع apply() تا حد امکان پرهیز کنید، زیرا برداری نیست و مانند یک حلقه for عمل می‌کند.

# بهینه‌سازی حافظه یک ستون متنی پرتکرار
df['City'] = df['City'].astype('category')

# بهینه‌سازی اعداد صحیح
df['Age'] = pd.to_numeric(df['Age'], downcast='unsigned')

مقایسه کارایی پانداس با حلقه‌های سنتی پایتون

جدول زیر تفاوت عملکرد و شیوه تفکر برداری در پانداس را نسبت به کدهای پایه پایتون نشان می‌دهد:

عیب‌یابی سریع و رفع خطاهای رایج

پرسش‌های متداول