آموزش سلنیوم در پایتون: راهنمای جامع اتوماسیون وب و اسکرپینگ کاربردی

سلنیوم یکی از قدرتمندترین ابزارهای اتوماسیون مرورگر است که به شما امکان می‌دهد تمام کارهای یک کاربر واقعی در وب‌سایت‌ها را از طریق کدنویسی شبیه‌سازی کنید. اگر قصد دارید داده‌های سایت‌های تعاملی را استخراج کنید یا تست‌های نرم‌افزاری خود را خودکار سازید، این کتابخانه دقیقاً همان چیزی است که به آن نیاز دارید.

سلنیوم چیست و چه کاربردی در پایتون دارد؟

سلنیوم (Selenium) یک فریم‌ورک متن‌باز برای اتوماسیون مرورگرهای وب است که دستورات پایتون را به رفتارهای واقعی مرورگر مانند کلیک، اسکرول و تایپ تبدیل می‌کند. برخلاف کتابخانه‌هایی نظیر Requests، سلنیوم موتور جاوا اسکریپت مرورگر را کاملاً اجرا کرده و صفحات تعاملی را پردازش می‌نماید.

استفاده از سلنیوم در پایتون زمانی ضرورت پیدا می‌کند که با وب‌سایت‌های مدرن متکی بر فریم‌ورک‌های SPA (مانند React یا Vue) روبرو هستید. در این صفحات، کدهای HTML اصلی به‌صورت دینامیک توسط کدهای جاوا اسکریپت تولید می‌شوند و کتابخانه‌های ساده استخراج داده قادر به دریافت آن‌ها نیستند. در این حالت می‌توانید از اسنیپت‌های پایتون برای کنترل مرورگر و استخراج داده‌های نهایی استفاده کنید.

نصب سلنیوم 4 و راه‌اندازی مرورگر

نصب سلنیوم ۴ در پایتون بسیار ساده است. در نسخه‌های قدیمی سلنیوم (نسخه ۳ به قبل)، شما مجبور بودید فایل اجرای درایور مرورگر (مانند ChromeDriver) را دستی دانلود کرده و مسیر آن را در سیستم‌عامل مشخص کنید. در سلنیوم ۴، ابزاری به نام Selenium Manager اضافه شده که مدیریت راه‌انداز مرورگر را به‌صورت کاملاً خودکار انجام می‌دهد.

برای نصب کتابخانه سلنیوم، کافی است دستور زیر را در ترمینال یا CMD اجرا کنید:

pip install selenium

پس از نصب، می‌توانید با کد زیر اولین مرورگر خود را روشن کرده و یک صفحه وب را باز کنید:

from selenium import webdriver

# راه‌اندازی مرورگر کروم به صورت خودکار
driver = webdriver.Chrome()

# باز کردن یک وب‌سایت
driver.get("https://example.com")

# دریافت عنوان صفحه
print("عنوان صفحه:", driver.title)

# بستن مرورگر
driver.quit()

روش‌های استخراج و یافتن عناصر در صفحه (Locators)

برای تعامل با هر عنصر در صفحه وب (مانند دکمه‌ها، کادرهای متن و لینک‌ها)، ابتدا باید آن را پیدا کنید. در سلنیوم از کلاس By برای تعریف استراتژی جستجو استفاده می‌شود.

شناخت درست ساختار HTML و تگ‌ها به شما کمک می‌کند تا بهترین Locator را برای انتخاب عناصر انتخاب کنید. جدول زیر مقایسه‌ای کاربردی میان استراتژی‌های اصلی جستجوی عناصر ارائه می‌دهد:

اگر با ساختار انتخابی انتخابگرهای مدرن آشنا باشید، نوشتن کدهای CSS دقیق به شما کمک می‌کند سرعت اجرا را نسبت به XPath‌های سنگین افزایش دهید. در ادامه نمونه کدهای یافتن عنصر را مشاهده می‌کنید:

from selenium.webdriver.common.by import By

# پیدا کردن تک عنصر با ID
username_input = driver.find_element(By.ID, "username")

# پیدا کردن دکمه ارسال با CSS Selector
submit_btn = driver.find_element(By.CSS_SELECTOR, "button.btn-primary")

# پیدا کردن عنصر بر اساس متن دقیق با XPath
element = driver.find_element(By.XPATH, "//button[text()='ارسال']")

# پیدا کردن تمام لینک‌های صفحه
all_links = driver.find_elements(By.TAG_NAME, "a")

مدیریت انتظار: Implicit Wait در برابر Explicit Wait

بهترین روش برای مدیریت تاخیر بارگذاری صفحات در سلنیوم، استفاده از Explicit Wait (انتظار صریح) است. استفاده از time.sleep() کندی کدهای شما را به همراه دارد زیرا صرف‌نظر از بارگذاری عنصر، زمان ثابتی را معطل می‌ماند.

در سلنیوم دو نوع مکانیزم انتظار اصلی وجود دارد:

• Implicit Wait (انتظار ضمنی): یک زمان کل به مرورگر اعلام می‌کنید تا در صورت عدم وجود هر عنصری، تا پایان آن زمان صبور باشد.
• Explicit Wait (انتظار صریح): مرورگر فقط منتظر یک شرط خاص (مثل قابل کلیک بودن دکمه یا ظاهر شدن متن) می‌ماند و به محض برآورده شدن شرط، ادامه کد بلافاصله اجرا می‌شود.

نمونه پیاده‌سازی حرفه‌ای Explicit Wait:

from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

# تعریف حداکثر ۱۰ ثانیه انتظار
wait = WebDriverWait(driver, 10)

# منتظر ماندن تا زمانی که دکمه قابل کلیک شود
button = wait.until(EC.element_to_be_clickable((By.ID, "submit-btn")))
button.click()

تعامل کامل با عناصر (کلیک، تایپ، فرم‌ها و اجرا با JS)

پس از یافتن عنصر، نوبت به تعامل با آن می‌رسد. شما می‌توانید متن تایپ کنید، کلیدهای کیبورد (مانند Enter یا Backspace) را فشار دهید یا متون موجود را استخراج کنید.

from selenium.webdriver.common.keys import Keys

# کلیر کردن کادر و ارسال متن
input_box = driver.find_element(By.NAME, "q")
input_box.clear()
input_box.send_keys("آموزش پایتون" + Keys.RETURN)

# خواندن متن یک عنصر
info_text = driver.find_element(By.CLASS_NAME, "info").text
print(info_text)

اجرای کدهای جاوا اسکریپت با سلنیوم

در برخی صفحات، دکمه‌ها توسط عناصر دیگر پوشانده شده‌اند یا اسکرول صفحه برای بارگذاری داده‌های جدید (Infinite Scroll) الزامی است. در این شرایط می‌توانید از توانایی اجرای کدهای جاوا اسکریپت در سلنیوم استفاده کنید.

# اسکرول به انتهای صفحه
driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")

# کلیک مستقیم روی عنصر با جاوااسکریپت (حتی اگر پوشانده شده باشد)
element = driver.find_element(By.ID, "hidden-btn")
driver.execute_script("arguments[0].click();", element)

تکنیک‌های پیشرفته برای دور زدن مکانیزم‌های ضد ربات

بسیاری از وب‌سایت‌های مدرن ابزارهایی مانند Cloudflare یا سیستم‌های اختصاصی تشخیص ربات دارند. مرورگرهایی که توسط سلنیوم باز می‌شوند، متغیری به نام navigator.webdriver = true را در محیط مرورگر افشا می‌کنند که به سایت‌ها اطلاع می‌دهد یک ربات در حال بازدید است.

برای جلوگیری از مسدود شدن و شبیه‌سازی دقیق رفتار کاربر واقعی، رعایت ۳ نکته زیر الزامی است:

1. غیرفعال کردن پرچم اتوماسیون: حذف متغیر navigator.webdriver از مرورگر.
2. استفاده از User-Agent واقعی: تنظیم یک هدر مرورگر طبیعی و به‌روز.
3. حالت Headless جدید: در سلنیوم ۴ از --headless=new استفاده کنید تا رفتار مرورگر کاملاً شبیه حالت گرافیکی باشد.

from selenium import webdriver
from selenium.webdriver.chrome.options import Options

options = Options()

# تنظیم حالت بدون رابط گرافیکی مدرن
options.add_argument("--headless=new")

# غیرفعال کردن پیام کنترل اتوماسیون
options.add_argument("--disable-blink-features=AutomationControlled")

# تنظیم هدر کاربر
options.add_argument("user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/122.0.0.0 Safari/537.36")

driver = webdriver.Chrome(options=options)

# حذف ردپای سلنیوم در جاوااسکریپت
driver.execute_cdp_cmd("Page.addScriptToEvaluateOnNewDocument", {
    "source": "Object.defineProperty(navigator, 'webdriver', {get: () => undefined})"
})

پروژه عملی: استخراج داده‌ها و ذخیره‌سازی

در این سناریوی واقعی، قصد داریم لیستی از عناوین و قیمت‌های موجود در یک صفحه را استخراج کرده و آن‌ها را مستقیماً در یک فایل اکسل ذخیره کنیم. برای ذخیره‌سازی استاندارد فایل‌های خروجی می‌توانید مقاله کار با فایل‌های اکسل در پایتون را مطالعه کنید.

همچنین اگر بعدها بخواهید برای این اسکریپت اتوماتیک یک دکمه و پنجره دسکتاپ بسازید، مطالعه راهنمای ساخت رابط کاربری گرافیکی با tkinter مسیر ساخت نرم‌افزارهای دسکتاپ را برای شما هموارتر می‌سازد.

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
import openpyxl

# ساخت فایل اکسل
wb = openpyxl.Workbook()
ws = wb.active
ws.append(["عنوان محصول", "قیمت"])

# راه‌اندازی مرورگر
driver = webdriver.Chrome()
driver.get("https://quotes.toscrape.com/")

try:
    wait = WebDriverWait(driver, 10)
    quotes = wait.until(EC.presence_of_all_elements_located((By.CLASS_NAME, "quote")))
    
    for quote in quotes:
        text = quote.find_element(By.CLASS_NAME, "text").text
        author = quote.find_element(By.CLASS_NAME, "author").text
        ws.append([text, author])
        
    wb.save("quotes.xlsx")
    print("داده‌ها با موفقیت ذخیره شدند.")
finally:
    driver.quit()

در صورتی که پروژه شما نیاز به آنالیز خطای داده‌ها یا رسم کادرهای آماری داشت، از روش‌های آموزش‌داده‌شده در مقاله رسم نمودارها در پایتون برای بصری‌سازی داده‌های خروجی سلنیوم استفاده کنید. برای دسترسی به سایر کدهای مفید هم می‌توانید از مجموعه اسنیپت‌های کاربردی بهره ببرید.

پرسش‌های متداول

عیب‌یابی سریع و رفع خطاهای شایع