ما به دنبال یک توسعه‌دهنده باتجربه در حوزه وب‌اسکرپینگ، پردازش داده و یکپارچه‌سازی دیتابیس هستیم تا اسکریپتی طراحی کند که داده‌های محصولات (مانند لباس، کفش، اکسسوری و غیره) را از سایت Trendyol.com استخراج کرده و به صورت خودکار و دقیق در دیتابیس موجود ما وارد کند. هدف، جایگزینی فرآیند دستی با یک سیستم هوشمند، سریع و بدون خطاست.

مشخصات فنی پروژه: وب‌اسکرپینگ پیشرفته از Trendyol.com:

استخراج اطلاعات کلیدی محصولات شامل:

عنوان، توضیحات، قیمت، تخفیف، برند، رنگ، سایز، امتیاز کاربران، نظرات و تصاویر.

شناسایی دسته‌بندی‌های محصولات (مثلاً کفش، کیف، لباس زنانه/مردانه).

مدیریت محدودیت‌های سایت (مثلاً تشخیص CAPTCHA، روتیتینگ IP یا استفاده از headless browsers برای اجتناب از بلاک شدن).

پردازش و بهینه‌سازی تصاویر:

دانلود تصاویر محصولات و ریسایز خودکار به سایزهای تعیینشده (مثلاً 800x600 برای نمایش اصلی و 200x200 برای پیش‌نمایش).

تبدیل فرمت تصاویر به WebP یا JPEG با کیفیت مناسب و بهینه‌سازی حجم فایل.

ذخیره‌سازی تصاویر در مسیرهای مشخصشده در سرور همراه با نامگذاری منظم.

یکپارچه‌سازی هوشمند با دیتابیس:

تطبیق داده‌های استخراجشده با ساختار دیتابیس فعلی (جدول محصولات، دسته‌بندی‌ها، گالری تصاویر و غیره).

اگر برخی فیلدها (مثلاً “رنگ“ یا “سایز“) در Trendyol موجود نبود، از مقادیر پیش‌فرض تعیین شده توسط ما استفاده شود.

تشخیص و جلوگیری از وارد کردن محصولات تکراری بر اساس SKU یا کد یکتا.

انعطاف‌پذیری برای دسته‌بندی‌های مختلف:

امکان تغییر دسته‌بندی هدف (مثلاً از “کفش“ به “کیف“) با حداقل تغییرات کدنویسی (ترجیحاً از طریق فایل کانفیگ یا تنظیمات ماژولار).

قابلیت افزودن فیلدهای سفارشی جدید به دیتابیس بدون نیاز به بازنویسی اسکریپت.

مهارت‌های مورد نیاز: تسلط به زبان‌های Python (با کتابخانه‌های Scrapy, Selenium, BeautifulSoup) یا Node.js (با Puppeteer).

تجربه کار با پردازش تصاویر (مثلاً Pillow در Python یا Sharp در Node.js).

آشنایی با دیتابیس‌های رابطهای (MySQL, PostgreSQL) و نوشتن کوئری‌های پیشرفته.

توانایی مدیریت اجرای زمانبندی‌شده (CRON Jobs) برای بروزرسانی روزانه محصولات.

آشنایی با ساختار سایت‌های بزرگ مانند Trendyol و روش‌های دور زدن آنتی‌اسکرپینگ.