tento5(4) امتیاز
زمان تحویل: 30 روز
ارسال پیشنهاد در:
انجام شده
استخدام برنامه‌نویس Python مسلط به Web Scraping
- توسعه نرم‌افزار و آی‌تی
با سلام لطفاً پیش از ارسال پیشنهاد، بخش «شرایط همکاری» و «نحوه ارسال پیشنهاد» را با دقت مطالعه کنید.
- این یک پروژه بی‌نهایت است. لطفاً همراه پیشنهاد خود، رزومه و نمونه‌کارهای مرتبط را ارسال کنید.
- متقاضی باید امکان همکاری منظم روزانه حداقل ۳ تا ۴ ساعت را داشته باشد.
- پرداخت به‌صورت پروژه‌ای و به ازای تکمیل هر وب‌سایت یا تسک مشخص انجام می‌شود.
معرفی پروژه
- ما در حال توسعه یک پلتفرم تخصصی برای جمع‌آوری، طبقه‌بندی و جست‌وجوی منابع آموزشی شامل درس‌ها، ویدئوها، فایل‌های صوتی، کتاب‌ها، وبینارها و سایر محتواهای آموزشی هستیم.
- داده‌ها از وب‌سایت‌های خارجی استخراج شده، در دیتابیس محلی روی سیستم دسکتاپ ذخیره می‌شوند و سپس از طریق API روی پلتفرم ما بارگذاری خواهند شد. این پروژه با دیتاست‌های حجیم، شامل ده‌ها هزار رکورد، سروکار دارد.
- برای توسعه بخش اسکرپینگ، به‌دنبال یک برنامه‌نویس Python در سطح Mid-Level هستیم که بتواند وب‌سایت‌های مختلف را بر اساس مستندات فنی، ساختار دیتابیس، Schema و دستورالعمل‌های مکتوب پروژه، به‌صورت دقیق، استاندارد و قابل نگهداری اسکرپ کند.
- همکاری پس از یک دوره آزمایشی و در صورت رضایت طرفین، به‌صورت بلندمدت ادامه خواهد داشت.
شرح وظایف:
- بررسی ساختار وب‌سایت هدف و انتخاب روش مناسب برای استخراج اطلاعات
- توسعه، تست و نگهداری اسکریپت‌های Python برای اسکرپینگ وب‌سایت‌های منابع آموزشی
- استخراج داده‌های متنی، متادیتا، لینک‌ها، تصاویر، فایل‌های صوتی، ویدئوها و فایل‌های قابل دانلود
- مدیریت صفحه‌بندی، دسته‌بندی‌ها، فیلترها و ساختارهای چندمرحله‌ای وب‌سایت‌ها
- ساخت، تکمیل و به‌روزرسانی جداول دیتابیس SQLite
- ذخیره‌سازی استاندارد داده‌ها بر اساس Schema و مستندات ارائه‌شده
- شناسایی و جلوگیری از ثبت داده‌های تکراری
- پیاده‌سازی Validation برای بررسی صحت داده‌ها، لینک‌ها و فایل‌های دانلودشده
- مدیریت خطاها، Timeout، Retry، Rate Limit و گزارش‌گیری از عملیات اسکرپینگ
- ایجاد Log و گزارش‌های خودکار از وضعیت عملیات اسکرپینگ
- ایجاد گزارش‌های خودکار از تعداد داده‌های استخراج‌شده، دانلودشده، ناموفق و نیازمند بررسی
- اصلاح و نگهداری اسکریپت‌ها در صورت تغییر ساختار وب‌سایت‌های هدف
- تحویل کد خوانا، ساختاریافته و مستندسازی‌شده
مهارت‌های مورد نیاز
- تسلط مناسب به Python 3
- تجربه عملی و قابل ارائه در زمینه Web Scraping
- تسلط به Requests و BeautifulSoup
- تجربه کار با حداقل یکی از ابزارهای Playwright، Selenium یا Scrapy
- تسلط به SQLite و طراحی، ساخت و به‌روزرسانی جداول دیتابیس
- آشنایی کامل با JSON، HTTP Requests، API و ساختار HTML
- توانایی بررسی Network Requests و استخراج اطلاعات از APIهای داخلی وب‌سایت‌ها
- توانایی کار با وب‌سایت‌های دارای JavaScript، Pagination و Lazy Loading
- توانایی مدیریت Session، Cookie، Header و درخواست‌های HTTP
- توانایی مدیریت دانلود فایل‌ها و ذخیره‌سازی استاندارد آن‌ها
- توانایی نوشتن کد ماژولار، قابل نگهداری و قابل توسعه
- آشنایی با Git و مدیریت نسخه‌های کد
- دقت بالا در اجرای مستندات و رعایت ساختار تعیین‌شده برای داده‌ها
- توانایی بررسی و رفع خطاهای اسکریپت به‌صورت مستقل
مهارت‌های امتیازی
- تجربه کار با پروژه‌های داده‌محور و دیتاست‌های حجیم
- تجربه توسعه Crawler یا Scraper برای وب‌سایت‌های آموزشی
- آشنایی با ساختار منابع آموزشی مانند سطح، گروه سنی، مهارت، موضوع، درس، ویدئو و فایل صوتی
- تجربه کار با Proxy، Session، Cookie و سیستم‌های ورود کاربران
- آشنایی با پردازش و اعتبارسنجی فایل‌های PDF، صوتی، ویدئویی و تصویری
- مهارت خواندن و درک مستندات انگلیسی در سطح Intermediate یا بالاتر
شرایط همکاری
- همکاری به‌صورت دورکاری و بلندمدت است.
- متقاضی باید امکان همکاری منظم روزانه حداقل ۳ تا ۴ ساعت را داشته باشد.
- انتظار می‌رود میزان همکاری پس از پایان دوره آزمایشی کاهش پیدا نکند.
- پرداخت به‌صورت پروژه‌ای و به ازای تکمیل هر وب‌سایت یا تسک مشخص انجام می‌شود.
- شرح هر تسک، خروجی مورد انتظار، مبلغ و شرایط تحویل پیش از شروع به‌صورت مکتوب مشخص خواهد شد.
- قرارداد، ساختار دیتابیس، مستندات فنی و Guidelines پروژه پیش از شروع همکاری ارائه می‌شوند.
- توسعه‌دهنده موظف است خروجی را دقیقاً مطابق مستندات و ساختار تعیین‌شده تحویل دهد.
- هر وب‌سایت پس از اجرای کامل، تست، Validation و تأیید صحت داده‌ها، تکمیل‌شده محسوب خواهد شد.
- رفع باگ‌های مربوط به تسک تحویل‌داده‌شده، بخشی از همان تسک محسوب می‌شود.
- اولویت با افرادی است که تجربه حرفه‌ای و نمونه‌کار مرتبط با Web Scraping دارند.
نحوه ارسال پیشنهاد لطفاً همراه پیشنهاد خود موارد زیر را ارسال کنید:
رزومه یا توضیح مختصری درباره سابقه کاری
نمونه‌کارهای مرتبط با Python و Web Scraping
کتابخانه‌ها و ابزارهایی که در پروژه‌های قبلی استفاده کرده‌اید
میزان زمان آزاد روزانه برای همکاری
مبلغ پیشنهادی یا روش محاسبه هزینه برای اسکرپ کامل یک وب‌سایت
پیشنهادهایی که فاقد نمونه‌کار یا توضیح درباره تجربه عملی اسکرپینگ باشند، بررسی نخواهند شد.
با تشکر
مهارت‌های مورد نیاز
پایتون (Python)
Web Scraping
امکانات ویژه
بی‌نهایت
سرویس‌های مرتبط
فریلنسرهایی که در این پروژه پیشنهاد ارسال کرده‌اند
- زمان تحویل: 30 روزارسال پیشنهاد در:
sinozit5(85) امتیاززمان تحویل: 1 روزارسال پیشنهاد در:
mohammadhadideveloper4.94(19) امتیاززمان تحویل: 180 روزارسال پیشنهاد در:- زمان تحویل: 30 روزارسال پیشنهاد در:
prismalearn5(5) امتیاززمان تحویل: 7 روزارسال پیشنهاد در:- زمان تحویل: 30 روزارسال پیشنهاد در:
ali1377kasra4.6(2) امتیاززمان تحویل: 180 روزارسال پیشنهاد در:
behshadrhp5(2) امتیاززمان تحویل: 30 روزارسال پیشنهاد در:- زمان تحویل: 14 روزارسال پیشنهاد در:
solamente5(2) امتیاززمان تحویل: 30 روزارسال پیشنهاد در:- HEزمان تحویل: 20 روزارسال پیشنهاد در:
آخرین پروژه های توسعه نرم‌افزار و آی‌تی
projects