پونیشا
پونیشا
درخواست مشاوره
انجام شده

توسعه‌دهنده AWS برای ساخت وب اسکرپر سرورلس Terraform- Lambda

  • توسعه‌ نرم‌افزار و آی‌تی

شرح کلی پروژه به دنبال یک توسعه‌دهنده ماهر و باتجربه AWS هستم تا یک راهکار وب اسکرپینگ (Web Scraping) مقاوم و غیرقابل شناسایی را با معماری سرورلس پیاده‌سازی کند. وظیفه اصلی، استخراج اطلاعات محصولات از یک وب‌سایت فروشگاهی، مدیریت مکانیزم‌های ضد ربات، ذخیره‌سازی داده‌ها در DynamoDB و ارسال هر محصول جدید در قالب JSON به یک وب‌هوک (Webhook) مشخص است.

کل زیرساخت پروژه باید با استفاده از Terraform تعریف و پیاده‌سازی شود تا قابلیت نگهداری و مقیاس‌پذیری بالایی داشته باشد.

مسئولیت‌های کلیدی

توسعه یک سیستم وب اسکرپینگ سرورلس در AWS با استفاده از Lambda، SQS و DynamoDB. نوشتن و مدیریت کامل زیرساخت به عنوان کد (IaC) با استفاده از Terraform و با ساختاری ماژولار و تمیز. پیاده‌سازی استراتژی‌های پیشرفته برای دور زدن سیستم‌های ضد ربات، شامل چرخش پراکسی‌های مسکونی (Residential Proxy) و مدیریت User-Agent. ساخت یک سیستم دو بخشی با Lambda: یک تابع برای مدیریت و تولید تسک‌ها (Orchestrator) و یک تابع برای اجرای اسکرپینگ (Worker). پس از ذخیره‌سازی موفق هر محصول در DynamoDB، تابع اسکرپر باید یک درخواست POST حاوی داده‌های محصول به صورت JSON به URL وب‌هوک ارسال کند. طراحی یک اسکیمای بهینه برای DynamoDB جهت ذخیره‌سازی داده‌ها و جلوگیری از ثبت اطلاعات تکراری با استفاده از Global Secondary Index (GSI).

تکنولوژی‌ها و نیازمندی‌های فنی

زیرساخت: Terraform کلاد: AWS (Lambda, SQS, DynamoDB, EventBridge, CloudWatch) زبان برنامه‌نویسی: Node.js (نسخه 22.x) اسکرپینگ: Cheerio, Axios یکپارچه‌سازی: ارسال امن داده به یک وب‌هوک خارجی. پایگاه داده: DynamoDB با ظرفیت On-Demand و قابلیت TTL.

خروجی‌های پروژه

کد کامل Terraform: کد ماژولار و آماده برای محیط پروداکشن که تمام منابع AWS را تعریف می‌کند. توابع Lambda با Node.js: Orchestrator: برای تولید و ارسال تسک‌ها به صف SQS. Scraper: برای دریافت HTML، پارس داده‌ها، ذخیره‌سازی در DynamoDB و ارسال پی‌لود JSON به وب‌هوک. منطق ضد شناسایی: پیاده‌سازی محدودیت نرخ درخواست (Rate Limiting)، چرخش پراکسی و تغییر هدرها. مدیریت داده: طراحی اسکیمای جدول DynamoDB برای کوئری‌های بهینه و جلوگیری از تکرار داده. مدیریت خطا: استفاده از صف SQS Dead-Letter Queue (DLQ) برای مدیریت تسک‌های ناموفق و تنظیم آلارم در CloudWatch. مستندات: یک فایل README.md جامع شامل توضیحات معماری، راهنمای استقرار، متغیرهای محیطی (شامل URL وب‌هوک) و نمونه‌ای از پی‌لود JSON.

مهارت‌های مورد نیاز

  • Amazon Web Services

  • جاوا اسکریپت (JavaScript)

  • Node.js

  • Web Scraping

  • Web Services

سرویس‌های مرتبط

xramin
xramin کارفرما این پروژه است.

فریلنسرهایی که در این پروژه پیشنهاد ارسال کرده‌اند

  • milad3681
    milad36814.71(7) امتیاز
    زمان تحویل: 15 روز
    ارسال پیشنهاد در:
  • MO
    mohammadreza770
    زمان تحویل: 30 روز
    ارسال پیشنهاد در:
  • Mah1920
    Mah19205(1) امتیاز
    زمان تحویل: 10 روز
    ارسال پیشنهاد در:
  • EAryaei
    EAryaei
    زمان تحویل: 30 روز
    ارسال پیشنهاد در:
  • nahira
    nahira
    زمان تحویل: 30 روز
    ارسال پیشنهاد در:

آخرین پروژه های توسعه‌ نرم‌افزار و آی‌تی

projects
طراحی سایت فروشگاهی مشایه دی جی کالابا سلام تمامی انتظارات در فایل ورد آپلود شده موجود هست
فرصت انتخاب
پیشنهادها13
مشاور و برنامه نویس هوش مصنوعی حرفه ای

استخدام برنامه‌نویس هوش مصنوعی (AI Engineer)

به دنبال یک برنامه‌نویس هوش مصنوعی توانمند برای همکاری با تیم توسعه خود هستیم.

شرح کار:

تحقیق و بررسی تکنولوژی‌ها و مدل‌های جدید AI پیاده‌سازی و توسعه AI Agentها کار با LLMهایی مانند OpenAI، Claude و Gemini توسعه RAG، Knowledge Base و Embedding بررسی و تست مدل‌های مختلف و بهینه‌سازی عملکرد بررسی قابلیت‌های AI در تولید متن، تصویر، صدا و ویدئو کمک به آموزش و انتقال دانش به تیم فنی

مهارت‌های مورد نیاز:

تسلط به Python تجربه کار با APIهای هوش مصنوعی و LLM آشنایی با AI Agent و RAG توانایی تحقیق و یادگیری مستقل آشنایی با Git و Linux مزیت محسوب می‌شود.

نکته مهم: دنبال فردی صرفاً برای اتصال API نیستیم؛ توانایی Research، یادگیری تکنولوژی‌های جدید و تبدیل آن‌ها به قابلیت واقعی برای ما اهمیت زیادی دارد.

لطفاً رزومه، نمونه‌کار و تجربه‌های مرتبط خود را ارسال کنید.

فرصت انتخاب
پیشنهادها4
بهبود سایت و عملکرد آنرفع خطاهای سایت و سئو سایت و تولید مقاله
فرصت انتخاب
پیشنهادها6
طراحی وب سایت حرفه ایطراحی وب سایت با قابلیت فیلتر سازی برخی صفحات
فرصت انتخاب
پیشنهادها31
ثبت اطلاعات دام و خروجی اکسل

به نام خدا در هر مرحله از حیات دام باید اطلاعات لازم ثبت و به نرم افزار مدیریت گله منتقل شود . این کار بصورت دستی و در فرمهای گاغذی انجام می شود. مثلا در زمان تولد مشخص می کنند که میش چند قلو زاییده و شماره هر بره به همراه شماره مادر را ذخیره می کنند. بعد جدول کاغذی که پر شد آنها را وارد نرم افزار میکنند. می خواهیم این کار را با گوشی انجام دهیم و اطلاعات را در یک فرم در گوشی در مزرعه ثبت کنیم و بعد یک خروجی اکسل بگیریم که به نرم افزار مدیریت گله منتقل کنیم.

این عملیات معمولا فرمهای ساده با یک تا 3 فیلد اطلاعاتی هستند. فرمها دو دسته هستند و مشابه هم می باشند ، طراحی رابط کاربر انجام شده است یک فرم برای نمونه توسعه داده شده که برنامه نویس از کار دید داشته باشد حدود 20 فرم وجود دارد که در سند پیوست شرح داده شده است.

فرصت انتخاب
پیشنهادها15
اتوماسیون حذف کاربران از ۳ سایت Moodle

اتوماسیون حذف کاربران از ۳ سایت Moodle

سلام وقت بخیر

برای انجام یک کار تکراری در ۳ سایت Moodle، به دنبال فردی مسلط به Playwright / Selenium / Python هستم.

یک فایل Excel شامل حدود ۱۰٬۰۰۰ شناسه دارم و لازم است موارد موجود در این لیست از هر سه سایت حذف شوند.

روند فعلی کار به این صورت است:

  • ورود به بخش کاربران
  • جست‌وجوی شناسه موردنظر
  • پیدا کردن کاربر
  • انتخاب گزینه حذف
  • تأیید حذف در صفحه بعد

هدف این است که کل این فرآیند به‌صورت خودکار انجام شود و نیاز به حذف دستی تک‌تک موارد نباشد.

شرایط فنی

  • ۳ سایت Moodle
  • حدود ۱۰٬۰۰۰ مورد در هر سایت
  • ورودی به‌صورت فایل Excel
  • نسخه Moodle: 4.1
  • سایت‌ها فقط از طریق IP ایران قابل دسترسی هستند.
  • عملیات باید به‌گونه‌ای انجام شود که در صورت بروز خطا، امکان توقف و ادامه کار وجود داشته باشد.
  • ترجیحاً گزارش موارد انجام‌شده، پیدا‌نشده و دارای خطا نیز ارائه شود.
  • ابتدا روی تعداد محدودی مورد تست شود و پس از اطمینان از عملکرد صحیح، عملیات اصلی انجام شود.

بودجه پیشنهادی: ۵ تا ۱۰ میلیون تومان

لطفاً در پیشنهاد خود اعلام کنید:

  • روش پیشنهادی شما برای انجام کار چیست؟
  • با Playwright یا Selenium چه میزان تجربه دارید؟
  • مدت زمان تقریبی انجام کار چقدر است؟
  • هزینه نهایی پیشنهادی چقدر است؟
  • آیا امکان انجام کامل عملیات توسط خود مجری وجود دارد؟
  • آیا گزارش نتیجه کار ارائه می‌شود؟

ممنون.

فرصت انتخاب
پیشنهادها12
طراحی و پیاده‌سازی اتوماسیون (ایجنت) تولید و انتشار محتوا

ما به دنبال همکاری با یک متخصص ارشد در حوزه‌های n8n یا make، طراحی ایجنت‌های هوش مصنوعی، تولید محتوای حرفه‌ای، SEO، GEO و وردپرس هستیم تا یک سیستم هوشمند و قابل توسعه برای تولید، بهینه‌سازی و انتشار محتوای وبلاگ مجموعه طراحی و پیاده‌سازی کند.

هدف این پروژه، ساخت یک ایجنت محتوایی است که بتواند بر اساس تحقیق کلمات کلیدی، اخبار و موضوعات روز مرتبط با حوزه فعالیت برند، لحن برند و استانداردهای فنی سئو، محتوای باکیفیت تولید کند و پس از دریافت تأیید یا اعمال اصلاحات، آن را به‌صورت خودکار در سایت وردپرسی منتشر نماید.

این پروژه صرفاً تولید متن با هوش مصنوعی نیست؛ بلکه به دنبال طراحی یک سیستم محتوایی هوشمند، پایدار، قابل کنترل، امن و قابل توسعه هستیم.

اهداف اصلی پروژه ایجنت باید بتواند:

موضوعات و کلمات کلیدی مناسب را از داده‌های موجود و اخبار روز شناسایی کند. بر اساس کلمات کلیدی اصلی و فرعی، ساختار مقاله را طراحی کند. محتوای اختصاصی، دقیق، خواندنی و منطبق با لحن برند تولید کند. محتوا را از نظر SEO، GEO و تجربه کاربری بهینه‌سازی نماید. پیشنهادها و اصلاحات کارفرما را دریافت و در نسخه نهایی اعمال کند. محتوای نهایی را پس از تأیید، به‌صورت خودکار در وردپرس منتشر یا زمان‌بندی کند. دسته‌بندی، برچسب، لینک‌های داخلی و خارجی، متادیتا و تصویر شاخص را به‌صورت خودکار مدیریت کند. در صورت امکان و طبق قوانین مورد توافق، محصولات مرتبط فروشگاه را به شکل Native داخل مقاله معرفی کند. از تولید محتوای تکراری، انتشار اشتباه، خطاهای API و پردازش‌های حجیم جلوگیری کند. گزارش وضعیت هر محتوا و خطاهای احتمالی را در اختیار تیم قرار دهد.

فرصت انتخاب
پیشنهادها10
طراحی وب‌سایت شرکت فنی بازرگانی فراسوی افق بین‌الملل

عنوان پروژه: طراحی و پیاده‌سازی وب‌سایت شرکتی برای «فراسوی افق بین‌الملل»

خلاصه پروژه:
هدف از این پروژه توسعه یک وب‌سایت رسمی، حرفه‌ای و کاملاً قابل توسعه است تا معرفی شرکت فنی بازرگانی فراسوی افق بین‌الملل، ارائه محصولات و خدمات بازرگانی و امکان دریافت درخواست‌های خرید و فروش از مشتریان و تأمین‌کنندگان داخلی و خارجی به بهترین شکل ممکن صورت گیرد.

نیازمندی‌ها و محدوده کار:

  1. طراحی رابط کاربری (UI/UX) • هویت بصری متناسب با برند شرکت • رعایت اصول دسترس‌پذیری و تجربه کاربری مناسب • طراحی واکنش‌گرا (Responsive) برای نمایش در موبایل، تبلت و دسکتاپ

  2. ساختار صفحات اصلی • صفحه اصلی با بخش معرفی مختصر شرکت و خدمات • صفحه «درباره ما» جهت تاریخچه، ماموریت و تیم • بخش «محصولات و خدمات» با قابلیت دسته‌بندی و فیلتر • فرم درخواست خرید و فروش با امکان آپلود مدارک و پیگیری وضعیت • بخش «اخبار و مقالات» برای تازه‌ترین رویدادها و مطالب تخصصی • صفحه تماس با ما به‌همراه نقشه و اطلاعات تماس (بدون درج اطلاعات شخصی) • در صورت نیاز، پیاده‌سازی نسخه دو زبانه (فارسی و انگلیسی)

  3. پنل مدیریت (Back-end) • مدیریت محتوا (متن، تصاویر، فایل‌ها) • مدیریت دسته‌بندی محصولات و خدمات • مشاهده، پاسخگویی و پیگیری درخواست‌های مشتریان • گزارش‌گیری ساده از درخواست‌های ثبت‌شده

  4. الزامات فنی • استفاده از تکنولوژی‌های استاندارد (مثلاً PHP/Laravel، Node.js، یا WordPress به‌صورت سفارشی) • پایگاه‌داده relational (MySQL، PostgreSQL یا معادل) • طراحی امن و رعایت اصول ابتدایی امنیت وب (محافظت در برابر SQL Injection، XSS و CSRF) • بهینه‌سازی اولیه برای موتورهای جستجو (SEO-friendly) • سرعت بارگذاری مناسب و بهینه‌سازی تصاویر و کدها

  5. مستندات و تحویل نهایی • ارائه مستندات نصب و راه‌اندازی سرور • راهنمای خلاصه مدیریت پنل برای کارفرما • ارائه سورس کامل پروژه و دسترسی به مخزن (Git)

مهارت‌های مورد نیاز پروژه:
– تسلط بر HTML5، CSS3، JavaScript (و فریم‌ورک‌های رایج)
– تجربه کار با PHP/Laravel یا WordPress (با توسعه پلاگین/قالب اختصاصی)
– آشنایی با طراحی پایگاه‌داده و بهینه‌سازی کوئری‌ها
– آشنایی با مفاهیم امنیت وب و بهینه‌سازی SEO
– تجربه قبلی در پروژه‌های شرکتی یا تجاری مشابه

زمان‌بندی پیشنهادی:
– تحلیل و طراحی: 1 الی 2 هفته
– توسعه و پیاده‌سازی: 3 الی 4 هفته
– تست و رفع اشکال: 1 هفته
– آموزش و تحویل نهایی: 1 هفته

نحوه ارائه پیشنهاد:
در پروپوزال خود لطفاً موارد زیر را قید کنید:

  1. نمونه‌کارهای مرتبط
  2. فلوچارت یا خلاصه‌ای از روند اجرایی
  3. برآورد هزینه و زمان
  4. توضیح مختصر درباره تکنولوژی‌های پیشنهادی

منتظر دریافت پیشنهادهای حرفه‌ای شما هستیم. موفق باشید!

فرصت انتخاب
پیشنهادها28
جابجایی اطلاعات سایت به قالب جدید

درود میخوام کاربران و ... (کاربران-چند پلاگین خاص -تست ورود کاربران با شماره مبایل-تاریخچه سفارشات)

به قالب جدید منتقل بشن

فرصت انتخاب
پیشنهادها8
دریافت اینماد

سلام. من قبلا موفق شده بودم با یک قالب HTML روی ادرس SHIFTAAM.IR یک اینماد بگیرم. برای گوگل ادز نیاز دارم روی دامنه .COM بگیرم ولی برای تایید تگ اینماد دچار مشکل شدم. حتی فایل خالی هم دادم نشد. وقتی تگ رو میزنم یا فایل خالی برای صفحه جدید توی روت اصلی سایت میزنم اصلا نه روی http نه https لاگ نمی‌اندازد. یه مدتی شیفتام دات کام روی .ir ریدایرکت بود گفتم شاید کش باشه اما مشکل برطرف نشد.

فرصت انتخاب
پیشنهادها4