در این پروژه، پس از جستجو تاریخ مد نظر کاربر، استخراج داده از ۵۰ تا سایت فروش بلیط تور شروع میشد و در کمتر از ۱.۵ دقیقه داده های تمام سایت به کاربر نمایش داده میشد.

چالش های بسیاری در این پروژه اعم از بلاک کردن سایت ها، نداشتن API، تغییر ساختار سایت ها، کندی سایت ها و ... وجود داشت که همگی آن ها حل شد و برنامه بصورت کاملا پایدار و بدون مشکل درحال کار هست.

پس از جمع آوری داده ها از سایت های مقصد، نام هتل ها باید باهم یکسان میشد بصورتی که هر هتل فقط یکبار نمایش داده شود و سایت هایی که آن رو میفروشند زیر آن قرار بگیرند که این هم مشکل بسیار بزرگی بود بدلیل اینکه هر سایت اسم هتل رو به شکل متفاوتی مینوشت و این مشکل هم حل شد.

تکنولوژی های استفاده شده توسط من:

• کراول کردن: python
• فرانت: vue.js
• API و بک اند: Fastapi
• کش و دیتابیس: redis, mongo
• مدیریت تسک ها: celery