یک بلوک پروژه که در مورد آماده سازی دیتا و جمع آوری آن است را می خواهم برون سپاری کنم. ارتباط api و مدیریت صف و هندشیک و مدیریت همزمان استریم های موازی و حذف داده های nan و پاک سازی و نرمال سازی دیتا مد نظر است. برنامه نویس باید تخصص در موازی سازی و کار با جی پی یو و سرورهای محاسباتی داشته باشد.

1. برنامه‌نویسی پیشرفته و زبان‌های تخصصی

Python: زبان اصلی برای کار با داده و یادگیری ماشین، به ویژه با کتابخانه‌های قوی مانند Pandas، NumPy، Dask برای پردازش داده و نرمال‌سازی.

SQL: برای کوئری‌زدن و کار با داده‌های ساختاریافته.

CUDA

Apache Kafka یا Apache Flink: برای مدیریت و پردازش استریم‌های بزرگ داده‌ها.

2. مدیریت و پردازش داده‌های حجیم (Big Data)

Apache Spark یا Dask: برای پردازش داده‌های بزرگ به صورت موازی و توزیع‌شده.

Hadoop/HDFS: ذخیره و پردازش داده‌ها

Stream Processing: آشنایی با ابزارهایی مانند Apache Kafka Streams و Apache Flink برای پردازش آنی داده‌های استریم.

3. کار با GPU و بهینه‌سازی پردازش موازی

CUDA و CuPy: برای تسریع محاسبات ماتریسی و برداری

PyTorch یا TensorFlow: برای پردازش داده‌های پیچیده،

NVIDIA Rapids: مجموعه‌ای از ابزارهای متن‌باز برای پردازش داده‌های بزرگ در GPU که شامل cuDF (معادل Pandas) و cuML (برای یادگیری ماشین) است.

4. مهارت‌های پاکسازی و نرمال‌سازی داده‌ها

Data Wrangling: شامل پاکسازی داده، حذف نویز و داده‌های ناخواسته، تبدیل داده به فرم‌های مناسب.

Standardization and Normalization Techniques: تسلط بر تکنیک‌های استانداردسازی و نرمال‌سازی داده‌ها برای آماده‌سازی ورودی مدل‌های یادگیری ماشین.

Anomaly Detection: تشخیص داده‌های نامناسب یا نویز برای بهبود کیفیت داده‌های ورودی.

5. مدیریت منابع و بهینه‌سازی سرور

Docker و Kubernetes: برای مدیریت و مقیاس‌پذیری منابع به ویژه در محیط‌هایی که نیاز به چندین GPU است.

Linux Administration: مدیریت سرورهای لینوکسی، به ویژه توزیع‌هایی که برای کار با GPU بهینه‌سازی شده‌اند.

Monitoring and Logging: ابزارهایی مانند Prometheus و Grafana برای نظارت بر عملکرد GPU

. شبکه ی عصبی عمیق، اماده است و پس از ایجاد همکاری در اختیار فریلنسر قرار میگیرد و نیاز به پیاده سازی الگوی یادگیری تقویتی برای ان است.

. اما به دلیل متفاوت بودن کلاس ها و توابع های به خصوص در شبکه، مواردی به صورت غلط کدنویسی شده است و نیاز است بر اساس توضیحات و مکالمات‌ دوباره بازبینی و تغییرات لازم، ایجاد و یا اضافه شود.

. در رابط کاربری، فیلد هایی برای تنظیمات شبکه موجود است و نیاز است با کمک فریلنسر عملکرد هر فیلد برسی و با توضیحات تطبیق سازی و دیباگینگ شود.

. پروژه به صورت غیر طبیعی سنگین است و نیاز به اصلاح و سبک سازی ان است.

. توضیحات ارائه شده بر اساس فرم و تکنیک کد نویسی نیست بلکه صرفا برای درک مطلب است و نیاز است فریلنسر مهارت خوبی در کدنویسی و طراحی اصول شبکه عصبی و اپلیکیشن داشته باشد.

. جزعیات و دستور عمل ها ترجیحا با فریلنسر مخصوص پروژه بعد از شروع همکاری درمیان گذاشته خواهد شد.

نکات بسیار مهم پروژه:

[ کد های شبکه و خود پروژه ، نیاز است داینامیک سازی شود ]

[ با توجه به کلاس ها و توابع خاص پروژه، در پیاده سازی الگوی یادگیری تقویتی مکالمات و تعاملات با فریلنسر نیاز است ]

[ با مشورت و نظر فریلنسر، موارد غیر ضروری پروژه برای بهبود عملکرد ان حذف یا جایگزین میشود ]

نیازمندی های تخصصی.

توانایی تحقیق در حوضه ی هوش مصنوعی و جمع اوری داده. توانایی و مهارت توسعه مدل و الگوریتم شبکه ی عصبی متناسب‌ با نیازمندی های تعریف شده.

نیازمندی های عمومی.

توانایی حل مسعله و تمرکز بر توضیحات و گفتگوها با صبر و حوصله

( پروژه اوپن سورس است و نیاز است اوپن سورس باقی بماند ) ( پرداخت امن به صورت ۲ مرحله ای خواهد بود )

.