یک بلوک پروژه که در مورد آماده سازی دیتا و جمع آوری آن است را می خواهم برون سپاری کنم. ارتباط api و مدیریت صف و هندشیک و مدیریت همزمان استریم های موازی و حذف داده های nan و پاک سازی و نرمال سازی دیتا مد نظر است. برنامه نویس باید تخصص در موازی سازی و کار با جی پی یو و سرورهای محاسباتی داشته باشد. 1. برنامه‌نویسی پیشرفته و زبان‌های تخصصی Python: زبان اصلی برای کار با داده و یادگیری ماشین، به ویژه با کتابخانه‌های قوی مانند Pandas، NumPy، Dask برای پردازش داده و نرمال‌سازی. SQL: برای کوئری‌زدن و کار با داده‌های ساختاریافته. CUDA Apache Kafka یا Apache Flink: برای مدیریت و پردازش استریم‌های بزرگ داده‌ها. 2. مدیریت و پردازش داده‌های حجیم (Big Data) Apache Spark یا Dask: برای پردازش داده‌های بزرگ به صورت موازی و توزیع‌شده. Hadoop/HDFS: ذخیره و پردازش داده‌ها Stream Processing: آشنایی با ابزارهایی مانند Apache Kafka Streams و Apache Flink برای پردازش آنی داده‌های استریم. 3. کار با GPU و بهینه‌سازی پردازش موازی CUDA و CuPy: برای تسریع محاسبات ماتریسی و برداری PyTorch یا TensorFlow: برای پردازش داده‌های پیچیده، NVIDIA Rapids: مجموعه‌ای از ابزارهای متن‌باز برای پردازش داده‌های بزرگ در GPU که شامل cuDF (معادل Pandas) و cuML (برای یادگیری ماشین) است. 4. مهارت‌های پاکسازی و نرمال‌سازی داده‌ها Data Wrangling: شامل پاکسازی داده، حذف نویز و داده‌های ناخواسته، تبدیل داده به فرم‌های مناسب. Standardization and Normalization Techniques: تسلط بر تکنیک‌های استانداردسازی و نرمال‌سازی داده‌ها برای آماده‌سازی ورودی مدل‌های یادگیری ماشین. Anomaly Detection: تشخیص داده‌های نامناسب یا نویز برای بهبود کیفیت داده‌های ورودی. 5. مدیریت منابع و بهینه‌سازی سرور Docker و Kubernetes: برای مدیریت و مقیاس‌پذیری منابع به ویژه در محیط‌هایی که نیاز به چندین GPU است. Linux Administration: مدیریت سرورهای لینوکسی، به ویژه توزیع‌هایی که برای کار با GPU بهینه‌سازی شده‌اند. Monitoring and Logging: ابزارهایی مانند Prometheus و Grafana برای نظارت بر عملکرد GPU

. شبکه ی عصبی عمیق، اماده است و پس از ایجاد همکاری در اختیار فریلنسر قرار میگیرد و نیاز به پیاده سازی الگوی یادگیری تقویتی برای ان است. . اما به دلیل متفاوت بودن کلاس ها و توابع های به خصوص در شبکه، مواردی به صورت غلط کدنویسی شده است و نیاز است بر اساس توضیحات و مکالمات‌ دوباره بازبینی و تغییرات لازم، ایجاد و یا اضافه شود. . در رابط کاربری، فیلد هایی برای تنظیمات شبکه موجود است و نیاز است با کمک فریلنسر عملکرد هر فیلد برسی و با توضیحات تطبیق سازی و دیباگینگ شود. . پروژه به صورت غیر طبیعی سنگین است و نیاز به اصلاح و سبک سازی ان است. . توضیحات ارائه شده بر اساس فرم و تکنیک کد نویسی نیست بلکه صرفا برای درک مطلب است و نیاز است فریلنسر مهارت خوبی در کدنویسی و طراحی اصول شبکه عصبی و اپلیکیشن داشته باشد. . جزعیات و دستور عمل ها ترجیحا با فریلنسر مخصوص پروژه بعد از شروع همکاری درمیان گذاشته خواهد شد. نکات بسیار مهم پروژه: [ کد های شبکه و خود پروژه ، نیاز است داینامیک سازی شود ] [ با توجه به کلاس ها و توابع خاص پروژه، در پیاده سازی الگوی یادگیری تقویتی مکالمات و تعاملات با فریلنسر نیاز است ] [ با مشورت و نظر فریلنسر، موارد غیر ضروری پروژه برای بهبود عملکرد ان حذف یا جایگزین میشود ] نیازمندی های تخصصی. توانایی تحقیق در حوضه ی هوش مصنوعی و جمع اوری داده. توانایی و مهارت توسعه مدل و الگوریتم شبکه ی عصبی متناسب‌ با نیازمندی های تعریف شده. نیازمندی های عمومی. توانایی حل مسعله و تمرکز بر توضیحات و گفتگوها با صبر و حوصله ( پروژه اوپن سورس است و نیاز است اوپن سورس باقی بماند ) ( پرداخت امن به صورت ۲ مرحله ای خواهد بود ) .