نمونه ترکیبی از XHR و Cloudflare workers (سوالات محصولات دیجی کالا)
آیا تا به حال به این فکر کردهاید که چطور میتوان از انبوه نظرات و سوالات کاربران در سایتهایی مثل دیجیکالا، مهمترین اطلاعات را استخراج و تحلیل کرد؟
این ویدیو آموزشی یک مسیر کامل را از تبدیل یک ایده به یک ابزار کاربردی با استفاده از هوش مصنوعی و کدنویسی حسی (Vibe Coding) با تمرکز بر VHR را به شما نشان میدهد.
بخش اول: یافتن داده و چالشهای اولیه
برای ساخت یک ابزار تحلیلگر، قدم اول یافتن داده است. این کار با نفوذ به کدهای سایت از طریق کنسول مرورگر و بررسی ریکوئستهای شبکه انجام میشود تا آدرس API مورد نظر (مثلاً API دیجیکالا که با Product ID کار میکند) پیدا شود.
در این مسیر با اولین چالش فنی روبرو میشویم: خطای CORS (اشتراک منابع میانمبدأ). این خطا به دلیل محدودیتهای امنیتی مرورگر برای ارسال مستقیم درخواستها از یک دامنه به دامنه دیگر رخ میدهد. راهکارهای سادهای مانند پروکسیهای عمومی اغلب در برابر سایتهای بزرگ شکست میخورند، پس به یک راه حل قویتر نیاز داریم.
بخش دوم: راهحل فنی؛ استفاده از Cloudflare Worker
برای دور زدن محدودیت CORS، راهکار نهایی استفاده از یک سرور واسط (پروکسی) است. در این دوره، ما از کلودفلر ورکر (Cloudflare Worker) استفاده میکنیم. ورکرها این امکان را میدهند که درخواستها به جای مرورگر شما، از سمت یک سرور خارجی ارسال شوند و مشکل CORS را حل کنند. نحوه راهاندازی و تنظیمات دقیق یک ورکر برای این کار به صورت عملی توضیح داده میشود.
بخش سوم: مدیریت امن API و بهینهسازی تحلیل داده
برای تحلیل دادهها توسط هوش مصنوعی (مانند جمنای)، نیاز به استفاده از کلید API دارید. در این ویدیو یاد میگیرید که چطور کلیدهای حساس خود را به صورت کاملاً امن در متغیرهای محیطی (Environment Variables) کلودفلر ورکر ذخیره کنید. این کار امنیت کد شما را تضمین میکند و نیازی نیست کاربر کلید API را وارد کند.
بخش چهارم: بهینهسازی تحلیل دادههای حجیم (مپ کردن دیتا)
یکی دیگر از چالشها در تحلیل دادههای حجیم، محدودیت حجم ریکوئستهای ارسالی به API است. برای حل این مشکل، تکنیک پیشرفته مپ کردن دادهها به آیدیهای جیسون معرفی میشود. به جای ارسال متون طولانی، میتوان به هر بخش از داده یک آیدی اختصاص داد و از هوش مصنوعی خواست که فقط آیدیهای مرتبط را بازگرداند. این روش حجم دادههای ارسالی را به شدت کاهش داده و امکان تحلیلهای دستهجمعی (Bulk Analysis) را فراهم میکند.
بخش پنجم: مدیریت خروجی و ورژنسازی
در نهایت، برای سبک نگه داشتن کد و مدیریت ورژن دادهها، از فایلهای CSV استفاده میشود. کاربران میتوانند با یک کلیک، تمام دادههای تحلیلشده را به صورت CSV اکسپورت کنند و در صورت نیاز مجدداً آنها را ایمپورت کنند. این روش مانع از اضافه شدن متون سنگین به کد اصلی میشود و تضمین میکند که ابزار شما همواره سریع و بهینه باقی بماند.