تا حالا شده یک چیزی بسازی، کلی براش زحمت بکشی، بعد یک نفر بیاد خیلی راحت ازش استفاده کنه، باهاش کلی چیز جدید درست کنه و معروف بشه، اما حتی یک تشکر خشک و خالی هم از تو نکنه؟ خب، یه همچین داستانی چند وقتیه که توی دنیای اینترنت برای تولیدکننده‌های محتوا، از نویسنده‌های بزرگ گرفته تا اونایی که یک وبلاگ کوچیک دارن، پیش اومده. بازیگر جدید این داستان، ربات‌های هوش مصنوعیه و به نظر میرسه معامله قدیمی اینترنت دیگه جواب نمیده. حالا یک شرکت بزرگ به اسم کلاودفلر (Cloudflare) با یک ایده جدید وارد میدون شده که میخواد قوانین بازی رو عوض کنه. بیا با هم ببینیم این ماجرا از کجا شروع شد و قراره به کجا برسه.
معامله قدیمی اینترنت: ترافیک در برابر محتوا
برای اینکه داستان جدید رو خوب بفهمیم، اول باید برگردیم عقب و ببینیم اینترنت تا قبل از این چطوری کار میکرد. حدود سی سال پیش، دو تا دانشجوی استنفورد یک پروژه تحقیقاتی به اسم «بک‌راب» (Backrub) رو شروع کردن. اون پروژه بعدها تبدیل شد به گوگل و گوگل هم سنگ بنای یک مدل اقتصادی بزرگ رو در اینترنت گذاشت.
یک جور معامله نانوشته بین گوگل و کسایی که محتوا تولید میکردن (مثل سایت‌های خبری، وبلاگ‌ها، فروشگاه‌ها) شکل گرفت. معامله ساده بود:
- تولیدکننده‌های محتوا به گوگل میگفتن: «بیا، اجازه داری کل سایت من رو کپی کنی و توی نتایج جستجوت نشون بدی».
- گوگل هم در جواب میگفت: «باشه، در عوض من هم کاربرا رو از صفحه جستجو میفرستم به سایت تو».
اینجا بود که بازی برد-برد به نظر میرسید. صاحب سایت از اون بازدیدکننده‌ها یا همون «ترافیک» پول درمیاورد؛ یا با تبلیغات، یا با فروش اشتراک یا هر روش دیگه‌ای. گوگل هم برای اینکه این چرخه کامل بشه، یک اکوسیستم کامل درست کرد:
- گوگل سرچ (Google Search): ترافیک رو تولید میکرد.
- گوگل ادسنس (AdSense): ابزاری بود که به صاحب سایت کمک میکرد از اون ترافیک پول دربیاره.
- گوگل انلیتیکس (Google Analytics): ابزاری بود که میشد باهاش همه چیز رو اندازه گرفت و تحلیل کرد.
این سیستم دهه‌ها کار کرد و چیزی بود که اینترنت باز و آزاد رو زنده نگه داشته بود. اما حالا، این معامله داره از هم میپاشه. برای اولین بار، سهم گوگل از بازار جستجو داره کم میشه و جاش رو یک پدیده جدید گرفته: هوش مصنوعی.
بازیگر جدید از راه میرسه: ربات‌های هوشمند و پدیده «صفر کلیک»
با ظهور چت‌بات‌های هوش مصنوعی مثل چت‌جی‌پی‌تی (ChatGPT) و مدل‌های زبان بزرگ (LLM)، یک سری ربات جدید به اسم «خزنده» یا «کراولر» (Crawler) به اینترنت اضافه شدن. کار این ربات‌ها با ربات‌های جستجوگر قدیمی مثل گوگل فرق داره. اونا فقط سایت‌ها رو کپی نمیکنن که توی نتایج نشون بدن؛ اونا محتوای سایت‌ها رو میبلعن تا «یاد بگیرن» و مغز هوشمند خودشون رو آموزش بدن.
نتیجه چی میشه؟ شما از هوش مصنوعی یک سوال میپرسی، اون هم با استفاده از اطلاعاتی که از هزاران سایت جمع کرده، یک جواب کامل و حاضر و آماده بهت میده. دیگه نیازی نیست روی لینکی کلیک کنی و به سایت اصلی سر بزنی. به این میگن پدیده «صفر کلیک» (zero-click).
اینجا بود که اون معامله قدیمی به هم خورد. ربات‌های هوش مصنوعی دارن از محتوای باکیفیت روزنامه‌نگارها، نویسنده‌ها و متخصص‌ها استفاده میکنن، اما تقریبا هیچ بازدیدکننده‌ای به سایت‌های اونا برنمیگردونن. ترافیک سایت‌ها به شدت افت کرده و در نتیجه درآمدشون هم کم شده. در واقع، کار و زحمت اونا داره نسل بعدی هوش مصنوعی رو آموزش میده، بدون اینکه چیزی نصیبشون بشه.
آمار دروغ نمیگه: یک مبادله ناعادلانه
برای اینکه ببینی این مبادله چقدر یک‌طرفه شده، به این آمارها که شرکت کلاودفلر منتشر کرده نگاه کن. این آمارها نشون میدن که ربات‌های هوش مصنوعی چند بار یک سایت رو میخونن (خزش یا اسکرِیپ میکنن) و در ازاش چند تا بازدیدکننده به اون سایت میفرستن:
- ده سال پیش: گوگل به ازای هر بازدیدکننده‌ای که به یک سایت میفرستاد، ۲ صفحه از اون سایت رو میخوند.
- شش ماه پیش:
- گوگل: به ازای هر ۱ بازدیدکننده، ۶ بار سایت رو میخوند.
- اوپن‌ای‌آی (OpenAI): به ازای هر ۱ بازدیدکننده، ۲۵۰ بار سایت رو میخوند.
- انتروپیک (Anthropic): به ازای هر ۱ بازدیدکننده، ۶ هزار بار سایت رو میخوند.
- امروز:
- گوگل: به ازای هر ۱ بازدیدکننده، ۱۸ بار سایت رو میخوند.
- اوپن‌ای‌آی: به ازای هر ۱ بازدیدکننده، ۱,۵۰۰ بار سایت رو میخوند.
- انتروپیک: به ازای هر ۱ بازدیدکننده، ۶۰ هزار بار سایت رو میخوند.
یک گزارش دیگه از تک‌کرانچ (TechCrunch) هم که به داده‌های ماه ژوئن اشاره داره، این اعداد رو تایید میکنه: ربات اوپن‌ای‌آی به ازای هر یک ارجاع، ۱۷۰۰ بار سایت رو خراشیده و ربات انتروپیک ۷۳ هزار بار. روند کاملا مشخصه: هوش مصنوعی میخونه، یاد میگیره و جواب میده، اما خیلی کم پیش میاد که کاربر رو به منبع اصلی بفرسته.
راه‌حل جدید کلاودفلر: «پرداخت به ازای خزش» (Pay per Crawl)
کلاودفلر یک شرکت خیلی بزرگه که خدمات شبکه تحویل محتوا یا CDN ارائه میده. اگه بخوایم ساده بگیم، مثل یک دروازه‌بان و سرویس‌دهنده خیلی سریع برای حدود ۲۰ درصد کل وب‌سایت‌های دنیا عمل میکنه. سایت‌های معروفی مثل ردیت، مدیوم، شاپیفای و گاردین از خدمات این شرکت استفاده میکنن. این یعنی وقتی کلاودفلر تصمیمی بگیره، میتونه اون رو در مقیاس خیلی خیلی بزرگی اجرا کنه.
این شرکت حالا برای حل مشکل بالا، یک راهکار جدید به اسم «پرداخت به ازای خزش» (Pay per Crawl) رو معرفی کرده. ایده اصلی اینه که به جای دو گزینه قدیمی (یا به ربات‌ها اجازه دسترسی رایگان بده یا کلا مسدودشون کن)، یک گزینه سوم روی میز میذاره: ازشون پول بگیر.
این سیستم که فعلا در نسخه بتای خصوصی قرار داره، به صاحب سایت‌ها این قدرت رو میده که برای محتواشون قیمت تعیین کنن. به این ترتیب، یک رابطه جدید و مبتنی بر اجازه بین ناشرها و شرکت‌های هوش مصنوعی شکل میگیره.
این سیستم چطوری کار میکنه؟
ساز و کار فنی این ایده خیلی جالبه و روی زیرساخت‌های فعلی وب ساخته شده:
- مسدودسازی پیش‌فرض: کلاودفلر اعلام کرده که به زودی، به طور پیش‌فرض جلوی تمام ربات‌های خزنده هوش مصنوعی رو برای سایت‌هایی که از خدماتش استفاده میکنن، میگیره. این یعنی اگه شما یک سایت جدید روی کلاودفلر راه‌اندازی کنی، ربات‌هایی مثل جی‌پی‌تی‌بات (GPTBot) دیگه نمیتونن به محتوای شما دسترسی داشته باشن، مگر اینکه خودت بهشون اجازه بدی.
- بازار پرداخت به ازای خزش: اینجا جاییه که صاحب سایت میتونه تصمیم بگیره با ربات‌ها چیکار کنه. برای هر ربات هوش مصنوعی، سه تا انتخاب وجود داره:
- اجازه دادن (Allow): میتونی به ربات اجازه بدی مثل قبل به صورت رایگان به محتوات دسترسی داشته باشه. در این حالت، سرور کد
200 OKرو برمیگردونه. - مسدود کردن (Block): میتونی کلا جلوی دسترسی ربات رو بگیری. سرور کد
403 Accessed Deniedرو برمیگردونه که یعنی دسترسی ممنوعه. - دریافت هزینه (Charge): میتونی برای هر بار خزش یا بازدید ربات، یک قیمت مشخص کنی.
- اجازه دادن (Allow): میتونی به ربات اجازه بدی مثل قبل به صورت رایگان به محتوات دسترسی داشته باشه. در این حالت، سرور کد
- استفاده از کد ۴۰۲: وقتی یک ربات هوش مصنوعی میخواد به سایتی دسترسی پیدا کنه که گزینه «دریافت هزینه» رو فعال کرده، سرور سایت یک کد خیلی کم‌استفاده به اسم
402 Payment Requiredرو به ربات برمیگردونه. این کد به ربات میگه: «برای دیدن این محتوا باید پول پرداخت کنی». همراه این کد، اطلاعات قیمت هم فرستاده میشه. - پرداخت و دسترسی: حالا توپ تو زمین شرکت هوش مصنوعیه.
- اگه ربات با پرداخت موافق باشه، یک درخواست دیگه با اطلاعات پرداخت میفرسته و بعدش محتوا رو با کد
200 OKدریافت میکنه. - اگه نخواد پول بده، دیگه دسترسی بهش داده نمیشه.
- اگه ربات با پرداخت موافق باشه، یک درخواست دیگه با اطلاعات پرداخت میفرسته و بعدش محتوا رو با کد
- احراز هویت ربات‌ها: برای اینکه ربات‌ها نتونن هویت خودشون رو جعل کنن، کلاودفلر از امضاهای رمزنگاری شده Ed25519 استفاده میکنه. این کار مثل چک کردن کارت شناسایی رباته تا مطمئن بشن خودشه.
- پرداخت آسان: خود کلاودفلر نقش واسطه مالی رو بازی میکنه. یعنی پول رو از شرکت‌های هوش مصنوعی میگیره و به حساب ناشرها واریز میکنه. اینطوری دیگه نیازی به قراردادهای پیچیده یا ارزهای دیجیتال نیست.
متیو پرینس، مدیرعامل کلاودفلر، این روز رو «روز استقلال محتوا» (Content Independence Day) نامیده که در تاریخ ۱ ژوییه ۲۰۲۵ معرفی شده.
کدام ربات‌ها مسدود میشن؟
کلاودفلر هنوز لیست دقیقی از ربات‌هایی که مسدود میشن ارائه نکرده، اما اونها رو به سه دسته تقسیم کرده:
- دستیار هوش مصنوعی (AI Assistant): مثل Perplexity-User و DuckAssistBot.
- خزنده هوش مصنوعی (AI Crawler): مثل ربات گوگل بارد و ChatGPT.
- جستجوی هوش مصنوعی (AI Search): مثل OAI-SearchBot.
مدیرعامل کلاودفلر همچنین در شبکه اجتماعی ایکس اعلام کرده که «جمینی (Gemini) به صورت پیش‌فرض مسدود است». احتمالا صاحب سایت‌ها میتونن مشخص کنن که دقیقا کدوم ربات‌ها یا کدوم دسته‌ها رو مسدود یا مجاز کنن.
طبق آمار خود کلاودفلر، فعال‌ترین ربات‌ها در شبکه این شرکت اینا هستن:
- بایت‌اسپایدر (Bytespider): ربات شرکت بایت‌دنس (شرکت مادر تیک‌تاک) که از ۴۰.۴ درصد دامنه‌های تحت حفاظت کلاودفلر بازدید میکنه.
- جی‌پی‌تی‌بات (GPTBot): ربات شرکت اوپن‌ای‌آی با ۳۵.۵ درصد بازدید.
- کلادبات (ClaudeBot): ربات شرکت انتروپیک با ۱۱.۲ درصد بازدید.
جالبه که جی‌پی‌تی‌بات، با اینکه از همه معروف‌تره، یکی از ربات‌هایی هست که بیشتر از بقیه در این شبکه مسدود میشه.
واکنش‌ها به این طرح جدید چه بوده؟
این ایده جدید کلاودفلر، مثل هر تغییر بزرگی، موافق‌ها و مخالف‌های خودش رو داره. بیا ببینیم هر گروه چی میگه.
ناشران بزرگ: یک تغییردهنده بازی
ناشران بزرگ و شرکت‌های رسانه‌ای معتبر به شدت از این طرح استقبال کردن. برای اونها، این یک اهرم فشار قدرتمنده تا بالاخره بتونن در مقابل استفاده بدون اجازه از محتواشون، پول دریافت کنن.
- راجر لینچ، مدیرعامل کاند نست (Condé Nast): این حرکت رو یک «تغییردهنده بازی برای ناشران» توصیف کرده که «یک استاندارد جدید برای احترام به محتوا در فضای آنلاین تعیین میکنه. وقتی شرکت‌های هوش مصنوعی دیگه نتونن هر چیزی رو که میخوان به صورت رایگان بردارن، دری به سوی نوآوری پایدار بر اساس اجازه و همکاری باز میشه.»
- نیل ووگل از دات‌دش مردیت (Dotdash Meredith): میگه: «ما مدت‌هاست که میگیم پلتفرم‌های هوش مصنوعی باید برای استفاده از محتوای ما به ناشران و تولیدکنندگان محتوا غرامت منصفانه‌ای بپردازن. حالا میتونیم دسترسی به محتوامون رو به اون دسته از شرکای هوش مصنوعی محدود کنیم که مایل به مشارکت در ترتیبات منصفانه هستن.»
- رن توریانو از گنت (Gannett): بر اهمیت این موضوع تاکید میکنه: «مسدود کردن برداشت غیرمجاز و استفاده از محتوای اصلی ما بدون جبران منصفانه، بسیار مهمه… ما خوش‌بینیم که فناوری کلاودفلر به مبارزه با سرقت مالکیت فکری ارزشمند کمک خواهد کرد.»
- بیل ردی، مدیرعامل پینترست (Pinterest): توضیح میده که چطور این مدل با ماموریت اونها هماهنگه: «ما متعهد به ساختن یک زیرساخت اینترنتی سالم هستیم که در اون محتوا برای هدف مورد نظرش استفاده بشه تا تولیدکنندگان و ناشران بتونن رشد کنن.»
ناشران بزرگی مثل تایم (TIME)، آتلانتیک (The Atlantic)، ادویک (ADWEEK)، بازفید (BuzzFeed)، فورچن (Fortune)، کورا (Quora) و استک اورفلو (Stack Overflow) هم به این طرح پیوستن.
کسب‌وکارهای کوچک و وبلاگ‌نویس‌ها: یک شمشیر دو لبه؟
اما برای کسب‌وکارهای کوچیک و متوسط (SMB) یا وبلاگ‌نویس‌های مستقل، قضیه کمی پیچیده‌تره. اینجا یک سوال مهم پیش میاد:
آیا محتوای شما اونقدر ارزش داره که یک شرکت هوش مصنوعی حاضر بشه براش پول بده؟
- برای یک خبرگزاری بزرگ، جواب احتمالا مثبته. مدل‌های هوش مصنوعی برای تولید جواب‌های دقیق به محتوای خبری نیاز دارن.
- اما برای یک سایت کوچیک چطور؟ آیا هوش مصنوعی واقعا اونقدر به محتوای شما نیاز داره که براش هزینه کنه؟ یا میتونه اطلاعات مشابه یا حتی بهتر رو از منابع دیگه‌ای که رایگان هستن به دست بیاره؟
این نگرانی وجود داره که این طرح، به جای کمک به کسب‌وکارهای کوچیک، بیشتر به ضررشون تموم بشه. اگه شرکت‌های هوش مصنوعی تصمیم بگیرن که برای محتوای اونها پولی پرداخت نکنن، این سایت‌ها نه تنها پولی دریافت نمیکنن، بلکه اون ذره‌ای از آگاهی از برند (brand awareness) که از طریق حضور در جواب‌های هوش مصنوعی به دست میاوردن رو هم از دست میدن و عملا نامریی میشن.
منتقدان میگن اینکه به صاحب سایت حق انتخاب داده بشه کار درستیه، اما اینکه مسدودسازی به صورت پیش‌فرض باشه، شاید جواب درستی برای این مشکل نباشه. برای خیلی از سایت‌های کوچیک، حضور نداشتن در دنیای هوش مصنوعی میتونه به اندازه پول نگرفتن برای محتواشون خطرناک باشه.
شرکت‌های هوش مصنوعی: راهی به سوی نوآوری مسئولانه
از دید شرکت‌های هوش مصنوعی و تیم‌های تحقیقاتی، این بازار میتونه یک جایگزین شفاف و کم‌دردسر برای بحث‌های حقوقی پیچیده کپی‌رایت باشه. به جای اینکه به صورت بی‌رویه محتوا جمع‌آوری کنن و امیدوار باشن که کارشون تحت عنوان «استفاده منصفانه» (fair use) قانونی تلقی بشه، میتونن با یک هزینه قابل پیش‌بینی، به محتوای باکیفیت دسترسی قانونی پیدا کنن. این کار ریسک حقوقی رو کم میکنه و رابطه بهتری با جامعه تولیدکنندگان محتوا ایجاد میکنه.
جامعه علمی: یک نگرانی مهم
بعضی از افراد در جامعه دانشگاهی و تحقیقاتی نگرانن که مسدود کردن خزنده‌ها میتونه به تحقیقات هوش مصنوعی مشروع و غیرتجاری آسیب بزنه.
این تغییرات چه تاثیری روی آینده جستجو و سئو داره؟
خب، حالا که با کلیات ماجرا آشنا شدیم، بیا ببینیم این طرح جدید چه تاثیری روی دو مفهوم مهم یعنی سئو و جی‌ای‌او میذاره.
تاثیر بر سئوی سنتی (SEO)
اول از همه باید خیال همه رو راحت کنیم: کلاودفلر به صورت پیش‌فرض ربات‌های جستجوگر سنتی مثل گوگل‌بات (Googlebot) یا بینگ‌بات (BingBot) رو مسدود نمیکنه. تمرکز اصلی این طرح روی ربات‌های هوش مصنوعیه.
با این حال، برای اولین بار، کلاودفلر به ناشران این امکان رو میده که اگه بخوان، حتی جلوی ربات‌های جستجوگر سنتی رو هم بگیرن یا ازشون پول بخوان. آیا ناشران این کار رو میکنن؟ احتمالا نه. مسدود کردن گوگل هنوز به معنی از دست دادن بخش بزرگی از ترافیک ارزشمنده و کمتر کسی حاضر به پرداخت چنین هزینه‌ایه.
اما یک نکته جالب وجود داره: کلاودفلر داره تلاش میکنه (چه با مذاکره و چه از راه قانونی) گوگل رو متقاعد کنه که ربات خودش یعنی گوگل‌بات رو به دو بخش جدا تقسیم کنه:
- یک ربات برای جستجوی سنتی.
- یک ربات برای خزش محتوا جهت استفاده در بخش‌های هوش مصنوعی مثل AI Overviews.
اگه این اتفاق بیفته، ناشران میتونن به ربات جستجوی سنتی اجازه دسترسی بدن، اما جلوی ربات هوش مصنوعی گوگل رو بگیرن. متخصصان سئو از چنین اتفاقی استقبال میکنن.
تاثیر عمیق بر جی‌ای‌او (GEO)
جی‌ای‌او (Generative Engine Optimization) یعنی بهینه‌سازی محتوا برای موتورهای تولیدکننده جواب مثل چت‌جی‌پی‌تی. تاثیر طرح «پرداخت به ازای خزش» روی جی‌ای‌او خیلی عمیق‌تر از سئوی سنتیه.
برای اینکه این موضوع رو بفهمی، باید بدونی که مدل‌های هوش مصنوعی چطور کار میکنن. دو فرآیند اصلی وجود داره:
- آموزش مدل (Training data): قبل از اینکه یک مدل بتونه به سوالی جواب بده، باید آموزش ببینه. در این مرحله، ربات‌ها حجم عظیمی از اطلاعات (متن، کد، عکس) رو از سراسر وب جمع‌آوری میکنن تا مدل بتونه زبان رو بفهمه و دانش پایه‌ای خودش رو در مورد دنیا شکل بده. این دانش، مثل فونداسیون یک ساختمونه.
- بازیابی اطلاعات لحظه‌ای (Real-time information retrieval): بعد از اینکه مدل آموزش دید، میتونه برای جواب دادن به سوالات جدید، اطلاعات تازه رو از طریق ابزارهای خارجی (مثلا جستجو در بینگ) به دست بیاره. این مثل اینه که شما برای جواب دادن به یک سوال، سریع یک چیزی رو در اینترنت جستجو کنی.
حالا ممکنه فکر کنی: «خب، اگه سایت من بینگ رو مسدود نکنه، پس چت‌جی‌پی‌تی هنوز میتونه محتوای من رو ببینه. پس مشکل چیه؟»
اینجاست که نکته کلیدی مشخص میشه:
آموزش، درک بنیادی مدل رو میسازه؛ جستجوی لحظه‌ای فقط اون درک رو تکمیل میکنه، نه اینکه جایگزینش بشه.
وقتی سایت‌های بیشتری به طرح «پرداخت به ازای خزش» ملحق بشن و دسترسی ربات‌های هوش مصنوعی رو محدود کنن، سه اتفاق مهم میفته:
- کاهش کیفیت جواب‌ها: حتی اگه هوش مصنوعی بتونه سایت تو رو از طریق بینگ ببینه، اگه در مرحله آموزش با محتوای مشابهی برخورد نکرده باشه، نمیدونه چطور اون رو تفسیر کنه یا بهش اولویت بده.
- سوگیری به سمت منابع شناخته‌شده: مدل‌ها به منابعی که در زمان آموزش دیدن «اعتماد» بیشتری دارن. اگه محتوای تو بخشی از اون فرآیند آموزشی نبوده باشه، ممکنه در جواب‌های تولید شده نادیده گرفته بشی، فقط به این دلیل که مدل با سبک، فرمت یا اعتبار سایت تو آشنا نیست.
- تاثیر بلندمدت بر جی‌ای‌او: هرچقدر سایت‌های بیشتری دسترسی ربات‌ها رو محدود کنن، داده‌های آموزشی کلی مدل‌ها کوچیک‌تر و محدودتر میشه. سایتی که در مرحله آموزش دیده نشده، وارد «نقشه ذهنی» مدل نمیشه، حتی اگه از نظر فنی در جستجوی لحظه‌ای قابل دسترسی باشه.
خلاصه اینکه جی‌ای‌او فقط مربوط به دیده شدن نیست؛ مربوط به اینه که مدل هوش مصنوعی تو رو بشناسه، بهت اعتماد داشته باشه و درکت کنه. و همه اینها از مرحله آموزش شروع میشه.
پرسش و پاسخ
سوال: پس این طرح کلاودفلر یعنی دیگه نمیتونم از گوگل استفاده کنم؟
جواب: نه اصلا. این طرح ربطی به استفاده شما از موتورهای جستجوی سنتی مثل گوگل یا بینگ نداره. ربات‌های این موتورهای جستجو به صورت پیش‌فرض مسدود نمیشن و شما مثل قبل میتونی ازشون استفاده کنی. این طرح بیشتر روی ربات‌هایی تمرکز داره که برای آموزش مدل‌های هوش مصنوعی مثل چت‌جی‌پی‌تی محتوا جمع میکنن.
سوال: آیا این سیستم «پرداخت به ازای خزش» همین الان برای همه فعاله؟
جواب: در حال حاضر، این برنامه در نسخه بتای خصوصی قرار داره. این یعنی هنوز برای همه در دسترس نیست و سایت‌ها باید برای شرکت در اون درخواست بدن (opt-in). اما برنامه کلاودفلر اینه که در آینده‌ای نامشخص، مسدودسازی ربات‌های هوش مصنوعی رو به صورت پیش‌فرض برای همه اجرا کنه.
سوال: من یک وبلاگ کوچیک دارم. باید نگران باشم؟
جواب: این موضوع بستگی به اهداف شما داره. از یک طرف، این طرح به شما قدرت کنترل روی محتواتون رو میده. از طرف دیگه، این ریسک وجود داره که شرکت‌های بزرگ هوش مصنوعی حاضر نشن برای محتوای شما پولی پرداخت کنن و در نتیجه، شما از دنیای جواب‌های هوش مصنوعی حذف بشی. این یک تصمیم استراتژیکه که هر صاحب سایتی باید برای خودش بگیره.
سوال: این پرداخت‌ها چطوری انجام میشه؟ آیا پیچیده است؟
جواب: طبق گفته کلاودفلر، خود این شرکت به عنوان واسطه عمل میکنه. یعنی پرداخت‌ها رو از شرکت‌های هوش مصنوعی جمع‌آوری و به حساب صاحبان سایت‌ها واریز میکنه. این کار باعث میشه نیازی به قراردادهای پیچیده یا استفاده از ارزهای دیجیتال نباشه و فرآیند ساده باشه.
سوال: از کجا معلوم که یک ربات هویت خودش رو جعل نکنه و الکی بگه من ربات گوگل هستم؟
جواب: کلاودفلر برای جلوگیری از این مشکل از سیستم‌های پیشرفته مدیریت ربات و امضاهای رمزنگاری شده به اسم Ed25519 استفاده میکنه. این فناوری‌ها کمک میکنن هویت ربات‌ها به طور دقیق تایید بشه تا جلوی جعل و تقلب گرفته بشه.
“`
منابع
- [1] Publishers Push Back Against AI Data Scraping as Cloudflare Introduces ‘Pay per Crawl’ | Music AI
- [3] Introducing pay per crawl: Enabling content owners to charge AI crawlers for access – Piccalilli
- [5] The Future of Content and AI: Pay per Crawl and What’s Next – Cloudflare TV
- [7] Legal News, Updates & Analysis | Advocate Daily
- [9] Cloudflare’s Decision to Block AI Crawlers Could Affect Your Performance in LLMs | JumpFly Digital Marketing Blog
دیدگاهتان را بنویسید