شبکه | آموزش و مقالات شبکه، وب، سرور و اینترنت

آموزش‌های کلادفلر به‌زودی در این بخش قرار داده می‌شود.

«پرداخت به ازای خزش» کلادفلر، آینده اقتصاد محتوا

نوشته شده توسط

سروش احمدی

در

شاید شما هم متوجه شده باشین که اقتصاد محتوا و مدلی که وب برای دهه‌ها بر اساس اون کار می‌کرده، دچار مشکل شده. ربات‌های خزنده هوش مصنوعی یا همون AI Crawlerها، وب‌سایت‌ها رو می‌خونن، اطلاعات رو خلاصه می‌کنن و جواب‌ها رو مستقیم به کاربر میدن، بدون اینکه کاربر رو به منبع اصلی اون محتوا بفرستن. نتیجه این اتفاق، یک افت شدید توی ترافیک وب‌سایت‌ها از سمت مدل‌های هوش مصنوعیه، درآمد تبلیغات کم شده و یک تهدید بزرگ برای مدل کسب‌وکاری که وب رو برای سال‌ها زنده نگه داشته بود، به وجود اومده.

حالا، شرکت کلادفلر (Cloudflare) با یک رویکرد جدید وارد میدون شده. همین دو هفته پیش بود که متیو پرینس (Matthew Prince)، مدیرعامل کلادفلر، توی مصاحبه‌ای با آکسیوس (Axios) گفت: «هوش مصنوعی قراره اساسا مدل کسب‌وکار وب رو تغییر بده. مدل کسب‌وکار وب برای ۱۵ سال گذشته جستجو بوده. به هر شکلی، جستجو هر چیزی که آنلاین اتفاق میفته رو هدایت می‌کنه».

هفته گذشته، کلادفلر یک راه حل احتمالی معرفی کرد: Pay Per Crawl یا «پرداخت به ازای هر خزش». این اولین لایه کسب درآمد از این نوعه که به ناشرها و تولیدکننده‌های محتوا اجازه میده از ربات‌های هوش مصنوعی (مثل GPTBot شرکت OpenAI یا ClaudeBot شرکت Anthropic) برای دسترسی به محتواشون پول بگیرن. این سیستم یک طراحی کاملا جدید برای کارکرد وب نیست، بلکه یک لایه جدیده که روی زیرساخت موجود وب ساخته میشه. سیستم از کد پاسخ کمتر استفاده شده HTTP 402 که به معنی «پرداخت الزامی است» هست، استفاده می‌کنه تا ربات‌هایی که سعی در خزش یک سایت دارن رو مسدود کنه یا ازشون هزینه بگیره. این ایده، یک نقطه عطف برای سئو (SEO) و بهینه‌سازی برای موتورهای تولیدکننده محتوا یا همون GEO (Generative Engine Optimization) به حساب میاد.

قراردادی که برای اولین بار داره شکسته میشه

برای اینکه عمق ماجرا رو بهتر درک کنیم، بد نیست یک قدم به عقب برگردیم و به زمینه‌ای که پشت حرکت کلادفلر وجود داره نگاهی بندازیم. حدود ۳۰ سال پیش، دو دانشجوی تحصیلات تکمیلی توی دانشگاه استنفورد، لری پیج و سرگی برین، کار روی یک پروژه تحقیقاتی به اسم «بک‌راب» (Backrub) رو شروع کردن. اون پروژه بعدها تبدیل به گوگل شد. اما مهم‌تر از اون، تبدیل به پایه و اساس مدل کسب‌وکار وب شد.

قرارداد نانوشته بین گوگل و تولیدکننده‌های محتوا ساده بود:

  • به ما اجازه بدین محتوای شما رو کپی کنیم تا توی نتایج جستجو نشون بدیم، و در عوض، ما برای شما ترافیک می‌فرستیم.
  • شما به عنوان تولیدکننده محتوا، می‌تونستین اون ترافیک رو با نمایش تبلیغات، فروش اشتراک یا حتی فقط لذت بردن از خونده شدن مطلبتون، به پول تبدیل کنین.

گوگل کل اکوسیستمی که از این قرارداد حمایت می‌کرد رو ساخت:

  • جستجوی گوگل ترافیک رو تولید می‌کرد.
  • گوگل شرکت DoubleClick رو خرید و AdSense رو راه انداخت تا به شما کمک کنه از اون ترافیک درآمد داشته باشین.
  • گوگل شرکت Urchin رو خرید تا گوگل آنالیتیکس (Google Analytics) رو بسازه تا بتونین همه چیز رو اندازه بگیرین.

و این سیستم برای دهه‌ها کار کرد. این توافق چیزی بود که وب آزاد رو زنده نگه داشته بود. اما حالا، این قرارداد داره از هم می‌پاشه. برای اولین بار، سهم بازار جستجوی گوگل رو به کاهشه و چیزی که جای اون رو می‌گیره، هوش مصنوعیه.

متیو پرینس این موضوع رو به وضوح بیان کرد. ده سال پیش، گوگل به ازای هر بازدیدکننده‌ای که به یک ناشر می‌فرستاد، دو صفحه از اون سایت رو کراول یا خزش می‌کرد. شش ماه پیش، این نسبت‌ها به این شکل بود:

  • گوگل: ۶ به ۱
  • OpenAI: ۲۵۰ به ۱
  • Anthropic: ۶,۰۰۰ به ۱

و امروز این اعداد تکان‌دهنده‌تر شدن:

  • گوگل: ۱۸ به ۱
  • OpenAI: ۱,۵۰۰ به ۱
  • Anthropic: ۶۰,۰۰۰ به ۱

این روند کاملا مشخصه: هوش مصنوعی می‌خونه، یاد می‌گیره و جواب میده، اما به ندرت کاربری رو به منبع اصلی برمی‌گردونه. تبادل ارزش دوطرفه‌ای که زمانی موتور محرک وب بود، داره بی‌سر و صدا از بین میره و تولیدکننده‌های محتوا از این معادله حذف میشن.

کلادفلر چطور می‌خواد بازی رو عوض کنه؟

وقتی بهش فکر می‌کنین، راه حل ارائه شده خیلی هوشمندانه به نظر می‌رسه. به جای اینکه صاحبان وب‌سایت رو مجبور به انتخاب بین دو گزینه شدید بکنه – یعنی یا ربات‌های هوش مصنوعی رو کاملا مسدود کنن یا بهشون دسترسی کامل و رایگان بدن – کلادفلر یک گزینه سوم معرفی می‌کنه: ازشون پول بگیرین.

نحوه کارکرد این سیستم به این صورته:

  • هر بار که یک ربات خزنده هوش مصنوعی محتوایی رو درخواست می‌کنه، سرور می‌تونه با یک کد HTTP 402 Payment Required (پرداخت الزامی است) جواب بده و قیمت دسترسی رو هم مشخص کنه.
  • اگه خزنده با پرداخت موافقت کنه، یک درخواست بعدی با یک هِدِر پرداخت (payment header) می‌فرسته و سرور با یک پاسخ 200 OK محتوا رو برمی‌گردونه.
  • اگه موافقت نکنه، هیچ دسترسی داده نمیشه.

توی داشبورد کلادفلر، صاحبان سایت می‌تونن برای هر ربات خزنده هوش مصنوعی یکی از سه قانون دسترسی زیر رو تنظیم کنن:

  1. Allow (اجازه دادن): دسترسی کامل داده میشه (HTTP 200).
  2. Charge (هزینه گرفتن): برای هر درخواست، پرداخت الزامیه (HTTP 402 با اطلاعات قیمت).
  3. Block (مسدود کردن): دسترسی رد میشه (HTTP 403)، اما با این اشاره که در آینده امکان مذاکره برای پرداخت وجود داره.

این مثل معرفی یک API بین محتوا و مدل‌های مولد می‌مونه، جایی که اطلاعات فقط دانش شناور و رایگان نیست؛ بلکه حالا یک دارایی دیجیتال قابل کسب درآمده.

باید بدونیم که این یک استارتاپ کوچیک نیست که بخواد وب رو متحول کنه. طبق داده‌های خود کلادفلر، این شرکت زیرساخت شبکه توزیع محتوا (CDN) رو برای بیش از ۲۰ درصد کل وب‌سایت‌های جهان تامین می‌کنه، از جمله شرکت‌های رسانه‌ای، پلتفرم‌های محتوا، دولت‌ها و برندهای بزرگ. سایت‌هایی مثل Reddit، Medium، Shopify، Udemy و The Guardian همگی از طریق شبکه کلادفلر کار می‌کنن. این یعنی اگه کلادفلر تصمیم بگیره دسترسی رو محدود کنه، می‌تونه این کار رو در مقیاس عظیمی انجام بده.

اما مقیاس فقط بخشی از تصویره. کلادفلر همچنین دقیقا می‌دونه کدوم ربات‌ها و با چه頻繁ی از این سایت‌ها بازدید می‌کنن.

  • Bytespider، خزنده هوش مصنوعی شرکت ByteDance (شرکت مادر تیک‌تاک)، فعال‌ترین رباته و از بیش از ۴۰.۴ درصد دامنه‌های تحت حفاظت کلادفلر بازدید می‌کنه.
  • بعد از اون، GPTBot از OpenAI با ۳۵.۵ درصد و ClaudeBot از Anthropic با ۱۱.۲ درصد قرار دارن.
  • جالبه که GPTBot، با وجود اینکه «معروف‌ترین» رباته، یکی از ربات‌هایی هم هست که بیشترین مسدودسازی رو در سراسر شبکه تجربه می‌کنه.

کلادفلر اشاره می‌کنه که خیلی از ناشرها حتی خبر ندارن که خزنده‌های هوش مصنوعی با این شدت در حال بازدید از سایت‌هاشون هستن. مقیاس این خراشیدن (scraping) پنهان احتمالا خیلی بزرگ‌تر از چیزیه که بیشتر مردم تصور می‌کنن.

تاثیر Pay Per Crawl روی سئو (SEO) چیه؟

اول از همه، باید مشخص کنیم که کلادفلر به طور پیش‌فرض خزنده‌های موتورهای جستجوی سنتی مثل BingBot یا Googlebot رو مسدود نمی‌کنه. اما، خزنده‌های هوش مصنوعی مثل GPTBot یا ClaudeBot رو به طور پیش‌فرض مسدود می‌کنه، مخصوصا برای وب‌سایت‌های جدیدی که به پلتفرم می‌پیوندن. صاحبان سایت می‌تونن این تنظیمات رو تغییر بدن و تصمیم بگیرن که به کدوم ربات‌ها اجازه بدن، کدوم‌ها رو مسدود کنن یا از کدوم‌ها هزینه بگیرن.

این آپدیت به طور خاص روی مدل‌های هوش مصنوعی تمرکز داره، یعنی خزنده‌هایی از شرکت‌هایی مثل OpenAI و Anthropic که محتوا رو برای آموزش یا قدرت بخشیدن به مدل‌های زبان بزرگ (LLM) جمع‌آوری می‌کنن، نه برای ارائه نتایج جستجوی زنده. با این حال، برای اولین بار، کلادفلر به ناشرها این اختیار رو میده که خزنده‌های موتورهای جستجوی سنتی رو هم مسدود کنن یا ازشون هزینه بگیرن؛ سطحی از کنترل که قبلا وجود نداشت.

آیا ناشرها واقعا این کار رو می‌کنن؟ احتمالا نه، حداقل بیشترشون نه. مسدود کردن گوگل یا بینگ هنوز به معنی از دست دادن بخش بزرگی از ترافیک ارگانیک با ارزشه و برای خیلی‌ها، این بهاییه که حاضر به پرداختش نیستن. در حالی که وال استریت ژورنال (The Wall Street Journal) اخیرا از افت قابل توجه ترافیک ناشرها به خاطر تجربه‌های جستجوی مبتنی بر هوش مصنوعی خبر داده، گوگل هنوز مسئول بخش بزرگی از ترافیک بیشتر ناشرهاست، اغلب بین ۳۰ تا ۶۰ درصد یا حتی بیشتر، بسته به نوع سایت.

اما این وضعیت داره تغییر می‌کنه. تعداد فزاینده‌ای از ناشرهای بزرگ به طرح Pay Per Crawl کلادفلر پیوستن، از جمله:

  • TIME
  • The Atlantic
  • ADWEEK
  • BuzzFeed
  • Fortune
  • Quora
  • Stack Overflow
  • Webflow

پس با اینکه سئو هنوز برای اکثر افراد اونقدر مهمه که نمی‌تونن ازش دست بکشن، برای اولین بار، قدرت گفتن «نه» یا حداقل «پول بده»، رسما روی میزه.

تاثیر Pay Per Crawl روی GEO چیه؟

قطعا تاثیر داره و عمیق‌تر از چیزی که شاید فکر کنین. برای درک بهتر، از ChatGPT به عنوان مثال استفاده می‌کنیم. همونطور که خیلی‌ها می‌دونن، نسخه پولی ChatGPT با استفاده از بینگ، جستجوهای زنده انجام میده. اما پشت پرده، در واقع دو فرآیند جداگانه در حال انجامه:

  1. آموزش مدل (Training data):
    • قبل از اینکه مدل بتونه چیزی رو جستجو کنه، اول باید آموزش ببینه. این زمانیه که مدل‌های زبان بزرگ یاد می‌گیرن زبان چطور کار می‌کنه و دانش خودشون از جهان رو با استفاده از مجموعه داده‌های عظیمی که شامل متن، کد، تصویر و اطلاعات جمع‌آوری شده از سراسر وب عمومیه، می‌سازن.
    • این محتوا توسط خزنده‌های هوش مصنوعی اختصاصی مثل GPTBot (OpenAI) و AnthropicBot (Anthropic) و ربات‌های مشابهی که توسط گوگل و متا اداره میشن، جمع‌آوری میشه.
  2. بازیابی اطلاعات زنده (Real-time information retrieval):
    • بعد از اینکه مدل آموزش دید، می‌تونه داده‌های تازه رو از طریق ابزارهای خارجی از وب بگیره، مثلا از طریق یکپارچه‌سازی ChatGPT با بینگ.

در نگاه اول، شاید فکر کنین: «اگه سایت من بینگ رو مسدود نکنه، ChatGPT موقع جستجوی کاربرها هنوزم اون رو می‌بینه، پس مشکل چیه؟» اما نکته کلیدی اینجاست: آموزش چیزیه که درک بنیادین مدل از جهان، حسش از زبان، موضوعات، زمینه و تخصص رو می‌سازه. جستجوی زنده فقط راهی برای تکمیل اون درکه، نه جایگزین کردنش.

و اینجاست که Pay Per Crawl اهمیت پیدا می‌کنه. با محدود کردن دسترسی خزنده‌های هوش مصنوعی توسط وب‌سایت‌های بیشتر، فرآیند آموزش محدود میشه و این سه تاثیر بزرگ رو به وجود میاره.

  • افت کیفیت پاسخ‌ها (حتی با جستجوی زنده): حتی اگه مدل بتونه سایت شما رو از طریق بینگ یا Brave «ببینه»، اگه در طول آموزش با محتوای مشابهی مواجه نشده باشه، نمی‌دونه چطور محتوای شما رو تفسیر یا اولویت‌بندی کنه.
  • سوگیری ذاتی به سمت منابع شناخته شده: مدل‌ها تمایل دارن به منابعی که در طول آموزش دیدن، بیشتر اعتماد کنن. اگه محتوای شما بخشی از اون فرآیند نبوده، ممکنه توی پاسخ‌های تولید شده توسط هوش مصنوعی نادیده گرفته بشین یا کمتر دیده بشین، فقط به این دلیل که مدل با لحن، فرمت یا اعتبار شما آشنا نیست.
  • تاثیر بلندمدت روی GEO: هرچه وب‌سایت‌های بیشتری به Pay Per Crawl بپیوندن و دسترسی رو محدود کنن، داده‌های آموزشی کلی در دسترس مدل‌های هوش مصنوعی کمتر میشه. سایت‌هایی که در طول آموزش دیده نشدن، بخشی از «نقشه ذهنی» مدل نخواهند شد، حتی اگه از نظر فنی در جستجوی زنده قابل دسترسی باشن.

دیدگاه ناشران و شرکت‌های هوش مصنوعی

ناشران از این طرح استقبال کردن و اون رو یک گام اساسی برای بازگردوندن تعادل اقتصادی وب می‌دونن.

راجر لینچ (Roger Lynch)، مدیرعامل Condé Nast، این حرکت رو تحسین کرده و میگه: «این یک تغییردهنده بازی برای ناشرانه و استاندارد جدیدی برای نحوه احترام به محتوا به صورت آنلاین تعیین می‌کنه. وقتی شرکت‌های هوش مصنوعی دیگه نتونن هر چیزی رو که می‌خوان به صورت رایگان بردارن، درِ نوآوری پایدار مبتنی بر اجازه و همکاری باز میشه.»

نیل ووگل (Neil Vogel) از Dotdash Meredith هم همین حس رو داره و میگه: «ما مدت‌هاست گفتیم که پلتفرم‌های هوش مصنوعی باید برای استفاده از محتوای ما به ناشران و خالقان به طور منصفانه پول پرداخت کنن. حالا، ما می‌تونیم دسترسی به محتوامون رو به اون دسته از شرکای هوش مصنوعی محدود کنیم که مایل به مشارکت در ترتیبات منصفانه هستن.»

رن توریانو (Renn Turiano) از Gannett بر فوریت موضوع تاکید می‌کنه: «مسدود کردن خراشیدن غیرمجاز و استفاده از محتوای اصلی ما بدون جبران منصفانه بسیار مهمه… ما خوش‌بین هستیم که فناوری کلادفلر به مبارزه با سرقت مالکیت معنوی با ارزش کمک خواهد کرد.»

برای شرکت‌های هوش مصنوعی هم، این بازار یک جایگزین شفاف و کم‌دردسر برای بحث‌های پیچیده کپی‌رایت فراهم می‌کنه. به جای خراشیدن بی‌رویه و امید به پوشش «استفاده منصفانه»، سازمان‌ها می‌تونن با هزینه‌های قابل پیش‌بینی، دسترسی قانونی به محتوای باکیفیت رو تضمین کنن. این کار ریسک حقوقی رو کم می‌کنه و به ساخت مدل‌های هوش مصنوعی قوی‌تری که به حقوق خالقان احترام می‌ذارن، کمک می‌کنه.

زیربنای فنی و چالش‌های پیش رو

در قلب راه‌حل کلادفلر، زیرساخت پیشرفته مدیریت ربات اون قرار داره که روزانه تریلیون‌ها درخواست رو پردازش می‌کنه. با استفاده از سیگنال‌های رفتاری، انگشت‌نگاری و پروتکل‌های جدید «هویت خزنده»، کلادفلر به دقت بین بازدیدکنندگان انسانی، ربات‌های مفید و خزنده‌های هوش مصنوعی تمایز قائل میشه. برای جلوگیری از جعل هویت خزنده‌ها و تضمین پرداخت‌های معتبر، از امضاهای رمزنگاری شده Ed25519 هم استفاده میشه.

با این حال، چالش‌هایی هم وجود داره. برای موفقیت این طرح، لازمه که هم شرکت‌های هوش مصنوعی و هم ناشران به تعداد کافی در اون مشارکت کنن. از طرف دیگه، برخی در جامعه دانشگاهی نگرانن که مسدود کردن خزنده‌ها ممکنه به تحقیقات مشروع و غیرتجاری هوش مصنوعی آسیب برسونه.

نگاهی به آینده

ویژن کلادفلر فراتر از این هم میره. متیو پرینس، مدیرعامل شرکت، یک ایده رو مطرح کرده که در اون محتوای جدید و اصیل که «چاله‌های پنیری» دانش یک مدل هوش مصنوعی رو پر می‌کنه، ارزش بیشتری نسبت به محتوای تکراری و کم‌ارزش داره.

ویل آلن (Will Allen)، معاون مدیریت محصول کلادفلر، هم دنیایی رو تصور می‌کنه که در اون یک کاربر می‌تونه به یک ایجنت هوشمند بگه: «برو در مورد این موضوع برای من تحقیق کن و اینم ۱۰ دلار بودجه تو». اون ایجنت می‌تونه به طور خودکار بره و بهترین محتوا رو پیدا کنه و برای دسترسی بهش هزینه بپردازه. این یعنی حرکت به سمت یک وب هوشمندتر که در اون دسترسی به اطلاعات با بودجه‌های از پیش تعریف شده و به صورت برنامه‌ریزی شده انجام میشه.

جستجوی زنده ممکنه همچنان کار کنه، اما بدون یک پایه قوی، مدل نمی‌دونه دنبال چی بگرده، چطور اون رو تفسیر کنه، یا چرا محتوای شما مهمه. GEO فقط مربوط به دیده شدن نیست؛ مربوط به اینه که آیا مدل شما رو می‌شناسه، بهتون اعتماد داره و شما رو درک می‌کنه یا نه. و همه اینها از آموزش شروع میشه.

منابع

دیدگاه‌ها

دیدگاهتان را بنویسید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *

نوشته‌های بیشتر