ماجرای حذف میلیون‌ها صفحه از گوگل در آپدیت اردیبهشت ۱۴۰۴

دلایل احتمالی این اتفاق چی بوده؟

سوال بزرگ اینه که چرا این همه صفحه، از این همه سایت، یک دفعه از نظر گوگل برای ایندکس شدن بی‌ارزش شدن. چون گوگل چیزی رو رسما تایید نکرده، چندتا نظریه به وجود اومده:

آپدیت الگوریتمی (تایید نشده)

خیلی از متخصصای سئو فکر میکنن که گوگل بی‌سر و صدا یک آپدیت یا تغییری مربوط به ایندکس کردن رو اجرا کرده. گوگل همیشه در حال دستکاری الگوریتم‌هاشه و به نظر میرسه این یک تغییر اعلام نشده بوده که روی ایندکس تمرکز داشته. زمان‌بندی دقیق این اتفاق نشون میده که تصادفی نبوده. بعضی‌ها بهش میگن «آپدیت هرس کردن ایندکس»، یعنی گوگل استانداردهاش رو برای اینکه چه صفحه‌هایی رو توی ایندکس نگه داره، بالاتر برده.

بری شوارتز از سایت Search Engine Roundtable هم اشاره کرده که از اواخر ماه می، شکایت‌های زیادی در مورد اینکه گوگل صفحه‌های کمتری رو ایندکس میکنه، دیده. سوال اینه که آیا این یک آپدیت الگوریتمی عمدی برای هدف قرار دادن محتوای بی‌کیفیت بوده یا یک تغییر توی فرایندهای داخلی ایندکس گوگل. با توجه به سکوت گوگل، این اتفاق به عنوان یک آپدیت «خاموش» در نظر گرفته میشه؛ یعنی در عمل تاثیر داشته اما از کانال‌های رسمی تایید نشده.

پاکسازی بر اساس کیفیت محتوا

یک نظریه قوی اینه که گوگل داره با محتوای کم‌ارزش یا تکراری توی ایندکسش برخورد میکنه. متخصص سئو، ماری هینز، سایت‌های آسیب‌دیده رو تحلیل کرده و یک الگوی مشترک پیدا کرده: صفحه‌هایی که حذف شدن معمولا محتوای سطحی، غیر اورجینال یا کم‌ارزش داشتن.

برای مثال:

• توی یک سایت مسافرتی، خیلی از پست‌های وبلاگ قدیمی که فقط اطلاعات سایت‌های دیگه رو بازنویسی کرده بودن (یعنی محتوای پارافریز شده)، از ایندکس حذف شدن.
• توی یک سایت دیگه (وبلاگ آشپزی)، پست‌های پرسش و پاسخ ساده مثل «فرق بین X و Y چیه؟» حذف شدن؛ اینها سوال‌های ساده‌ای هستن که هوش مصنوعی خود گوگل (یا سایت‌های دیگه) به راحتی میتونن بهشون جواب بدن.
• یک سایت وکالت دید که مقاله‌های سطحی و «پُرکننده برای سئو» (مثلا نکات ایمنی کلی که هیچ دیدگاه جدیدی اضافه نمیکردن) حذف شدن.

این نشون میده که الگوریتم‌های گوگل احتمالا کیفیت و اصالت محتوا رو در مقیاس بزرگ دوباره ارزیابی کردن و صفحه‌هایی که به یک آستانه مشخصی از مفید بودن نمیرسیدن رو حذف کردن. جالبه بدونید که گوگل توی آخرین آپدیت راهنمای ارزیاب‌های کیفیتش، کلمه «پارافریز شده» رو ۲۲ بار اضافه کرده و روی محتوای اورجینال تاکید کرده.

تغییرات در بودجه خزش یا ظرفیت ایندکس

یک زاویه دید دیگه اینه که گوگل ممکنه در حال تنظیم بودجه خزش یا ایندکسش باشه، مخصوصا برای سایت‌های بزرگ. گوگل هر صفحه‌ای رو که بررسی میکنه، ایندکس نمیکنه؛ اون صفحه‌هایی رو در اولویت قرار میده که مهم‌تر یا مفیدتر تشخیص داده بشن. برای وب‌سایت‌های خیلی بزرگ (مثلا با میلیون‌ها صفحه)، گوگل ممکنه تصمیم گرفته باشه که درصد کمتری از صفحه‌ها رو ایندکس کنه تا از چیزی که بهش میگن «ورم ایندکس» جلوگیری کنه.

یک کاربر توییتر از Consainsights اشاره کرد که حتی «وب‌سایت‌های تجاری فعال با محتوای خوب» هم در تاریخ ۲۷ تا ۲۹ می شاهد حذف شدن صفحه‌هاشون بودن. این نشون میده که فقط صفحه‌های «به دردنخور» حذف نشدن؛ ممکنه صفحه‌هایی هم که خوب بودن ولی حیاتی نبودن، حذف شده باشن. اگه سیستم‌های گوگل نحوه تخصیص ایندکس به صفحه‌های یک سایت رو دوباره تنظیم کرده باشن، ممکنه بعضی از صفحه‌های کم‌بازدید حذف شده باشن.

پورتال‌های املاک یک مثال عالی هستن. اونها تعداد خیلی زیادی صفحه دارن (لیست املاک، پروفایل مشاوران و غیره) که خیلی‌هاشون شبیه به هم یا موقتی هستن (مثلا آگهی‌های منقضی شده). این احتمال وجود داره که گوگل بی‌سر و صدا تصمیم گرفته باشه روی چنین سایت‌هایی گزیده‌تر عمل کنه (مثلا جدیدترین یا مرتبط‌ترین آگهی‌ها رو ایندکس کنه و قدیمی‌ها یا تکراری‌ها رو حذف کنه) تا منابعش رو مدیریت کنه. البته بدون تایید رسمی، معلوم نیست که آیا بودجه خزش به طور مشخص نقشی داشته یا این فقط یک اثر جانبی ارزیابی کیفیته (چون صفحه‌های کم‌ارزش معمولا اولویت خزش پایینی هم دارن).

هوش مصنوعی مولد گوگل و تغییرات جستجو

تعداد کمی از افراد در جامعه سئو حدس میزنن که این موضوع میتونه به حرکت گوگل به سمت جواب‌های تولید شده توسط هوش مصنوعی (SGE – Search Generative Experience) مرتبط باشه. منطقشون اینه که اگه هوش مصنوعی گوگل بتونه به بعضی سوال‌ها مستقیم جواب بده، ممکنه دیگه نیازی به ایندکس کردن صفحه‌هایی که اون جواب‌ها رو دارن، نبینه. برای مثال، صفحه‌های تعاریف ساده یا سوالات متداول، اگه جوابشون توی خلاصه‌های هوش مصنوعی بیاد، میتونن اضافی به حساب بیان.

این نظریه بیشتر بر اساس حدس و گمانه، اما با این مشاهده که خیلی از صفحه‌های حذف شده اطلاعات خیلی پایه‌ای ارائه میدادن، همخونی داره. گوگل ممکنه پیش‌بینی کرده باشه که در آینده جستجوی با کمک هوش مصنوعی، کلیک کمتری روی اینجور محتواها میشه و برای همین داره اونها رو پاکسازی میکنه. با این حال، گوگل به طور واضح ارتباطی بین SGE و رفتار ایندکس کردن اعلام نکرده، پس این رو فقط یک فرضیه در نظر بگیرید.

پاسخ گوگل: «همه چیز طبق برنامه کار میکنه»

با وجود همه این صحبت‌ها، گوگل هیچ بیانیه رسمی یا پست وبلاگی در مورد این تغییر ایندکس منتشر نکرده. رابط جستجوی گوگل و کانال‌های عمومی اون ساکت موندن، که نشون میده اونها این رو یک نوسان عادی میدونن. نزدیک‌ترین چیز به یک پاسخ رسمی از طرف جان مولر در اوایل ژوئن اومد:

• جان مولر در بلواسکای: جان در تاریخ ۵ ژوئن به نگرانی‌های متخصصان سئو در بلواسکای جواب داد. وقتی ازش در مورد حذف میلیون‌ها صفحه توسط گوگل پرسیده شد، اول درخواست جزئیات کرد: «کدوم میلیون‌ها صفحه؟ خوشحال میشم جزئیات دقیق‌تری بشنوم.»
• بعد از اینکه چندتا مثال بهش داده شد، اونها رو تحلیل کرد و گزارش داد: «بر اساس این مثال‌ها، من مشکل فنی‌ای از سمت ما (یا از سمت هیچ‌کدوم از این سایت‌ها) نمی‌بینم. سیستم‌های ما به طور مرتب تغییراتی توی چیزهایی که بررسی و ایندکس میشن ایجاد میکنن. این طبیعی و قابل انتظاره.»
• در یک پیام دیگه اضافه کرد: «با نگاه کردن به بقیه مثال‌ها، من مشکلی نمی‌بینم. ما همه محتواها رو ایندکس نمی‌کنیم، و چیزهایی که ایندکس می‌کنیم ممکنه با گذشت زمان تغییر کنه.»

این صحبت‌ها نشون میده که گوگل این اتفاق رو یک باگ یا خطا که نیاز به اصلاح داشته باشه نمی‌بینه، بلکه نتیجه رفتار عادی الگوریتم‌هاش میدونه.

همچنین، بد نیست به یک نکته‌ای که اخیرا مارتین اسپلیت (از توسعه‌دهنده‌های گوگل) گفته هم توجه کنیم. هرچند مستقیما در مورد این اتفاق ماه می ۲۰۲۵ نبوده، اما به درک موضوع کمک میکنه. اسپلیت توضیح داد که چرا بعضی صفحه‌ها بعد از اینکه یک بار ایندکس شدن، از ایندکس خارج میشن:

«این یعنی ما فکر میکردیم ممکنه خوب باشن، اما متوجه شدیم که کاربرها واقعا از اونها توی نتایج جستجو استفاده نمیکنن. برای همین فکر کردیم که، خب، بهش یک فرصت دادیم ولی… بقیه دارن بهتر عمل میکنن.»

مشاهدات شخصی من

من چندتا از سایت‌هایی که مدیریت میکنم، هم سایت‌های خودم و هم مشتری‌ها، رو تحلیل کردم تا الگوهایی رو پیدا کنم که فقط داستان نباشن و به طور مداوم تکرار بشن. این چیزها بیشتر به چشم اومد:

• این اتفاق به طور نامتناسبی روی وب‌سایت‌های بزرگتر تاثیر گذاشته. روی سایت‌های کوچیک (کمتر از ۱۰ هزار صفحه)، تغییر خیلی کمی در ایندکس دیدم یا اصلا ندیدم. اما روی پورتال‌های بزرگتر، مخصوصا اونهایی که بیشتر از ۵۰ هزار آدرس اینترنتی (URL) داشتن، کاهش تعداد صفحه‌های ایندکس شده خیلی محسوس بود.
• گوگل در اواخر آوریل (اوایل اردیبهشت ۱۴۰۴) سرعت خزش (بررسی سایت) رو زیاد کرد. تقریبا روی همه دامنه‌هایی که تحت تاثیر قرار گرفتن، یک جهش قابل توجه در خزش در انتهای آوریل ۲۰۲۵ وجود داشت. انگار گوگل داشت آماده میشد تا کل ساختار سایت رو دوباره ارزیابی کنه، احتمالا برای سنجش دوباره کیفیت محتوای کل سایت. چند هفته بعد، صفحه‌ها شروع به حذف شدن از ایندکس کردن.
• لینک‌سازی داخلی دیگه صفحه‌های ضعیف رو نجات نمیده. قبلا، یک استراتژی لینک‌سازی داخلی قوی میتونست اهمیت صفحه‌های کم‌ارزش‌تر رو بالا ببره. اما این بار نه. من صفحه‌هایی رو دیدم که ده‌ها لینک داخلی داشتن اما چون خود محتوا به یک آستانه کیفیتی نمیرسید، باز هم از ایندکس خارج شدن. به نظر میرسه گوگل سیگنال‌هایی مثل اعتبار لینک رو نادیده میگیره اگه محتوا حرفی برای گفتن نداشته باشه.
• «محتوای سطحی» فقط به تعداد کلمات مربوط نیست، به عمق هم ربط داره. روی یکی از سایت‌های دایرکتوری خودم، یک الگوی خیلی واضح دیدم: صفحه‌هایی که فقط ۱ یا ۲ تا لیست داشتن از ایندکس حذف شدن، با اینکه قالبشون تمیز، ساختاریافته و دارای لینک داخلی بود. انگار گوگل یک آستانه کیفی تعیین کرده؛ اگه صفحه اینقدر خلوت باشه، ارزش واقعی برای کاربر نداره. صفحه‌هایی که ۴ تا یا بیشتر لیست داشتن، توی ایندکس باقی موندن.
• به نظر یک پاکسازی عمدی ایندکس میاد. حس میشه که گوگل یک تصمیم آگاهانه گرفته تا «ورم ایندکس» رو کاهش بده، احتمالا برای بهبود کیفیت نتایج جستجو و آماده شدن برای نتایج تولید شده توسط هوش مصنوعی که در اون تکرار و افزونگی هزینه بیشتری داره. چیزی که الان در ایندکس باقی مونده به نظر میرسه صفحه‌هایی باشن که ارزش واضح، اعتبار، یا حداقل یک آستانه حداقلی از مفید بودن رو دارن.

چطور صفحه‌هامون رو دوباره به ایندکس برگردونیم؟ (راه‌حل‌های عملی)

بهبود کیفیت و منحصر به فرد بودن محتوا

بهترین توصیه اینه که محتوای صفحه‌های حذف شده رو بررسی و بهتر کنید. اگه گوگل اونها رو به خاطر کیفیت پایین یا تکراری بودن حذف کرده، تنها راه حل دائمی اینه که اون صفحه‌ها رو بهتر و منحصر به فردتر کنید. صفحه‌های حذف شده رو بازبینی و با محتوای مفیدتر گسترش بدید. این میتونه شامل اضافه کردن مثال‌های عملی، آپدیت با آخرین آمار و ارقام، اضافه کردن تحلیل‌ها یا دیدگاه‌های اورجینال و غیره باشه. هدف اینه که یک صفحه متوسط رو به صفحه‌ای تبدیل کنید که یک کاربر (یا الگوریتم گوگل) اون رو شایسته خوندن بدونه.

محتوا رو واقعا اورجینال کنید

اگه صفحه شما همون حرفی رو میزده که بقیه میزنن، یک راهی پیدا کنید که حرف متفاوتی بزنه. این کار میتونه شامل انجام تحقیقات شخصی (حتی نظرسنجی‌ها یا آزمایش‌های کوچیک)، استفاده از محتوای تولید شده توسط کاربرها، یا ارائه یک نظر منحصر به فرد باشه. راهنمای محتوای مفید گوگل روی «تجربه» و «تخصص» تاکید داره؛ یعنی دانش دست اول، دیدگاه‌های معتبر و غیره.

به فاکتورهای E-E-A-T توجه کنید

الان وقت خوبیه که اسم نویسنده (با ذکر اعتبار و تخصصش)، منابع معتبر، و اطمینان از صحت اطلاعات محتوا رو اضافه کنید. این قدم‌ها به تنهایی باعث نمیشن گوگل یک صفحه رو ایندکس کنه، اما میتونن کیفیت درک شده از صفحه رو بهبود بدن.

سایت‌مپ‌ها رو بازبینی کنید

مطمئن بشید که سایت‌مپ XML شما با تمام صفحه‌هایی که میخواید ایندکس بشن، به‌روز باشه. هرچند گوگل میگه برای صفحه‌های «بررسی شده، اما ایندکس نشده» نیازی به سایت‌مپ یا ارسال مجدد نیست، اما بودنشون در سایت‌مپ ضرری نداره.

بک‌لینک (خارجی) بسازید یا جذب کنید

با اینکه نمیشه یک شبه بک‌لینک به دست آورد، اما بررسی پروفایل بک‌لینک صفحه‌های حذف شده جالبه. در خیلی از موارد، اون صفحه‌ها هیچ لینک خارجی‌ای نداشتن. این یک سرنخه: شاید گرفتن چندتا بک‌لینک بتونه به ایندکس شدن مجددشون کمک کنه. اگه صفحه‌هایی دارید که حذف شدن اما میدونید کیفیت بالایی دارن یا بهبودشون دادید، فعالانه اونها رو تبلیغ کنید.

از محتوای جدید استفاده کنید

یک استراتژی دیگه اینه که محتوای حذف شده رو توی یک محتوای جدید که گوگل به زودی بررسی میکنه، ذکر کنید و بهش لینک بدید. برای مثال، اگه یک پست وبلاگ جدید منتشر میکنید، میتونید به مقاله قدیمی لینک بدید. این بررسی جدید ممکنه باعث بشه ربات گوگل صفحه قدیمی رو دوباره ارزیابی کنه.

حذف یا ادغام محتوا رو در نظر بگیرید

گاهی بهترین راه اینه که از بعضی صفحه‌ها دل بکنید. اگه بعد از بازبینی به این نتیجه رسیدید که یک صفحه واقعا هدف منحصر به فردی نداره، میتونید اون رو با یک صفحه دیگه ادغام کنید، به صفحه دیگه‌ای ریدایرکت ۳۰۱ کنید، یا بذارید همونطور خارج از ایندکس بمونه.

صبور باشید و نظارت کنید

بعد از انجام کارهای بالا، باید کمی صبر کنید و ببینید چی میشه. بعضی صفحه‌ها ممکنه به مرور زمان خود به خود به ایندکس برگردن. در همین حال، گزارش Pages در سرچ کنسول گوگل رو هفتگی یا ماهانه چک کنید. از ابزار URL Inspection در سرچ کنسول هم برای آدرس‌های خاص استفاده کنید. این ابزار میتونه به شما بگه آخرین باری که گوگل صفحه رو بررسی کرده کی بوده و آیا الان اون رو ایندکس شده میبینه یا نه.

نگاه به آینده

جالب خواهد بود که ببینیم آیا گوگل یا نماینده‌هاش توضیح بیشتری میدن یا نه. گاهی اوقات، اگه تعداد زیادی از وبمسترها گیج بشن، گوگل ممکنه یک یادداشت در مستنداتش اضافه کنه یا در یک جلسه پرسش و پاسخ به اون بپردازه. اما با توجه به موضع جان مولر، اونها احتمالا این رو فقط یک روال عادی کاری میدونن.

به عنوان یک فکر نهایی، این جمله (که از راهنمایی‌های گوگل و صحبت‌های مارتین اسپلیت برداشت شده) رو در نظر بگیرید: «گوگل کل وب رو ایندکس نمیکنه، و نباید هم بکنه. گوگل سعی میکنه بهترین‌های وب رو ایندکس کنه.» اگه مطمئن بشید که صفحه‌های شما جزو «بهترین‌ها» در موضوع خودشون هستن – یعنی منحصر به فرد، مفید و مرتبط – شانس ایندکس شدن و ماندگاریشون در نتایج جستجو رو خیلی بالا میبرید.