چرا صفحات سایت در گوگل ایندکس نمی‌شوند؟ بررسی دلایل و رفع خطاهای Indexing

دلایل ایندکس نشدن صفحات سایت در گوگل

فهرست محتوا

ایندکس نشدن صفحات سایت یعنی گوگل صفحه را به نتایج قابل نمایش خودش اضافه نکرده؛ حالا ممکنه اصلاً صفحه را ندیده باشد، دیده ولی Crawl نکرده باشد، Crawl کرده ولی مناسب ایندکس ندانسته باشد، یا نسخه دیگری از همان محتوا را به‌عنوان صفحه اصلی انتخاب کرده باشد. این مشکل همیشه یک «خطا» نیست؛ بعضی وضعیت‌ها در Search Console کاملاً طبیعی‌اند، مثل Alternate page with proper canonical tag برای URLهای تکراری که درست کنونیکال شده‌اند. هشت پا این راهنما را برای سئوکارها، مدیران سایت و تیم‌های فنی نوشته که در Page Indexing Report با وضعیت‌هایی مثل Discovered – currently not indexed، Crawled – currently not indexed، Excluded by noindex، Duplicate، Soft 404 یا Blocked by robots.txt درگیرند. خلاصه‌اش اینه: برای حل مشکل Indexing، اول باید بفهمی گوگل در کدام مرحله گیر کرده؛ کشف URL، Crawl، پردازش محتوا، انتخاب Canonical یا تصمیم نهایی برای نگه داشتن صفحه در Index.

ایندکس شدن در گوگل یعنی چه؟

ایندکس شدن یعنی گوگل صفحه را پیدا کند، Crawl کند، محتوایش را پردازش کند و بعد تصمیم بگیرد آن را در فهرست خودش نگه دارد تا بتواند در نتایج جستجو نمایش داده شود. اگر صفحه ایندکس نشده باشد، معمولاً برای Queryهای معمولی در گوگل نمایش نمی‌گیرد؛ حتی اگر URL داخل سایت وجود داشته باشد و برای کاربر باز شود.

گوگل در راهنمای Page Indexing توضیح می‌دهد Indexing زمانی است که گوگل صفحه را پیدا و Crawl می‌کند، بعد محتوای آن را پردازش می‌کند و در Google index قرار می‌دهد؛ یعنی صفحه بعد از آن ممکن است در Search و بعضی سرویس‌های دیگر گوگل واجد شرایط نمایش باشد. همین تعریف نشان می‌دهد ایندکس شدن فقط «وجود داشتن صفحه» نیست؛ صفحه باید از چند مرحله عبور کند.

مسیر ساده اینه:

  1. گوگل URL را پیدا می‌کند.
  2. URL را Crawl می‌کند.
  3. محتوای صفحه را پردازش می‌کند.
  4. Duplicate و Canonical را بررسی می‌کند.
  5. تصمیم می‌گیرد صفحه وارد Index شود یا نه.
  6. بعد تازه صفحه می‌تواند برای Queryهای مرتبط رتبه بگیرد.

نکته: Crawl شدن با Index شدن یکی نیست. حتی اگر Googlebot صفحه را دیده باشد، هنوز ممکنه آن را ایندکس نکند. این دقیقاً همان جاییه که خیلی‌ها میگن «ولی URL Inspection زده Crawled!» خب عزیز من، Crawled یعنی دیده؛ Indexed یعنی پذیرفته شده.

چرا صفحات سایت در گوگل ایندکس نمی‌شوند؟

صفحات سایت معمولاً به چند دلیل ایندکس نمی‌شوند: گوگل هنوز آن‌ها را Crawl نکرده، صفحه با noindex یا robots.txt مسدود شده، محتوای صفحه ضعیف یا تکراری است، canonical به URL دیگری اشاره می‌کند، خطای سرور وجود دارد، صفحه Soft 404 تشخیص داده شده، لینک داخلی ضعیف است یا Sitemap سیگنال درستی نمی‌دهد.

دلیل‌ها را باید مرحله‌ای ببینی:

مرحله مشکل نشانه رایج در Search Console برداشت سریع
کشف URL Discovered – currently not indexed گوگل URL را می‌شناسد، اما هنوز Crawl نکرده
Crawl Server error، Blocked by robots.txt، Crawl anomaly Googlebot نتوانسته درست به صفحه برسد
تصمیم ایندکس Crawled – currently not indexed گوگل صفحه را دیده، اما وارد Index نکرده
Canonical Duplicate یا Alternate canonical گوگل نسخه دیگری را صفحه اصلی دانسته
حذف عمدی Excluded by noindex tag خود سایت گفته صفحه ایندکس نشود
کیفیت/ارزش Soft 404، Crawled not indexed صفحه شاید کم‌ارزش، خالی، تکراری یا بی‌هدف است

Search Console Help می‌گوید Page Indexing report صفحات را بر اساس وضعیت و دلیل گروه‌بندی می‌کند و باید اول اثرگذارترین خطاها را بررسی کنی. همین راهنما هم تأکید می‌کند بعضی URLها ممکن است به‌درستی ایندکس نشده باشند؛ یعنی هر مورد Not indexed الزاماً مشکل نیست.

نکته: هر URLی که ایندکس نشده، نیاز به نجات ندارد. بعضی صفحه‌ها واقعاً نباید ایندکس شوند؛ مثل صفحات فیلتر بی‌ارزش، نتایج جستجوی داخلی، نسخه‌های تکراری یا صفحات تست. هنر سئو اینه که فرق «خطا» و «تصمیم درست» را بفهمی.

از کجا بفهمیم یک صفحه در گوگل ایندکس شده یا نه؟

بهترین روش بررسی ایندکس یک URL، استفاده از URL Inspection در Google Search Console است. جستجوی site: می‌تواند یک نشانه سریع بدهد، اما برای تصمیم فنی کافی نیست؛ چون ممکن است دقیق، کامل یا به‌روز نباشد.

روش‌های بررسی:

  • URL Inspection: دقیق‌ترین ابزار برای بررسی یک URL مشخص در Search Console است. این ابزار نشان می‌دهد URL ایندکس شده یا نه، آخرین Crawl چه زمانی بوده، آیا noindex دارد، canonical انتخاب‌شده چیست و آیا صفحه برای گوگل قابل دسترسی است یا نه. Search Console Help می‌گوید اگر وضعیت Indexing allowed برابر No باشد، یعنی سایت noindex tag یا header برگردانده که مانع نمایش صفحه در Google Search می‌شود.
  • Page Indexing Report: برای بررسی الگوها بهتره، نه یک URL تنها. مثلاً می‌فهمی ۵۰۰ URL در وضعیت Crawled – currently not indexed هستند یا ۲ هزار URL Alternate canonical شده‌اند.
  • جستجوی site: در گوگل: برای چک سریع بد نیست، اما نباید تنها معیار باشد. اگر URL با site: دیده نشد، اول URL Inspection را چک کن.
  • Search Console Performance: اگر صفحه Impression و Click دارد، یعنی در جستجو دیده شده؛ اما نبود داده Performance الزاماً یعنی ایندکس نبودن نیست، مخصوصاً اگر صفحه تازه یا کم‌تقاضا باشد.

نکته: برای صفحه‌های مهم، حدس نزن. URL Inspection را باز کن و داده واقعی ببین. «من سرچ کردم نبود» برای تشخیص فنی کافی نیست.

تفاوت Discovered و Crawled در Search Console چیست؟

در سایت‌های بزرگ، مدیریت Crawl Budget کمک می‌کند منابع خزش روی URLهای مهم متمرکز شوند و فاصله میان کشف و خزش صفحه کمتر شود.

مراحل کشف، خزش و ایندکس صفحات در گوگل

Discovered – currently not indexed یعنی گوگل URL را می‌شناسد اما هنوز آن را Crawl نکرده. Crawled – currently not indexed یعنی گوگل URL را Crawl کرده، اما فعلاً آن را وارد Index نکرده است. این دو وضعیت شبیه هم به نظر میان، اما مشکلشان معمولاً یکی نیست.

وضعیت معنی ساده مشکل احتمالی
Discovered – currently not indexed گوگل URL را پیدا کرده اما هنوز نرفته بخواند اولویت Crawl پایین، لینک داخلی ضعیف، سایت بزرگ، URLهای زیاد، Crawl Budget
Crawled – currently not indexed گوگل صفحه را خوانده اما ایندکس نکرده کیفیت پایین، تکراری بودن، ارزش کم، محتوای ناکافی، انتخاب نشدن برای Index

Search Console Help درباره Page Indexing report توضیح می‌دهد که URLهای Not indexed بر اساس دلیل گروه‌بندی می‌شوند، و برای هر وضعیت باید نمونه URLها و جزئیات را بررسی کرد. همچنین در همان مستندات آمده که داشتن وضعیت duplicate یا alternate در خیلی موارد یعنی گوگل صفحه canonical را پیدا کرده و ایندکس کرده است.

مثال عملی: اگر ۸۰۰ URL در Discovered مانده‌اند، شاید مشکل اینه که گوگل به آن بخش سایت اولویت Crawl نداده یا URLها از Sitemap آمده‌اند اما لینک داخلی کافی ندارند. اما اگر ۸۰۰ URL Crawled شده‌اند و ایندکس نشده‌اند، باید محتوای صفحه، تکراری بودن، intent، canonical و کیفیت کلی را جدی‌تر بررسی کنی.

نکته: برای Discovered، اول مسیر کشف و Crawl را بررسی کن. برای Crawled، اول کیفیت و ارزش ایندکس را. این دوتا را یکی بگیری، درمان اشتباه می‌دی.

وضعیت Discovered – currently not indexed یعنی چه و چطور رفع می‌شود؟

Discovered – currently not indexed یعنی گوگل URL را شناخته، اما هنوز آن را Crawl نکرده. این وضعیت معمولاً وقتی دیده می‌شود که سایت URLهای زیادی دارد، لینک داخلی ضعیف است، Crawl priority پایین است، Sitemap تنها مسیر کشف URLهاست یا گوگل فعلاً ضرورتی برای Crawl سریع آن صفحه ندیده.

راه‌حل‌های عملی:

  • لینک داخلی به صفحه بده: اگر صفحه فقط در Sitemap است و از هیچ مقاله، دسته‌بندی یا صفحه مرتبطی لینک نگرفته، اول همان را اصلاح کن. گوگل باید صفحه را در مسیر طبیعی سایت ببیند.
  • Sitemap را تمیز کن: URLهای مهم، 200، canonical و قابل ایندکس باید در Sitemap باشند. اگر Sitemap پر از URLهای قدیمی، noindex، ریدایرکت یا duplicate است، سیگنال ضعیف می‌فرستی.
  • صفحات مهم را از صفحات کم‌ارزش جدا کن: اگر هزاران URL فیلتر، تگ یا آرشیو کم‌ارزش ساخته‌ای، گوگل ممکنه برای Crawl همه آن‌ها اولویت نگذارد.
  • از صفحه‌های پرترافیک لینک بده: مقاله یا دسته‌بندی‌ای که قبلاً Crawl و رتبه دارد، می‌تواند مسیر خوبی برای کشف صفحه جدید باشد.
  • سرور و Crawl Stats را بررسی کن: اگر سایت بزرگ است و خطای سرور، کندی یا محدودیت Crawl دارد، Discovered می‌تواند نشانه مشکل Crawl efficiency هم باشد.
  • درخواست Indexing را برای صفحات واقعاً مهم بزن: برای تعداد کم URL مهم می‌توانی از URL Inspection استفاده کنی، اما برای تعداد زیاد، Sitemap با lastmod درست مسیر بهتری است. Search Console Help هم می‌گوید برای درخواست ایندکس تعداد زیادی صفحه جدید یا آپدیت‌شده، بهترین انتخاب ارسال Sitemap با صفحات آپدیت‌شده و lastmod است.

نمونه فرضی: یک سایت ۲۰۰ مقاله جدید را یک‌باره منتشر کرده، اما هیچ‌کدام از مقاله‌های قدیمی، دسته‌بندی‌ها یا صفحه اصلی به آن‌ها لینک نمی‌دهند. URLها فقط در Sitemap هستند و Search Console تعداد زیادی را Discovered نشان می‌دهد. اینجا مشکل را با Request Indexing تک‌تک حل نکن. باید ساختار لینک داخلی و اولویت صفحات را درست کنی.

وضعیت Crawled – currently not indexed یعنی چه و چطور رفع می‌شود؟

Crawled – currently not indexed یعنی گوگل صفحه را Crawl کرده، اما تصمیم گرفته فعلاً آن را وارد Index نکند. این وضعیت معمولاً به ارزش صفحه، کیفیت محتوا، تکراری بودن، شباهت به صفحات دیگر، ضعف Search Intent، محتوای کم، تجربه ضعیف یا سیگنال‌های متناقض مربوط می‌شود.

راه‌حل‌های عملی:

  • محتوا را از نظر ارزش واقعی بررسی کن: صفحه فقط چند خط متن دارد؟ پاسخ کامل می‌دهد؟ با صفحات دیگر فرق دارد؟ اگر نه، اول محتوا را درست کن.
  • Search Intent را دوباره بخوان: شاید صفحه مقاله است، اما Query اصلی لندینگ می‌خواهد. یا صفحه محصول است، اما محتوا آن‌قدر ضعیف است که گوگل ارزش ایندکس جداگانه نمی‌بیند.
  • Duplicate و Canonical را بررسی کن: ممکنه گوگل این URL را شبیه صفحه دیگری بداند. URL Inspection را باز کن و Google-selected canonical را ببین.
  • لینک داخلی را تقویت کن: صفحه‌ای که بعد از Crawl همچنان از ساختار سایت جداست، سیگنال اهمیت کافی نمی‌گیرد.
  • Thin Pages را ادغام کن: اگر چند صفحه کم‌ارزش نزدیک به هم داری، ادغامشان بهتر از تلاش برای ایندکس جداگانه است.
  • داده واقعی و تجربه اضافه کن: برای مقالات آموزشی، مثال، سناریو، عدد معتبر، تصویر، FAQ و ساختار بهتر اضافه کن. برای محصول، مشخصات، عکس، توضیح اختصاصی، موجودی و Review واقعی مهمه.
  • بعد از اصلاح، Request Indexing بزن: اما فقط وقتی واقعاً صفحه را بهتر کردی. Resubmit کردن صفحه ضعیف، گوگل را جادو نمی‌کند.

گوگل در FAQ مربوط به Crawling و Indexing می‌گوید نمی‌تواند پیش‌بینی یا تضمین کند URLها چه زمانی یا اصلاً Crawl یا Index می‌شوند. همین یعنی درخواست ایندکس یک دکمه تضمینی نیست؛ باید دلیل ایندکس شدن را در خود صفحه بسازی.

نکته: Crawled – currently not indexed معمولاً یعنی گوگل وقت گذاشته، دیده، ولی نگهش نداشته. پس غر نزن که «چرا ندیدی؟» دیده. سؤال اصلی اینه: «چرا نگهش نداشت؟»

Excluded by noindex tag یعنی چه؟

Excluded by noindex tag یعنی صفحه دارای دستور noindex است و به گوگل می‌گوید این صفحه در نتایج جستجو ایندکس نشود. این دستور می‌تواند در meta robots داخل HTML یا در X-Robots-Tag در header پاسخ HTTP باشد.

گوگل توضیح می‌دهد noindex با meta tag یا HTTP response header استفاده می‌شود و برای جلوگیری از ایندکس شدن محتوا توسط موتورهای جستجویی مثل گوگل کاربرد دارد. اما یک نکته مهم هم می‌گوید: اگر صفحه با robots.txt بلاک شده باشد یا crawler نتواند به صفحه دسترسی داشته باشد، noindex را نمی‌بیند و URL حتی ممکن است در نتایج ظاهر شود، مثلاً اگر از جای دیگری لینک گرفته باشد. (developers.google.cn)

چک کن:

  • آیا صفحه واقعاً باید noindex باشد؟
  • آیا افزونه سئو یا CMS اشتباهی noindex گذاشته؟
  • آیا X-Robots-Tag در سرور یا CDN اضافه شده؟
  • آیا noindex روی دسته‌بندی، محصول یا مقاله مهم افتاده؟
  • آیا robots.txt مانع دیدن noindex شده؟
  • آیا صفحه بعد از حذف noindex دوباره Crawl شده؟

نمونه بد رایج: موقع طراحی سایت، کل سایت روی noindex بوده تا در حالت تست ایندکس نشود. بعد سایت لانچ شده، اما تگ noindex روی بعضی Templateها باقی مانده. نتیجه؟ صفحه‌ها باز میشن، محتوا هم خوبه، اما گوگل حق ندارد ایندکسشان کند. خیلی دردناک، خیلی قابل پیشگیری.

Blocked by robots.txt یعنی چه؟

برای کنترل دقیق مسیرهای مجاز و مسدود، راهنمای فایل Robots.txt را بررسی کنید و بعد از هر تغییر، دسترسی خزنده به URLهای مهم را دوباره آزمایش کنید.

موانع فنی ایندکس شامل noindex و robots.txt و Canonical

Blocked by robots.txt یعنی فایل robots.txt اجازه Crawl صفحه یا مسیر مشخص را به Googlebot نمی‌دهد. این وضعیت همیشه بد نیست؛ گاهی عمداً مسیرهایی مثل جستجوی داخلی، فیلترهای بی‌ارزش یا فایل‌های غیرضروری را بلاک می‌کنیم. مشکل وقتی شروع می‌شود که صفحات مهم با robots.txt بسته شده باشند.

گوگل در راهنمای robots.txt توضیح می‌دهد اگر URL با robots.txt بلاک شود، گوگل محتوای آن را Crawl یا Index نمی‌کند؛ اما ممکن است URL بلاک‌شده را اگر از جای دیگری لینک شده باشد، بدون محتوای صفحه در نتایج نشان دهد. برای اینکه URL واقعاً در نتایج نیاید، گوگل روش‌هایی مثل noindex، حذف صفحه یا محافظت با پسورد را پیشنهاد می‌کند.

چک کن:

  • آیا مسیر مهمی مثل /blog/، /product/ یا /category/ بلاک شده؟
  • آیا فایل robots.txt بعد از تغییرات فنی اشتباه آپدیت شده؟
  • آیا CSS و JSهای ضروری برای Render صفحه بلاک شده‌اند؟
  • آیا صفحه‌ای که می‌خواهی noindex شود، همزمان با robots.txt بلاک شده؟ اگر بله، گوگل ممکنه noindex را نبیند.
  • آیا سایت staging یا test rules به production منتقل شده‌اند؟

نکته: robots.txt ابزار کنترل Crawl است، نه ابزار مطمئن حذف از Index. این جمله را با ماژیک روی مانیتور تیم فنی بنویسید، بد نیست.

Duplicate و Canonical چه اثری روی ایندکس دارند؟

در صفحات تکراری، تنظیم درست تگ Canonical و هماهنگی آن با Sitemap و لینک‌های داخلی، نسخه اصلی را برای گوگل شفاف‌تر می‌کند.

اگر گوگل چند URL را duplicate یا بسیار مشابه تشخیص دهد، معمولاً فقط یکی از آن‌ها را به‌عنوان canonical انتخاب می‌کند و همان را برای Index و نمایش ترجیح می‌دهد. بنابراین ممکن است یک URL ایندکس نشود، اما این الزاماً خطا نیست؛ شاید نسخه بهتر یا اصلی آن ایندکس شده باشد.

گوگل در مستندات Canonicalization توضیح می‌دهد canonical URL نماینده اصلی یک گروه از صفحات duplicate است و گوگل نسخه‌ای را انتخاب می‌کند که بر اساس سیگنال‌های جمع‌آوری‌شده، کامل‌تر و مفیدتر برای کاربران Search باشد.

وضعیت‌های رایج:

  • Alternate page with proper canonical tag: این معمولاً یعنی صفحه نسخه جایگزین است و canonical درست به صفحه اصلی اشاره می‌کند. اگر URL نباید ایندکس شود، مشکلی نیست.
  • Duplicate without user-selected canonical: گوگل صفحه را duplicate دیده، اما تو canonical مشخص نکرده‌ای. باید نسخه اصلی را تعیین کنی.
  • Duplicate, Google chose different canonical than user: تو یک canonical معرفی کردی، اما گوگل نسخه دیگری را انتخاب کرده. باید بررسی کنی چرا سیگنال‌ها با انتخاب تو هم‌جهت نیستند.
  • Google-selected canonical با صفحه مدنظر فرق دارد: اینجا باید محتوای صفحه، لینک داخلی، Sitemap، ریدایرکت‌ها و کیفیت نسخه‌ها بررسی شود.

Search Console Help هم می‌گوید گوگل گروهی از URLهای duplicate را تحلیل می‌کند و canonical URL را به‌عنوان نماینده آن گروه انتخاب می‌کند؛ duplicate URLها معمولاً در نتایج Search نمایش داده نمی‌شوند، مگر اینکه به‌عنوان alternate URL مناسب باشند.

Alternate page with proper canonical tag خطاست یا طبیعی است؟

Alternate page with proper canonical tag همیشه خطا نیست. این وضعیت یعنی گوگل صفحه را نسخه جایگزین دانسته و canonical آن را پذیرفته است. اگر URL موردنظر واقعاً نسخه duplicate یا پارامتردار است، همه‌چیز طبیعی است. اما اگر URL مهمی که باید ایندکس شود در این وضعیت افتاده، باید Canonical را بررسی کنی.

مثال طبیعی:

  • /shoes/?sort=price canonical به /shoes/
  • نسخه UTM یک مقاله canonical به URL اصلی
  • صفحه چاپی مقاله canonical به مقاله اصلی
  • محصولی با URL پارامتردار canonical به URL نهایی محصول

مثال مشکل‌دار:

  • صفحه محصول اصلی canonical به دسته‌بندی داده.
  • مقاله مهم canonical به یک مقاله قدیمی‌تر و ضعیف‌تر داده.
  • صفحه فارسی canonical به صفحه انگلیسی داده، در حالی که محتوای اصلی زبان متفاوت دارد.
  • صفحه خدمات اصلی به صفحه عمومی‌تر canonical شده.

Search Console Help درباره Alternate page می‌گوید صفحات ممکن است توسط سازنده سایت با hreflang یا rel=alternate مشخص شده باشند یا گوگل خودش تصمیم بگیرد یک URL duplicate، alternate مناسب است. این یعنی هر Alternate را نباید فوری «خطا» فرض کنی؛ باید ببینی نقش URL چیست.

نکته: اگر URL باید ایندکس شود، Alternate بودنش مشکل است. اگر URL نباید ایندکس شود، Alternate بودنش نشانه نظم است. فرق همین‌قدر ساده و همین‌قدر مهمه.

Soft 404 یعنی چه و چرا باعث ایندکس نشدن می‌شود؟

Soft 404 یعنی صفحه از نظر سرور وضعیت 200 یا موفق برمی‌گرداند، اما گوگل محتوای آن را شبیه صفحه حذف‌شده، خالی یا بی‌ارزش تشخیص می‌دهد. یعنی سایت می‌گوید «همه‌چیز اوکیه»، ولی محتوا می‌گوید «اینجا چیزی نیست».

نمونه‌های رایج:

  • صفحه محصول ناموجود با متن خیلی کوتاه و بدون جایگزین.
  • صفحه دسته‌بندی خالی که status 200 دارد.
  • صفحه‌ای که فقط نوشته «موردی یافت نشد».
  • صفحه حذف‌شده که به صفحه نامرتبط منتقل شده.
  • صفحات فیلتر بدون محصول یا بدون محتوای مستقل.
  • مقاله‌ای که محتوای اصلی ندارد و فقط قالب سایت لود شده.

در Page Indexing report، Soft 404 یکی از دلایل Not indexed است و باید بر اساس نوع صفحه تصمیم بگیری: اگر صفحه واقعاً حذف شده، 404 یا 410 درست بده؛ اگر جایگزین مرتبط دارد، 301 بده؛ اگر صفحه باید باقی بماند، محتوای واقعی، لینک داخلی و پیشنهادهای مرتبط اضافه کن. Search Console Help هم در Page indexing report همین نوع وضعیت‌ها را برای بررسی صفحات Not indexed فهرست می‌کند.

نکته: صفحه خالی با status 200 زرنگی نیست. گوگل معمولاً فرق صفحه واقعی و صفحه «هیچی ندارم ولی 200 میدم» را می‌فهمد.

خطاهای سرور و Redirect چه اثری روی Indexing دارند؟

اگر Googlebot نتواند صفحه را به‌درستی دریافت کند، ایندکس شدن صفحه هم به مشکل می‌خورد. خطاهای 5xx، Timeout، Redirect Loop، Redirect Chain طولانی یا ریدایرکت به صفحه نامرتبط می‌توانند باعث شوند گوگل صفحه را درست پردازش نکند.

موارد مهم:

  • Server error 5xx: اگر سرور هنگام Crawl خطا بدهد، گوگل نمی‌تواند محتوای صفحه را ببیند. تکرار این خطا برای صفحات مهم خطرناک است.
  • Redirect error: اگر ریدایرکت Loop داشته باشد، مسیر خیلی طولانی باشد یا به URL خراب برسد، گوگل ممکنه URL را ایندکس نکند.
  • Page with redirect: اگر URL به صفحه دیگری ریدایرکت می‌شود، معمولاً خود URL مبدا ایندکس نمی‌شود. این برای URL قدیمی طبیعی است.
  • Blocked resources: اگر منابع مهم برای Render صفحه بلاک باشند، گوگل ممکنه صفحه را ناقص بفهمد.
  • Timeout یا کندی شدید: در سایت‌های بزرگ، کندی سرور می‌تواند با Crawl Budget و Crawl capacity هم گره بخورد.

گوگل در راهنمای الزامات فنی Search می‌گوید اگر Googlebot نتواند به صفحه دسترسی داشته باشد یا یکی از مکانیزم‌های جلوگیری از indexing استفاده شده باشد، صفحه ایندکس نمی‌شود. همین مستندات پیشنهاد می‌کند برای پیدا کردن صفحه‌هایی که برای گوگل دسترس‌پذیر نیستند از Page Indexing report و Crawl Stats استفاده شود.

نمونه فرضی: صفحه خدمات اصلی سایت برای کاربران باز می‌شود، اما هر چند بار یک‌بار به دلیل مشکل سرور پاسخ 500 می‌دهد. کاربر شاید متوجه نشود، اما اگر Googlebot همان لحظه برسد، Crawl شکست می‌خورد. پس تست فقط با مرورگر خودت کافی نیست؛ باید وضعیت پاسخ سرور را در زمان‌های مختلف ببینی.

Sitemap چه نقشی در ایندکس صفحات دارد؟

Sitemap به گوگل کمک می‌کند URLهای مهم سایت را پیدا کند، اما تضمین ایندکس نیست. اگر URL داخل Sitemap باشد ولی noindex داشته باشد، canonical به صفحه دیگری بدهد، 404 باشد، ریدایرکت شود یا محتوای ضعیف داشته باشد، وجودش در Sitemap مشکل را حل نمی‌کند.

Sitemap خوب باید این ویژگی‌ها را داشته باشد:

  • فقط URLهای 200 داشته باشد.
  • URLهای canonical و قابل ایندکس را معرفی کند.
  • صفحات noindex داخلش نباشند.
  • URLهای ریدایرکت‌شده یا 404 داخلش نباشند.
  • صفحات مهم و به‌روز را پوشش دهد.
  • lastmod واقعی داشته باشد، نه تاریخ تزئینی.
  • برای سایت بزرگ، به Sitemapهای جدا بر اساس نوع صفحه تقسیم شود.

گوگل در مستندات canonical می‌گوید Sitemapها روش ساده‌ای برای مشخص کردن canonical URLها در سایت‌های بزرگ هستند و به گوگل می‌گویند کدام صفحات را در سایتت مهم می‌دانی. البته این سیگنال از برخی روش‌های دیگر ضعیف‌تر است، اما برای هماهنگی ساختار سایت مهمه.

نکته: Sitemap لیست آرزوهای ایندکس نیست. قرار نیست هر URLی را دوست داری ایندکس شود داخلش بریزی. Sitemap باید لیست صفحه‌های سالم، مهم و قابل ایندکس باشد. هرچی تمیزتر، بهتر.

لینک داخلی ضعیف چطور باعث ایندکس نشدن می‌شود؟

یک ساختار اصولی لینک‌سازی داخلی مسیر کشف صفحات را کوتاه می‌کند و اهمیت URLهای کلیدی را بهتر به موتور جست‌وجو منتقل می‌کند.

لینک داخلی ضعیف باعث می‌شود گوگل صفحه را کم‌اهمیت‌تر ببیند یا دیرتر به آن برسد. اگر صفحه‌ای فقط در Sitemap وجود دارد و از هیچ صفحه مرتبطی لینک نگرفته، ممکنه کشف شود اما Crawl و Index آن اولویت نگیرد.

گوگل در راهنمای لینک‌ها توضیح می‌دهد لینک‌های قابل Crawl معمولاً باید با تگ <a> و ویژگی href ساخته شوند و Anchor Text خوب به کاربران و گوگل کمک می‌کند سایت و مقصد لینک را بهتر بفهمند. این یعنی لینک داخلی فقط برای حرکت کاربر نیست؛ برای کشف و فهم صفحات هم مهمه.

مشکل‌های رایج لینک داخلی:

  • صفحه جدید از هیچ مقاله قدیمی لینک نگرفته.
  • صفحه خدمات فقط در منو است و مقاله‌های مرتبط به آن لینک نمی‌دهند.
  • صفحات مهم در عمق ۵ یا ۶ کلیک دفن شده‌اند.
  • لینک‌ها با JavaScript غیرقابل Crawl ساخته شده‌اند.
  • لینک داخلی به URLهای ریدایرکت‌شده یا غیر canonical می‌رود.
  • صفحات Orphan زیاد شده‌اند.

نمونه فرضی: یک مقاله مهم درباره «قیمت سئو» منتشر شده، اما نه از مقاله‌های قبلی درباره سئو، نه از صفحه خدمات، نه از دسته‌بندی بلاگ لینک نگرفته. URL در Sitemap هست، اما گوگل هنوز آن را Discovered نگه داشته. اینجا Request Indexing شاید کمک محدود کند، ولی راه‌حل اصلی لینک داخلی و جایگاه ساختاری صفحه است.

کیفیت محتوا چه نقشی در ایندکس شدن دارد؟

گوگل همه صفحاتی را که می‌بیند، لزوماً وارد Index نمی‌کند. اگر صفحه محتوای کم‌ارزش، تکراری، سطحی، خودکار، بی‌هدف یا فاقد تفاوت جدی با صفحات دیگر باشد، ممکن است Crawl شود اما ایندکس نشود.

مواردی که کیفیت ایندکس را پایین می‌آورند:

  • مقاله خیلی کوتاه و بدون پاسخ کامل.
  • صفحه محصول با توضیح کپی‌شده از تولیدکننده.
  • صفحات تگ و آرشیو کم‌ارزش.
  • صفحات شهری تکراری با تغییر فقط نام شهر.
  • صفحات فیلتر بدون Search Demand.
  • محتوای AI خام، عمومی و بدون تجربه.
  • چند مقاله نزدیک با Intent مشابه.
  • صفحه‌ای که با Title یک وعده می‌دهد، اما متن چیز دیگری است.

گوگل در FAQ مربوط به Crawling و Indexing می‌گوید یکی از دلایل رایج ایندکس نشدن می‌تواند نیاز به تعریف canonical برای صفحات مشابه یا duplicate باشد، و همچنین تأکید می‌کند زمان یا تضمین قطعی برای Crawl یا Index URLها وجود ندارد. این یعنی اگر صفحه از نظر گوگل ارزش نگهداری مستقل نداشته باشد، فقط با فشار دستی وارد Index نمی‌شود.

نکته: بعضی وقت‌ها مشکل فنی نیست؛ صفحه واقعاً ارزش ایندکس شدن نداره. تلخه، ولی بهتر از اینه که سه هفته دنبال robots.txt بگردی و آخرش بفهمی مقاله فقط حرف تازه‌ای نداشته.

سایت تازه چرا دیر ایندکس می‌شود؟

سایت تازه معمولاً چون هنوز اعتبار، لینک داخلی، بک‌لینک، تاریخچه Crawl و سیگنال‌های کافی ندارد، ممکن است دیرتر Crawl و Index شود. این موضوع تا حدی طبیعی است، اما اگر ساختار سایت از ابتدا تمیز نباشد، همین تأخیر بیشتر هم می‌شود.

گوگل در FAQ مربوط به Crawling و Indexing می‌گوید یکی از رایج‌ترین دلایل ایندکس نشدن یک سایت این است که سایت خیلی جدید است؛ در این حالت باید صبور بود و از گوگل خواست آن را Crawl و Index کند. البته همان منبع دلایل دیگری مثل noindex، robots.txt، canonical، خطاهای سایت و manual action را هم مطرح می‌کند.

برای سایت تازه:

  • Search Console را سریع فعال کن.
  • Sitemap تمیز بساز و ثبت کن.
  • صفحات اصلی را از منو و لینک داخلی قابل دسترسی کن.
  • صفحه‌های خدمات و مقاله‌ها را بی‌لینک رها نکن.
  • محتوای کم‌ارزش و تگ‌های اضافی نساز.
  • از noindex حالت توسعه مطمئن شو حذف شده.
  • برای صفحات مهم URL Inspection و Request Indexing بزن.
  • چند بک‌لینک یا اشاره معتبر اولیه بگیر.
  • از تولید یک‌باره صدها صفحه ضعیف خودداری کن.

نکته: سایت تازه باید اول به گوگل ثابت کند که ساختار و محتوای قابل‌اعتماد دارد. انتشار ۳۰۰ مقاله بی‌کیفیت در ماه اول، سرعت اعتماد را بیشتر نمی‌کند؛ بیشتر شبیه ریختن زباله جلوی در ورودی است.

چرا بعضی صفحات بعد از مدتی از ایندکس خارج می‌شوند؟

گاهی صفحه قبلاً ایندکس بوده، اما بعداً از Index خارج می‌شود. این اتفاق ممکن است به‌خاطر تغییر محتوا، اضافه شدن noindex، تغییر canonical، حذف لینک‌های داخلی، خطای سرور، افت کیفیت، تکراری شدن با صفحه‌ای دیگر یا تغییر در ارزیابی گوگل از ارزش صفحه باشد.

دلایل رایج:

  • افزونه سئو یا CMS اشتباهی noindex اضافه کرده.
  • قالب جدید canonical را تغییر داده.
  • صفحه بعد از آپدیت، محتوای اصلی‌اش کم یا حذف شده.
  • URL ریدایرکت شده یا status code تغییر کرده.
  • لینک‌های داخلی به صفحه حذف شده‌اند.
  • صفحه به نسخه دیگری duplicate تشخیص داده شده.
  • محصول ناموجود یا دسته‌بندی خالی شده.
  • بخش مهمی از محتوا پشت JS دیرهنگام یا بلاک‌شده رفته.
  • کیفیت رقبای SERP بهتر شده و صفحه کم‌ارزش‌تر دیده شده.

برای بررسی، همیشه قبل و بعد را مقایسه کن: تاریخ آخرین Crawl، آخرین تغییر محتوا، تغییر قالب، تغییر افزونه، تغییر Sitemap، تغییر robots.txt، تغییر canonical و وضعیت URL Inspection. بدون این‌ها فقط داری حدس می‌زنی.

ترتیب درست عیب‌یابی Indexing

برای رفع مشکل Indexing، باید اول بفهمی مشکل از دسترسی است یا انتخاب. یعنی آیا گوگل نمی‌تواند صفحه را ببیند، یا دیده ولی تصمیم گرفته ایندکس نکند. این دوتا درمان کاملاً متفاوت دارند.

ترتیب پیشنهادی:

  1. URL Inspection را باز کن ببین URL indexed است یا نه، آخرین Crawl چه زمانی بوده و Google-selected canonical چیست.
  2. Status Code را چک کن صفحه باید 200 باشد، مگر اینکه عمداً ریدایرکت، حذف یا noindex شده باشد.
  3. noindex و X-Robots-Tag را بررسی کن هم داخل HTML، هم در Response Header.
  4. robots.txt را بررسی کن آیا Googlebot اجازه Crawl دارد؟
  5. Canonical را بررسی کن آیا صفحه canonical به خودش دارد یا به صفحه دیگری؟
  6. Sitemap را بررسی کن آیا URL داخل Sitemap است؟ اگر هست، آیا واقعاً باید باشد؟
  7. لینک داخلی را بررسی کن صفحه از کجا لینک گرفته؟ Orphan نیست؟
  8. محتوا و Intent را بررسی کن آیا صفحه ارزش ایندکس مستقل دارد؟
  9. Duplicate و Cannibalization را بررسی کن آیا صفحه مشابه دیگری در سایت وجود دارد؟
  10. سرور و Crawl Stats را بررسی کن اگر مشکل گسترده است، Crawl Stats و لاگ سرور را ببین.
  11. بعد از اصلاح، Request Indexing بزن نه قبل از اصلاح. درخواست بدون رفع مشکل یعنی دوباره همان صفحه را جلوی گوگل گذاشتی.

نکته: عیب‌یابی را از ابزار شروع کن، اما با عقل تمام کن. Search Console وضعیت می‌دهد؛ تشخیص نهایی با ترکیب داده‌هاست.

چطور خطاهای Page Indexing را اولویت‌بندی کنیم؟

صفحات مقصد کمپین‌های تبلیغات گوگل ادز را در اولویت بررسی قرار دهید؛ چون خطاهای فنی، کیفیت پایین صفحه و تجربه نامناسب کاربر می‌توانند هم‌زمان بر سئو و عملکرد تبلیغات اثر بگذارند.

ممیزی و رفع خطاهای Indexing سایت

همه خطاهای Page Indexing ارزش یکسانی ندارند. باید اول صفحه‌های مهم تجاری، صفحات دارای Search Demand، صفحات دارای لینک داخلی قوی، صفحات محصول فعال، دسته‌بندی‌های اصلی و مقاله‌های استراتژیک را بررسی کنی. URLهای فیلتر بی‌ارزش، تگ‌های کم‌اهمیت یا صفحات duplicate طبیعی اولویت فوری ندارند.

چارچوب اولویت:

نوع URL اولویت بررسی
صفحه خدمات یا محصول پول‌ساز فوری
دسته‌بندی اصلی فروشگاه خیلی بالا
مقاله Pillar یا پرترافیک بالا
صفحه تازه مهم در Discovered بالا
URLهای Duplicate با canonical درست پایین، اگر عمدی است
صفحات تگ و آرشیو کم‌ارزش پایین یا حذف/Noindex
فیلترهای بدون Search Demand پایین
URLهای تست و کمپین قدیمی تصمیم حذف، noindex یا ریدایرکت

Google Search Console Help هم پیشنهاد می‌کند اثرگذارترین خطاها را اول رفع کنی، نه اینکه با همه موارد Not indexed مثل بحران برخورد کنی.

نمونه فرضی: اگر ۴ هزار URL Alternate canonical داری و همه مربوط به پارامترهای Sort محصول‌اند، شاید طبیعی باشد. اما اگر ۲۰ صفحه خدمات اصلی با noindex حذف شده‌اند، همین ۲۰ تا از آن ۴ هزار تا مهم‌ترند. سئو یعنی اولویت، نه فقط تعداد.

سناریوی عملی: چرا ۳۰۰ صفحه مقاله ایندکس نمی‌شد؟

نمونه فرضی: یک سایت محتوایی ۳۰۰ مقاله جدید منتشر کرده بود و بیشترشان در Search Console وضعیت Crawled – currently not indexed یا Discovered – currently not indexed داشتند. تیم محتوا فکر می‌کرد مشکل از گوگل است، اما بررسی نشان داد چند مسئله همزمان وجود دارد:

  • مقالات جدید از مقالات قدیمی لینک نگرفته بودند.
  • Sitemap شامل URLهای noindex و ریدایرکت‌شده هم بود.
  • بعضی مقالات Title متفاوت داشتند اما بدنه‌شان شبیه هم بود.
  • صفحات تگ بی‌ارزش زیادی تولید شده بود.
  • چند مقاله با یک Intent مشابه نوشته شده بودند.
  • مقاله‌ها مثال، تجربه یا داده خاصی نداشتند و عمومی بودند.
  • قالب مقاله‌ها تصویر Hero سنگین داشت و سرور در زمان Crawl کند جواب می‌داد.

مسیر اصلاح:

  1. Sitemap پاک‌سازی شد.
  2. مقالات هم‌نیت ادغام یا بازهدف‌گذاری شدند.
  3. از مقاله‌های قدیمی و پرترافیک لینک داخلی داده شد.
  4. برای هر خوشه محتوایی، صفحه مادر مشخص شد.
  5. صفحات تگ بی‌ارزش noindex یا حذف شدند، بسته به هدف.
  6. مقاله‌های مهم با مثال، FAQ، ساختار بهتر و پاسخ مستقیم تقویت شدند.
  7. چند URL مهم بعد از اصلاح Request Indexing شدند.
  8. وضعیت Page Indexing بعد از چند هفته دوباره بررسی شد.

نکته مهم: مشکل ایندکس معمولاً یک‌علتی نیست. مخصوصاً در سایت‌های محتوایی بزرگ، کیفیت، لینک داخلی، Sitemap و ساختار URL با هم گره می‌خورند. اگر فقط یک دکمه بزنی و منتظر معجزه باشی، احتمالاً خبری نمی‌شود.

اعداد خوب، متوسط و ضعیف برای ارزیابی وضعیت Indexing

عدد ثابت جهانی برای سالم بودن Indexing وجود ندارد، چون نوع سایت‌ها فرق می‌کند. یک فروشگاه بزرگ طبیعی است URLهای Not indexed زیادی داشته باشد؛ چون فیلترها، پارامترها و duplicateها زیادند. اما در یک سایت خدماتی کوچک، تعداد بالای Not indexed برای صفحات اصلی می‌تواند خطرناک باشد.

معیار خوب متوسط ضعیف
صفحات مهم با وضعیت Indexed تقریباً همه صفحات کلیدی چند صفحه نیازمند بررسی صفحات پول‌ساز ایندکس نشده‌اند
URLهای noindex اشتباه صفر چند مورد محدود الگوی قالبی یا گسترده
URLهای مهم در Discovered کم و گذرا چند URL تازه زیاد و ماندگار
URLهای مهم در Crawled not indexed کم قابل بررسی زیاد و مرتبط با صفحات اصلی
URLهای خراب در Sitemap تقریباً صفر محدود زیاد و ساختاری
صفحات Orphan مهم صفر یا نزدیک به صفر چند مورد زیاد
Duplicateهای غیرعمدی کم قابل کنترل گسترده و اثرگذار
Soft 404 کم قابل پیگیری زیاد و ناشی از قالب/محصول

نمونه فرضی: اگر سایت شرکتی ۸۰ صفحه دارد و ۲۵ صفحه خدمات و مقاله مهمش ایندکس نشده‌اند، وضعیت ضعیفه. اما اگر فروشگاهی ۱۰۰ هزار URL دارد و ۳۰ هزار URL فیلتر و Sort ایندکس نشده‌اند، ممکنه طبیعی باشد؛ مهم اینه که صفحات محصول، دسته‌بندی و لندینگ‌های اصلی چه وضعیتی دارند.

اشتباهات رایج در رفع مشکل Indexing

خیلی‌ها وقتی صفحه ایندکس نمی‌شود، اولین کارشان Request Indexing است. این کار اگر مشکل صفحه را حل نکرده باشی، بیشتر شبیه دوباره زنگ زدن به دری است که پشتش کسی نمی‌خواهد جواب بدهد.

اشتباهات مهم:

  • Request Indexing بدون اصلاح صفحه: اگر صفحه ضعیف، duplicate یا noindex است، درخواست ایندکس چیزی را حل نمی‌کند.
  • ترس از همه URLهای Not indexed: بعضی URLها نباید ایندکس شوند. Alternate canonical برای پارامترها یا duplicateهای کنترل‌شده می‌تواند طبیعی باشد.
  • استفاده اشتباه از robots.txt برای حذف از Index: robots.txt Crawl را کنترل می‌کند، حذف قطعی از Index نیست. گوگل هم توضیح می‌دهد URL بلاک‌شده ممکن است اگر از جای دیگر لینک شده باشد، همچنان در نتایج دیده شود.
  • noindex گذاشتن روی صفحات مهم: مخصوصاً در وردپرس، تنظیمات افزونه‌ها را بعد از طراحی یا تغییر قالب چک کن.
  • Sitemap شلوغ و بی‌کیفیت: Sitemap نباید قبرستان URLهای قدیمی باشد.
  • نادیده گرفتن لینک داخلی: صفحه مهمی که هیچ لینک داخلی ندارد، از نظر ساختاری مهم به نظر نمی‌رسد.
  • ادغام نکردن صفحات تکراری: اگر ۱۰ مقاله نزدیک داری و همه را می‌خوای جدا ایندکس کنی، ممکنه گوگل هیچ‌کدام را جدی نگیرد.
  • تصمیم گرفتن با یک URL نمونه: اگر مشکل الگو دارد، باید چند URL از همان Template را بررسی کنی.

نکته: Indexing را با زور حل نمی‌کنی. باید برای گوگل دلیل بسازی که صفحه ارزش نگهداری دارد.

چک‌لیست رفع مشکل ایندکس نشدن صفحات

اگر تشخیص اولویت اصلاحات فنی و صفحات تجاری دشوار است، مشاوره گوگل ادز می‌تواند بررسی صفحه مقصد، ردیابی و مسیر تبدیل را با وضعیت فنی سایت هماهنگ کند.

پس از رفع موانع Indexing، معیارهای Core Web Vitals را نیز بسنجید تا صفحات قابل ایندکس، تجربه سریع و پایداری برای کاربر داشته باشند.

قبل از اینکه بروی سراغ تیم فنی یا دوباره درخواست ایندکس بزنی، این چک‌لیست را برای URLهای مهم اجرا کن.

  1. URL با status 200 باز می‌شود؟
  2. صفحه noindex ندارد؟
  3. X-Robots-Tag در header مانع ایندکس نیست؟
  4. robots.txt مسیر صفحه را بلاک نکرده؟
  5. صفحه canonical به خودش یا URL درست دارد؟
  6. Google-selected canonical با انتظار تو یکی است؟
  7. URL داخل Sitemap درست قرار گرفته؟
  8. Sitemap شامل URLهای خراب و noindex نیست؟
  9. صفحه از صفحات مرتبط لینک داخلی دارد؟
  10. صفحه Orphan نیست؟
  11. محتوای صفحه با Intent جستجو هماهنگ است؟
  12. محتوا تکراری یا خیلی شبیه صفحه دیگری نیست؟
  13. صفحه Thin Content نیست؟
  14. صفحه Soft 404 تشخیص داده نشده؟
  15. سرور در زمان Crawl خطای 5xx نمی‌دهد؟
  16. ریدایرکت Loop یا Chain ندارد؟
  17. منابع مهم صفحه برای Render بلاک نشده‌اند؟
  18. صفحه موبایل قابل دسترس و قابل استفاده است؟
  19. بعد از اصلاح، URL Inspection انجام شده؟
  20. فقط بعد از رفع مشکل، Request Indexing زده شده؟

اگر از این چک‌لیست فقط یک چیز برداری، اینه: اول Indexability را ثابت کن، بعد ارزش محتوا را. صفحه‌ای که noindex دارد اصلاً وارد بازی نمی‌شود؛ صفحه‌ای که بی‌ارزش است، بعد از ورود هم نگه داشته نمی‌شود.

Indexing در وردپرس؛ خطاهای رایج

در وردپرس، خیلی از مشکلات Indexing از تنظیمات افزونه‌ها، تگ‌ها، آرشیوها، قالب‌ها و صفحات تولیدشده خودکار میاد. وردپرس اگر مدیریت نشود، خیلی راحت URLهای کم‌ارزش زیادی می‌سازد.

موارد رایج:

  • تنظیم «Discourage search engines» فعال مانده.
  • افزونه SEO روی بعضی post typeها noindex گذاشته.
  • دسته‌بندی، تگ، نویسنده و آرشیو تاریخ بی‌برنامه ایندکس‌پذیرند.
  • صفحات Attachment قدیمی باز هستند.
  • Canonical افزونه با قالب تداخل دارد.
  • Sitemap افزونه شامل URLهای بی‌ارزش است.
  • صفحه‌ساز محتوای اصلی را با JS سنگین یا ساختار نامناسب تولید می‌کند.
  • محتوای تکراری بین دسته‌بندی‌ها و تگ‌ها زیاد شده.
  • صفحات کم‌ارزش زیادی از فیلترها یا پارامترها ساخته شده‌اند.

نکته: در وردپرس، نصب افزونه SEO یعنی شروع کار، نه پایان کار. اگر تنظیمات را نفهمی، افزونه می‌تواند هم نجاتت بدهد، هم با یک تیک اشتباه صفحه‌های مهمت را noindex کند.

Indexing در فروشگاه اینترنتی؛ مشکلات رایج

در فروشگاه‌های اینترنتی، مشکل ایندکس معمولاً از فیلترها، محصولات ناموجود، صفحات تکراری، محتوای کم محصول، پارامترهای URL و دسته‌بندی‌های خالی میاد. فروشگاه‌ها ذاتاً URL زیاد تولید می‌کنند؛ اگر کنترل نشود، گوگل نمی‌فهمد کدام صفحه‌ها واقعاً ارزش ایندکس دارند.

مشکلات رایج:

  • محصولات با توضیح کپی یا خیلی کوتاه.
  • محصولات ناموجود زیاد با status 200 و بدون ارزش.
  • دسته‌بندی‌های خالی یا کم‌محصول.
  • فیلترهای بی‌ارزش قابل Crawl و Index.
  • URLهای Sort و View در Sitemap یا لینک داخلی.
  • محصولات مشابه با canonical اشتباه.
  • Review، قیمت یا موجودی نامعتبر در Schema.
  • URLهای پارامتردار بدون سیاست مشخص.
  • Breadcrumb و لینک داخلی ضعیف به دسته‌های مهم.

برای فروشگاه، بهترین کار اینه که اول URL Inventory را دسته‌بندی کنی: محصول فعال، محصول ناموجود، دسته‌بندی اصلی، فیلتر ارزشمند، فیلتر بی‌ارزش، صفحه تکراری، صفحه حذف‌شده. بعد برای هر گروه تصمیم جدا بگیری. همه را یا ایندکس کن یا noindex بزن؟ نه، این مدل تصمیم‌گیری تنبله.

Request Indexing چه زمانی به درد می‌خورد؟

Request Indexing در URL Inspection برای URLهای محدود و مهم کاربرد دارد؛ مخصوصاً وقتی صفحه جدید منتشر شده، صفحه مهمی اصلاح شده یا بعد از رفع خطا می‌خواهی گوگل دوباره آن را بررسی کند. اما برای صدها یا هزاران URL راه‌حل اصلی نیست.

Search Console Help می‌گوید برای درخواست ایندکس تعداد زیادی صفحه جدید یا آپدیت‌شده، بهتر است Sitemap ثبت شود و URLهای آپدیت‌شده با lastmod مشخص شوند.

استفاده درست:

  • بعد از حذف noindex اشتباهی از یک صفحه مهم.
  • بعد از اصلاح canonical صفحه پول‌ساز.
  • بعد از آپدیت جدی محتوای مقاله مهم.
  • بعد از رفع 5xx یا Redirect error برای URL کلیدی.
  • برای چند صفحه جدید مهم، نه کل سایت.

استفاده غلط:

  • درخواست روزانه برای صفحه‌ای که هنوز ضعیف است.
  • درخواست برای همه URLهای Discovered بدون اصلاح ساختار.
  • درخواست برای صفحات duplicate.
  • درخواست برای صفحاتی که در robots.txt بلاک‌اند.
  • درخواست برای URLهای noindex.

نکته: Request Indexing مثل دعوت دوباره است. اگر خانه هنوز بهم‌ریخته است، مهمان دوباره هم بیاید، نظرش عوض نمی‌شود.

نتیجه‌گیری

ایندکس نشدن صفحات سایت همیشه یک مشکل واحد نیست. گاهی گوگل هنوز صفحه را Crawl نکرده، گاهی صفحه را دیده اما ارزش ایندکس مستقل ندیده، گاهی خود سایت با noindex یا robots.txt مانع شده، گاهی canonical به URL دیگری اشاره می‌کند و گاهی صفحه از نظر کیفیت یا تکراری بودن ضعیف است. برای حل درست، باید از URL Inspection، Page Indexing Report، Sitemap، robots.txt، canonical، لینک داخلی و کیفیت محتوا با هم استفاده کنی. مهم‌تر از همه، باید بدانی کدام URL واقعاً باید ایندکس شود و کدام URL بهتر است خارج از Index بماند. اگر در Search Console با تعداد زیادی URL Not indexed روبه‌رو هستی، هشت پا می‌تونه وضعیت‌ها را اولویت‌بندی کند، صفحات مهم را جدا کند و مسیر اصلاح فنی و محتوایی را دقیق‌تر بچیند.

سوالات متداول

چرا صفحه من Crawl شده اما ایندکس نشده؟

معمولاً گوگل صفحه را دیده، اما ارزش کافی برای نگهداری در ایندکس تشخیص نداده است. کیفیت پایین یا تکراری محتوا، شباهت زیاد به صفحات دیگر، لینک داخلی ضعیف، سیگنال‌های Canonical و خطاهای Soft 404 از دلایل رایج‌اند.

آیا Discovered - currently not indexed یعنی مشکل جدی داریم؟

نه همیشه. برای سایت تازه یا تعداد کمی URL می‌تواند موقتی باشد؛ اما افزایش مداوم این وضعیت معمولاً به محدودیت Crawl Budget، عمق زیاد صفحات، لینک داخلی ضعیف یا تولید انبوه صفحات کم‌ارزش اشاره می‌کند.

آیا وجود URL در Sitemap باعث ایندکس قطعی می‌شود؟

خیر. Sitemap فقط کشف و اولویت‌بندی URLها را آسان‌تر می‌کند. صفحه همچنان باید پاسخ ۲۰۰، محتوای باکیفیت، Canonical صحیح و امکان خزش داشته باشد.

چرا گوگل صفحه دیگری را به‌عنوان Canonical انتخاب کرده؟

وقتی چند URL محتوای بسیار مشابه دارند یا سیگنال‌های Canonical، لینک داخلی و Sitemap با هم سازگار نیستند، گوگل ممکن است نسخه دیگری را اصلی بداند. یکسان‌سازی این سیگنال‌ها معمولاً مشکل را رفع می‌کند.

آیا برای حذف صفحه از نتایج، robots.txt کافی است؟

خیر. مسدودکردن خزش لزوماً URL ایندکس‌شده را حذف نمی‌کند. برای حذف پایدار باید متناسب با هدف از noindex، کد وضعیت مناسب یا ابزار حذف موقت استفاده شود و امکان مشاهده noindex برای خزنده وجود داشته باشد.

آموزش سئو

دیدگاهتان را بنویسید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *

چرا صفحات سایت در گوگل ایندکس نمی‌شوند؟ بررسی دلایل و رفع خطاهای Indexing

دریافت مشاوره

برای دریافت مشاوره لطفا اطلاعات زیر را تکمیل کنید.