بهینه سازی فایل روبوتس (Robots.txt) یکی از موارد بهینه سازی سئو تکنیکال وب سایت هست که اگر حتی یک کاراکتر اشتباه وارد بشه میتونه یک فاجعه در کرالینگ (Crawling) بوجود بیاره و حتی حجم زیادی از صفحات وب سایت ایندکس (index) نشوند.
خیلی کوتاه فایل روبوتس (Robots.txt) دقیقا چیست؟
اگر نمی دانید فایل روبوتس (Robots.txt) دقیقا چیست حتما چند جمله بعدی رو به دقت و چند بار مطالعه کنید.
فایل Robots.txt نقش یک نگهبان در وب سایت شما را بازی میکند. نگهبانی که اجازه خزش (Crawl) را به Crawler های مختلف از جمله خود گوگل میدهد. پس کاربرد این فایل به طور کلی این است که شما دسترسی Crawler ها را به صفحات وب سایت خود مدیریت کنید.
این فایل از نوع text است که در داخل هاست وبسایت شما قابل مشاهده یا تغییر است. ولی بیشتر کارشناس های سئو آن را از طریق افزونه هایی مثل rank math، yoast یا … تغییر میدهند.
فایل روبوتس (Robots.txt) بهینه چه ویژگی هایی باید داشته باشد؟
اول از همه باید بدانید که میخواهید گوگل کدام صفحات وب سایت شما را کرال و ایندکس کند. صفحات یا مجموعه صفحاتی که قرار است توسط هر کراولری، Crawl نشوند را با دستور disallow مسدود میکنید مانند ویدئو بالا
همچنین با دستور allow برای Crawler مشخص میکنید که باقی صفحات وب سایت میتوانند crawl شوند.
اگر فکر میکنید پاسخ به این سوال که گوگل یا هر crawler دیگری کدام صفحات وب سایت شما را کرال و ایندکس کند خیلی ساده است و برای مثال بگویید گوگل باید تمام صفحات وب سایت ما را کرال کند باید بگویم سخت در اشتباه هستید! برای مثال فایل Robots.txt دیجیکالا را بررسی کنید
همانطور که مشخص شده دیجیکالا نمیخواهد برای مثال صفحاتی که در url آن ها /cart/ است کرال شود. چرا که این صفحه مربوط به سبد خرید کاربران است و ایندکس شدن آن غیر منطقی است.
نکته مهم دیگری که باید به آن دقت کنید قرار دادن آدرس سایت مپ (sitemap) در فایل robots.txt است. این نکته کوچک اما موثر به شما در بهبود نرخ crawling و indexing صفحات وب سایت مخصوصا صفحات جدید وب سایت شما کمک زیادی میکند.
ابزار رایگان ساخت فایل Robots.txt بهینه شده
الان که میدانید فایل روبوتس چست و بهینه سازی آن چه کمکی به سئو وب سایت میکند میخواهم یک ابزار رایگان یه شما معرفی کنم تا بتوانید به راحتی و نسبت به نیاز خود فایل Robots.txt بهینه سازی شده خود را در عرض چند ثانیه بسازید.
برای این کار ابتدا وارد وب سایت en.ryte.com شوید و با انتخاب گزینه Customize به راحتی و در عرض چند ثانیه فایل Robots.txt بهینه شده خود را تحویل بگیرید. اگر در هر مرحله نسبت به کار با ابزار چالشی داشتید ویدئوی زیر میتواند به شما کمک کند. همچنین اگر سوالی نسبت به هر ساخت، اجرا و … فایل Robots.txt داشتید در کامنت ها سوال خود را بپرسید تا در کمتر از چند ساعت پاسخ سوال شما را بدم.
