فایل Robots.txt در سئو! راهنمای کاربردی برای مبتدیان SEO

فایل robots.txt یکی از راه‌های اصلی مدیریت نحوه بازدید ربات های موتور جستجو از وب‌سایت شما است. در این فایل شما به ربات گوگل می گویید که چه صفحه ای را می تواند ببیند و چه صفحه ای را نه. همه موتورهای جستجوی اصلی از عملکرد اصلی آن پشتیبانی می کنند، اما برخی به قوانین اضافی نیز احترام می گذارند که می تواند مفید باشد.

ما در این راهنمای سئو، هر آنچه که در مورد فایل robots.txt به آن نیاز داشته باشید به شما توضیح داده ایم. از جمله این که فایل robots.txt چیست، چه کاربردی در سئو دارد و چطور می توان یک نمونه از آن را برای سایت ایجاد کرد. 

بیایید با هم به سراغ این فایل مهم برویم.

فایل Robots.txt چیست؟

Robots.txt فایلی است که به خزنده‌های موتورهای جستجو راهنمایی می‌کند که به چه آدرس‌هایی از وب‌سایت شما می تواند دسترسی داشته باشند. این در درجه اول برای مدیریت ترافیک خزنده و جلوگیری از بارگیری بیش از حد سایت شما با درخواست ها استفاده می شود.

robots.txt باید در ریشه وب سایت قرار بگیرد تا خزنده آن را پیدا کنند. در حالی که موتورهای جستجوی اصلی مانند گوگل، بینگ و یاهو دستورالعمل‌های robots.txt را می‌شناسند و به آن احترام می‌گذارند، توجه به این نکته مهم است که این فایل روشی بی‌خطر برای جلوگیری از نمایش صفحات وب در نتایج جستجو نیست.

در عین حال که فایل robots.txt برای خیلی ها ناشناخته است اما در سئو چندان بی اهمیت نیست. در ادامه توضیحاتی در این خصوص ارائه شده است. 

چرا Robots.txt در سئو مهم است؟

اکثر وب سایت ها به فایل robots.txt نیاز ندارند. به این دلیل که گوگل معمولاً می تواند تمام صفحات مهم سایت شما را پیدا کرده و فهرست بندی کند. آنها به طور خودکار صفحاتی را که نسخه های مهم یا تکراری صفحات دیگر نیستند ایندکس نمی کنند.

با این حال، ۳ دلیل اصلی وجود دارد که می‌خواهید از فایل robots.txt استفاده کنید.

- مسدود کردن صفحات غیر عمومی: گاهی اوقات، صفحاتی در سایت خود دارید که نمی خواهید ایندکس شوند. برای مثال، ممکن است یک نسخه مرحله‌بندی از یک صفحه، یک صفحه ورود به سیستم یا یک صفحه نتایج جستجوی داخلی داشته باشید. این صفحات باید وجود داشته باشند، اما شما نمی خواهید افراد تصادفی روی آن ها بیایند. در این مورد، از robots.txt برای مسدود کردن این صفحات از خزنده‌ها و ربات‌های موتور جستجو استفاده می‌کنید.

- به حداکثر رساندن بودجه خزیدن: اگر در فهرست کردن همه صفحات خود با مشکل مواجه هستید، ممکن است مشکل بودجه خزیدن داشته باشید. با مسدود کردن صفحات بی‌اهمیت با robots.txt ربات گوگل (Googlebot) می‌تواند بیشتر از بودجه خزیدن شما را صرف صفحاتی کند که واقعاً مهم هستند.

- جلوگیری از نمایه سازی منابع در موتورهای جستجو: استفاده از دستورات متا می تواند به همان اندازه Robots.txt برای جلوگیری از ایندکس شدن صفحات کار کند. با این حال، دستورالعمل‌های متا برای منابع چندرسانه‌ای، مانند فایل‌های PDF و تصاویر، به خوبی کار نمی‌کنند. اینجاست که robots.txt وارد عمل می شود.

نتیجه نهایی؟ Robots.txt به خزنده های موتورهای جستجو می گوید که صفحات خاصی را در وب سایت شما نخزند. می توانید بررسی کنید که چند صفحه را در کنسول جستجوی گوگل ایندکس کرده اید.

اگر آمار کنسول با تعداد صفحاتی که می‌خواهید ایندکس شوند مطابقت دارد، نیازی به زحمت ساخت فایل Robots.txt ندارید. اما اگر این عدد بیشتر از چیزی است که انتظار داشتید (و متوجه URL های ایندکس شده ای شده اید که نباید ایندکس شوند)، زمان آن رسیده است که یک فایل robots.txt برای وب سایت خود ایجاد کنید.

چگونه فایل robots.txt خود را پیدا کنیم؟

گفتیم که فایل robots.txt باید در ریشه وب سایت قرار بگیرد، یعنی دقیقا در کف پوشه public_html.

برای اطمینان از وجود این فایل می توانید آدرس آن را به این صورت domain.com/robots.txt در مرورگر وارد کنید تا محتویات فایل برای شما نمایش داده شود. 

اگر چنین فایلی در سایت وجود ندارد باید خودتان آن را بسازید. ساده ترین روش برای ساخت فایل robots.txt استفاده از برنامه notepad ویندوز است. 

نتیجه گیری

Robots.txt یک فایل ساده اما قدرتمند است. اگر از آن عاقلانه استفاده کنید می تواند تأثیر مثبتی بر سئو داشته باشد. اگر هم با بی دقتی از آن استفاده کنید، پشیمان خواهید شد. اگر هم سایت شما کوچک است و کلا مشکلی با خزش و ایندکس صفحات سایت خود ندارید کلا بی خیال این فایل شوید.

منبع: backlinko