بودجه خزش (Crawl Budget) تا چه اندازه در سئو سایت مهم است؟
گوگل همیشه تمام صفحات یک سایت را فوراً تغییر نمی دهد. گاهی اوقات ممکن است هفته ها طول بکشد. این ممکن است مانع تلاش های سئو شما شود. ممکن است صفحه فرود تازه بهینه سازی شده شما ایندکس نشود. در آن مرحله، زمان آن است که بودجه خزش خود را بهینه کنید.
در این مقاله، ما درباره چیستی «بودجه خزش» و اهمیت آن در سئو بحث کرده ایم و راهکارهایی جهت بهینهسازی آن به شما آموزش داده ایم که حتما برای شما مفید است.
بودجه خزش (Crawl Budget) چیست؟
بودجه خزش مقدار زمان و منابعی است که یک موتور جستجو برای خزیدن یک وب سایت خاص اختصاص می دهد. به عبارت دیگر، حداکثر تعداد صفحاتی است که یک موتور جستجو می تواند در یک بازه زمانی خاص در سایت شما بخزد.
بودجه خزیدن می تواند برای موتورهای جستجوی مختلف (یا خزنده ها) متفاوت باشد.
گوگل بیان می کند که نباید نگران بودجه خزش باشید مگر اینکه:
- سایت شما دارای بیش از ۱ میلیون صفحه منحصر به فرد با محتوایی است که هفته ای یک بار تغییر می کند.
- شما یک وب سایت با اندازه متوسط دارید، یعنی حدود ۱۰ هزار صفحه، و مرتباً (روزانه) محتوا را تغییر می دهید.
- شما یک وب سایت خبری راه اندازی می کنید.
- کنسول جستجو اکثر URL های سایت شما را به عنوان «Discovered - currently not indexed» طبقه بندی می کند.
هر وب سایت بر اساس این دو عامل، بودجه خزش متفاوتی دریافت می کند:
- تقاضای خزیدن: تعداد صفحات، فرکانس ارسال/به روز رسانی و محبوبیت صفحات آن را مشخص می کند.
- محدودیت سرعت خزیدن: تحت تأثیر قابلیتهای سرور، محدودیت خزیدن (در کنسول جستجو) توسط مالک سایت، محدودیت خزیدن موتور جستجو و غیره قرار میگیرد. همچنین ممکن است Google سرعت خزیدن را در زمانی که سرور کند است تنظیم کند و بالعکس.
چرا بودجه خزش برای سئو مهم است؟
بودجه خزش مهم است زیرا بر تعداد صفحاتی که Googlebot می تواند در سایت شما بخزد تأثیر می گذارد. علاوه بر این، همچنین بر تعداد دفعاتی که ربات گوگل می تواند صفحات وب شما را برای به روز رسانی فهرست خود دوباره خزیده کند نیز تأثیر می گذارد.
گوگل منابع عظیمی دارد، اما نمی تواند تمام صفحات اینترنت را بخزد (و مرتباً دوباره بخزد). در نتیجه، گوگل بودجه خزیدن را به وب سایت ها اختصاص می دهد.
و به همین دلیل است که می خواهید مطمئن شوید که بودجه خزیدن شما برای خزیدن در صفحات بی اهمیت سایت شما هدر نمی رود.
با این حال، اگر یک وبلاگ استاندارد یا وب سایت کوچک دارید، نیازی نیست در مورد بودجه خزیدن نگران باشید.
چگونه بودجه خزش را افزایش دهیم؟
در اینجا نحوه بهینه سازی بودجه خزش سایت آمده است.
۱. سرعت سرور خود را افزایش دهید و زمان بارگذاری صفحه را کاهش دهید
زمان پاسخ سرور و سرعت بارگذاری صفحه به طور مستقیم بر خزیدن تأثیر می گذارد. چیزی شبیه به این کار می کند:
وقتی Googlebot سایت شما را می خزد، ابتدا منابع را دانلود می کند و سپس آنها را پردازش می کند. اگر سرور شما به سرعت به درخواست های خزیدن توسط گوگل پاسخ دهد، می تواند صفحات بیشتری را در وب سایت شما بخزد.
بنابراین، از یک سرویس میزبانی وب سریع و قابل اعتماد و شبکه تحویل محتوا (CDN) برای بهبود زمان پاسخگویی اولیه سرور استفاده کنید.
در عین حال، زمان بارگذاری صفحه خود را با موارد زیر کاهش دهید:
- جلوگیری از خزیدن منابع بزرگ اما غیر مهم با استفاده از robots.txt
- اجتناب از زنجیره های طولانی ریدایرکت
- خلاص شدن از شر پوسته و افزونه های سنگین و با کدگذاری ضعیف برای کاهش تورم صفحه
۲. پیوندهای بیشتری اضافه کنید
تعداد لینک های یک صفحه اهمیت این صفحه را به گوگل می گوید. گوگل بات صفحات با بک لینک و لینک های داخلی بیشتر را در اولویت خزیدن قرار می دهد.
بنابراین، می توانید با افزودن لینک های خارجی و داخلی بیشتر به صفحات خود، بودجه خزیدن خود را افزایش دهید. در حالی که دریافت بک لینک از سایت های خارجی ممکن است زمان بر باشد و (کاملاً) در کنترل شما نیست، می توانید با گزینه ساده تر یعنی پیوند داخلی شروع کنید.
۳. لینک های شکسته را رفع کنید و تغییر مسیرها را کاهش دهید
تعداد زیاد لینک های داخلی خراب (کدهای پاسخ ۴۰۴ یا ۴۱۰) و URL های هدایت شده (۳xx) می توانند بودجه خزیدن سایت شما را هدر دهند. اگرچه اگر این صفحات برای مدتی بدون تغییر باقی بمانند، اولویت خزیدن پایینی خواهند داشت، بهتر است برای بهینه سازی بودجه خزیدن و نگهداری کلی سایت، آنها را اصلاح کنید.
شما به راحتی می توانید URL های شکسته و تغییر مسیر داده شده در سایت خود را در گزارش صفحات داخلی در ممیزی سایت یا با استفاده از ابزارهای رایگان سئو پیدا کنید.
۴. در صورت امکان از Indexing API استفاده کنید
راه دیگر برای خزیدن سریعتر صفحات خود استفاده از API Indexing Google است. به شما امکان می دهد هر زمان که صفحاتی را در سایت خود اضافه، حذف یا به روز می کنید، مستقیماً به Google اطلاع دهید.
با این حال، API Indexing در حال حاضر فقط برای موارد استفاده مانند ویدیوهای زنده و پست های شغلی در دسترس است. بنابراین اگر برای سایت شما قابل اجرا است، می توانید از آن برای به روز نگه داشتن URL های خود در فهرست و نتایج جستجوی گوگل استفاده کنید.
کلام آخر
گوگل اصلا دوست ندارد منابع خود را برای خزیدن صفحات بی ارزش یا دارای محتوای تکراری صرف کند. بنابراین مطمئن شوید که ۱۰۰٪ صفحات سایت شما از محتوای منحصر به فرد و با کیفیت بالا تشکیل شده است. این برای سایتی با بیش از ۱۰ هزار صفحه آسان نیست. اما اگر میخواهید از بودجه کرال خود بیشترین بهره را ببرید، چاره ای جز این ندارید.
منبع: Ahrefs
