چگونه بودجه خزیدن خود را بهینه کنیم • Yoast

گوگل همیشه تمام صفحات یک سایت را فوراً تغییر نمی دهد. گاهی اوقات ممکن است هفته ها طول بکشد. این ممکن است مانع تلاش های سئو شما شود. ممکن است صفحه فرود تازه بهینه سازی شده شما ایندکس نشود. در آن مرحله، زمان آن است که بودجه خزیدن خود را بهینه کنید. در این مقاله، ما درباره چیستی «بودجه خزیدن» بحث خواهیم کرد و برای بهینه سازی آن چه کاری می توانید انجام دهید.

بودجه کرال چیست؟

بودجه خزیدن تعداد صفحاتی است که گوگل در هر روز در سایت شما می خزد. این عدد روزانه کمی متفاوت است، اما در کل، نسبتاً پایدار است. ممکن است گوگل هر روز شش صفحه را در سایت شما بخزد. ممکن است 5000 صفحه بخزد. حتی ممکن است هر روز 4000000 صفحه بخزد. تعداد صفحاتی که گوگل می خزند، “بودجه” شما به طور کلی بر اساس اندازه سایت شما، “سلامت” سایت شما (تعداد خطاهایی که گوگل با آن مواجه می شود) و تعداد لینک ها تعیین می شود. به سایت شما. برخی از این عوامل چیزهایی هستند که می توانید بر آنها تأثیر بگذارید. کمی دیگر به آن خواهیم رسید

خزنده چگونه کار می کند؟

خزنده ای مانند Googlebot لیستی از URL ها را برای خزیدن در یک سایت دریافت می کند. به طور سیستماتیک از طریق آن لیست می گذرد. گهگاه فایل robots.txt شما را می گیرد تا مطمئن شود که همچنان اجازه دارد هر URL را بخزد و سپس URL ها را به صورت جداگانه می خزد. هنگامی که یک عنکبوت یک URL را خزیده و محتویات آن را تجزیه می کند، URL های جدیدی را که در آن صفحه یافت می شود اضافه می کند که باید دوباره در لیست کارها بخزد.

چندین رویداد می تواند باعث شود Google احساس کند یک URL باید خزیده شود. ممکن است لینک‌های جدیدی پیدا کرده باشد که به محتوا اشاره می‌کنند، یا شخصی آن را توییت کرده است، یا ممکن است در نقشه سایت XML به‌روزرسانی شده باشد، و غیره، و غیره… هیچ راهی برای تهیه فهرستی از همه دلایلی وجود ندارد که چرا گوگل یک URL را می‌خزد. اما وقتی تشخیص داد که باید انجام شود، آن را به لیست کارها اضافه می کند.

بیشتر بخوانید: ترافیک ربات: چیست و چرا باید به آن اهمیت دهید »

چه زمانی بودجه خزیدن یک مشکل است؟

اگر گوگل مجبور است URL های زیادی را در سایت شما بخزد و خزیدن های زیادی را اختصاص داده باشد، بودجه خزیدن مشکلی نیست. اما، فرض کنید سایت شما 250000 صفحه دارد و گوگل هر روز 2500 صفحه را در این سایت خاص می خزند. برخی از آن ها (صفحه اصلی را می پسندد) بیشتر از بقیه می خزند. اگر اقدامی نکنید، ممکن است تا 200 روز طول بکشد تا Google متوجه تغییرات خاصی در صفحات شما شود. بودجه خزیدن اکنون یک مسئله است. از طرف دیگر، اگر روزی 50000 خزیده باشد، اصلاً مشکلی وجود ندارد.

مراحل زیر را دنبال کنید تا متوجه شوید که آیا سایت شما مشکل بودجه خزیدن دارد یا خیر. این فرض را بر این می‌گذارد که سایت شما دارای تعداد نسبتاً کمی URL است که گوگل آن‌ها را می‌خزد اما ایندکس نمی‌کند (مثلاً چون متا اضافه کرده‌اید. noindex).

1. تعیین کنید که سایت شما چند صفحه دارد. تعداد URL ها در نقشه سایت XML شما ممکن است شروع خوبی باشد.
2. به کنسول جستجوی گوگل بروید.
3. به “تنظیمات” -> “آمار خزیدن” بروید و میانگین صفحات خزیده شده در روز را محاسبه کنید.
4. تعداد صفحات را بر عدد «میانگین خزیدن در روز» تقسیم کنید.
5. اگر به عددی بالاتر از ~ 10 رسیدید، احتمالاً باید بودجه خزیدن خود را بهینه کنید (بنابراین تعداد صفحات شما 10 برابر بیشتر از آنچه Google روزانه می خزند). اگر به عددی کمتر از 3 رسیدید می توانید چیز دیگری بخوانید.

گوگل چه URL هایی را خزیده است؟

شما واقعاً باید بدانید که گوگل چه URL هایی را در سایت شما خزیده است. گزارش های سرور سایت شما تنها راه واقعی برای دانستن است. برای سایت های بزرگتر می توانید از چیزی مانند Logstash + Kibana استفاده کنید. برای سایت های کوچکتر، بچه های Screaming Frog ابزار SEO Log File Analyzer را منتشر کرده اند.

گزارش های سرور خود را دریافت کنید و به آنها نگاه کنید

بسته به نوع میزبانی شما، ممکن است همیشه نتوانید فایل های گزارش خود را بگیرید. با این حال، اگر شما حتی فکر شما باید روی بهینه سازی بودجه خزیدن کار کنید زیرا سایت شما بزرگ است، باید آنها را دریافت کنید. اگر هاست شما به شما اجازه نمی دهد آنها را دریافت کنید، وقت آن است که هاست را تغییر دهید.

اصلاح بودجه خزیدن سایت شما بسیار شبیه تعمیر ماشین است. با نگاه کردن به بیرون نمی توانید آن را درست کنید. باید اون موتور رو باز کنی نگاه کردن به سیاههها در ابتدا ترسناک خواهد بود. شما به سرعت متوجه خواهید شد که یک وجود دارد مقدار زیادی نویز در سیاهههای مربوط بسیاری از 404 های معمولی را خواهید یافت که فکر می کنید مزخرف هستند. اما شما دارند برای رفع آنها شما باید از سر و صدا عبور کنید و مطمئن شوید که سایت شما در هزاران 404 قدیمی غرق نشده است.

به خواندن ادامه دهید: تعمیر و نگهداری وب سایت: بررسی و رفع خطای 404 صفحات »

بودجه خزیدن خود را افزایش دهید

بیایید به مواردی نگاه کنیم که باعث افزایش تعداد صفحات گوگل در سایت شما می شود.

نگهداری وب سایت: کاهش خطاها

مرحله اول برای خزیدن بیشتر صفحات این است که مطمئن شوید صفحاتی که خزیده می شوند یکی از دو کد بازگشتی ممکن را برمی گردانند: 200 (برای “OK”) یا 301 (برای “به جای آن به اینجا بروید”). همه کدهای برگشتی دیگر هستند نه خوب. برای فهمیدن این موضوع، به گزارش های سرور سایت خود نگاه کنید. گوگل آنالیتیکس و اکثر بسته های تحلیلی دیگر فقط صفحاتی را ردیابی می کنند که 200 مورد را ارائه می دهند. بنابراین شما خطاهای زیادی را در سایت خود در آنجا پیدا نخواهید کرد.

هنگامی که گزارش های سرور خود را دریافت کردید، خطاهای رایج را پیدا کرده و برطرف کنید. ساده ترین راه این است که تمام URL هایی را که 200 یا 301 برگردانده اند را بگیرید و سپس تعداد دفعات دسترسی به آنها را مرتب کنید. رفع یک خطا ممکن است به این معنی باشد که باید کد را اصلاح کنید. یا ممکن است مجبور شوید URL را به جای دیگری هدایت کنید. اگر می‌دانید چه چیزی باعث این خطا شده است، می‌توانید منبع را نیز اصلاح کنید.

یکی دیگر از منابع خوب برای یافتن خطاها، کنسول جستجوی گوگل است. برای اطلاعات بیشتر در مورد آن، راهنمای کنسول جستجوی ما را بخوانید. اگر Yoast SEO Premium دارید، می‌توانید به راحتی آنها را با استفاده از مدیر تغییر مسیرها هدایت کنید.

بخش هایی از سایت خود را مسدود کنید

اگر بخش هایی از سایت خود دارید که لازم نیست در گوگل باشند، آنها را با استفاده از robots.txt مسدود کنید. البته فقط در صورتی این کار را انجام دهید که بدانید در حال انجام چه کاری هستید. یکی از مشکلات رایجی که در سایت‌های تجارت الکترونیک بزرگتر مشاهده می‌کنیم، زمانی است که آنها راه‌های زیادی برای فیلتر کردن محصولات دارند. هر فیلتر ممکن است URL های جدیدی برای Google اضافه کند. در مواردی مانند این، می‌خواهید مطمئن شوید که به گوگل اجازه می‌دهید فقط یک یا دو مورد از آن فیلترها را انتخاب کند و نه همه آنها.

زنجیره های تغییر مسیر را کاهش دهید

وقتی 301 URL را تغییر مسیر می دهید، اتفاق عجیبی می افتد. گوگل آن URL جدید را می بیند و آن URL را به لیست کارها اضافه می کند. همیشه آن را بلافاصله دنبال نمی کند. آن را به لیست کارهای خود اضافه می کند و ادامه می دهد. هنگامی که شما ریدایرکت‌های زنجیره‌ای را انجام می‌دهید، برای مثال، وقتی غیرwww را به www، سپس http را به https هدایت می‌کنید، در همه جا دو تغییر مسیر دارید، بنابراین خزیدن همه چیز بیشتر طول می‌کشد.

لینک های بیشتری دریافت کنید

گفتنش آسان است اما انجام آن سخت است. به دست آوردن لینک های بیشتر فقط به خاطر عالی بودن نیست بلکه اطمینان از دیگران است دانستن تو عالی هستی این موضوع روابط عمومی خوب و تعامل خوب در رسانه های اجتماعی است. ما به طور گسترده در مورد لینک بیلدینگ نوشته ایم. خواندن این سه پست را پیشنهاد می کنیم:

1. ایجاد لینک از دیدگاه سئوی جامع
2. لینک بیلدینگ: چه کاری را نباید انجام داد؟
3. 6 مرحله برای یک استراتژی ساخت لینک موفق

هنگامی که مشکل ایندکس حاد دارید، ابتدا باید به خطاهای خزیدن خود نگاه کنید، بخش هایی از سایت خود را مسدود کنید و زنجیره های تغییر مسیر را برطرف کنید. لینک بیلدینگ روشی بسیار کند برای افزایش بودجه خزیدن شماست. از طرف دیگر، اگر قصد دارید یک سایت بزرگ بسازید، لینک بیلدینگ باید بخشی از فرآیند شما باشد.

TL;DR: بهینه سازی بودجه خزیدن سخت است

بهینه سازی بودجه Crawl برای افراد ضعیف نیست. اگر تعمیر و نگهداری سایت خود را به خوبی انجام می دهید، یا سایت شما نسبتاً کوچک است، احتمالاً نیازی به آن نیست. اگر سایت شما متوسط ​​است و به خوبی نگهداری می شود، انجام آن بر اساس ترفندهای بالا نسبتاً آسان است.

تناسب سئو فنی خود را ارزیابی کنید

بهینه سازی بودجه خزیدن بخشی از سئوی فنی شماست. آیا کنجکاو هستید که سئوی فنی کلی سایت شما چگونه مطابقت دارد؟ ما یک آزمون فنی تناسب اندام SEO ایجاد کرده ایم که به شما کمک می کند تا بفهمید روی چه چیزی باید کار کنید!

در ادامه بخوانید: Robots.txt: راهنمای نهایی »