قبل از اینکه به تعریف بودجه خزش اشاره کنیم ابتدا باید با نحوه عملکرد ربات ها یا خزنده های وب (Web Crawlers) آشنا شوید تا بفهمید دقیقا کراول کردن وب سایت به چه معناست. ربات های گوگل ابتدا صفحات سایت را اسکن می کنند و در طول اسکن، صفحه مورد نظر ایندکس می شود. ایندکس شدن صفحه سایت یعنی اطلاعات آن در داده پایگاه موتور جستجو ذخیره می شود تا در مواقع لزوم در SERP گوگل به نمایش در بیاید. سپس براساس میزان مرتبط بودن اطلاعات سایت با سرچ کاربران، آن را در رتبه های مناسب صفحه نتایج سرچ گوگل قرار می دهد.
طبق این فرایند، منظور از بودجه خزش یعنی تعداد صفحاتی که خزنده های وب در طی یک بازه زمانی مشخص کراول می کنند. تعداد صفحاتی که در طی یک بازه زمانی خاص برای ایندکس شدن در نظر گرفته شده همان بودجه وب سایت شما هستند. این بودجه برحسب نوع سایت متفاوت است. در ادامه با یاس وب همراه باشید تا توضیحات کاملتری دریافت کنید.
چرا گوگل بودجه خزش را برای هر سایت در نظر گرفته است؟
جواب این سؤال تا حدی واضح است! در دنیا میلیون و بلکه میلیاردها وب سایت وجود دارند و گوگل برای کراول و ایندکس کردن نامحدود همه آنها زیرساخت و منابع کافی در اختیار ندارد پس باید به یک نحوی تعادل برقرار کند و سایت های با فعالیت بیشتر، سهم بیشتری داشته باشند. ایده بودجه خزش از همین مسأله به وجود آمد. پس باید از خودتان بپرسید که گوگل هر چند وقت یکبار برای ایندکس کردن صفحات وب سایت من زمان اختصاص داده است؟ چطور می توانم بودجه خزش وب سایت خودم را بهینه سازی کرده و حتی افزایش دهم؟
این موارد سؤالاتی هستند که خیلی از افراد از ما می پرسند و بر همین اساس تصمیم گرفتیم تا مقاله ای جامع و کامل را به این موضوع اختصاص دهیم. پس با ما همراه باشید.
بودجه خزش بودجه ای است که گوگل برای کراول کردن و ایندکس شدن صفحات سایت شما در یک بازه زمانی در نظر گرفته است
گوگل بودجه خزش هر سایت را چطور تعیین می کند؟
گوگل همیشه به رضایت کاربران خود اهمیت زیادی می دهد و این مورد از هر چیز دیگری ارزشمندتر است. بر همین اساس از یک منطق دو عاملی برای تعیین بودجه خزش وب سایت های مختلف استفاده می کند:
- محدودیت کراول/ لود هاست: هر بار که خزنده های وب قصد کراول کردن یک صفحه را داشته باشند، برای دسترسی به منابع سایت، یک درخواست به سرور می فرستند و براساس پاسخی که از سرور دریافت می کنند، محدودیت کراول را بیشتر یا کمتر می کنند چون گوگل نمی خواهد فشار زیادی به سرور بیاورد.
به عنوان مثال اگر سرور در پاسخ به ربات های گوگل چندین بار با مشکل روبرو شود یا سایت شما بر روی هاست اشتراکی باشد و محدودیت لود و پاسخ در واحد زمان پیش بیاید، بودجه خزش سایت شما کاهش پیدا خواهد کرد تا سایت از کار نیافتد یا اصطلاحا Down نشود.
- تقاضای خزش (Crawl Demand): این مورد به زبان ساده لیاقت سایت شما را برای کراول کردن و ایندکس شدن توسط ربات های گوگل نشان می دهد. هر چقدر لینک های خارجی سایت اعتبار بیشتری داشته باشند و لینک های داخلی مرتبط بیشتری استفاده کرده باشید و همچنین تعداد دفعات آپدیت سازی محتواها بیشتر باشد، ارزش کراول کردن و ایندکس شدن آن صفحات بالاتر می رود. البته گوگل به نوع صفحه هم توجه می کند طبیعتا صفحه «درباره ما» نسبت به صفحه محصولات کمتر آپدیت می شود و ارزش بسیار کمتری برای کراول کردن دارد.
تعیین بودجه خزش برای هر سایت
چرا Crawl Budget برای سئو سایت مهم است و چرا باید به آن اهمیت داد؟
طبیعتا شما به عنوان مدیر وب سایت انتظار دارید موتورهای جستجو تا حد امکان صفحات قابل ایندکس شما را پیدا کنند و تمام آنها را ایندکس کنند و حتی انتظار دارید این کار در سریعترین زمان ممکن انجام شود. مثلا اگر صفحه جدیدی ساخته اید یا صفحات قبلی خود را آپدیت کرده اید، انتظار دارید خزنده های وب خیلی سریع آن را ایندکس کنند چون به خوبی می دانید هر چقدر این صفحات زودتر کراول و ایندکس شوند، در رقابت با سایرین جلوتر خواهید افتاد و رتبه بهتری خواهید گرفت که به نوبه خود مزایای زیادی دارد.
پس همانطور که می بینید بودجه خزش روی سئو سایت و رتبه آن و در نتیجه میزان بازدید وب سایت اثر مستقیم می گذارد. اگر بودجه سایت را هدر بدهید، راندمان کراول کردن و ایندکس شدن صفحات سایت پایین خواهد آمد. یعنی صفحاتی ایندکس خواهند شد که ارزش زیادی ندارند و زمانی که انتظار داشته باشید محتواهای ارزشمند و جدیدتان کراول شوند، بودجه سایت تمام شده است. لذا در چنین حالتی در صفحه نتایج سرچ کاربران نشان داده نخواهید شد و بازدید وب سایت افت شدیدی خواهد کرد.
چطور بفهمیم بودجه خزش سایت ما چقدر است؟
برای اینکه بفهمید کراول باجت وب سایت شما چقدر است به شما ابزار رایگان و راحت گوگل سرچ کنسول را پیشنهاد می کنیم. با این ابزار به راحتی متوجه می شوید که در هر ثانیه، موتورهای جستجو چند درخواست برای سایت شما اختصاص داده اند و چقدر زمان بین هر بار اسکن وجود دارد.
پیشنهاد می شود دوره جامع آموزش سرچ کنسول گوگل را مشاهده نمایید.
برای مشاهده آمار و ارقام مربوط به بودجه خزش سایت، وارد گوگل سرچ کنسول شده و سپس به قسمت Settings بروید و بر روی گزینه گزارش بخش Crawl Stats کلیک کنید تا ۳ نمودار به شما نشان دهد.
- Total crawl requests : تعداد کل درخواست های خزش شده را نشان می دهد.
- Total download size: تعداد دانلودهای انجام شده در هنگام خزیدن برحسب بایت را نشان می دهد.
- Average response time : میانگین زمان پاسخ دهی برای منابعی که از سایت شما در طول زمان مشخصی واکشی می کنند.
بهبود بودجه خزش روی سئو سایت اثر می گذارد
چطور Crawl Budget سایت را بهینه سازی کنیم؟
برای اینکه بودجه کراول سایت شما هدر نرود باید نسبت به بهینه سازی سایت اقدام کنید و با توجه به نحوه عملکرد خزنده های وب و اصولی که توضیح دادیم تغییرات لازم را اعمال کنید. در ادامه به چند مورد بسیار مهم اشاره کرده ایم که با انجام آنها بودجه خزش سایت شما افزایش پیدا خواهد کرد:
- بهینه سازی فایل robots.txt : یک فایل ساده است که به کمک آن می توانید مشخص کنید کدام صفحات ایندکس نشوند. در نتیجه صفحاتی که ارزش خاصی برای شما ندارند یا احیانا تکراری هستند را از لیست این فایل حذف کنید.
- سرور سریع: سرورهای اختصاصی نسبت به نوع اشتراکی سرعت بسیار بیشتری دارند در نتیجه خزنده های وب مجبور نیستند زمان زیادی بابت دانلود یک صفحه صرف کنند و وقت بیشتری برای بررسی سایر صفحات خواهند داشت.
- ساختار سایت را بهتر کنید: هر چقدر ساختار یک سایت بهتر و سازمان یافته تر باشد، خزنده های وب برای اسکن و ایندکس کردن صفحات با مشکل کمتری روبرو می شوند. پس طوری سایت را طراحی کنید که هر کاربر نهایتا با ۳ کلیک از یک صفحه به صفحه دیگر سایت منتقل شود (Three Click Rule). ضمنا ارزش صفحات را با لینک داخلی و خارجی مرتبط و معتبر، افزایش دهید.
- لینک داخلی: لینک داخلی به کاربران کمک می کند تا مطالب بیشتری در رابطه با یک موضوع کسب کنند و به خزنده های وب نیز می فهماند که می خواهید حتما این صفحات ایندکس شوند. پس هر چقدر لینک های داخلی بیشتر باشند، احتمال اینکه تمام صفحات مورد نظر شما ایندکس شده باشند بیشتر خواهد شد.
- لینک های شکسته را اصلاح کنید: لینک شکسته (Broken Link)، نه تنها باعث جریمه شدن سایت می شود بلکه بودجه خزش را هم هدر می دهد.
پیشنهاد میشود مقاله شناسایی و رفع لینک های خراب در وردپرس را مطالعه فرمائید.
- آپدیت کردن و تولید محتوای جامع: گوگل عاشق محتوای آپدیت، جامع و کامل است. هر چقدر تعداد این محتواها بیشتر باشد (همچنین از طریق آپدیت کردن محتواهای قدیمی)، ارزش سایت شما برای گرفتن بودجه بیشتر، افزایش پیدا خواهد کرد.
- حذف محتواهای تکراری: محتواهای تکراری بودجه خزش سایت را هدر می دهند. پس یا باید چنین صفحات را پاک کنید یا اینکه محتوای آن را با صفحات مشابه یا جدید ادغام کنید. توجه داشته باشید که اگر این صفحات را پاک می کنید و قبلا به آنها لینک داده شده، باید از ریدایرکت ۳۰۱ یا ۳۰۲ استفاده کنید.
پیشنهاد میشود مقاله تعریف ریدایرکت و معرفی انواع آن را مطالعه فرمائید.
- لینک سازی خارجی یا بک لینک: هر چقدر بک لینک های معتبر بیشتری دریافت کنید، ارزش صفحات وب سایت شما بالاتر خواهد رفت. بالاتر بودن اعتبار دامنه و اعتبار صفحه به معنای این است که صفحات وب سایت شما ارزش بیشتری برای گرفتن بودجه خزش دارند.
نکته: صفحاتی که لینک داخلی و خارجی نداشته باشند اصطلاحا به صفحات یتیم (Orphan Page) معروف هستند. چنین صفحاتی باعث کاهش کراول باجت خواهند شد.
- توجه به URL های پارامتردار: در اکثر موارد، URL های پارامتردار نباید در دسترس موتورهای جستجو قرار بگیرند چون عملا می توانند بی نهایت URL تولید کنند و این به معنای صرف شدن بیش از حد بودجه خزش است. منظور از URL های پارامتردار همان صفحات محصول در سایت های فروشگاهی است که کاربران با قابلیت فیلتر کردن نتایج، به محصولات مورد نظر خود دست پیدا می کنند.
پیشنهاد میشود فیلم آشنایی با ابزار URL parameters را مشاهده نمایید.
منظور ما این نیست که سایت های فروشگاهی نباید چنین قابلیتی داشته باشند بلکه منظور ما این است که از طریق فایل Robots.txt جلوی دسترسی موتورهای جستجو به این صفحات را بگیرید.
پیشنهاد میشود مقاله چگونه فایل Robots.txt سایت خود را بهینه سازی کنیم؟ را مطالعه فرمائید.
بهینه سازی بودجه خزش و بهبود رتبه سایت با یکدیگر مرتبط هستند
جمع بندی مطالب
مدیریت، بهینه سازی و افزایش بودجه خزش رمز موفقیت وب سایت شماست و تنها عاملی است که به شما تضمین می دهد تلاش های شما در جهت بهتر دیده شدن توسط گوگل و در نتیجه کاربران بی نتیجه نخواهد ماند. اگر تمامی مواردی که گفته شد را به دقت رعایت کنید، گوگل متوجه خواهد شد که سایت شما نسبت به رقبا ارزش بیشتری برای کراول کردن و ایندکس شدن دارد.
طبیعتا هر چقدر میزان ایندکس شدن صفحات سایت شما بیشتر باشد، بیشتر در معرض دید کاربران قرار خواهید گرفت که به نوبه خود باعث بهبود رتبه سایت در SERP خواهد شد که همه ما با مزایای متنوع آن آشنا هستیم. پس هر موقع به کراول باجت سایت خودتان فکر کردید، باید فورا به یاد بهینه سازی سایت و ارتقای وضعیت سئو وب سایت بیفتید. امیدواریم که مطالب گفته شده به بهبود وضعیت سایت شما کمک کنند.
بدون دیدگاه