Что такое краулинговый бюджет сайта?

В переписке или разговоре оптимизаторы нередко упоминают термин «краулинговый бюджет сайта». Обычные пользователи сразу начинают думать о финансовой стороне вопроса, связанной с продвижением, хотя на самом деле это выражение никак не относится к общепринятому понятию «бюджета». Для понимания что такое краулинговый бюджет и принципа его работы, давайте вспомним вследствие чего разделы веб-сайта появляются в выдаче. Это происходит после их индексации со стороны робота поисковой системы. Сама индексация имеет лимит на количество веб-страниц, которые индексируются роботом (краулером) за одну сессию на ресурсе. Лимит, который и носит название «краулинговый бюджет» для каждого сайта разный и определяется поисковой системой. 

Разработчиком этой технологии является корпорация Google, первая запустившая её в своей поисковой системе. На текущий момент Яндекс и другие поисковые системы также используют принцип краулингового бюджета при индексации страниц веб-сайтов.

Обход страниц сайта роботом (краулинг) - это процесс сканирования документов ресурса для последующей их индексации в выдаче. Поскольку для каждого сайта лимиты разные, именно краулинговый бюджет дает понять роботу, какое количество документов он может просканировать на определенном веб-сайте. Квота, определенная для ресурса может меняться и сегодня мы разберем зачем и как её нужно увеличивать. 

Важность краулинговогого бюджет для SEO

Скорее всего владельцы обычных ресурсов никогда не услышат о краулинговогом бюджете, поскольку на их сайте мало страниц и робот успевает обойти их все, так как квота на сканирование превышает общее число url’ов сайта. Но когда речь идет о большом интернет-магазине или информационном портале, то работа краулера становится очень важной для оптимизатора. Далеко не все документы успевают просканироваться роботом-пауков, соответственно часть страниц не индексируются и владелец бизнеса теряет потенциальных клиентов. Чтобы робот успевал «увидеть» все новые страницы, а также разделы, где происходило редактирование контента, краулинговый бюджет нужно оптимизировать.


Что влияет на объем краулингового бюджета?

Для того, чтобы начать оптимизацию краулингового бюджета, необходимо понимать, какие факторы имеют прямо влияние на выделяемую роботом квоту:

  • Недоступность сайта. При частых перебоях в работе сервера, в момент попытки сканирования разделов роботом, веб-сайт может быть недоступен, что сразу же фиксируется программой и может отразится на лимите.

  • Медленная скорость загрузки. При долгой загрузке страниц краулер тратит время на ожидание. Если проблема разовая, то при следующем заходе робот как обычно проведет мониторинг, но если у сайта постоянно долгая загрузка, то краулинговый бюджет для него будет сокращен. 

  • Частота добавления и редактирования контента. Чем реже вебмстер обновляет разделы и добавляет новые страницы, тем реже приходит краулер на его ресурс, и тем меньше лимиты на сканирование. 

  • Ошибки оптимизации. Различные ошибки поисковой оптимизации могут негативно сказаться на действиях краулера. Самая частая проблема - это наличие ненужных (технических) страниц на сайте. Подобных вещей вообще не должно быть, но если проблему не удается решить программно, то такие технические страницы обязательно закрываем от индексации директивой disallow в файле robots. Другая частая проблема – наличие дублей страниц. Роботу приходится обходить разные url с одинаковым содержимым, тратя на это и время и лимиты отведенные сайту. Вместо индексации новых разделов, краулер занят обходом дублей.

Основные действия по оптимизации краулингового бюджета

Поскольку формирование краулингового бюджета занимает время пока робот собирает информацию с ресурса, то оптимизация работы краулера потребует его ещё больше. Цель оптимизатора не только увеличить лимит на обход, но и указать роботу на важные (целевые) страницы, минимизировав (а в идеале исключив) сканирование мусорных урлов. Основные задачи следующие:

Установка правильных редиректов. Поисковая система реагирует на любое изменение в адресе страницы, даже если url отличаются одним символом. Поэтому важно как для всей оптимизации в целом, так и для краулингового бюджета в частности, правильно настраивать редиректы. Чем меньше будет одинаковых страниц, тем больше лимитов останется на другие урлы.


Код ответа страницы. Существуют разные коды ответов страниц. При правильном и нормальном функционировании разделов код будет отдавать значение 200. Также корректным ответом считает 301 код, говорящий о ридиректе с переносом всего содержимого страницы на новый адрес. Все другие коды ответов нужно либо минимизировать (404 ошибка), либо исключить полностью.

При 302 коде ответа переход на страницу будет нецелевым, ведь такого адреса уже нет. 500ые коды говорят о недоступности сайта. Помимо критических ошибок в панели вебмастера, данный код резко сократит краулинговый бюджет сайта в целом

Удаление дубликатов. К сожалению, многие CMS к которым относятся очень популярныеWordpress и Joomla, могут формировать дубликаты страниц. Если это проблема носит разовый характер, то лучше не предпринимать никаких действий (установка редиректов или закрытие от индексации тут не поможет, так как речь идет о дубликате, а не технической странице), но если дубликаты присутствуют в большом количестве, то потребуется искать причину возникновения в самой CMS. 


Увеличение ссылочного окружения. Далеко не все оптимизаторы знают про зависимость краулингового бюджета и ссылочной массы сайта. Различные страницы, на которые ссылаются внешние урлы, чаще переобходятся краулером. Учитывайте это, при формировании ссылочного профиля и наращивания ссылочной массы своего веб-сайта.


Удаление циклических url. Небольшая ошибка при настройке пути по сайту (хлебных крошек) может вылиться в серьезную проблему, если её вовремя не исправить. Нюанс заключается в последнем разделе из цепочки, который не должен быть кликабельным. Если оставить последний элемент цепочки с ссылкой на текущий раздел, то у сайта появляется циклическая ссылка, сильно расходующая лимиты робота на переобход ресурса. Данная проблема характерна для сторонних SEO-плагинов бесплатных систем управления.


Краулинговый бюджет молодого сайта

Как же обстоит ситуация с краулинговым бюджетом у недавно созданного веб-сайта? За молодыми сайтами пристально следят поисковые системы. Первоначально новым ресурсам выделяется довольно небольшое количество лимитов на переобход. Это делается поисковой системой умышленно, чтобы определить качество площадки и количество контента. При повторных заходах робот фиксирует изменения и если на сайте ведутся активные работы по наполнению (появляются новые страницы, заполняются пустые разделы), то квота постепенно увеличивается.

Возврат к списку

Оцените материал:
(Голосов: 45, Рейтинг: 4.88)
Читайте также
Онлайн конструктор и SEO
07.04.2021 17:56:00
Казалось бы для владельцев бизнеса появилась отличная альтернатива созданию корпоративного сайта в веб-студии, но как только встает вопрос о раскрутке своего проекта, то появляются многочисленные подводные камни
>>>
07.04
31.03
25.03
18.03
10.03
>>> Все новости
Понравилась публикация? Хотите получать интересные уникальный статьи?
Тогда будем рады видеть вас в рядах наших подписчиков!
Нажимая кнопку «Отправить», я даю согласие на обработку моих персональных данных в соответствии с условиями «Политики конфиденциальности»
>
Спасибо за проявленый интерес к нам!
В ближайшее время наш менеджер свяжется с Вами.