В разговоре оптимизаторы нередко упоминают термин «краулинговый бюджет сайта». Обычные пользователи сразу начинают думать о финансовой стороне вопроса, связанной с продвижением, хотя на самом деле это выражение никак не относится к общепринятому понятию «бюджета». Для понимания что такое краулинговый бюджет и принципа его работы, давайте вспомним вследствие чего разделы веб-сайта появляются в выдаче. Это происходит после их индексации со стороны робота поисковой системы. Сама индексация имеет лимит на количество веб-страниц, которые индексируются роботом (краулером) за одну сессию на ресурсе. Лимит, который и носит название «краулинговый бюджет» для каждого сайта разный и определяется поисковой системой.
Разработчиком этой технологии является корпорация Google, первая запустившая её в своей поисковой системе. На текущий момент Яндекс и другие поисковые системы также используют принцип краулингового бюджета при индексации страниц веб-сайтов.
Обход страниц сайта роботом (краулинг) - это процесс сканирования документов ресурса для последующей их индексации в выдаче. Поскольку для каждого сайта лимиты индивидуальные, именно краулинговый бюджет дает понять роботу, какое количество документов он должен просканировать на определенном веб-сайте. Квота, определенная для ресурса может меняться, и сегодня мы разберем зачем и как её нужно увеличивать.
Важность краулинговогого бюджет для SEO
Скорее всего владельцы обычных веб-ресурсов никогда не услышат о краулинговогом бюджете, поскольку на их сайте мало страниц и робот успевает обойти их все, так как квота на сканирование превышает общее число url’ов сайта. Но когда речь идет о большом интернет-магазине или информационном портале, то работа краулера становится очень важной для оптимизатора. Далеко не все документы успевают просканироваться роботом-пауком, соответственно часть страниц не индексируются и владелец бизнеса теряет потенциальных клиентов. Чтобы робот успевал «увидеть» все новые страницы, а также разделы, где происходило редактирование контента, краулинговый бюджет нужно оптимизировать и увеличивать его лимиты.
Что влияет на объем краулингового бюджета?
Для того, чтобы начать оптимизацию краулингового бюджета, необходимо понимать, какие факторы имеют прямо влияние на выделяемую роботом квоту:
-
Недоступность сайта. При частых перебоях в работе сервера, в момент попытки сканирования разделов роботом, веб-сайт может быть недоступен, что сразу же фиксируется программой и может отразится на лимите.
-
Медленная скорость загрузки. При долгой загрузке страниц краулер тратит время на ожидание. Если проблема разовая, то при следующем заходе робот как обычно проведет мониторинг, но если у сайта постоянно долгая загрузка, то краулинговый бюджет для него будет сокращен.
-
Частота добавления и редактирования контента. Чем реже вебмастер обновляет разделы и добавляет новые страницы, тем реже приходит краулер на его ресурс, и тем меньше лимиты на сканирование у поискового бота.
-
Ошибки оптимизации. Различные ошибки поисковой оптимизации могут негативно сказаться на действиях краулера. Самая частая проблема - это наличие ненужных (технических) страниц на сайте. Подобных вещей вообще не должно быть, но если проблему не удается решить программно, то такие технические страницы обязательно закрываются от индексации директивой disallow в файле robots. Другая частая проблема – наличие дублей страниц. Роботу приходится обходить разные url с одинаковым содержимым, тратя на это и время и лимиты отведенные сайту. Вместо индексации новых разделов, краулер занят обходом дублей.
Основные действия по оптимизации краулингового бюджета
Поскольку формирование краулингового бюджета занимает время (робот собирает информацию с ресурса и присваивает ему лимит), то оптимизация работы краулера потребует его ещё больше. Цель оптимизатора не только увеличить лимит на обход, но и указать роботу на важные (целевые) страницы, минимизировав (а в идеале исключив) сканирование мусорных урлов. Основные задачи следующие:
Установка правильных редиректов. Поисковая система реагирует на любое изменение в адресе страницы, даже если урлы отличаются одним символом. Поэтому важно как для всей оптимизации в целом, так и для краулингового бюджета в частности, правильно настраивать редиректы. Чем меньше будет одинаковых страниц, тем больше лимитов останется на другие целевые url.
Код ответа страницы. Существуют разные коды ответов страниц. При правильном и нормальном функционировании разделов код будет отдавать значение 200. Также корректным ответом считает 301 код, говорящий о ридиректе с переносом всего содержимого страницы на новый адрес. Все другие коды ответов нужно либо минимизировать (404 ошибка), либо исключить полностью.
При 302 коде ответа переход на страницу будет нецелевым, ведь такого адреса уже нет. 500ые коды говорят о недоступности сайта. Помимо критических ошибок в панели вебмастера, данный код резко сократит краулинговый бюджет сайта в целом
Удаление дубликатов. К сожалению, многие CMS к которым относятся очень популярные Wordpress и Joomla, могут формировать дубликаты страниц. Если это проблема носит разовый характер, то лучше не предпринимать никаких действий (установка редиректов или закрытие от индексации тут не поможет, так как речь идет о дубликате, а не технической странице), но если дубликаты присутствуют в большом количестве, то потребуется искать причину возникновения в самой CMS.
Увеличение ссылочного окружения. Далеко не все оптимизаторы знают про зависимость краулингового бюджета и ссылочной массы сайта. Различные страницы на которые ссылаются внешние урлы, чаще переобходятся краулером. Учитывайте это при формировании ссылочного профиля и наращивания ссылочной массы своего веб-сайта.
Удаление циклических url. Небольшая ошибка при настройке пути по сайту (хлебных крошек) может вылиться в серьезную проблему, если её вовремя не исправить. Нюанс заключается в последнем разделе из цепочки, который не должен быть кликабельным. Если оставить последний элемент пути с ссылкой на текущий раздел, то у сайта появляется циклическая ссылка, сильно расходующая лимиты робота на переобход. Данная проблема характерна для сторонних SEO-плагинов и бесплатных систем управления.
Краулинговый бюджет молодого сайта
Как же обстоит ситуация с краулинговым бюджетом у недавно созданного веб-сайта? За молодыми сайтами пристально следят поисковые системы. Первоначально новым ресурсам выделяется довольно небольшое количество лимитов на переобход. Это делается поисковой системой умышленно, чтобы определить качество площадки и количество контента. При повторных заходах робот фиксирует изменения и если на сайте ведутся активные работы по наполнению (появляются новые страницы, заполняются пустые разделы), то квота постепенно увеличивается. Именно поэтому очень важно, чтобы сайт не висел пустым и постоянно обновлялся.
