Чем больше страниц сайта проиндексировано, тем больше трафика получит владелец веб-сайта. Стараясь дать поисковым системам как можно больше url для индексации, вебмастера вспоминают, что далеко не все страницы ресурса должны быть в индексе только тогда, когда они там уже появились. Как удалить такую страницу из поисковых систем, какие страницы не нужно индексировать и как правильно их скрыть от поисковиков, мы расскажем в сегодняшней статье.
Какие страницы следует скрывать от поисковых систем
Любой ресурс имеет два типа страниц: контентные (к ним относятся как обычные страницы с текстом, так и разделы с товарами/услугами) и технические (страницы результатов поиска, промежуточные страницы фильтров, страницы статусов отправки сообщений и ряд других).
Контентные страницы, как правило, полностью открыты для индексации, за исключением только тех разделов, по которым не будет целевого трафика (политики конфиденциальности, договор оферты, информация про обработку персональных данных). Технические страницы обязательно нужно скрывать по ряду причин:
-
Во избежание появления ненужных копий url
-
Улучшения поведенческих факторов(хостовые факторы)
-
Защита от выгрузки и парсинга данных (базы адресов и телефонов клиентов)
Как найти ненужные страницы?
Если на вашем ресурсе не более 30-50 страниц, то можно выгрузить и посмотреть все url через динамическую карту сайта (sitemap.xml). В случае, когда страниц больше, нужно будет проводить анализ вручную. Вот несколько советов, как это правильно сделать:
Найдите все модули, которые отправляют обращение на веб-сайт. Как правило, это формы обратной связи, отбивки сообщений с текстом (если они открываются на новой странице), результаты поиска по сайту, фильтр по каталогу, форма заказа товара;
Совет. Страницы, отправляющие запросы имеют такой вид:
/search/?query=
/search_result.php?p_f_1_title=
/feedback/?f_id=1077
Найдите все страницы из буфера обмена. На сайтах с каталогом товаров часто содержат функции сравнить, отложить, добавить в избранное. Все эти опции имеют свои урл, которые также нужно найти. Учтите, такие страницы могут быть доступны как в обычном (открытом) режиме, так и после авторизации на сайте.
Совет. Страницы из буфера обмена веб-сайта выглядят так:/search/?view=seen/view=favorite/goto/?view=sravnenie
Найдите скрытые url, доступные при авторизации. Если пользователь не видит страницу, доступныую только при авторизации в личном кабинете, это не значит, что её не увидит поисковик. Вам необходимо выписать все такие страницы.
Совет. Страницы со скрытой личной информацией выглядят так:/signup/?email_confirmed=1/my/orders//my/profile/
Найдите все страницы «входа» на сайт, в систему управления, в личный кабинет. Часть страниц можно найти сразу (страницы входа в личный кабинет, страница восстановления пароля, регистрация), другие url появляются после совершения определённого действия (подтверждение е-мейла при регистрации, ввод логина/пароля).
Совет. Технические страница сайта имеют такой вид:
/cabinet/login/
/wp-admin/
/cms/admin/
Как удалить страницы из поисковой выдачи
Есть несколько проверенных способов удаления url из индекса. Учтите, что мгновенно страница не пропадет, на это могут уйти недели и даже месяцы, поэтому, лучше сразу применять эти правила на этапе разработки своего ресурса.
Способ 1. Использование директивы «disallow»
Директива прописывается в файле robots.txt (файле который в первую очередь видит поисковой робот при входе на сайт). Данная директива может применяться как к отдельным url’ам, так и к целым разделам.
Обратите внимание, что директива «disallow» может игнорироваться поисковыми системами, если на скрытой странице есть ссылки, или на эту страницу ссылаются другие веб-сайты.
Способ 2. Использование директив «noindex, nofollow»
Эти директивы долгое время также прописывалась в файле robots.txt, однако, после обновления протокола «robots exclusion» добавлять их нужно в код сайта через соответствующие метатеги <noindex> и rel=«nofollow»
Обратите внимание, что <noindex> скрывает текст, а не сам url, когда <nofollow> закрывает от индексации именно ссылку. Использовать эти теги нужно вместе.
Способ 3. Удаление ссылок через панель вебмастеров
В панели Yandex Webmaster и Google Search Console есть отдельные разделы, в которых можно указать поисковой системе, какие url необходимо вывести из индекса. Просто укажите полные урл, которые вы хотите скрыть.
Обратите внимание, что данный способ ускоряет удаление из индекса, но само удаление ссылок временное и через некоторое время url снова может появиться в выдаче, если страница ещё существует и к ней не применены соответствующие атрибуты закрытия от индексации.
Способ 4. Коды ответа сервера 404 и 410
Ещё один способ скрытия индексации страницы, - это установка кода ответа сервера «410» и «404». Оба этих кода дают сигнал поисковой системе, что страницы не существует: 410 говорит об удалении страницы, а 404 о том, что она не найдена.
Обратите внимание, что этот способ не приветствуется оптимизаторами, так как большое количество страниц с кодами 4** негативно влияет на поисковое продвижение сайта.
Вывод
Удаляя ненужные и технические страницы из индекса, мы улучшаем релевантность сайта, что положительно отмечается поисковыми системами. Кроме того, убирая мусорные страницы, мы повышаем показатель поведенческих факторов, что приведет к росту позиций ресурса в поисковой выдачи.
