Индексируем сайт правильно или что должен знать поисковик

Не обо всех страницах сайта нужно знать поисковым роботам. В этой статье расскажу, что скрывать и как это делать правильно, чтобы положительно влиять на SEO-продвижение сайта.

Какие страницы нужно скрыть

• Страницы с авторизацией в личном кабинете и корзиной.
• Служебные страницы (например, благодарность за отправку формы).
• Результаты поиска по сайту.
• Страницы, предназначенные для печати.
• Страницы в разработке.

Как скрыть страницы

1. Пропишите запрет на индексацию в файле robots.txt.

Добавьте специальные строки с указанием, что не нужно индексировать. Кстати, в этом файле можно указать даже то, какая поисковая система не должна видеть указанные элементы. Давайте разберем подробнее с примерами.

Файл robots.txt можно найти в корневой папке вашего сайта. А если он отсутствует, сохранить на компьютере пустой текстовый файл под названием robots.txt и загрузить его на хостинг. Или воспользоваться плагинами или возможностями вашей CMS.

1. Откройте файл robots.txt.
2. Добавьте в начало нужные строки.

– Чтобы закрыть сайт во всех поисковых системах (действует для всех поисковых роботов):

User-agent: *

Disallow: /

– Чтобы закрыть от индексации для всех поисковиков, кроме одного (например, Google)

User-agent: *

Disallow: /

User agent: Googlebot
Allow: /

– Чтобы запретить индексацию в конкретной поисковой системе (например, в Яндекс):

User-agent: Yandex

Disallow: /

3. Сохраните изменения в robots.txt. Готово. Ресурс пропадет из поисковой выдачи выбранных ПС.

2. Укажите директиву noindex в HTML-коде сайта.

Пропишите специальный meta-тег в разделе head страницы, чтобы указать на запрет индексации. При этом в файле robots.txt эту страницу уже не нужно указывать.

3. Добавьте специальный код в файл .htaccess.

Пропишите специальную команду в конфигурационным файле .htaccess, расположенном на сервере. В этом вам поможет инструкция.

Откройте файл .htaccess в каталоге сайта. В случае отсутствия вы также можете создать его.

В .htaccess добавьте строку:

SetEnvIfNoCase User-Agent "Name_of_bot" bad_bot

где на место Name_of_bot подставлен юзер-агент из Подробной статистики.

Таким образом вы укажете серверу, что данные обращения поступают от «плохого бота». Далее задайте правило доступа к вашему сайту, заблокировав плохого бота:

<Limit GET POST HEAD> 
Order Allow,Deny 
Allow from all
Deny from env=bad_bot
</Limit>

Сохраните изменения.

4. Запретите индексацию страницы в админ-панели.

Используйте встроенный функционал своей CMS или плагины, чтобы скрыть страницы от индексации.