Успей получить мощнейшую SEO технику в 2024 году бесплатно. Получить

2.03.2016

7 312

7

Рейтинг статьи:
Одна звездаДве звездыТри звездыЧетыре звездыПять звезд (1 оценок, среднее: 5,00 из 5)
Загрузка...

Роботс и Гугл

Содержание
Нужна помощь в продвижении сайта?

Попробуй изучить SEO самостоятельно. Переходи по ссылке и получи бесплатный цикл из четырёх уроков "ВЕКТОР SEO" (ссылка работает через Telegram-бота).

Роботс и ГуглХотел бы сделать особый акцент на отношении Гугл к классическому robots txt. Особую актуальность данная информация принимает ввиду того, что очень далеко не все знают как же на самом деле Гугл относится к роботс, а ведь засорение индекса лишними страницами губительно сказывается на SEO и это ни для кого не секрет. Про борьбу с дублями и лишними страницами в индексе я постоянно пишу в рамках данного блога, но сегодня будет освещена именно тема того, как спрятать от Гугла нежелательные для индексации страницы, ведь он, падла такая, даже и смотреть не хочет на содержимое стандартного тега роботс. И многие из вас уже могли замечать данный факт! Вроде бы все нежелательные страницы закрыты, но Гугл их все равно индексирует. Да уж, за Гугл есть такое грешок, более того, иногда, видимо от скуки он может просто пройтись по содержимому вашей папки на сервере и найти там такое… О чем вы и сами могли не знать;)

Ведь контент — пища для поисковых систем. Не будет контента,  не будет и поисковиков, а Гугл, как мне кажется, вечно голоден.

 

Robots txt для Гугл

 

Итак, вопрос — как же Гугл относится к файлу Robots txt? Да никак он к нему не относится! Есть он , нет его — без разницы совершенно — слушать его данный поисковик не собирается и точка!

Думаю, многие из вас уже неоднократно замечали, что у сайта вроде бы правильно настроен роботс и в индексе Яндекс только нужные страницы, а вот в индексе Гугл все подряд. Стоит сказать, что данную картину я наблюдаю у 70% сайтов. Так вот, все дело именно в отношении поисковика к данной Директиве.

 

Как же все-таки прятать страницы от Гугл

 

Но закрывать страницы от индексации надо и это неоспоримый факт. Ниже приведу способы закрытия страниц от Гугл:

 

  1. Canonical для страниц сортировок и пагинаций
  2. meta Robots для закрытия отдельно взятых страниц
  3. X-Robots tag для закрытия на уровне http запроса
  4. Через панель вебмастеров Гугл

 

Без излишнего усложнения ситуации скажу, что лучше всего использовать мета тег Robots как для Яндекс, так и для Гугл и связано это именно с работой индексатора поисковой системы. В классическом виде — робот вначале индексирует страницу (Яндекс), а только потом смотрит в robots txt и если данная страница там присутствует, то выкидывает ее из индекса, но все это растягивается во времени. Тоесть не нужная вам страница может некоторое время находиться в выдаче как Яндекс, так и Гугл. При наличии же мета тега — во время обхода страницы поисковику сразу будет дан явный сигнал о том, что индексировать ее не надо!

 

Узнайте о преимуществах продвижения сайтов у меня

Узнать подробнее

Заключение

 

Пост получился совсем небольшим, зато тут я наглядно разобрал очень насущную проблему, ведь все мы знаем, что засорение индекса поисковой системы дублями и нежелательными страницами неизбежно приводит к ухудшению ранжирования сайта. Более того — использование мета роботс оправдано и для Яндекс.

Получи мощнейшую
SEO технику в 2024
бесплатно

Получить технику

Оставь свой комментарий о статье

Комментарии к записи:

  1. Я пока что в этом ничего не понимаю, ну буду разбираться. Спасибо за статью. Теперь буду знать, что гугл файл роботс особо не празднует. =-O

  2. закрыл от гугля в .htaccess доступ к папкам где нет файла index. Теперь гугл пишет мне ошибку «На сайте стало значительно больше URL, к которым нет свободного доступа. Они переадресуют на страницу ввода учетных данных или возвращают код 403 (доступ запрещен).» Что можно сделать?

    • Ну просто страницы ранее попали в индекс, а теперь Гугл при попытке запроса к ним получает отказ — вот и ошибки. Если все так, как описал я, то ничего страшного в этом нет и в скором времени страницы отвалятся из индекса, а ошибки пропадут!

  3. Запрещающие директивы в robots.txt Гуглу до лампочки и он может индексировать закрытые страницы, зато требует явно открыть для индексации скрипты и стили. Типа тут его эти запреты останавливают)

  4. Здравствуйте. Я не особый специалист и к тому же обзавелась странной проблемой. Боюсь все испортить, по этому хочу прежде спросить. Есть у меня сайт, к нему субдомен, который я пытаюсь продвигать. И вот гуглвэбмастер обнаруживает на субдомене кучу не найденных страниц. Не знаю как, но к любым url от субдомена в конце просто добавился адрес главного сайта.

  5. Здравствуйте. Я не особый специалист и к тому же обзавелась странной проблемой. Боюсь все испортить, по этому хочу прежде спросить. Есть у меня сайт, к нему субдомен, который я пытаюсь продвигать. И вот гуглвэбмастер обнаруживает на субдомене кучу не найденных страниц. Не знаю как, но к любым url от субдомена в конце просто добавился адрес главного сайта.

Отправляя свои данные через эту форму, я соглашаюсь с политикой обработки персональных данных

Видео

Исключительно для моих подписчиков доступен бесплатный мини-курс на основе SEO подходов эффективных в 2024 году

НАЖИМАЙ НА КНОПКУ НИЖЕ И ПОПАДЁШЬ В TELEGRAM-БОТА КОТОРЫЙ ВЫДАСТ ТЕБЕ УРОКИ
ПОДПИШИСЬ НА СВЕЖИЕ SEO СТАТЬИ

Отправляя данную форму, я соглашаюсь с политикой обработки персональных данных