Год назад выложил свой магазин и зарегил его в вебмастере, консоли и т.д.
Спустя пару дней решил пару url разделов "подправить". У сайта есть сайтмап, где исключительно корректные (текущие) ссылки, ссылок на старые url-ы со сторонних ресурсов не было и нет.
В январе перевел на https, все удачно склеилось и теперь стоит 301 редирект на https.
Тем не менее постоянно в логах вижу, что яндекс упорно долбит эти адреса и постоянно получает по ним 404.
Когда же он поймет, что страница не найдена и ее уже не будет никогда? Может какой-нибудь редирект сделать?
Ссылок нет, а он все помнит. В принципе эти обращения "отвлекают" при анализе логов.
А гугл пошел еще дальше в этом вопросе - все тоже самое, плюс в консоли, в разделе ошибки сканирования показывает следующее:
мойдомен/страница другого домена на этом же сервере
физически на сервере 3 хоста:
1)независимый сайт
2)мой магаз
3)суб домен моего магаза.
Все хосты на разных IP (https).
Когда выложил год назад сайт то гугл сделал все как описано выше. Потом эти ошибки пропали. После перехода на https и создания в консоли отдельного ресурса все началось по новой. В гугл писал - ушло как в спортлото...
В чем можем быть проблема? На "серче" проскакивало такое, но осталось без ответов.
П.С. Кстати, когда добавляем (загружаем) новый товар, то для него создаем скрытый раздел, чтобы все подправить и потом перевести товар в соответствующий раздел каталога. Иногда возникает необходимость просмотра страницы товара в "дизайне" (внешке).
Спустя пару минут вижу что и яндекс и гугл пытаются сканировать эту страницу. Подозреваю, что это скорей всего счетчики палят ее.