Как получить УРЛы сайта бесплатно
Спарсить урлы сайта можно многими способами, например, при помощи проги Xenu. Но эта программа выдает очень много лишнего - не только актуальные страницы сайта, но и УРЛ изображений, скриншотов, видео, исходящие ссылки с сайта и пр. Этот список долго сортировать. Поэтому можно пойти другим путем.
Вариант 1. Онлайн-сервис xml-sitemaps.com (до 500 страниц бесплатно)Если у Вас небольшой сайт (до 500 страниц), заходим на этот замечательный сервис
ссылка, вводим УРЛ сайта и жмем кнопку НАЧАЛО:
В результате получаем полноценную карту сайта, которую можем скачать и загрузить в Вебмастера Яндекса и Гугла:
Но нас в этой теме сегодня интересует не карта сайта XML, а список УРЛ, копируем и скачиваем его прямо отсюда в блокнот в формате txt:
На этом все. Список УРЛов готов для дальнейшего использования.
Вопрос. А что делать, если на сайте намного больше страниц, чем 500?
Ответ. Для этого можно скачать платную десктопную программу (стоимостью 20 долларов США)
ссылка, позволяющую создавать карту сайта и список УРЛов для неограниченного количества страниц.
Вариант 2. Десктопная программа wonderwebware.com/sitemap-generator/ - генератор карты сайта и УРЛовЗаходим сюда
ссылка и скачиваем десктопную программу - Генератор карты сайта wonderwebware.com/sitemap-generator
Запускаем Программу. Вводим УРЛ сайта и жмем кнопку СТАРТ, получаем все УРЛ сайта.
Переходим на вкладку Yahoo и копируем все УРЛ в буфер обмена нажатием клавиши Copy to Clipboard:
После этого вставляем содержимое в блокнот. Вуаля, наш список УРЛов сайта готов для дальнейшего использования. Например, для изучения всех тегов и заголовков сайта с целью их корректировки, об этом я пишу в этом посте
ссылка.
Вариант 2 мне понравился больше, чем 1-й