Редко скачиваю десктопные программы для работы, предпочитаю он-лайн сервисы, но мимо этой пройти не смог - скачал и Вам рекомендую. Вот сайт этой очень полезной программы ссылка. Кроме большого удобного функционала, понравилось то, что скачивая с помощью проги параметры даже больших сайтов в десятки тысяч страниц, совсем не требуется вводить капчу, т.е. программа реально бесплатна, без недомолвок и условно бесплатных рекламных ухищрений.


Вот что написано на сайте программы об ее предназначении и основных функциях.

Если вы разработчик, дизайнер-фрилансер или дизайн агентство, инструмент WildShark SEO паук  может стать бесценным дополнением к инструментам разработки. Он может определить ошибки сканирования, выделить дубликаты , которые появляются на сайте, и не только улучшить результаты SEO, но и повысить эффективность работы пользователей. Опыт пользователя (UX - юзабилити) должен быть жизненно важным компонентом любого разрабатываемого проекта.
 
Улучшение юзабилити напрямую ведет к улучшению конверсии, может улучшить сворейтинг в поисковых системах, и может привести к повышению доходов и прибыли.
 
Установите WildShark SEO Спайдер Tool, введите URL-адрес веб-сайта, который вы хотите сканировать и анализировать, и нажмите кнопку Пуск. Инструмент паук сайта будет работать с сайтами любого размера, и он будет отображать список ошибок, которые присутствуют на этом сайте. Информация отображается в простом формате, так что вам не нужно быть SEO-шником или программистом, чтобы понять это.
 
Справа на экране вам будет представлен список возможных ошибок. Если категория отображается красным цветом, это означает, что есть ошибки на вашей странице. Если он показывает зеленый цвет, то сайт свободен от этого конкретного типа ошибки. Работайте по списку ошибок и исправляйте их с целью улучшения сайта.

Продолжение следует завтра - продемонстрирую работу сео-паука на конкретном сайте