Продвижение больших сайтов в поисковых системах требует учета ряда важных моментов, необходимых для успешной поисковой оптимизации и роста позиций в органической выдаче поисковой системы.

Какие сайты называются большими?

Обычно большими считаются сайты с количеством уникальных страниц от 5 000.

Часто встречаемые типы больших сайтов: информационные, новостные, сервисы с базой знаний.

Основная цель продвижения большого сайта заключается в привлечении трафика из органической выдачи поисковой системы.

При использовании модели продвижения по трафику необходимо определить ключевые фразы с высокой частотностью, которые принесут наибольший объем трафика. Помимо оценки частотности, по каждому из запросов следует также проанализировать конкурентность в органической выдаче поисковой системы.

Большие сайты обычно уже обладают огромным по объему трафиком и позициями в топе по множеству ключевых фраз. Любые правки должны быть согласованы. Результаты должны быть проанализированы.

Пример цикла выполнения работ по реализации продвижения большого сайта.


Цикл примитивный, но соблюдать алгоритм согласования важно, поскольку на большом сайте любые изменения в поисковой оптимизации могут оказать влияние на огромный объем трафика.

По большим сайтам с точки зрения организации важно следующее:


1. Выполняйте задачи по очереди. Структурируйте задачи, разбивайте на этапы по приоритету и действуйте по намеченному плану. Сложно охватить все сразу;

2. При выполнении комплекса мер по поисковой оптимизации для большого сайта исходите из долгосрочных целей. Помимо текущей срочной оптимизации, выполняйте работы по созданию новых кластеров, контролируйте работы по разработке адаптивной версии сайта и проверяйте результаты;

3. Используйте данные из системы аналитики, поскольку на основе большого объема данных можно делать правильные выводы о трафике для расстановки приоритетов в списке задач по поисковой оптимизации. Например, если большинство пользователей открывает сайт на мобильных устройствах, то адаптивность сайта будет приоритетной задачей;

4. Большой объем страниц и авторитет сайта открывает дополнительные возможности по поисковой оптимизации. Используйте дополнительные возможности больших сайтов.

Основные направления работ при продвижении больших сайтов:

Использование дополнительных возможностей по продвижению, которые свойственны большим сайтам;

Внутренняя оптимизация;

Оптимизация внешнего ссылочного профиля.

По причине большого объема страниц и авторитетности, при продвижении больших сайтов есть ряд особенностей. Далее примеры дополнительных возможностей, которые открыты ввиду специфики больших сайтов.

К дополнительным возможностям больших сайтов относятся:

Тегирование;
Оптимизация статического веса посредством перелинковки.
Использование агрегаторов поисковых систем;
Оптимизация сайта под информационные поводы;
Индексация всех страниц сайта.

Внутренняя оптимизация

На этапе начала работ по внутренней оптимизации сайта поисковый оптимизатор проводит сбор информации, анализирует полученные данные, выявляет проблемы и разрабатывает план работ по улучшению сайта.

Список задач по внутренней оптимизации состоит из множества составляющих. К примеру, базовый список задач:

Оптимизация редиректов;
Оптимизация дублей с использованием rel canonical;
Оптимизация rel alternate;
robots.txt;
Оптимизация sitemap.xml
HTML карта сайта;
URL;
404 страница;
Настройка noindex;
Скорость загрузки;
Мета-теги Title;
Мета-теги Description;
Теги alt;
Теги заголовков h;
Кодировка документов;
Ошибки по панели Google;
Ошибки по панели Yandex;
Ошибки в верстке сайта;
Ошибки по панели Bing;
Устранение из индекса копий страниц;
Микроформаты.

Обычно ресурсы, направленные на выполнение комплекса мер по поисковой оптимизации, ограничены, и среди задач есть важные и менее важные.

Исходя из ограничений по ресурсам, в список задач поискового оптимизатора входит и работа по расстановке приоритетов.

К примеру, если поисковый оптимизатор выгрузил адреса всех страниц сайта, провел проверку на индексацию и обнаружил, что множество страниц не проиндексированы, то задача по добавлению документов в индекс поисковой системы является приоритетной.

Добавление в индекс можно провести используя разные методы. Например, добавить страницу в индекс поисковой системы можно следующими способами:

Создать блок перелинковки на страницах второго уровня вложенности с целью публикации ссылок на непроиндексированные актуальные документы;

Добавить в sitemap.xml список из непроиндексированных страниц, обновив для страниц значение в параметре lastmod. Пока страницы сайта не будут проиндексированы, важно удалить из карты список других документов.

Добавленные в индекс поисковой системы документы могут приносить дополнительный трафик на продвигаемый сайт по причине хостовых факторов.

Помимо индексации страниц сайта, перелинковка на большом сайте может быть использована и для продвижения основных страниц за счет оптимизации статического веса, передаваемого по ссылкам.

Перелинковка

Большой сайт обладает огромным количеством страниц с близким к уникальному или уникальным содержанием. Поисковый оптимизатор может использовать большое количество страниц для организации передачи веса на основные продвигаемые страницы. Для передачи веса достаточно использовать перелинковку.

Каждая ссылка передает статический и анкорный вес. Используя большой набор страниц можно сделать перелинковку с большим анкор-листом для продвижения основных страниц категорий и страниц, созданных под информационные всплески.

Блок перелинковки должен быть оформлен в формате рекомендательного блока.

В блоке перелинковки должны находиться:

Текст ссылок;
Краткое описание страниц в виде текста;
Изображения.

После реализации перелинковки стоит провести проверку результата. Для проверки достаточно рассчитать вес каждого документа сайта, проведя полное сканирование всего сайта.

Подобный отчет можно получить из сервиса, который предназначен для аудита сайта.

Ссылка на сервис — Аудит - ссылка

Сервис бесплатный, если сканирование проводится для 500 страниц.

Микроформаты

Для увеличения количества переходов из органической выдачи поисковой системы рекомендуется использовать микроформаты.

Использование микроформатов позволяет вывести больше информации в поисковой выдаче и привлечь больше внимания к ссылкам на сайт, оказывая влияние на привлекаемый объем трафика.

В списке комплекса мер по внутренней поисковой оптимизации есть и задача по страницам копиям.

Копии надо либо удалить, либо посредством rel=canonical указать на всех подобных страницах ссылку на основной документ.

Следует привести важное замечание о том, что для дубликатов подобные действия предпринимать не нужно.

Чем отличается дубликат от копии

Google различает дубликаты (duplicate) и копии (copy) контента.

Сайты со страницами копиями подвергаются санкциям со стороны поисковых систем.

К скопированному контенту относятся все виды контента с уникализацией, например:

Spinning content;
Контент с заменой слов (если заменить в тексте слово "найти" на "поиск", то контент останется копией);
Контент содержащий набор копий из разных источников;
Сайты копирующие контент с динамических страниц.

Сайты со страницами дубликатами не подвергаются санкциями со стороны поисковой системы и даже могут ранжироваться выше за оригинал.

Дубликатом считается скопированный контент, но с добавочной ценностью.

Google рекомендует не использовать boilerplate-текст.

Boilerplate — любой текст, который повторно используется в новых контекстах без существенного отличия от оригинала. Например, если продается iPhone в разных цветах, не стоит создавать страницы для каждого варианта цветового решения. Стоит создать одну страницу с опцией выбора цвета, без смены адреса страницы.

Если на сайте были подобные страницы ранее, то после создания основной страницы рекомендуется настроить rel=canonical или 301-ый редирект с подмножества предыдущих.

Не стоит закрывать подобный от индексации контент через директиву robots.

Если создать один документ сложно ввиду особенностей системы управления сайтом, например если нет возможности добавить фильтрацию по цвету для iPhone без смены адреса страницы, то в целях поисковой оптимизации рекомендуется использование rel=canonical.

Семантическое ядро

При работе с семантическим ядром есть ряд типичных задач. К примеру, часто на больших сайтах есть проблема с тем, что под один запрос создано множество страниц.

Поисковый оптимизатор должен провести сбор подобных страниц, составить группы запросов и организовать работы по согласованию семантического ядра.

Провести группировку запросов на больших объемах сложно и долго. Эффективным решением по разбивке запросов на группы является автоматическая кластеризация семантического ядра по органической выдаче поисковой системы.

Подобные задачи в автоматическом режиме решают специальные сервисы. Например, можно использовать MegaIndex.

Ссылка на сервис — Подбор и кластеризация запросов ссылка

После завершения комплекса мер по группировке семантического ядра следует перейти к задаче по расширению ядра.

Потенциал по увеличению трафика находится в увеличении трафика по низкочастотным запросам.

Доля объема трафика по низкочастотным запросам может быть больше за суммарный объем трафика по высокочастотным и среднечастотным запросам.

Обычно низкочастотные запросы являются низкоконкурентными.

Итак, при оптимизации большого сайта, среди прочего, комплекс мер поискового оптимизатора заключается в создании задач по эффективному продвижению низкочастотных запросов.

Основные задачи:

Сбор низкочастотных ключевых фраз на основе тематики сайта и реального спроса на рынке для расширения семантического ядра;
Отсев ключевых фраз, по которым из поисковой выдачи возможен минимальный трафик. К примеру, частотность менее 10;
Разработка технического задания по созданию документов под низкочастотные запросы.

Примеры рекомендованных маркеров для поиска ключевых фраз, при сборе низкочастотных запросов с целью расширения семантического ядра продвигаемого сайта:

Как;
Где;
Почему.

Приоритизация ключевых фраз в списке происходит на основе следующих данных:

Конкуренция в органической выдачи поисковой системы;
Объем потенциального трафика.

В список работ поискового оптимизатора входит не только работы по оптимизации текущих документов сайта, но и мониторинг трендов.

Поисковый оптимизатор находит тренды, сезонные всплески. Далее важно заранее начать работы по продвижению.

При расчете приоритетов для ключевых фраз из семантического ядра следует использовать ряд параметров. Примеры параметров:

Количество показов для ключевой фразы в месяц. Параметр используется для оценки объема трафика;
Стоимость перехода по рекламному объявлению. Параметр используется для оценки конкуренции;
Количество коммерческих сайтов в топе. Количество определяется для проверки поисковой выдачи на соответствие типа сайта. Например, если информационные сайты в поисковой выдаче отсутствуют, то продвигать информационный сайт по исследуемому запросу нет смысла в принципе;
Геозависимость;
Сезонность;
Тематика. Определяется для проверки интента.

Подобная проверка проводится посредством анализа выдачи поисковой системы.

Есть готовые инструменты для проведения подобного анализа. К примеру, в MegaIndex есть сервис для классификации запросов.

Ссылка на сервис — Классификация запросов - ссылка


Провести анализ по ключевым фразам можно используя API. Полный список методов API от MegaIndex по ссылке далее — ссылка

Для анализа ключевой фразы следует использовать метод под названием visrep/get_ser, описание метода по ссылке далее — ссылка

Пример запроса к API для ключевой фразы smm news ссылка

ссылка{ключ_API}&word=smm+news&ser_id=1

Пример ответа на запрос:



Оптимизация сайта под информационные поводы

Характерной особенностью при продвижении больших сайтов является отслеживание трендов, информационных всплесков. Часто информационные всплески являются прогнозируемыми.

Специалист по продвижению может проводить оптимизацию сайта под информационные поводы путем использования внутренней и внешней поисковой оптимизации сайта. К примеру, поисковый оптимизатор может выполнять следующий комплекс задач:

Проводить агрегацию ленты постов, используя rel=canonical;
Оптимизировать внешний ссылочный профиль для страницы с описанием всплеска;
Оптимизировать поисковые подсказки. Пример сервиса — В Подсказке;
Оптимизировать социальные ссылки. Пример сервиса — GetSocial.

Виджет

Поисковый оптимизатор может провести работы по созданию технического задания на разработку интерактивного виджета информера, который мог бы быть встроен на сторонние сайты, к примеру:

Рейтинг банков;
Курс валют;
Календари событий.

Используя виджеты, на сайт можно привлекать дополнительный трафик и улучшать поведенческие факторы.

Агрегаторы

При продвижении больших сайтов есть ряд особенностей, в частности — эксплуатация агрегаторов поисковых систем.

Если на сайте ежедневно размещается от 10 новостей и более, сайт может использовать агрегаторы поисковых систем.

Агрегаторы:

Google.Новости. Как отправить запрос на добавление в Google ссылка
Yandex.Новости ссылка

Сервисы от Google и Yandex являются бесплатными.

Преимущество использования агрегатора от Google в том, что поисковая система позволяет привлекать трафик из предустановленного браузера Google Chrome на смартфонах.

Итак, при продвижении больших сайтов поисковые оптимизаторы могут использовать специальные сервисы от поисковых систем.

Основная цель добавления проекта в новостные агрегаторы поисковых систем заключается в привлечении трафика, оказывающего влияние на поведенческие факторы.

Есть гипотеза, что попадание сайта в агрегатор от поисковой системы добавляет авторитет всему сайту, улучшая хостовые факторы сайта. Однако, эксперименты не проводились.

Внешние ссылки

Комплекс мер по оптимизации внешнего ссылочного профиля с большими сайтами проводить не сложно.

Как пример, поисковый оптимизатор может использовать авторитет и объем сайта для привлечения трафика из агрегаторов поисковых систем.

Новые трендовые материалы могут продвигаться также за счет закупки ссылок с тематических площадок.

Санкции от поисковых систем в данном случае наложены не будут, так как доля покупных ссылок будет не высокой.

Для роста позиций сайта покупать следует именно арендные ссылки и в случае, если тема является трендом.

Основная и единственная цель закупки ссылок в данном случае заключается в оптимизации страниц сайта для попадания в событийный блок поисковой системы.

Есть и дополнительные преимущества от вывода страниц трендов в событийный блок, расположенный в топе органической выдачи поисковой системы.

Часто ленты новостных агрегаторов и поисковой выдачи от поисковых систем находятся под мониторингом авторов разных сайтов, что приводит к дальнейшему цитированию контента и бесплатному размещению естественных внешних ссылок на продвигаемый сайт.

Тегирование

На больших сайтах обычно есть огромное количество документов. Часто массивы документов могут быть объединены в группы по тематике.

К примеру, на сайте есть множество документов с новостями про различные социальные сети. Обычно подобные документы объединены одной общей тематической страницей, например в категорию smm news.

Но, под каждую социальную сеть можно создать отдельную страницу. Создавать страницы следует в случае наличия спроса.

Для примера, на продвигаемом сайте можно было бы создать страницы facebook news, twitter news, vk news, youtube news и linkedin news.

Итак, поисковый оптимизатор может увеличить трафик на большом сайте посредством тегирования.

Достаточно выполнить следующий комплекс работ:

Определить на сайте тематические группы документов;
На основе выбранных тематических групп, для каждой группы создать общий список ключевых фраз;
Дополнить список ключевых фраз путем парсинга подсказок из поисковой выдачи;
Создать семантические кластеры;
Провести парсинг данных о популярности ключевых фраз;
Рассчитать популярность кластера;
Провести анализ конкурентности в органической выдаче поисковой системы;
Создать и оптимизировать посадочные страницы.

Результат

Возврат от инвестиций в виде роста позиций сайта и, как следствие, привлечении трафика обычно наступает через три месяца после выполнения комплекса мер по поисковой оптимизации.



После проведения комплекса мер по перелинковке, замеры по динамике позиций в органической выдаче поисковой системы необходимо проводить для документов с наибольшим статическим весом.

После проведения комплекса мер по тегированию, следует проводить замеры по динамике позиций и привлекаемому трафику. Если страницы привлекают мало трафика по причине понижения частотности, страницы следует исключить из индексации посредством robots.txt.

Конкуренты могут провести анализ выполненных поисковым оптимизатором работ и скопировать лучшие практики. Анализ большого сайта задача затратная по труду, поэтому используются специальные системы сканирования, анализ проводится через сервисы, к примеру через такие как: MegaIndex или SEMrush.

Рекомендуется провести комплекс мер по закрытию сайта от сканирования подобными сервисами. Директивы в robots.txt являются простыми рекомендациями, поэтому не гарантируют защиту. Запрет на индексацию сайта подобными сервисами должен быть установлен на уровне сервера. Пример скрипта для закрытия индексации сайта сервисами конкурентной разведки размещен на сайте indexoid.

Мнения экспертов



При продвижении больших проектов (от 10 000 URL и более) — допускается ещё больше ошибок, чем при продвижении небольших и средних сайтов (спасибо, кэп, скажу я сам себе)!

В то же время, тут есть ряд фундаментальных отличий, на который стоит обратить внимание:

1. Семантика крупного проекта обязательно должна быть разбита на типы и группы с привязкой к URL в системе контроля позиций и трафика.
Только такой подход способен оставить возможности для мощной пост-апдейтной аналитике — post update и понимать, что происходит с проектом.

2. Семантика должна быть репрезентативной.
Это значит, что в системе контроля должны быть заведены все фразы, которые генерируют значимый трафик на сайт.

Иначе — видимость может расти, а поисковый трафик падать и наоборот.

Фактически, это приводит ведение проекта в полный хаос, когда SEO-специалист не имеет шансов понять, почему проект просел по трафику.
Следствие это сезонности или тут другие причины? На это направлены отдельные системы ведения проектов, к которым можно отнести и Пиксель Тулс.

3. К числу анализируемых KPI рекомендуется добавить:

количество точек входа на сайт
разбивку точек входа органического трафика по типу: карточки, листинги, теги,… и отдельная аналитика по каждому типу
полноту индексации
техническое состояние: скорость, битые ссылки,…

4. Оптимизация скорости загрузки контента и полноты индексации.
Если проект действительно большой, то отдельные работы должны быть направлены на настройку ответа на запрос «if-modified-since» (заголовок Last-Modified должен отдавать корректную дату последнего изменения + 304 код ответа, если документ не изменился с даты).

Так же, здесь следует уделить особое внимание оптимизации скорости отдачи для краулеров поисковых систем и удалению из индекса технического мусора.
Полнота индексации — часто выходит на первый план, а даже первичный анализ выявляет больше число мусорных страниц в индексе, которые расходуют краулинговый бюджет.

5. Отсутствие тестирования гипотез.
Если у вас много семантики, много шаблонов, много данных, то важно тестировать гипотезы, а не вносить все изменения наугад.

Проверяйте нововведения на части сайта, тестируйте гипотезы! Часто, один проведенный на сайте эксперимент дает больше информации трафика, чем большая и скурпулёзная работа!



1. При работе с большими сайтами очень важно следить за техническим состоянием сайта и регулярно сканировать его на предмет возможных проблем с полнотой индексации, битых ссылок, ответа сервера, скорости загрузки и т.д. Полезно изучать логи на предмет краулингового бюджета, чтобы быстро определять проблемы с индексацией.

2. У меня при продвижении крупных проектов хорошо работает анализ поисковой видимости основных разделов сайта. Например, каждую неделю снимаю видимость каждого раздела site.com/category1, site.com/category2 и так далее. Это можно сделать на сервисах megaindex, ahrefs и serpstat. Такой мониторинг позволяет оперативно определять проблемы с какой-либо категорией на сайте.



Особенность продвижения больших проектов — больший объем работы которую нужно выполнить для достижения результата и инерционность видимых результатов. Большой проект сложно или почти невозможно продвигать одному оптимизатору, ввиду того что объем работ, велик и если делать многие детали проекта последовательно, к некоторому моменту может оказаться что необходимо начинать все сначала, а еще не выполнена предыдущая итерация всех работ. В случае большого проекта очень важно на ранней стадии провести детальную аналитику всех аспектов проекта: движок, контент, индексация, версия движка, хостинг, ссылочный профиль, динамика появления новых материалов и так далее. При этом не менее важны человеческие факторы — кто принимает решения о внесении изменений, как работает редакция, насколько вообще все люди влияющие на контент сайта, будут лояльны к предстоящим и выполняющимся работам. Важно понимать задачу продвижения, часто бывает что на большой проект имеют влияние несколько структур и им всем нужно разное: маркетингу — показатели конверсии, IT-департаменту объем работ и финансирование, отделу продаж — легко выполнимые крупные лиды. Все это команде работающей над продвижением сайта придется учитывать. Советы оптимизатору который без опыта втягивается в большой проект помнить всегда поговорку "Семь раз отмерь, один раз отрезай" Прежде чем начать вносить коррективы, нужно очень детально изучить все параметры технические и человеческие и только потом действовать.



При продвижении больших сайтов можно выделить множество особенностей. В рамках комментария хочу рассмотреть несколько из них.

Индексация — довольно серьёзная и частая проблема больших сайтов. Бот может индексировать часть сайта, а часть – нет или индексировать сайт очень медленно и т. д.

Чтобы избежать этих проблем, правильно проектируйте структуру: делайте хабовые страницы, которые будут содержать ссылки на нужные разделы; старайтесь не превышать третий уровень вложенности для важных страниц; следите, чтобы не генерировались мусорные страницы; избегайте создания лишних страниц по принципу «всё на всё».

Потребность в массовых изменениях. На больших сайтах почти нет возможности точечно прорабатывать страницу за страницей, т. к. их очень много. В этом случае нужно постоянно думать о том, как можно автоматизировать процессы: генерирование Title; формирование шаблонов текстов; подтягивание нужных названий товаров на листинг и т. д.

Контроль видимости и трафика. Довольно сложно уследить за всеми изменениями, просто наблюдая за изменениями позиций или трафика, так как семантика большая, страниц много. Нужно отслеживать изменения по целым категориям с возможностью дойти до страницы.

Нужно следить за несколькими показателями: процент запросов в ТОП-5, ТОП-10, ТОП-30; доля суммарной частоты в ТОП-5, ТОП-10; прогнозируемый и фактический трафик. Также надо учитывать сезонность и изменения спроса.

В работе мы используем Power BI — это универсальный инструмент для формирования и визуализации различных отчётов.



При работе с большими сайтами обычно подразумеваются: белые долгосрочные методы продвижения, много трафика, сложнее влезать с SEO-доработками.
Поэтому важнее не найти одну волшебную кнопку, которая выведет в топ по одному важному запросу, а построить процесс постоянных улучшений.
То, что по маленькому сайту может быть в голове SEOшника, должно быть задокументировано, чтобы можно было масштабировать улучшения, планировать долгосрочно.

Обязательные документы: семантическое ядро, список гипотез и журнал экспериментов, беклог SEO-задач с определёнными исполнителями и дедлайнами.
Должна быть удобная статистика, которая показывает нужные данные за любой период: от показов в поисковиках до выполненных целей пользователями на сайте, позиции, количество страниц в индексе. На надо бояться, что часть статистики нужно собирать руками — это можно делать раз в неделю и заносить в Excel, зато потом можно за минуты получить ответ на любой вопрос.

Нужно вести лог заходов поисковиков; для программистов наименее интрузивно настроить автоматическую выгрузку логов веб-сервера в ElasticSearch и тогда SEOшник сможет сам настроить себе любые фильтры и дешборды в Kibana.

Полезно прочитать Webmaster Guidelines от корки до корки. Это важно, потому что у вас более высокие риски, но зато и даже минимальные улучшения в процентах могут дать значительный прирост в абсолютных величинах.

Осторожнее вводите изменения; если есть возможность — делайте сначала на одном разделе или локали, измеряйте, потом применяйте ко всему сайту.
Настраивайте мониторинг и проводите регулярный аудит не только главной страницы, но и выбирайте по одной или несколько страниц каждого типа. Если так не сделать, то программисты могут что-то поменять в работе сайта, что сильно ухудшит SEO — например, уберут canonical и в индекс попадёт много дубликатов. Проверяйте сайт перед большой выкладкой на тестовых серверах, чтобы замечать проблемы до того, как они попадают в Интернет.

Автор - Дмитрий Угниченко (Мегаиндекс) ссылка