Как снизить нагрузку на сервак из-за обезумевших ботов Яндекса?

Всем привет! Если у вас поддоменная структура сайта, то вы наверняка сталкивались с атаками ботов от самого Яндекса, которые иногда аж кладут сервак. Как снизить нагрузку на сервак из-за обезумевших ботов Яндекса?

Первое что нужно сделать – это зайти в Яндекс.Вебмастере в раздел – Индексирование – Скорость обхода

Артём Высоков

Автор блога о SEO и заработке на сайтах - Vysokoff.ru. Продвигаю информационные и коммерческие сайты с 2013 года.

Задать вопрос

 Loading ...

Если это не поможет (а обычно не помогает), то есть ещё лайфхак. Сам Яндекс признаёт косяк с наплывом ботов на сайт, которые одновременно долбятся на все поддомены из-за чего серваки не выдерживают и падают. Поэтому смело пишем Платонам по поводу вашей проблемы и предлагаем:

“Скорость обхода роботами выставлена минимальная и всё равно не помогает. Я предполагаю, что из-за того что у домена множество поддоменов, Яндекс отправляет ботов одновременно на все поддомены и это рушит хостинг. Можно ли уменьшить скорость обхода и обходить поддомены по очереди?”

После этого приходит ответ как на скриншоте и действительно падение сервера прекращается (испробовано уже несколько раз на разных сайтах).

3. И наконец рекомендация от Яндекса (сам не проверял): Если текущая нагрузка по-прежнему слишком высока, вы можете отдавать на запросы HTTP-код ответа 429. Так робот сможет автоматически отрегулировать количество обращений.