Скорость обхода сайта Яндексом – какую поставить чтобы сайт не падал
Сегодня расскажу про такую проблему, которой уже много лет, но яндекс с ней никаким образом не борется, поэтому она до сих пор остаётся актуальной. Проблема связана с неистовой атакой ботов яндекса на сайт, из-за чего сайт зачастую падает.
Какой бы ни был мощный хостинг, это никого не обойдёт, если яндекс хочет вас загасить своими ботами. Что можно сделать в этой ситуации?
Содержание статьи:
Ограничение скорости обхода роботами Яндекса сайта в Яндекс.Вебмастере
Во-первых, нужно зайти в яндекс вебмастер – индексирование – скорость обхода и выставить минимальную скорость обхода.
Не доверять яндексу, как они тут предлагают, а минималку выставить и то это совсем не гарантия того, что ваш сайт не ляжет под атакой ботов. Но тем не менее, хотя бы это нужно сделать и 50/50 это может помочь.
Написать в техподдержку Яндекса
Если проблема не пропадает, сайт падает, и вы видите, что это из-за ботов яндекса, то пишем платонам и объясняем ситуацию, что у нас постоянное падение сайта на хостинге, хостинг не выдерживает из-за того, что слишком активно ваши боты заходят на сайт.
Загрузка ...Как я писал и как я справлялся с этой ситуацией? Я писал, чтобы они на настроили обход поочерёдно по поддоменам. Они сами предлагают и соглашаются на такую меру и, соответственно, ещё меньше выставляли лимиты, чем которые доступны в мастере, потому что в зависимости от сайта можно поставить разную скорость обхода: где-то ещё ниже можно поставить, а где-то можно вообще вручную попросить платонов – так называемую техподдержку яндекса – чтобы они выставили для конкретного сайта скорость обхода ещё ниже и это обычно помогает.
Но также, естественно, помимо ботов яндекса, ещё зачастую хостинг может упасть из-за одновременного наплыва и ботов яндекса, и гугла, и зачастую ещё всевозможных краулеров, которые вас непрерывно тоже могут обходить. На моей практике это был Ahrefs и Screaming Frog. Все это, когда вместе накапливается, получается падение.
Но зачастую только яндекс может положить ваш сайт в одного даже. Если вы эту проблему устраните, то большая вероятность, что вам не придётся никаких других мер предпринимать.
Загрузка...
