В последнее время Яндекс балует нас множеством нововведений, и множество из них связано именно с сервисом “Яндекс.Вебмастер”.  С недавних пор указанный выше сервис пополнился новым полезным инструментом – «Скорость обхода».

Новая функция расположена в разделе «Индексирование» панели Яндекс.Вебмастера (см. скрин ниже). С помощью данного инструмента владелец сайта сможет регулировать частотность запросов к веб-ресурсу со стороны поисковой системы Яндекс, то есть фактически задавать скорость обхода сайта поисковыми ботами.

Скорость обхода сайта ботом Яндекса

На фото выше показано, что на выбор пользователя есть два варианта настройки скорости обхода сайта. Во-первых, если владелец ресурса имеет свои предпочтения к ограничению частоты запросов к сайту, то в этом случае можно задать индивидуальную скорость обхода для отдельно взятого проекта.

Во-вторых, если таких предпочтений нет, то тогда можно всецело положиться на поисковую систему, выбрав опцию «Доверить Яндексу». В этой ситуации (по умолчанию) поисковик будет автоматически устанавливать максимальную скорость обхода для конкретного сайта с учетом допустимых нагрузок на сервер.

Установить нужную вам скорость обхода сайта можно прямо сейчас. Однако Яндекс начнет учитывать ваши настройки только с 22 февраля 2018 года.

В завершении нужно отметить, что с запуском в Яндекс.Вебмастере этого инструмента отпала необходимость в поддержке аналогичной по своей сути директивы Crawl-delay в файле robots.txt. Следовательно, в Яндексе заявили, что отказываются от нее.

Вас может заинтересовать:
Есть вопросы?

Напишите нам, и мы свяжемся с Вами в ближайшее время.

Start typing and press Enter to search

Что нужно сделать на сайте для запуска контекстной рекламы.