Исключенные страницы

В разделе «Исключённые страницы» отображается информация о причинах, по которым некоторые страницы сайта были исключены из рассмотрения роботом Яндекса и не попали в поисковый индекс. Причиной исключения может быть ошибка при загрузке или обработке страницы. Кроме того, в поисковый индекс не попадают страницы, запрещённые в файле robots.txt, выполняющие некоторые виды перенаправления на другие страницы и т.п.

Причины, по которым страница не загружается роботом, могут быть связаны не только с реальными ошибками сайта. Например, на страницах могут присутствовать ссылки на разделы сайта, загрузка из которых роботами запрещена в файле robots.txt. В этом случае робот следует указаниям robots.txt и не будет загружать страницу. Однако, поскольку ссылка могла быть дана ошибочно, или раздел мог быть ошибочно указан в robots.txt, в разделе "Исключённые страницы" появится запись «Документ запрещен в файле robots.txt» .

В общем случае нельзя однозначно определить, является исключение страницы желательным для вебмастера. Вы можете указать степень серьёзности той или иной причины исключения в «Настройках».

В разделе «Исключённые страницы» отображаются страницы, к которым обращался робот, но по тем или иным причинам принял решение не индексировать их. В том числе, это могут быть уже несуществующие страницы, если ранее они были известны роботу. Информация об причинах исключения из индекса хранится в течение некоторого времени, пока робот продолжает их проверять. После этого, если страницы по-прежнему недоступны для индексирования и на них не ведут ссылки с других страниц, информация о них автоматически удаляется из раздела «Исключённые страницы».

Наличие и количество исключенных страниц не влияет на ранжирование сайта в поиске по запросам.

Информация о причине исключения страницы из индекса соответствует времени последнего переиндексирования страницы роботом Яндекса. Вам надо дождаться, когда робот переиндексирует "исключённую" страницу. Обратите внимание, что заголовки, которые запрашивает робот у сервера, отличаются от заголовков, запрашиваемых браузером, и даже если вы видите страницу в браузере, это не означает, что сервер не выдал ошибку роботу Яндекса.