SEO

Google: мы можем индексировать заблокированные страницы, не сканируя их

Google: мы можем индексировать заблокированные страницы, не сканируя их

Google может индексировать URL, заблокированные в robots txt, не сканируя их. Об этом рассказал представитель компании Джон Мюллер у себя в Twitter.

Один из пользователей поинтересовался у Мюллера, почему в поиске отображаются заголовки и описания страниц по сайту, полностью заблокированному в robots.txt. В ответ Мюллер сообщил, что URL могут индексироваться без сканирования, даже если они заблокированы в robots.txt.

Пользователь также поинтересовался, почему отображаются заголовки и ссылки, если URL не сканируются. Мюллер ответил, что заголовки обычно берутся из ссылок, но сниппетов в данному случае быть не должно.

Ситуацию также прокомментировал консультант по поисковому маркетингу Барри Адамс. Он отметил, что robots.txt – это инструмент для управления сканированием, а не индексированием. Для предотвращения индексации нужно использовать соответствующую директиву в robots или HTTP-заголовки X-Robots-Tag. Однако чтобы Googlebot увидел данные директивы, ему нужно позволить сканировать страницы.

Напомним, на днях Google обновил свой инструмент для проверки оптимизации сайтов для мобильных устройств.

Related Articles

Back to top button
Close
Close