Удаление страницы из выдачи ПС
Бывают моменты когда в выдаче присутствует страница, которая скажем так не должна там быть. Это страница с какими-то грубыми ошибками или со спамерскими комментариями, ну или сайт был взломан хакерами или содержимое поменялось и попало в выдачу поисковиков.
Описанные далее способы будут идти по мере убывания эффективности.
.htaccess
Самый действенный способ это закрыть паролем доступ к директории со страницей, ни поисковый бот, ни кто-либо другой не зайдет туда. Опишу синтаксис.
AuthName "Закрыто, нужен пароль" AuthType Basic AuthUserFile /home/t/test/.authfile require valid-user
Первая строка выводит сообщение при запросе пароля. Вторая – тип аутентификации. В третьей строке указывается путь к имени файла с паролями для аутентификации пользователей. Файл с паролями находится в папке, доступ к которой как раз закрыт. Последняя строка показывает кому вы разрешаете доступ, у меня указано “всем пользователям, перечисленным в файле паролей”.
Robots.txt
Размещаем файл robots.txt в корневом каталоге сервера(если у вас не было) и запрещаем необходимые URL с помощью простой директривы Disallow.
Disallow: /name/ Disallow: /*.gif$ Disallow: /name.php
Первая строка запрещает индексацию папки name. Вторая запрещает индексацию всех файлов, имеющих расширение .gif. В третьей запрещаем индексацию файла с именем name.php.
Единственной проблемой этого метода является то, что поисковые системы могут отследить ваш скрытый URL через другой сайт, на котором будет ссылка на ту страницу.
Мета-тег noindex
Простой и мощный способ закрытия страницы от индексации это использование мета-тега noindex. Но здесь есть одно НО, информация что такая страница имеется у поисковиков будет, так как закрывается индексирование только самого содержимого.
В заключение скажу, что кроме всех этих способов еще неплохо было бы убрать все ссылки с других сайтов, которые ведут на скрываемые страницы. А вот регулировать это почти невозможно и могу предположить, что роботы поисковиков, видя эти ссылки, могут отрицательно повлиять на положение вашего сайта.
P.S. Дешевая печать на футболках от компании http://www.textileprint.com.ru.
Опытная компания по оптимизации и продвижению Ваших сайтов.
в общем, главный смысл, как я понял – лучше не иметь ссылки с других сайтов на нежелательную страницу и сразу закрыть ее всеми тремя способами)))
Спасибо за статью!
Как раз столкнулся с такой проблемой. Удалил сайт, а его страницы уже второй месяц в поиске висят. А после того как страницы исчезнут из поиска файл эти записи из файла можно удалять?
А это точно, что ссылки на закрытые страницы плохо влияют или это только предположение?
Про теги я уже знаю, а вот в robot.txt боюсь лезть, наворотб дел – сайт заглючит)