Как закрыть индексацию по части url?

12
S
На сайте с 23.06.2006
Offline
46
1527

На сайте сделано ЧПУ и все урлы выглядят так: "http://сайт/2006/08/23/названиестатьи/".

Также на сайте есть версия всех статей для печати и к основному пути прибавляется окончание "/print/". В итоге получается http://сайт/2006/08/23/названиестатьи/print/.

На этой неделю Yandex обошел все страницы для печати в добавил в индекс, что меня не очень устраивает. Поэтому возникает два вопроса:

  • Как можно закрыть индексирование по части url
  • Как удалить страницы из индекса Yandex

Я уже добавил на страницу теги <noindex> и <meta name="robots">, но хочется найти способ, который работал бы с большинством поисковиков. Например я слышал, что <noindex> не учитывается Google.

unknown
На сайте с 10.06.2006
Offline
94
#1

1) robots.txt

для гугла

User-agent: Googlebot

Disallow: /*print

2)

http://webmaster.yandex.ru/delurl.xml

но нужно чтобы сервер при обращении по заданному URL выдавал в заголовках ответа ошибку 404

S
На сайте с 23.06.2006
Offline
46
#2
unknown:
1) robots.txt
для гугла
User-agent: Googlebot
Disallow: /*print

А для Yandex, Rambler и т.д.

Я знаю что yandex не умеет работать с такими операторами.

2)
http://webmaster.yandex.ru/delurl.xml
но нужно чтобы сервер при обращении по заданному URL выдавал в заголовках ответа ошибку 404

А как я могу это сделать. Есть только один способ, оключить плагин, который создает такие страницы. Но это не хорошо.

K
На сайте с 31.01.2001
Offline
737
#3

Используйте <meta name="robots" content="noindex">

Выделенные полосы в Москве (http://www.probkovorot.info) привели к снижению скорости до 23%.
S
На сайте с 23.06.2006
Offline
46
#4
Kost:
Используйте <meta name="robots" content="noindex">

Я это уже сделал, просто хочу узнать. Если ли еще другие способы...

IS
На сайте с 03.10.2005
Offline
22
#5
staffer:
Я это уже сделал, просто хочу узнать. Если ли еще другие способы...

Чтож Вы еще хотите? Но если этого Вам мало, то сделайте скрипт, который будет заносить адреса этих страниц в robots, правда размер последнего будет не маленький, если у Вас много таких страниц будет. Вобщем я Вам не советую, лучше как советовали предыдущие

S
На сайте с 08.08.2006
Offline
12
#6

Я на версиях для печати делаю серверный редирект для робота на нормальную страницу, самый быстрый способ да и индексит чаще

MaulNet
На сайте с 07.08.2005
Offline
348
#7

/ru/forum/70742

В принципе - похожая проблема.

S
На сайте с 23.06.2006
Offline
46
#8
MaulNet:
/ru/forum/70742
В принципе - похожая проблема.

MaulNet спасибо, но для этого мне придется менять плагин, а это не очень хочется делать, тем более что это не мой плагин.

S
На сайте с 23.06.2006
Offline
46
#9
siegfried:
Я на версиях для печати делаю серверный редирект для робота на нормальную страницу, самый быстрый способ да и индексит чаще

А если можно, то как его сделать, через htaccess? Или есть другой более экономичный способ?

S
На сайте с 08.08.2006
Offline
12
#10
staffer:
А если можно, то как его сделать, через htaccess? Или есть другой более экономичный способ?

RewriteCond может проверять %{USER_AGENT} - для робота делай реврайт на непечатную

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий