Запрет индесации - robots.txt, META, etc?

Н
На сайте с 17.05.2007
Offline
9
436

Поставлена прердо мной задача - закрыть от индексации часть страниц, связанных цепочой ссылок:

как пример

A>B>C>D>E

при этом надо, чтобы страницы B и D не индексировались, но при этом чтобы страницы С и E не "повисли в воздухе" и не были выкинуты из индекса.

Все было бы просто - <meta name="Robots" content="Noindex, Follow"> если бы закрыть страницы от индексации нужно было для всех поисковиков. А нужно лишь для части.

Есть ли какие-то техники, кроме как анализ того какой робот пришел и замены тега META?

P.S. Есть ощущение, что роботы поисковиков на тег перестают обращать внимание - как минимум Google. Пока только ощущение, без доказательств.

K
На сайте с 31.01.2001
Offline
737
#1
Никос:
Есть ощущение, что роботы поисковиков на тег перестают обращать внимание - как минимум Google. Пока только ощущение, без доказательств

Тогда выкиньте ощущение. Если страница попала в индекс, без веских причин пропасть не должна. Закройте то, что не должно быть в индексе, вот и все.

Выделенные полосы в Москве (http://www.probkovorot.info) привели к снижению скорости до 23%.
Н
На сайте с 17.05.2007
Offline
9
#2
Kost:
Тогда выкиньте ощущение. Если страница попала в индекс, без веских причин пропасть не должна. Закройте то, что не должно быть в индексе, вот и все.

Извините, недостаточно четко оформил мысль. Я имел в виду, что робот индексирует страницы, не смотря на то, что в МЕТА прописано. Меня беспокоит не пропажа страниц а наоборот - как сделать так, чтобы страница в индекс НЕ попала. А цепочка - сохранилась.

EG
На сайте с 25.02.2008
Offline
110
#3
Никос:
Поставлена прердо мной задача - закрыть от индексации часть страниц, связанных цепочой ссылок:
как пример
A>B>C>D>E

при этом надо, чтобы страницы B и D не индексировались, но при этом чтобы страницы С и E не "повисли в воздухе" и не были выкинуты из индекса.

Можете указать в robots.txt

User-agent: *

Disallow: /B.php

Disallow: /D.php

Если есть ссылке с индексируемых страниц на страницы C и E, например с карты сайта, тогда они не зависнут

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий