запрет индексации в robots

Переделать все динамические урлы в псевдостатику и уже полученные файлы запретить в robots.txt:

/pageN/?abc=1 превращается в /pageN/abc1.html

в роботсе пишем

Disallow: abc1.html

Извините, но вы написали ерунду. В Disallow пишется весь путь от начала сайта: /

Kost, видел информацию, что если написать имя файла без "/", то будут запрещены все фалы с таким именем,а не только в корне.

При беглом поиске не нашел.

Разве что здесь и то расплавчато

Почему бы не обратиться к первоисточнику, в котором написано черным по белому:

Disallow
The value of this field specifies a partial URL that is not to be visited. This can be a full path, or a partial path; any URL that starts with this value will not be retrieved.

partial path означает не любой кусок, выхваченный из середины, а кусок от начала URL.

Хм... спасибо, что избавили от заблуждения

Хорошо, но как тогда решить вопрос запрета как у топикстартера?

именно так. Насчет файлов - не понял, что за файлы.

первоисточник первоисточником, но всякое может быть в отдельных конкретных случаев на уровне фичей.

Яндекс придумывает host

Гугл - Allow

И ни у того ни у другого роботс не соответствует стандарту.

Что меня удивляет

Кстати, чекер http://tool.motoricerca.info/robots-checker.phtml

Имел в виду, страницы, а не файлы.

Если закрыть с помощью meta name='robots' content='noindex,follow' - не будет ли это замедлять индексацию - ведь перед тем как получить эти данные роботу нужно обратиться к странице (в отличие от способа robots.txt) ?