Яндекс & robots.txt

123 4
M
На сайте с 29.03.2003
Offline
65
4335

Похоже Яндекс не совсем точно следует стандарту robots.txt: http://notes.sochi.org.ru/940/

Проверь свои запросы: Вершки Рунета (http://www.43n39e.ru/)
K. Ermakov
На сайте с 10.12.2004
Offline
328
#1
Захожу на webmaster.yandex.ru, говорю: удали-ка мне все URL из директории sochi.org.ru/templates/, — а он мне в ответ: не могу, это не запрещено в вашем robots.txt ! Ну ладно, мы не гордые, попросили удалить все URL из директории sochi.org.ru/templates — согласился удалить !!!

Читайте внимательно, что пишет Яндекс на странице http://webmaster.yandex.ru/delurl.xml

* удалить только данный URL
сервер должен вернуть код ошибки
* удалить весь подкаталог (все URL, начинающиеся с данной строки)
каталог должен быть запрещен в файле /robots.txt

И что не так? :)

Впрочем, на данный момент Яндекс готов удалить Ваш URL при любом варианте :)

С уважением, Константин Ермаков, absite.ru: онлайн кроссворды (http://absite.ru/); searchsuggest.ru: поисковые подсказки доставляют (http://searchsuggest.ru/).
aspnet
На сайте с 17.09.2005
Offline
68
#2
Maxime:
Похоже Яндекс не совсем точно следует стандарту robots.txt: http://notes.sochi.org.ru/940/

предлагаете подать в суд на яндекс ? 😂

ЗЫ: а что если яндекс воспользуется заповедью "не судите, да несудимы будете" :)

M
На сайте с 29.03.2003
Offline
65
#3
K. Ermakov:

И что не так? :)

Его попросили удалить весь подкаталог, запрещеный в robots.txt - он отказался, не по стандарту проиндепретировав robots.txt

M
На сайте с 29.03.2003
Offline
65
#4
aspnet:

ЗЫ: а что если яндекс воспользуется заповедью "не судите, да несудимы будете" :)

Наверное перестанет банить сайты без решения суда, совсем :D

K. Ermakov
На сайте с 10.12.2004
Offline
328
#5
Maxime:
Его попросили удалить весь подкаталог, запрещеный в robots.txt - он отказался, не по стандарту проиндепретировав robots.txt

Дело всё в том, что, когда я просил его сделать то же самое, всё было ок. Тут варианта два: либо вчера с 20 до 21 кто-то с Яндекса усиленно читал форум и быстро поправил имевшийся глюк, либо что-то было с Вашим robots.txt (вариантов того, что могло быть, на самом деле, не так мало), что Вы поправили, и Яндекс смог его интерпретировать так, как нужно было Вам.

BigBrother
На сайте с 16.06.2006
Offline
96
#6
Maxime:
Похоже Яндекс не совсем точно следует стандарту robots.txt: http://notes.sochi.org.ru/940/

Посмотрим, что там у нас с удалением без слеша.

Но хотелось бы сайт в личку - иначе непонятно, что случилось на самом деле.

UPD: Все, понял. Что у вас было в robots.txt до 15-16 Сентября?

So many kings, but few jokers!
Megavolt
На сайте с 23.12.2005
Offline
179
#7
K. Ermakov:
Дело всё в том, что, когда я просил его сделать то же самое, всё было ок. Тут варианта два: либо вчера с 20 до 21 кто-то с Яндекса усиленно читал форум и быстро поправил имевшийся глюк, либо что-то было с Вашим robots.txt (вариантов того, что могло быть, на самом деле, не так мало), что Вы поправили, и Яндекс смог его интерпретировать так, как нужно было Вам.

есть еще вариант, что яшка дурил. менее вероятный, но в свете последних событий не невозможный.

Иногда лучше жевать.... (С)
M
На сайте с 29.03.2003
Offline
65
#8
K. Ermakov:
Дело всё в том, что, когда я просил его сделать то же самое, всё было ок. Тут варианта два: либо вчера с 20 до 21 кто-то с Яндекса усиленно читал форум и быстро поправил имевшийся глюк, либо что-то было с Вашим robots.txt (вариантов того, что могло быть, на самом деле, не так мало), что Вы поправили, и Яндекс смог его интерпретировать так, как нужно было Вам.

Ну начнём с того, что кто-то из Яндекса не только усиленно читает, но и усиленно владеет этим форумом :]

Во вторых, продолжаем эксперимент, коли вы готовы выгораживать Яндекс, обвиняя меня: меняем

Disallow: /templates

на

Disallow: /temp

Получаем: директорию /templates готов удалять, директорию /templates/ - отказывается. Проверял ровно пару минут назад. Хотя обе по стандарту подпадают под указаный шаблон.

K. Ermakov
На сайте с 10.12.2004
Offline
328
#9
Maxime:
Получаем: директорию /templates готов удалять, директорию /templates/ - отказывается. Проверял ровно пару минут назад. Хотя обе по стандарту подпадают под указаный шаблон

Согласен. Имеется такая проблема.

Я бы посоветовал Вам пообщаться на эту тему с BigBrother. Поверьте, лучше от этого станет всем :)

BigBrother
На сайте с 16.06.2006
Offline
96
#10
Maxime:
Ну начнём с того, что кто-то из Яндекса не только усиленно читает, но и усиленно владеет этим форумом :]
Во вторых, продолжаем эксперимент, коли вы готовы выгораживать Яндекс, обвиняя меня: меняем
Disallow: /templates
на
Disallow: /temp
Получаем: директорию /templates готов удалять, директорию /templates/ - отказывается. Проверял ровно пару минут назад. Хотя обе по стандарту подпадают под указаный шаблон.

Максим, жду ответа на свой вопрос - что было в robots.txt до 15-16 Сентября? И что поменяли?

123 4

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий