Гугль игнорирует robots.txt ?

12 3
K
На сайте с 20.12.2004
Offline
62
2153

Наконец-то дождался индексации сайта гуглем. Но вот незадача... в выдачу попали страницы, запрещённые к индексации.

Или это я что-то делаю не так?

Вот выдача: http://www.google.com/search?&q=allinurl:deep.webest.net/+site:deep.webest.net

Файл robots.txt:

http://deep.webest.net/robots.txt

Лучше день потерять, а потом за пять минут долететь (c (http://andrey.lviv.ua/)) м/ф "Крылья, ноги, хвост"
deleon
На сайте с 16.09.2004
Offline
173
#1

Тоже такое заметил..приходится и в нужных страничках в заголовках прописывать тэги неиндексации...

K
На сайте с 20.12.2004
Offline
62
#2

deleon, Помогает?

deleon
На сайте с 16.09.2004
Offline
173
#3
deleon, Помогает?

Точно не скажу, но по запросу "site:www....." ненужных ссылок стало меньше.

S
На сайте с 25.12.2003
Offline
173
#4
Как писал Kastorskiy
deleon, Помогает?

http://www.google.com/remove.html

Красивые сниппеты Google ( https://saney.com/tools/google-snippets-generator.html )
[Удален]
#5

Kastorskiy, а вы robots.txt по-другому напишите.

Для агента * - не надо указывать Host:

Отдельно для Яндекса его только.

deleon
На сайте с 16.09.2004
Offline
173
#6
http://www.google.com/remove.html

Интересно, а как Гугл определяет что страницу(сайт) удаляет его owner, а не, к примеру, конкурент?

K
На сайте с 20.12.2004
Offline
62
#7

Interitus, так мне не только для Яндекса надо.

AiK
На сайте с 27.10.2000
Offline
257
AiK
#8

Kastorskiy, для Яндекса придётся продублировать секцию.

Директива Host - собственное изобретение Яндекса. Гугль считает секцию неверно оформленной и потому игнорирует её.

K
На сайте с 20.12.2004
Offline
62
#9

Такой robots.txt будет корректным?

User-agent: Googlebot

Disallow: /manual/

Disallow: /404.php

Disallow: /userid.php

Disallow: /reglist.php

...

User-agent: *

Disallow: /manual/

Disallow: /404.php

Disallow: /userid.php

Disallow: /reglist.php

...

Host: deep.webest.net

[Удален]
#10

Лучше так:

User-agent: *

Disallow: /manual/

Disallow: /404.php

Disallow: /userid.php

Disallow: /reglist.php

...

User-agent: Yandex

Disallow: /manual/

Disallow: /404.php

Disallow: /userid.php

Disallow: /reglist.php

...

Host: deep.webest.net

Так надежнее - вдруг не только Googlebot споткнется.

12 3

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий