Индексация тяжелых сайтов

12
234sha
На сайте с 30.01.2007
Offline
323
1418

Есть сайт на несколько сотен тысяч страниц (200-300 тысяч), яндекс забирает за апдейт не более +3000, от чего может зависить такая медленная индексация, хотя с самого начала было по +20K, а потом стало крайне медленно. Есть ли барьеры или нечто подобное?

Люби жену, родителей, вино, быстрые тачки и бокс.
T.R.O.N
На сайте с 18.05.2004
Offline
314
#1
234sha:
апдейт не более +3000

это очень быстро. Особенно для яши.

234sha:
ть ли барьеры или нечто подобное?

Как вы оцениваете индексацию? По логам или по выдаче яши.

Сам яша игнорирует страницы, которые не представляют интереса (с точки зрения яши).

Вы проверяли хостера? он вменяем?

От воздержания пока никто не умер. Хотя никто и не родился! Prototype.js был написан теми, кто не знает JavaScript, для тех, кто не знает JavaScript (Richard Cornford)
MT
На сайте с 22.08.2005
Offline
30
#2
234sha:
Есть сайт на несколько сотен тысяч страниц, яндекс забирает за апдейт не более +3000, от чего может зависить такая медленная индексация, хотя с самого начала было по +20K, а потом стало крайне медленно. Есть ли барьеры или нечто подобное?

Что за сайт такой интересно! 😕

234sha
На сайте с 30.01.2007
Offline
323
#3
T.R.O.N:
это очень быстро. Особенно для яши.
Как вы оцениваете индексацию? По логам или по выдаче яши.
Сам яша игнорирует страницы, которые не представляют интереса (с точки зрения яши)

По выдаче, а как определяется интерес с точки зрения яши?

SubAqua
На сайте с 21.10.2005
Offline
199
#4

234sha, много нюансов при индексации.

Что может положительно повлиять:

больше внешних ссылок вовнутрь портала;

частое обновление сайта;

хорошая перелинковка внутри сайта.

Но не ждите что за 2-3 недели все проиндксируется. :) Терпение.

234sha
На сайте с 30.01.2007
Offline
323
#5

На гугле встречал сайты с более чем миллионом страниц, в яндексе среднее число (у больших инф.сайтов) 100k, нашел только один сайт под пол миллиона, хотя в гугле у того же сайта порядка 2-х миллионов...

T.R.O.N
На сайте с 18.05.2004
Offline
314
#6
234sha:
По выдаче, а как определяется интерес с точки зрения яши?

Чаще всего, методом тестов.

Как показывает практика, яша набирает кучу страниц, а потом, начинает уменьшать количество страниц в индексе. Честь - это дубли(нечеткие дубли), часть - не информативные и т.д. (содержат мало контента, тольок картинки или подобное.)

Лучше всего смотреть логи и смотреть яшу по выдаче с уникальным текстом страницы. Внешние ссылки на страницу. Их досягаемость.

Чтобы большой сайт яша хавал быстрее, ему стоит помочь. Сделать карту сайта, сделать все то, что делают и для людей:

1. Досягаемость в 3 клика.

2. отсутствие явных дублей.

3. грамотная перелинковка страниц.

4. Внешние ссылки на страницы сайта.

5. разумное количество контента на страницах.

6. Соответствующая скорость каналов и сервера.

7. Обработка ошибок 404. Иногда полезно отдавать ошибку 304.

8. Исправть баги, которые часто появляются в скриптах на пхп.

234sha
На сайте с 30.01.2007
Offline
323
#7
T.R.O.N:
Ч
2. отсутствие явных дублей.

Как я понял это закрыть сортировки в ноидекс? при сортировке статей к примеру...

T.R.O.N
На сайте с 18.05.2004
Offline
314
#8
234sha:
Как я понял это закрыть сортировки в ноидекс? при сортировке статей к примеру.

такие вещи, как и результаты поиска, лучше закрыть от индексации.

prlink
На сайте с 05.05.2006
Offline
195
#9
234sha:
Есть сайт на несколько сотен тысяч страниц (200-300 тысяч), яндекс забирает за апдейт не более +3000, от чего может зависить такая медленная индексация, хотя с самого начала было по +20K, а потом стало крайне медленно. Есть ли барьеры или нечто подобное?

ИМХО в последнее время так и есть. Раньше яша побольше страниц хавал за ап, по крайней мере на всех моих проектах так было. Сейчас ситуация изменилась. Так что возможно у Вас все ок, хотя лишний раз проверьте по всем пунктам, которые написал T.R.O.N

JackDAripper
На сайте с 24.02.2007
Offline
43
#10
T.R.O.N:

7. Обработка ошибок 404. Иногда полезно отдавать ошибку 304.
QUOTE]
А можно подробнее про 304?
12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий