- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Хочу снова поделиться своими наблюдениями за визитами некоторых ботов Яндекса. С 2008 года наблюдаю интересные заходы из подсетки Яндекса. Сначала думал что это люди, но после длительного наблюдения склоняюсь к мысли, что это все же боты. Факты таковы:
1. Заходят всегда с одних и тех же хостов:
avr01.yandex.net
avr02.yandex.net
avr03.yandex.net
avr04.yandex.net
avr05.yandex.net
avr06.yandex.net
avr07.yandex.net
avr08.yandex.net
avr09.yandex.net
avr10.yandex.net
ни больше, ни меньше.
2. За один визит всегда берут только одну страницу. Набор забираемых страниц всегда один и тот же (около десятка, при том что в индексе больше тысячи). Одну и ту же страницу могут забирать за день несколько раз с разных хостов.
3. Ходят что ночью, что днем - практически одинаково (ночь все же предпочитают больше)
4. Абсолютно разные юзер агенты, к примеру:
Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0)
Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; MRA 4.2 (build 01102))
Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)
Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; en) Opera 8.53
Opera/9.00 (Windows NT 5.1; U; en)
Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; InfoPath.1)
Mozilla/4.0 (compatible; MSIE 6.0; Windows 98)
Mozilla/5.0 (Windows; U; Windows NT 5.0; ru; rv:1.8.0.4) Gecko/20060508 Firefox/1.5.0.4
Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; FunWebProducts)
Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; Maxthon)
5. Поддерживают JavaScript
6. Акцептуют куки, но никогда их не отдают во время следующего визита.
Интересен график визитов с вышеупомянутого набора хостов. Приложен как yandex-net-bots.png
Была мысль сравнить его с графиком апдейтов с ашмановского анализатора за тот же период - см. yandex-updates.png
Есть подозрение, что всплески визитов все же упреждают большие апдейты...
К чему это я все веду? А к тому что на графике визитов небывалый всплеск за последние 2 дня... такое впечатление, что готовится гигантская свистопляска, какой-то мега-апдейт.
Конечно же, возможно все и проще - может всплеск визитов это к бану =) Поживем - увидим, ну а пока хотелось бы просто услышать небанальные мысли, а еще лучше озвученные собственные наблюдения.
P.S. Была тут интересная тема про Yandex.Commerce.Pinger, жаль, что не разобрались ни до чего толкового.
ну, это будет интересно тем, кто занимается коакингом. судя по всему, эти боты как раз и проверяют редиректы, шалости ява-скриптов и тд, маскируясь под пользователей.
занимательно. спасибо
Достали эти боты. Заходят с левыми реферрерами на левые страницы, всю статистику портят на новых сайтах.
ну, это будет интересно тем, кто занимается коакингом. судя по всему, эти боты как раз и проверяют редиректы, шалости ява-скриптов и тд, маскируясь под пользователей.
И банить их нельзя :(
Эти боты явно не несут ничего хорошего. После захода бота avr06.yandex.net (ip 93.158.136.164) сайт полностью вылетел из индекса. 🔥
Интересная информация... Ну то что ничего хорошего от этих ботов ждать не стоит - это точно.
Тоже первая мысль была о клоакинге.
Сайт не забанили. А такой дикий всплеск явно предшествовал Арзамасу 1.2
Почти аналогичная ситуация на одном из сайтов. Сайт СДЛ.
Складывается такое чувство, что бот вообще не уходит с сайта сутками.
А есть вопрос:
- Бот заходит на какую то определённую страницу? Или он гуляет по сайту?
Просто я думаю может такая активность возникла от геозависимых запросов? Может он усиленно начал перед глобальным апом проверять сайты с ГЗ ??
Бот заходит на какую то определённую страницу? Или он гуляет по сайту?
Вроде бы, гуляет по всем страницам, но может сидеть и на одной странице.