http://tele-house.ru/crawler.htm

ТС, ду ю спук унглиш?

На http://tele-house.ru/crawler.html написано, что к чему.

http://translate.google.ru/translate?hl=ru&sl=en&tl=ru&u=http%3A%2F%2Ftele-house.ru%2Fcrawler.html

В машинном переводе))

Был также удивлён, обнаружив аналогичную ситуацию на своих сайтах...

Сегодня же IP 94.127.144.38 отправился в бан - нагрузка вернулась в нормальное состояние :)

22Striker22, bloxa, Там ничего не написано. Хоть на китайский переводи, все равно ничего полезного))

Какая-то поисковая система использует их базу? Или они по текстам моих доров будут книги печатать, а потом продавать? Или преследуют какие-то другие хитрые цели?

Парсют вас, например.

А по-мойму там всё чётко написано. Робот на стадии тестирования, собирает информацию для того, чтобы впоследствии её можно было включить в какой-либо сервис, например ПС, система анализа контента и так далее.

Робот делает следующее:

-выкачивает страницу

-извлекает ссылки

-извлекает основной текст

Ясно вообщем, забанил это чудо. Нагрузка вернулась к своим законным 2%.

Это ж сколько полезной инфы успели выкачать с моих доров ((

Как ни Cuil и Twiceller, так что-нибудь другое))

Аа.. у мя тоже такое светилось.. Но я внимания не обращал особо.

Ога, ждите 😂

Робот наш. Если кому навредил - приносим извинения. По идее не должен никого напрягать, запросы делает 1 раз в секунду не чаще, если надо реже - можно самому поставить директиву crawl-delay в robots.txt

Будут проблемы - пишите в эту ветку. Лучше с кусками логов, будем разбираться.