- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Тренды маркетинга в 2024 году: мобильные продажи, углубленная аналитика и ИИ
Экспертная оценка Адмитад
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Добрый всем день!
Атакуют сайт. С 200-300 IP жестко парсят страницы, создается большая нагрузка на базу данных, сервер просто висит.
Решили написать скрипт, который будет перед каждым обращением к страницам сайта записывать IP в таблицу и проверять, сколько запросов с данного IP было за последнее время. И самым активным IP выводить что-то типа "Вы робот?"
Вопрос тут встает следующий, а как не забанить случайно Яндекс и другие поисковые системы? Какой механизм их обращения к сайту. Как часто их роботы отправляют запросы на открытие страниц?
Буду очень-очень благодарен за информацию или ссылку на информацию по этому вопросу.
много страниц запрашивается? или одна? синами долбят?
ЗЫ разделом конечно ошиблись (:
ну у роботов есть свои метки
у Яндекса:
Yandex/1.01.001 (compatible; Win16; I)
Yandex/1.01.001 (compatible; Win16; P)
Yandex/1.01.001 (compatible; Win16; H)
Yandex/1.02.000 (compatible; Win16; F)
Yandex/1.03.003 (compatible; Win16; D)
Yandex/1.03.000 (compatible; Win16; M)
YaDirectBot/1.0 (compatible; Win16; I)
Страницы запрашиваются разные (штук 50). Но вопрос не в том, как атакуют, а в механизме поискового робота Яндекса.
Igor с метками проблема - сегодня они одни, завтра другие. Не хотелось бы заниматься постоянным мониторингом меток.
PS Если есть более подходящая тема, прошу модераторов перенести.
ну у роботов есть свои метки
у Яндекса:
Yandex/1.01.001 (compatible; Win16; I)
Yandex/1.01.001 (compatible; Win16; P)
Yandex/1.01.001 (compatible; Win16; H)
Yandex/1.02.000 (compatible; Win16; F)
Yandex/1.03.003 (compatible; Win16; D)
Yandex/1.03.000 (compatible; Win16; M)
YaDirectBot/1.0 (compatible; Win16; I)
Боту можно любой юзер-агент прописать.
UserAgent боты всегда поисковый используют. Нужно собирать базу IP индексатора реального и постоянно его отслеживать, иначе никак не защититься. На сайте, который не атакуют ан этом ъхосте, собирайте IP поисковиков и вносите их в базу, и только их пропускайте вне очереди.
Добрый всем день!
Атакуют сайт. С 200-300 IP жестко парсят страницы, создается большая нагрузка на базу данных, сервер просто висит.
Поднастроить сервер, сделать медленную отдачу и скриптом вносить дятлов в банлист?
ну у роботов есть свои метки
у Яндекса:
Yandex/1.01.001 (compatible; Win16; I)
Yandex/1.01.001 (compatible; Win16; P)
Yandex/1.01.001 (compatible; Win16; H)
Yandex/1.02.000 (compatible; Win16; F)
Yandex/1.03.003 (compatible; Win16; D)
Yandex/1.03.000 (compatible; Win16; M)
YaDirectBot/1.0 (compatible; Win16; I)
Уже сейчас с такими метками ходят всякие из Тулы, Твери и еще пары регионов... иногда с них флудят.
ндас... отключатьвсех нафиг ;)))