- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
VK приобрела 70% в структуре компании-разработчика red_mad_robot
Которая участвовала в создании RuStore
Оксана Мамчуева
Тренды маркетинга в 2024 году: мобильные продажи, углубленная аналитика и ИИ
Экспертная оценка Адмитад
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
zexis и Алеандр говорят дело.
Вайт лист сетей популярных ботов и лимит на запросы для других решает проблему.
А зачем столько гимора и угрозы ложных срабатываний? Кто захочет контент спарсит или просканит на дыры и опытный админ про это даже не узнает.
А так проблемы создаются для пользователей за NAT, для различных пулов динамичных IP, где переподключившись, можно оказаться в бане за грехи предыдущего юзера айпишника, случайно забанить поисковик и т.п.
Также многие из предложенных в теме способов забанят юзеров с Оперы турбо/Яндекс турбо и прочих ускорителей. А юзер не будет гадать, почему он не может попасть на сайт. Он просто уйдет на другой.
Нужно брать пример с крупнейших ресурсов - Яндекс, Вконтакте дают прекрасно себя парсить и выдают каптчу только для совсем "взбесившихся" ботов. На файрволле они не банят никого.
При правильной настройке сервера и правильных скриптах они должны переваривать любой поток запросов, банить нужно только совсем обнаглевших на гране ддоса. Нужно не способы отсечения гадов искать, а настраивать работу сервера и софта так, чтобы присутствие паразитов даже не замечалось.
Нужно не способы отсечения гадов искать, а настраивать работу сервера и софта так, чтобы присутствие паразитов даже не замечалось.
Так может сразу паразитам дать ссылку на архив с базой данных сайта? И серверу нагрузка меньше, и не заметишь их больше. Тупизм.
Автоматический анализ access log каждый час. Если больше 1000 запросов от одного IP -> алерт в жабер или на мыло. И смотришь, если ИП принадлежит какому-то хостингу - банишь сразу всю подсеть. Если сомневаешься, бань ИП адрес на сутки. Если ИП хороший, добавляй в белый список, чтобы потом алерт не слался.
Так может сразу паразитам дать ссылку на архив с базой данных сайта? И серверу нагрузка меньше, и не заметишь их больше. Тупизм.
те кто парсят аккуратно Вы их не словите, те кто парсят тупо - их можно пыл можно ограничивать через тот же nginx, БАНить ботов только за то, что они непонятные боты - это глупость, так Вы перебаните реальных юзеров
в фильтрацию трафика от ботов лучше с такими знаниями не лезть, не стоит экономить на железе и правильной настройке сервера, сейчас прикупить дедик с 64Гб ОЗУ можно баксов за 100 месяц, - это всяко лучше, чем потерять 10-15% реальных пользователей, а стало быть и деньги 🍿
Автоматический анализ access log каждый час. Если больше 1000 запросов от одного IP -> алерт в жабер или на мыло. И смотришь, если ИП принадлежит какому-то хостингу - банишь сразу всю подсеть.
столько пустой работы, поберегите нервы ТС 😂
те кто парсят аккуратно Вы их не словите, те кто парсят тупо - их можно пыл можно ограничивать через тот же nginx, БАНить ботов только за то, что они непонятные боты - это глупость, так Вы перебаните реальных юзеров
в фильтрацию трафика от ботов лучше с такими знаниями не лезть, не стоит экономить на железе и правильной настройке сервера, сейчас прикупить дедик с 64Гб ОЗУ можно баксов за 100 месяц, - это всяко лучше, чем потерять 10-15% реальных пользователей, а стало быть и деньги 🍿
столько пустой работы, поберегите нервы ТС 😂
Напиши еще 100 килобайт текста. Занимайся лучше SEO, твои советы, сорри, сео-бредо-текст:) Мегабайты вывел, проценты подытожил, деньги подсчитал... все прикинул и написал, да? 😂
Кому нужно Вас спарсят.
Защиту обойдут с легкостью.
Не встречал еще сайта, который не мог содрать. Бывают упертые, но итог всегда один.
Кому нужно Вас спарсят.
Защиту обойдут с легкостью.
Не встречал еще сайта, который не мог содрать. Бывают упертые, но итог всегда один.
Много разных условий может быть. Сайт 100 страниц - да, глупости что тут банить. А если сайт, допустим, 5млн страниц... Есть же умники, которые и API написать и раздавать могут, основываясь на данных вашего сайта. И вот таких и подобных вылавливать и банить, можно и нужно. Способов много, я привел свой, который мне помогает. Они ж как пьявки... присосутся, и пьют кровь вашего сайта 😂
Средняя нагрузка у моего сервера упала на ~20% после того, как я добавил весь Amazon хостинг в бан :) Минусов никаких, но вот многие роботы-скрипты чувствую обломались. Или хостинг новый им покупать нужно, или прокси... один фиг, геморроя у них прибавилось :)
Средняя нагрузка у моего сервера упала на ~20% после того, как я добавил весь Amazon хостинг в бан :) Минусов никаких, но вот многие роботы-скрипты чувствую обломались. Или хостинг новый им покупать нужно, или прокси... один фиг, геморроя у них прибавилось :)
Туда же весь хетцнер и digital ocean.
Ну если уж так пачками, так сразу добавьте еще OVH, SA, TR, etc.
Ну если уж так пачками, так сразу добавьте еще OVH, SA, TR, etc.
и вообще забиндить все сервисы на 127.0.0.1, но АНБ все равно спарсит 😂