SEO палево №6 Страна зазеркалья

SEO палево №6 Страна зазеркалья

Цитата: «палил, палю и буду палить»

Roman77

Пройдёмся по одной из серъёзных проблем поисковых систем: «зеркалам сайтов», данная функция лет 6 назад – служила для, казалось бы хорошей цели, очистки поисковой базы от дубликатов. Много сайтов в Интернет имело (и имеет) дубликаты, например http://site.ru и http://www.site.ru/. Естественно поисковые системы создали алгоритм для убирания из поиска дубликатов – зеркала сайтов. Этот вопрос настолько серъёзен – что был создан робот-зеркальщик, отдельный паук, отвечающий именно за поиск и определение дубликатов – зеркал сайтов.

Изначально этот процесс был полностью автоматическим, но из-за многочисленных нареканий было решено в файле robots.txt, который изначально в 1996 году был создан только для одной цели – для инструктажа поисковых роботов какие страницы можно индексировать, а какие нельзя, добавить функционал ( robots.txt кстати и сейчас развивается и его уже называют не просто файлом в директории хост а уже и «стандарт robots.txt).

Итак в стандарт robots.txt добавили новую директиву – Host, которая позволяла вебмастеру вручную указывать пауку (почему программу-роботов называют пауками? наверное круто звучит прим. автора).

И тут как говорил поручик Ржевский – карта у меня так и попёрла.

Вебмастера открыли в этой директиве – уязвимость и не одну и не две.

Итак по порядку.

В Интернете вовсю обсуждают как топить конкурентов, способов описываются миллионы, но действенных – всего ничего.

Это:

а. Заражение сайта конкурента вирусом;

б. Стук – о том что конкурент использует поисковый спам

в. «Приклеивание конкурента»

Вот на третьем поподробнее: значительная часть сайтов в интернет не имеет в файле robots.txt директивы HOST, причём среди них сайты огромных компаний – банков, крупных торговых компаний, государственных структур. Даже известнейший сайт студии Лебедева, рекламирующей в Интернете себя как пионера веба и команды вебмастеров съевшей тонны соли и тыщу собак, не имеет директивы HOST: http://www.artlebedev.ru/robots.txt

Если у сайта нет в роботсе директивы HOST, то он становиться весьма уязвимым, конкуренты создают клона, прописывают в директиве у клона в роботсе следующее:

Host: www.site-klon.ru

И всё – робот зеркальщик видит два одинаковых сайта, видит на одном из них директиву хост и клеит сайт без этой директивы к другому, что мы видим в результате? Полное выпадение пострадавшего из поиска, перетекание к клону всех обраток и в итоге – посетителей. Причём пострадавшие узнают об этом только по факту, когда его приклеили к клону. Лечение одно – срочное прописывание хоста у себя в директории и абузы хостерам и поисковым системам. Это помогает но не всегда, и бывает что вы возвращаетесь в поиск, но ниже чем до атаки клоноводов. Причём возвращение в индекс дело не одной недели, а порой нескольких месяцев. Правда обидно?

В высоконкурентных тематиках мы всегда ощущаем дыхание конкурентов – они смотрят где мы покупаем ссылки, стучат в поисковые системы и размещают ссылки там где мы нашли хорошую халяву. А почему бы нам не спрятать обратки? Итак создаём сайт – копию нашего любимца, прописываем в хосте копии главный сайт и покупаем ссылки в различных сервисах (в той же сраной сапе например или на халявных ресурсах). Итог: в выдаче основной сайт растёт, тиц и пр увеличиваются а конкурент не понимает в чём дело, и пишет тупые топики в серче: «конкурент вырос в выдаче, Яша тупит и все козлы»

Уязвимость №3, №4, №5 а оно мне надо? Лень писать….

Вывод: я не учу как воровать чужие сайты и обманывать ПС, просто посмотрите у себя роботс и пропишите хост, пока не поздно.

например вот это сайт: большой инет-магазин, выставляют счёта в он-лайне, а что если сделать клона, приклеить инет-магазин а потом подменить реквизиты в скрипте выставления счетов? Убытки будут сотни тысяч рублей….а все из-за незнания такой вещи как «страна зазеркалья», всем удачи…