Случайный альбом
KUBANA-2011
Некультурный отдых - KUBANA-2011
Изображений: 67
Flash Point 2011
Некультурный отдых - Flash Point 2011
Изображений: 77
Из последнего
Отзыв о сайте и сети магазинов Спортмастер. Вкратце - говно.
Собирался обзавестись к весне нормальными трэкинговыми тапками - полез в спортмастер, где были объявлены лютые скидки, в итоге обломался так что больше в этот говноспортмастер - ни ногой!
Дело было в Гогетлинксе, или как общаться с неадекватными оптимизаторами.
Небольшой эпизод. произошедший серым февральским днем с одним свободным копейщиком, или по-модному говоря фрилансером в процессе работы в качестве оптимизатора на статейной бирже Гогетлинкс
Некоторые пространные размышления о причинах попадания под АГС-40
Продолжаем размазывать сопли на тему АГС. На этот раз попробует ответить не на традиционные "Кто виноват?" и "Что делать?", а на сакраментальный "Зачтобля???!!!"
Меточки:
Нацарапано:  19.11.2013
Категория: Работа
Метки новости:
Лирическое отступление: Пересматриваю «Секретные материалы». Отметил, что Скали хорошеет с каждым сезоном. Слава богу, мода 90-х в четвертом сезоне изменилась в лучшую сторону и ушли в никуда бешеные женские костюмы с широченными брюками и плечами. В этих балахонах Джиллиан Андерсон, с ее, мягко говоря, небольшим ростом[toolfaq]ага, метр с кепкой в прыжке на коньках[/toolfaq] смотрелась какой-то квадратной. А сейчас ниче так, приталенные пиджачки, узкое личико. А судя по ранним фильмам – возбужденные соски торчат аж на сантиметр – по неосторожности можно и глаз выколоть. Горячая штучка.




Вобщем ябывдул.



Впрочем, сегодня у нас не об этом. Сегодня, дорогие дети, пришедшие из доброго Гугла, который продолжает любить и индексировать Звиздец, я расскажу вам, как послать Яндекс наxуй. Да-да, ошибки нет. Если вы попали под АГС – первым вашим действием после бессмысленной и беспощадной переписки с роботом техподдержки должно быть экстренное принятие всех мер к тому, чтобы Яндекс про вас забыл. Т.е. для него сайт должен перестать существовать – все страницы должны исчезнуть из кэша, заходы робота должны прекратиться, вобщем для яши вы должны прикинуться шлангом.

Запрет индексирования сайта Яндексом через robots.txt




Для тех, кто не обременен обязательствами перед какими либо сервисами сделать это предельно просто. Пишем в файле robots.txt , который лежит в корне любого уважающего себя сайта волшебные строчки:
Квак!
User-agent: Yandex
Disallow: /


И вуаля – при обращении к сайту яша видит, что ему здесь не рады… видит-то он видит, но вот уйдет ли? Периодически проскакивают сообщения о том, что наглый Яков может напрочь игнорировать robots.txt продолжать спокойно индексировать все ваше грязное белье. Зачастую на радость хацкерам-школоло, начитавшимся сообщений про уязвимости в античате и запустившим поиск по фрагменту адреса. Хотя в наше прогрессивное время даже самые зеленые кулхацкеры доверяют такую задачу Гугле.


Запрет обращений к сайту методом фильтации IP в .htaccess




Для тех же, кто обременен обязательствами в виде всякого рода работ на биржах вечных ссылок и кому ни под каким предлогом нельзя закрывать сайт в роботс, поскольку боты статейников его тоже сканируют на предмет пресловутого Disallow для Яши, есть другой – более изящный выход. Это фильтрация обращений ботов яндекса по IP. Делается это, дорогой друг, уже в другом файлике так же живушем в корне - .htaccess. В этом случае для отваживания любопытного Якова применяется фильтрация по IP-адресам. Прописываем в .htaccess

Квак!
Order allow,deny
allow from all
Deny from ххх.ххх.ххх.ххх


и враг с IP ххх.ххх.ххх.ххх вместо уютненького сайтика увидит 403 Forbidden, или проще говоря, поцелует дверь. Данный метод применяют для защиты от назойливых ботов или просто для того чтобы всякие не лазили где попало. Если же поменять местами аргументы строчек allow и deny то получим картину обратную – зайти на сайт можно будет только с IP ххх.ххх.ххх.ххх
Подробнее с синтаксисом и правилами написания .htaccess можно ознакомиться на специализированных ресурсах, я же продолжу.

Вышеприведенный метод запрета входа с определенных айпишников был бы, конечно, актуален, но существует нефиговая проблема – треснуть банхаммером Яшу так, что голова в трусы провалится, можно только зная эти самые IP. Безусловно в паблике можно найти какие-то списки IP-адресов ботов Яндекса, но поэкспериментировав с ними я понял, что все, что можно раскопать – или уже не актуально[toolfaq]сраные оптимизаторы постарались – некоторые страницы засели в ТОП-30 аж с 2011 года[/toolfaq] , или очень быстро теряет свою актуальность. К тому же адресов с которых работают боты яши – ведро. На момент начала этого года я насчитал 102 шт.
Вобщем есть еще один путь.

Запрет обращения к сайту с фильтрацией по User Agent на примере ПС Yandex




Вкратце суть такова: Каждый хмырь, который забредает на ваш замечательный, бриллиантовый сайт обязан назваться нашему бдительному серверу, который всех записывает в Специальную Книжечку под названием логи (logs). Кроме IP адреса, с которого идет обращение, в записи присутствует еще некий User Agent – идентификатор приложения, посредством которого произведено обращение к серверу. Вот именно этим мы коварно и воспользуемся, тем более, что добренький Яндекс даже не пытается их скрыть, напротив – гордо вываливает на всеобщее обозрение: http://help.yandex.ru/webmaster/robot-workings/check-yandex-robots.xml#robot-in-logs

Нам остается только повыкусыать имена ботов яндекса, а именно:
Цитата:
YandexBot/3.0
YandexImages/3.0
YandexVideo/3.0
YandexMedia/ 3.0
YandexBlogs/0.99
YandexFavicons/1.0
YandexWebmaster/ 2.0
YandexPagechecker/1.0
YandexImageResizer/ 2.0
YandexDirect/3.0
YandexDirect/2.0; Dyatel
YandexSitelinks; Dyatel
YandexAdNet/1.0
YandexMetrika/2.0
YandexNews/ 3.0
YandexNewslinks
YandexCatalog/3.0
YandexAntivirus/ 2.0
YandexZakladki/3.0
YandexMarket/1.0
YandexVertis/ 3.0
YandexCalendar/1.0


И написать в .htaccess что для урода, который назовется одним из этих имен, клуб закрыт:
Квак!
SetEnvIf User-Agent YandexBot/3.0 MustDie=1
SetEnvIf User-Agent YandexImages/3.0 MustDie=1
SetEnvIf User-Agent YandexVideo/3.0 MustDie=1
SetEnvIf User-Agent YandexMedia/3.0 MustDie=1
SetEnvIf User-Agent YandexBlogs/0.99 MustDie=1
SetEnvIf User-Agent YandexFavicons/1.0 MustDie=1
SetEnvIf User-Agent YandexWebmaster/2.0 MustDie=1
SetEnvIf User-Agent YandexPagechecker/1.0 MustDie=1
SetEnvIf User-Agent YandexImageResizer/2.0 MustDie=1
SetEnvIf User-Agent YandexDirect/3.0 MustDie=1
SetEnvIf User-Agent YandexDirect/2.0; Dyatel MustDie=1
SetEnvIf User-Agent YandexSitelinks; Dyatel MustDie=1
SetEnvIf User-Agent YandexAdNet/1.0 MustDie=1
SetEnvIf User-Agent YandexMetrika/2.0 MustDie=1
SetEnvIf User-Agent YandexNews/3.0 MustDie=1
SetEnvIf User-Agent YandexNewslinks MustDie=1
SetEnvIf User-Agent YandexCatalog/3.0 MustDie=1
SetEnvIf User-Agent YandexAntivirus/2.0 MustDie=1
SetEnvIf User-Agent YandexZakladki/3.0 MustDie=1
SetEnvIf User-Agent YandexMarket/1.0 MustDie=1
SetEnvIf User-Agent YandexVertis/3.0 MustDie=1
SetEnvIf User-Agent YandexCalendar/1.0 MustDie=1

Order allow,deny
Allow from all
Deny from env=MustDie


И пойдет он, солнцем палимый…




Кто-то может возразить, что это не панацея и у Яши могут быть секретные боты, скрывающие свою истинную личность под другими вымышленными именами, но я вам скажу, что запрет индексации через robots.txt – это еще более хлипкая калитка, однако в большинстве случаев срабатывает и она.




Звиздец рекомендует поделиться ссылкой с камрадами и откомментить эту заметку:
для печатиПечатай!  
 
ZviZdeZ.ru
Придет серенький Фенрир и укусит нас за мир

2009-2011©