как узнать какие роботы заходят на сайт
Атака ботов на сайт: признаки, последствия, защита
Наше большое расследование
Содержание:
Ingredients
Directions
Признаки наплыва ботов
Косвенных признаков ботового DDoS на сайт достаточно много. Если у вас в последние дни вырос трафик в разы, обязательно загляните в метрику, чтобы узнать природу такого резкого всплеска.
ДО БОТОВ:
ПОСЛЕ БОТОВ:
ДО БОТОВ:
ПОСЛЕ БОТОВ:
В самых запущенных случаях может быть так:
4. Имитируют действия человека, если судить по Вебвизору. Боты скроллят страницу, даже останавливаются на каком-то участке текста, но, как отмечают многие веб-мастеры этим только палятся, т.к. на человеческие действия это совсем не похоже:
6. К прямым заходам добавляются переходы со странных сайтов, на которых, якобы, стоит бэклинк на ваш ресурс. При переходе на этот сайт ссылки на ваш сайт не обнаруживается
7. В основном боты селятся на сайтах с хорошей посещаемостью (от 500 до 1000 в сутки). Но бывают исключения и долбят ресурсы поменьше.
9. Количество ботов растёт планомерно. Увеличивается каждый день по чуть-чуть (10-50 заходов), но растёт. И растёт ежедневно. «Нормальным» показателем сейчас считается до 20% ботного трафика на сайте. Это, конечно, не норма, но, якобы, терпимо. А вот если доля паразитного трафика переваливает за 50%, то стоит начинать бить тревогу
10. Зачастую вместе с ботами растёт количество внешних ссылок с разных спамных и мутных ресурсов
Как посмотреть данные по прямым заходам?
[adace-ad не может распознать ботов?
Показывает процент роботов, которые заходили на сайт, только толку от этого никакого — метрика ботов в этот показатель не относит, т.е. не распознает.
Последствия атаки
Последствия в любом случае будут негативными, но у некоторых сайтов, столкнувшихся с атакой, они умопомрачительно деструктивные:
Зачем это делается?
Однозначного ответа на вопрос нет. Всего есть две версии, каждая из которых имеет право на жизнь:
Кто этим занимается?
На тёмную сторону, так или иначе, перешли практически все SEO-конторы. Всё потому, что классическое продвижение, к сожалению (для веб-мастеров под ботами), не даёт и доли такой эффективности в ранжировании, как накрутка ПФ. Агентство krutim.online, сейчас, пожалуй, самое известное, хотя бы потому, что играют «в открытую». Если опустить мораль и этику таких методов SEO, то ребята из Krutim рассказывают достаточно интересные вещи. Последний их вебинар можно посмотреть в YouTube
Как защищаться?
[adace-ad Ничего не делать
Еще один момент: боты могут действительно уйти на некоторое время или снизить атаку до 1-2% от общего трафика, но практически всегда наплыв с прежней, как минимум, силой возвращается. Так же было и у нас.
1. Удалить метрику на конкретных страницах
2. Показывать метрику только пользователям с поиска
Если вы не продвигаетесь в социальных сетях, а оттуда идёт много ботов, то есть смысл фильтровать такой трафик вообще. Да, есть вероятность, что вы зацепите этим самым действительно настоящих пользователей, которые наткнуться на ссылку в социальных сетях, но если в обычном режиме их было немного, то лучше это дело зафильтровать. Тоже самое касается и прямых заходов.
Единственное, что можно сделать через метрику это сделать так, чтобы боты не учитывались в самой метрике (настроить фильтр по IP), но от самих заходов на сайт это не избавит
НО! Возможно, в этом нет никакого смысла, так как сам Яндекс при этом утверждает, что
«Дополнительно обращаем Ваше внимание, Метрика только отображает статистику посещаемости Вашего сайта и не влияет на ранжирование, поскольку статистические данные не передаются в поиск Яндекса.»
3. Бан по IP-адресам / подсетям
Повторяем! Это Опасно!
Так как боты прячутся под мобильными прокси (по сути — модем, который перезагружаются по таймауту и получает новый динамический (!) IP-адрес), то вполне возможно, что заблокированные айпишники вскоре достанутся реальным пользователям, не говоря уж о блокировки целых пулов. С блокировкой нужно быть предельно аккуратным. Рекомендовать данный способ мы не можем. Только в самых крайних случаях.
Как это сделать? Самый простой способ — прописать нужные правила в файл .htaccess. Чтобы не заморачиваться с кодом, который нужно туда прописать, воспользуйтесь генератором — так будет проще и быстрее. Пример работы:
4. Отключение IPv6
Очень много ботов идёт с IP-адресом протокола IPv6 примерно такого вида 2a09:400:xxxx:xxxx:xxxx:xxxx:xxxx:xxxx. Дело в том, что IPv6-адреса можно купить очень дешево и поэтому ботоводы их скупают более охотно, в то время как люди ими почти не пользуются. Таких ботов можно отсечь либо блокировкой, либо отключением в DNS.
Удаление всех AAAA-записей в NS
В вашем регистраторе домена вы прописываете DNS-сервера, которые используются для вашего сайта.
Например, в панели управления доменом на nic.ru у нас прописаны DNS сервиса freedns.afraid.org
Запрет на IPv6 через Сloudflare
В настройках сайта на Cloudflare настройка DNS вынесена в быстрые действия в правом верхнем углу
Блокировка через панель управления хостинга
На данный момент использование IPv6 пока не обязательно. Даже с учетом заканчивающихся свободных айпи-адресов в IPv4, операторы связи не торопятся выдавать адреса с шестого протокола (кстати, используя IPv6, поддержка IPv4 никуда не пропадает). Однако, есть мнение, что делать этого не стоит по двум причинам : это может неадекватно воспринять поисковые алгоритмы Google (каких-то подтверждений этому нет) и часть реальных пользователей вы всё равно отсечете, особенно, если сайт международный (в Европе уже достаточно активно используют). Но вы знаете, кто в России использует IP-протокол шестой версии? Вот и мы не знаем.
5. Блокировка/ фильтр по AS
На форумах проскакивает способ отсечения ботов из социальных сетей блокировкой целых автономных систем (AS) с которых идут мусорные заходы.
Блокировка через htaccess ничем не отличается от блокировки IP. Как узнать какие IP содержат конкретные AS? Для этого есть специальный сервис ASN-blocklist. Введите номер автономной системы и сервис выдает вам пул адресов, которые закреплены за ней. Точнее, он сразу выдает вам код, который нужно прописать в .htaccess
Метод крайне обременительный по времени, если у вас есть Cloudflare, то лучше делать через него
Фильтр через Cloudflare
Фильтр по ASN делается в разделе «Firewall» из аккаунта. Конкретно заходим в Firewall Rules
В бесплатной версии можно настраивать всего 5 правил, но нам нужно добавить только одно:
Таким правилом мы не отсекаем этот трафик, а будем показывать ему капчу (JS Challenge). Полный список ASN под спойлером
Краулеры (поисковые роботы): зачем нужны, виды, как управлять и анализировать?
Краулер (поисковый бот, робот, паук) – это неотъемлемая для поисковой системы программа, отвечающая за поиск сайтов и сканирование их содержимого путем перехода по страницам и ссылкам для занесения собранной информации в базу данных поисковика.
Зачем нужны поисковые пауки?
Допустим, есть пользователь Иван Иванов, ежедневно посещающий какой-нибудь популярный книжный онлайн-ресурс, и этот ресурс регулярно пополняется новыми произведениями. Переходя на сайт, Иван осуществляет следующую последовательность действий:
Чтобы найти подходящий материал, Иванову пришлось потратить около 10 минут. Если каждый день уделять 10 минут на поиск нужной книги, в месяц на этой уйдет в общем 5 часов. И это касается только одного сайта.
Во избежание таких временных затрат нужно использовать программу, в автоматическом режиме занимающуюся поиском новинок.
Без роботов ни один поисковик не будет эффективным, вне зависимости от того, Google это или новая поисковая система. И чтобы не делать, как Иван, они используют роботов для «обхода» сайтов, отыскивающих для поисковых систем новую информацию, которую они смогут предложить пользователям. И чем лучше сканирует краулер, тем актуальнее материалы в выдаче.
Основные боты выполняют следующие функции:
И много других различных краулеров, которые имеют свое предназначение, о которых мы поговорим ниже.
Виды краулеров
У каждого поисковика есть набор собственных веб-пауков, выполняющих различные функции. Поговорим о ботах двух популярнейших поисковых машин.
Роботы Яндекса
Боты Google
Другие поисковые роботы
Краулеры есть не только у поисковых систем. Так, у популярной соцсети Facebook роботы собирают коды страниц, которые
репостят пользователи, чтобы показывать ссылки с заголовками, описанием и картинкой. Рассмотрим более детально веб-пауков, не относящихся к Google и Яндексу.
Ahrefs
Самый популярный инструмент для SEO-продвижения, который помогает анализировать ссылочную массу. Что делает:
Благодаря нему специалисты в области цифрового маркетинга могут проанализировать своих конкурентов и подобрать наиболее эффективную тактику продвижения сайта.
SEMrush
Еще один отличный сервис для оптимизации сайтов, который больше заточен на зарубежный интернет и Google. Он решает такие задачи:
SEO Spider
Программа для сканирования данных на маленьких и крупных ресурсах. Способна:
Spider работает на оперативных системах Windows, MacOS и Ubuntu. В бесплатной версии можно анализировать до 500 страниц.
Serpstat
Комплексный краулер для развития SEO, рекламного контента и улучшения показателей PPC. Он изучает:
Еще здесь есть функция определения ключевых слов, сравнения доменов, анализ контента и так далее.
Часто используемый SEO инструмент за рубежом для проверки и оптимизации веб-ресурса.
И это далеко не полный список. Приведены только самые популярные краулеры.
Как управлять поисковым роботом?
Очень часто приходится ограничивать доступ некоторым краулерам к определенным страницам сайта. Для этого существуют специальные правила, которые вебмастера прописывают для пауков, чтобы они их придерживались. Указываются они в файле robots.txt.
Попадая на сайт, роботы сначала сканируют информацию в файле со списком документов, запрещенных для индексации, например, личные данные зарегистрированных пользователей. Ознакомившись с правилами, краулер или уходит с сайта, или начинает индексировать ресурс.
Что прописывать в файле robots:
Команды можно адресовать как всем ботам сразу, так и каждому по-отдельности.
Если мы откроем файл robots поисковой системы Яндекс, то увидим:
Определим, что все это значит:
Как узнать что робот заходил на сайт?
Есть несколько способов вычислить, что краулер посещал сайт и какие именно страницы. Все зависит от того, чей это бот.
Поисковый робот Яндекса
Основной паук поисковика, индексирующий контент, посещает страницы веб-ресурсов и отсылает их в базу данных с завидной регулярностью. Но он может найти не все необходимые страницы сайта, если они например недоступны.
В Яндекс.Вебмастере вы можете с легкостью узнать, какие именно страницы обошел бот, чтобы отыскать URL недоступных для него документов по причине перебоев на сервере или неправильного содержимого непосредственно страниц.
Зайдите в панели управления Вебмастера на страницу Индексирование, а затем – Статистика обхода. Обновление данных проводится ежедневно, максимум через 6 часов с той поры, когда робот зашел на страницу.
Изначально на сервисе вы увидите информацию по всему ресурсу. Если же вам нужна информация по определенному разделу, кликните на него в списке, расположенного в поле с указанным адресом сайта. Разделы выстроены в соответствии со структурой ресурса. Если вы не нашли в списке нужную страницу, сообщите о них поисковику через Переобход страниц.
Другие роботы
Еще один отличный способ вычислить, что поисковый паук посещал сайт – заглянуть в логи сервера.
В них хранится вся информация касательно того, кто посещал ресурс, когда и по каким страницам переходил, какой у него IP-адрес, какой ответ получил на сайте и прочее. Читать логи вручную довольно трудно, поэтому есть специальные программы, помогающие анализировать и читать логи в удобном формате, что очень важно, потому что с их помощью вы видите любое посещение роботом и человеком.
Одним из самых популярных инструментов, используемых с данной целью, является Screaming Frog SEO Log File Analyser. Отметим, что программа платная. Лицензия стоит 100$ в год. Есть и бесплатная версия с ограниченным функционалом:
Пользоваться программой просто. Для начала потребуется найти файлы access.log на сервере и загрузить их на компьютер с помощью FTP. В большинстве случаев они располагаются в папке /access_logs/ или просто /logs/. Если вы хотите детально проанализировать историю посещений, скачайте логи за период не менее месяца. Скачав файлы, кликните по Import и выберите пункт Log file.
Затем, как данные загрузятся, укажите любое название проекта и укажите часовой пояс. Далее отобразится главное окно админки, где показывается подробная информация: какие краулеры посещали ресурс, с какой частотой, сколько страниц просматривали и так далее.
Но можно «копнуть» еще глубже. К примеру, узнать, какие УРЛы загружаются медленно, а с каких часто приходят на сайт. Помимо этого показывается информация о кодах ответов, отдаваемых ссылками. В меню Response Codes есть фильтр для группирования адресов по типу кода. Так вы очень быстро отыщите ошибки.
Кстати, если нажать правой кнопкой на ссылку, то можно:
Особенно удобные функции перехода в файл robots и проверки индексирования.
Заключение
Без краулеров не существовало бы и поисковиков, ведь именно они сканируют сайты, собирают в них информацию и отправляют ее в базу данных, чтобы затем система включила ее в свой поиск и предоставила пользователям.
Поисковые боты нужны не только поисковикам, но и самим вебмастерам, чтобы успешно анализировать ресурсы, исправлять слабые места и успешно их раскручивать для поднятия на верхние позиции результатов выдачи.
Оцените эту статью. Чтобы мы могли делать лучший контент! Напишите в комментариях, что вам понравилось и не понравилось!
Рейтинг статьи: 4.6 / 5. Кол-во оценок: 7
Пока нет голосов! Будьте первым, кто оценит эту статью.
Как узнать какие роботы заходят на сайт
Google ищет специалиста на вакансию аналитика качества поиска
Мастер Кампаний: простой и быстрый способ разместить рекламу в Директе
А как можно поределить заход робота поисковой машины? Можно по IP или нужен обязательно User-Agent?
А можно и без IP, и без User-Agent 
«Воспитанный», как говорит Яндекс, робот, сначала запрашивает с корня robots.txt, а уже потом сами документы. Вот по нему роботов и ловите.
[This message has been edited by vs (edited 19-11-2001).]
У яндекса другой робот. Кстати, у меня сложилось впечатление, что вот он НЕ ЗАПРАШИВАЕТ robots.txt, а сразу по какому-то непонятному критерию идет вглубь каталога. Может, я чего-то не понимаю?
Что значит, не всегда запрашивает? Тут яндексоиды рубахи на груди рвали, наезжая на «невежливых» роботов, один из которых был запущен на Яндекс Вячеславом Тихоновым. А сами, стало быть, не всегда robots.txt запрашивают. Хе-хе, двойные стандарты, так сказать. 
Может, этот Yandex/1.03 не есть робот Яндекса? А тогда как его зовут?
Да нет, яндексовского робота Yandex’ом и зовут. Некрасиво как-то получается, особенно в плане наездов на чужих роботов. Что на это господа из Яндекса скажут?
Позволю себе запостить скромный сырец с сигнатурами. Имеющий руки да портирует!
SESP : Array [1..SEPCount] of TSpider =
(SpiderName:’AskJeeves’; SpiderAgent:’ask jeeves’),
(SpiderName:’Direct Hit’; SpiderAgent:'(Direct Hit Grabber)’),
(SpiderName:’Infoseek’; SpiderAgent:’Infoseek Sidewinder/’),
(SpiderName:’Aport (RUSSIA)’; SpiderAgent:’Aport’),
(SpiderName:’Rambler (RUSSIA)’; SpiderAgent:’Rambler’),
(SpiderName:’Yandex (RUSSIA)’; SpiderAgent:’Yandex’),
(SpiderName:’OpenFind’; SpiderAgent:’Openfind data gatherer, Openbot’),
Как понять, что ваш сайт накручивают
Но что, если на ваш сайт идет накрутка без вашего ведома? В этой статье я расскажу, как это определить.
Зачем накручивают сайты?
Обычно сайты накручивают для того, чтобы вывести их в топ по определенным запросам. Бот заходит в Яндекс, вбивает в поисковую строку целевую фразу, а затем переходит на нужный сайт. Яндекс замечает, что на определенный сайт по этому запросу пользователи заходят чаще, поэтому решает, что он полезнее остальных. Полезные сайты Яндекс ставит на первые места.
Некоторые SEO-специалисты занимаются продвижением недобросовестно и загоняют ботов на сайты клиентов. Бизнесмен возмущается, почему не растут позиции сайта и продажи, на что SEOшники в ответ показывают ему метрику с гигантским ростом трафика. Клиент продолжает платить деньги, а специалисты продолжают гнать на сайт ботов, которые обычно ничего не покупают.
Если вы заподозрили, что ваш SEO-специалист накручивает поведенческие факторы, нужно срочно это проверить. Ведь если он будет постоянно выполнять агрессивную накрутку, то сайт попадет под фильтры, а вам придется создавать новый ресурс и начинать все с нуля.
Пример из практики
Один заказчик обратился ко мне с просьбой проверить, не подвергается ли его сайт накрутке. Я залез в метрику и увидел резкие скачки трафика. Они могут быть признаком накрутки. Если вы обратились к SEO-специалисту и после начала работы с ним заметили резкие скачки трафика, стоит внимательно проанализировать данные метрики.
Но иногда скачки могут быть естественными. На скриншоте видно, что активность стихает к выходным, а всплески активности происходят одновременно в Гугле (желтая линия) и Яндексе (зеленая линия).
Если на ваш сайт по целевому запросу заходят 500 человек в сутки, но частотность запроса в Яндекс.Wordstat намного меньше, то это явный признак накрутки.
Как понять, что сайт накручивают конкуренты?
Обычно поведенческие факторы накручивают для того, чтобы его позиции улучшились. Однако когда Яндекс начал банить сайты, которые накручивали ПФ, некоторые специалисты стали использовать накрутку как инструмент для атаки на конкурентов. При подобной накрутке сайт выкликивают из поиска – бот вбивает в Яндексе запрос, переходит на ваш сайт, находится на нем менее 15 секунд, покидает его и переходит на сайт конкурента.
Яндекс анализирует поведение настоящих пользователей и ботов, стараясь отличить их по поведению. Если у бота не получилось замаскироваться под человека, то Яндекс ставит на нем клеймо робота.
Как проверить, сколько роботов заходит на ваш сайт?
Заходим в метрику, переходим в « Отчеты » – « Стандартные отчеты » – «Мониторинг» и выбираем пункт «Роботы».
На сайте моего заказчика роботность действительно возросла.
Однако сильных скачков по отказам не было.
Тогда я зашел в Вебвизор и проверил все запросы, по которым заходили на сайт. Если бы конкуренты выкликивали сайт из поиска, то они бы использовали популярные запросы и делали накрутку агрессивнее. Проверив Вебвизор, я пришел к выводу, что сайт все же не накручивают.
Школа роботов
Но если сайт не накручивают, откуда тогда столько роботов? Дело в том, что ваш сайт могут использовать для прокачки ботов. Они заходят к вам на сайт и светятся перед Яндекс.Метрикой. Они хотят заставить Метрику думать, что они не боты, а люди.
Если аффинити-индекс больше 100%, то это действительно долгосрочные интересы посетителей сайта. Но на сайте заказчика большинство посетителей прошлого месяца чаще интересовались досугом и развлечениями, что несвойственно тематике сайта. Видимо, новые боты действительно красовались перед Метрикой.
Могут ли новые боты нанести ущерб сайту?
Скорее всего, нет, потому что они проводят достаточно времени на сайте и не портят показатели отказов.
Если ваш сайт находится в топе сегодня, не факт, что он будет там завтра. Ведь в любой момент могут прийти накрутчики и испортить статистику. Следует всегда быть начеку и постоянно мониторить метрики.