Бортовой журнал
Полет нормальный. Без происшествий.
User-Agent: визитная карточка веб-приложения
В этой статье мы расскажем о том, что такое User-Agent, для чего он нужен и как с его помощью делать всякие нужные штуки. Эта информация пригодится тем, кто планирует всерьез самостоятельно заняться оптимизацией своего сайта, уделяя особое внимание вопросам безопасности. Вслед за этой статьей появится еще несколько материалов, посвященных оптимизации сайтов, не пропустите.
Итак, User-Agent. В обычной жизни нас с вами можно идентифицировать по разным параметрам: голос и внешность выдают в нас мужчину или женщину, форма — военного или доктора. Помимо таких очевидных, есть ряд прочих критериев, которые позволяют нам определить, с кем имеешь дело, и как именно стоит себя вести в данной ситуации. Похожим образом происходит взаимодействие с сайтами — веб-приложение сообщает данные о себе, а сайт в свою очередь может обрабатывать их различными способами. Эта информация передается в User-Agent, о котором пойдет речь далее. 
Что такое User-Agent, какую информацию он передает?
В последние годы использование глобальной сети Интернет стало настолько привычным и даже обыденным, что при открытии какого-либо сайта мы вовсе не замечаем, что первым делом запускаем браузер. А ведь именно он — браузер — является тем приложением, которое позволяет нам видеть сайты красиво оформленными, а не состоящими из набора HTML-тегов и текстовых ссылок. При открытии сайта браузер посылает HTTP-запрос к серверу, который занимается обслуживанием этого сайта, дожидается ответа от сервера и обрабатывает его определенным образом. HTTP-запрос содержит в себе набор информации, из которой стоит выделить метод обработки данных (GET, POST), адрес запрашиваемого ресурса, IP-адрес отправителя, и, собственно, User-Agent.
User-Agent — это текстовая часть запроса, которую веб-приложения используют для сообщения сайту информации о себе. User-Agent браузера содержит название и версию приложения, а также данные об операционной системе компьютера: версия, разрядность, язык по умолчанию и другие параметры. Помимо браузеров User-Agent есть у утилит (Wget и cURL) и поисковых роботов — обычно в них содержится имя робота и ссылка на ресурс, регламентирующий его работу.
Ниже рассмотрены различные варианты User-Agent с расшифровкой тех данных, на которые следует обратить внимание.
Браузеры ПК на примере Mozilla Firefox 36 (Win 8.1 x64):
Mozilla/5.0 (Windows NT 6.3; WOW64; rv:36.0) Gecko/20100101 Firefox/36.0
Windows NT 6.3 — вид и версия операционной системы компьютера, на котором установлен браузер.
Firefox/36.0 — имя браузера и его версия.
Мобильные браузеры на примере Android 2.3.5 (Philips W632):
Mozilla/5.0 (Linux; U; Android 2.3.5; ru-ru; Philips W632 Build/GRJ90) AppleWebKit/533.1 (KHTML, like Gecko) Version/4.0 Mobile Safari/533.1
Linux — тип операционной системы (семейство Linux).
Android 2.3.5 — название операционной системы и ее версия.
ru-ru — язык на мобильном устройстве по умолчанию.
Philips W632 Build/GRJ90 — название и версия мобильного устройства, на котором установлен браузер.
Поисковые системы на примере роботов Яндекс:
Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)
YandexBot/3.0 — имя и версия робота.
http://yandex.com/bots — ссылка на ресурс, содержащий справку о работе робота.
Утилиты на примере wget (Linux):
Wget/1.15 — название и версия программного обеспечения.
Как узнать, от каких User-Agent поступают запросы к вашему сайту?
Информация о поступающих запросах хранится в виде журналов работы веб-сервера. Вы можете включить сохранение журналов веб-сервера в Панели управления аккаунтом хостинга. Перейдите в раздел «Дополнительно» → «Журналы веб-сервера», отметьте домен сайта и нажмите на кнопку «Включить». 
После этого журналы веб-сервера начнут сохранятся в папке /logs, находящейся в директории сайта, в указанном примере это директория domains/user-agent.01sh.ru/logs.
Информация о каждом запросе хранится в журнале отдельной строкой, например:
[u][26/Oct/2016:12:42:08 +0300] 0.350 0.350 200 77.88.99.00 sprinthost.ru GET / HTTP/1.1 «Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.71 Safari/537.36» «-» 6756
Разберем подробнее те части записи, которые нас интересуют в контексте статьи.
77.88.99.00 — IP-адрес, с которого поступил запрос.
sprinthost.ru — имя сайта, к которому было направлено обращение.
«Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.71 Safari/537.36» — тот самый User-Agent браузера, который обращался к сайту.
Зачем сайту знать, с каким User-Agent к нему пришли?
Как видно из приведенных выше примеров, по User-Agent очень просто определить, откуда пришел запрос — это может быть компьютер, планшет, мобильное устройство, поисковый робот или некое программное обеспечение.
Информация об источнике запроса может быть необходима для решения следующих задач:
Значительная часть перечисленных задач требует опыта разработки скриптов на PHP, но не стоит пугаться — для большинства популярных CMS уже существуют расширения, обладающие необходимыми функциями, и вам достаточно найти подходящий плагин или модуль, чтобы получить желаемый результат.
Мы же подробнее разберем ситуацию, когда требуется запретить доступ к сайту по User-Agent. Чаще всего это необходимо для исключения из индексации поисковыми роботами файлов из определенной директории, блокировки нежелательных роботов, создающих нагрузку на сайте, или же обеспечения безопасности, если к сайту поступает множество подозрительных запросов с различных IP-адресов, но с одинаковым User-Agent.
Как запретить доступ к сайту по User-Agent?
Рассмотрим пример, в котором используются правила, запрещающие доступ к сайту с использованием утилиты wget:
В первой строке после параметра User-Agent в кавычках указан User-Agent утилиты Wget, которому присваивается имя bad_bot. Во второй строке указывается необходимость блокировки доступа (Deny) для запроса, пришедшего от bad_bot.
Вместо «^Wget» может быть указан User-Agent любого браузера или робота, имя bad_bot может быть присвоено любому количеству User-Agent, то есть правила
запретят доступ для всех перечисленных User-Agent.
Чтобы убедиться в том, что изменения внесены успешно, вовсе не обязательно искать большое количество различных устройств для проверки работы сайта — гораздо удобнее воспользоваться встроенными почти во все современные браузеры функциями подмены User-Agent.
Как заменить User-Agent браузера?
Обычно замена User-Agent применяется, чтобы проверить правила для роботов и утилит.
Не секрет, что каждый из браузеров при формировании страницы сайта обрабатывает полученные с сервера данные особым образом. Соответственно, если в браузере Firefox указать User-Agent браузера Chrome, результат отображения сайта может быть совершенно неожиданным. Об этом обязательно следует помнить. Всегда возвращайте исходное значение User-Agent после завершения тестирования.
Инструкция по замене User-Agent в Mozilla Firefox (для версий 34.0 и выше)
Наберите в адресной строке вашего браузера следующую фразу:
и нажмите Enter. Если появится сообщение о том, что надо быть осторожным, нажмите кнопку «Я обещаю, что буду осторожен!». После откроется список множества настроек, а также строка поиска. Введите в эту строку:
Вам необходимо убедиться, что параметра general.useragent.override не существует. Для создания этого параметра кликните правой кнопкой мыши по пустому месту и выберите пункт «Создать (New)», затем «Строка (String)». Введите имя этой строки general.useragent.override, нажмите «ОК». Затем потребуется ввести значение этой строки, которое и будет использоваться в качестве нового User-Agent, и нажать «ОК». К примеру, если вы хотите заменить значение на User-Agent утилиты Wget, после создания строки с именем general.useragent.override укажите в качестве ее значения:
Новое значение должно появится в списке параметров. Перезапускать Mozilla Firefox не требуется.
Инструкция по замене User-Agent в Google Chrome (для версий 26.0.1410.64 и выше)
Чтобы указать для Google Chrome нестандартный User-Agent, его необходимо запустить с ключом
и в кавычках указать новую строку User-Agent.
Например, в ОС Windows это можно сделать, нажав сочетание клавиш Win+R и вписав в поле «Открыть» команду:
где вместо MyBrowser должен быть указан нужный вам User-Agent.
Например, чтобы присвоить Google Chrome значение User-Agent консольного браузера Links, следует ввести в поле «Открыть» строку
и нажать на кнопку «ОК».
После этого открывшееся окно браузера будет иметь не стандартный, а заданный User-Agent. Чтобы проверить текущее значение User-Agent, можно ввести в адресной строке:
Информацию о том, как изменить User-Agent других браузеров, можно найти в их документации.
Что такое User Agent и как его изменить в Chrome, Edge, Safari & Firefox
SEO-специалисты могут изменять user Agent, чтобы выявить проблемы с клоакингом или провести аудит веб-сайтов на различных устройствах. Ознакомиться с процессом можно здесь.
Будь вы SEO-специалистом, маркетологом или веб-разработчиком, часто вам может понадобиться изменить user-agent вашего браузера для тестирования различных вещей.
Например, вы проводите кампанию, ориентированную на пользователей MAC-OS. Чтобы узнать, работает ли ваша кампания правильно и не нацелена ли она на пользователей Windows, вы меняете user-agent вашего браузера и проверяете.
Для веб-разработчиков смена user-agent является почти ежедневной задачей, чтобы проверить, как ведут себя веб-сайты в различных браузерах и устройствах.
Что такое User-Agent?
User Agent — это та информация, которую сообщает о себе устройство, выполняющее запросы к Интернет ресурсам.
User Agent — является одним из заголовков HTTP протокола. По User Agent веб-сервер определяет, какая у пользователя операционная система, какой браузер и какая версия этого браузера.
Не только браузеры имеют user Agent, но и боты, краулеры таких поисковых систем как Googlebot, Google AdSense, Yandex и т.д.
Что такое User-Agent
А сейчас мы узнаем, как изменить user-agent вашего браузера.
Этот процесс называется подменой user-agent (user-agent spoofing).
Когда браузер или любой клиент посылает HTTP-заголовок user-agent, отличающийся от того, какой у вас на самом деле, и подделывает его, это называется спуфингом.
Хотя этот термин может насторожить, это не опасное действие и не вызовет у вас никаких проблем. (Так что не стесняйтесь подделывать свой user-agent сколько угодно🙂 ).
Как изменить User-Agent в Chrome и Edge
Поскольку Microsoft Edge теперь использует Chromium, настройки для Chrome и Edge одинаковы.
1. Щелкните правой кнопкой мыши в любом месте веб-страницы > Проинспектировать (Inspect )
В качестве альтернативы можно использовать CTR+Shift+I в Windows, Cmd + Opt +J в Mac.
Как изменить User-Agent в Chrome и Edge
2. Выберите Дополнительные инструменты (More Tools) > Состояние сети (Network Conditions)
Нажмите на три вертикальные точки в правом верхнем углу.
Состояние сети (Network Conditions)» width=»1920″ height=»768″ data-lazy-srcset=»https://bookflow.ru/wp-content/uploads/2021/10/Vyberite-Dopolnitelnye-instrumenty-More-Tools-Sostoyanie-seti-Network-Conditions.png 1920w, https://bookflow.ru/wp-content/uploads/2021/10/Vyberite-Dopolnitelnye-instrumenty-More-Tools-Sostoyanie-seti-Network-Conditions-300×120.png 300w, https://bookflow.ru/wp-content/uploads/2021/10/Vyberite-Dopolnitelnye-instrumenty-More-Tools-Sostoyanie-seti-Network-Conditions-1024×410.png 1024w, https://bookflow.ru/wp-content/uploads/2021/10/Vyberite-Dopolnitelnye-instrumenty-More-Tools-Sostoyanie-seti-Network-Conditions-768×307.png 768w, https://bookflow.ru/wp-content/uploads/2021/10/Vyberite-Dopolnitelnye-instrumenty-More-Tools-Sostoyanie-seti-Network-Conditions-1536×614.png 1536w, https://bookflow.ru/wp-content/uploads/2021/10/Vyberite-Dopolnitelnye-instrumenty-More-Tools-Sostoyanie-seti-Network-Conditions-696×278.png 696w, https://bookflow.ru/wp-content/uploads/2021/10/Vyberite-Dopolnitelnye-instrumenty-More-Tools-Sostoyanie-seti-Network-Conditions-1068×427.png 1068w, https://bookflow.ru/wp-content/uploads/2021/10/Vyberite-Dopolnitelnye-instrumenty-More-Tools-Sostoyanie-seti-Network-Conditions-1050×420.png 1050w» data-lazy-sizes=»(max-width: 1920px) 100vw, 1920px» data-lazy-src=»https://bookflow.ru/wp-content/uploads/2021/10/Vyberite-Dopolnitelnye-instrumenty-More-Tools-Sostoyanie-seti-Network-Conditions.png»/> Выберите Дополнительные инструменты (More Tools) > Состояние сети (Network Conditions)
3. Снимите флажок Выбрать автоматически
4. Выберите из списка любого User-Agent
Если нужного вам user-agent нет в списке, вы можете ввести любую строку в поле под списком.
Например, вы можете ввести в это поле (user-agent Googlebot).
Это может быть полезно для SEO-специалистов, чтобы определить, есть ли на сайте клоакинг, когда веб-страница показывает разное содержание. Для Googlebot одно а для посетителей сайта другое.
В качестве альтернативы можно использовать расширение Chrome User-Agent Switcher and Manager.
При этом я стараюсь не использовать браузерные расширения, когда браузер действительно может выполнить нужное мне действие. Это делается для того, чтобы не перегружать браузер тоннами расширений.
Кроме того, расширения имеют привычку иногда неожиданно ломать веб-сайты.
Хотя вы можете подумать, что проблема возникла на сайте, который вы посетили, причиной может быть одно из используемых вами расширений.
Как изменить User-Agent в Safari
1. Перейдите в Параметры (Preferences)
2. Включите панель меню Develop Menu Bar
Перейдите в раздел Advanced и установите флажок Show Develop menu в menu bar.
Включите панель меню Develop Menu Bar
3. Перейдите в раздел Разработка (Develop) > User-Agent
Вы можете снова выбрать из предустановленного списка или ввести User-Agent, выбрав «Другое…».
User-Agent
Как изменить User-Agent в Firefox
В Firefox можно изменить User-Agent через встроенные настройки браузера.
Однако он не так удобен в использовании, как в Chrome или Safari.
Использовать встроенную функцию браузера — настоящее мучение.
Вместо этого мы воспользуемся расширением Firefox под названием User-Agent Switcher.
После установки расширения вы увидите значок в правом верхнем углу.
Вы можете выбрать один из предустановленных user-agent или ввести пользовательский user-agent, нажав на значок пера ниже.
Как изменить User-Agent в Firefox
Еще одно расширение, которое вы можете использовать, — User-Agent Switcher and Manager.
User-Agent Switcher and Manager.
Заключение
User-agents легко подменить, и любой может использовать эти простые приемы для его замены.
Пользовательский агент браузера: для чего он нужен и почему он важен
Когда мы путешествуем по Интернету, мы оставляем след. Это очевидная вещь, которую знают пользователи. Каждый раз, когда мы посещаем веб-страницу, мы можем отправлять информацию, связанную с нашим подключением или устройством, которое мы используем. Это не означает, что все отрицательно, поскольку для получения более качественного обслуживания потребуются некоторые данные. Однако правда, что иногда на карту поставлена конфиденциальность, и следует принимать меры предосторожности. В этой статье мы поговорим о том, что User-Agent или Пользовательский агент означает. Это термин, тесно связанный с тем, о чем мы говорим.
Как User-Agent идентифицирует нас в сети
При всем том, о чем мы упоминали, User-Agent является важной частью данных, которые мы отправляем при просмотре. Сервер будет использовать эту информацию для адаптации отправляемого нам веб-сайта. Мы собираемся показать, какой тип основной информации будет получать сервер, к которому мы пытаемся получить доступ.
Приложение или браузер
В последнем случае эта веб-страница будет знать, входим ли мы из Google ChromeМозилла Firefox или любой другой вариант из многих, что у нас есть. Таким образом, вы можете адаптировать сайт так, чтобы он выглядел правильно, и у нас не было никаких проблем с совместимостью, которые могут возникнуть.
Версия программы
Он также будет собирать то, что версия именно мы используем. Это важно, чтобы избежать доступа через устаревший браузер, который не обновлялся долгое время и с которым у нас могут возникнуть проблемы с просмотром новейшего контента.
Данные устройства
Нечто подобное происходит с данными устройства, с которого мы пытаемся войти на веб-сайт. Мы отправим информацию, связанную с разрешением экрана компьютера, который мы используем, например, через Пользовательский агент.
Операционная система
Вы также получите точную версию, которую мы используем. И снова цель состоит в том, чтобы показать контент, адаптирующийся к этой версии, и, если он более старый, не иметь проблем, чтобы мы могли правильно видеть веб-сайт.
Язык пользователя
Это позволит странице, если у нее есть такая возможность, адаптироваться к нашему языку и таким образом показать нам текст. Также для тех, кто отвечает за веб-страницу, они будут знать язык компьютеров, которые заходят на их сайт.
Часовой пояс
Как и в предыдущем случае, веб-страница, которую мы посещаем, также будет знать наш часовой пояс. Иногда это может быть полезно, поскольку, если, например, мы заходим на веб-сайт, чтобы увидеть расписание спортивных мероприятий, они будут приходить в то время, которое соответствует посетителю в зависимости от того, где он находится.
Эти данные также являются частью Текстовый заголовок User-Agent которые мы отправляем каждый раз, когда заходим на веб-сайт, и которые используются для адаптации этой страницы к условиям каждого навигатора.
Изменить пользовательский агент в Chrome
Мы объяснили, из чего состоит пользовательский агент или пользовательский агент. Мы видели, что это в основном информация о нашем оборудовании, операционной системе, языке и данных, которые могут использоваться для отображения Интернета тем или иным способом.
Этот вариант, который мы видели, прост и не отличается большой гибкостью. Однако мы можем использовать бесплатное расширение для Google Chrome, которое позволит нам лучше контролировать User-Agent. Это о Переключатель User-Agent и мы можем скачать его с Официальный сайт.
В этом случае у нас будет больше возможностей, поскольку это позволяет нам перемещаться, как если бы мы использовали другой браузер или операционную систему. Очень полезно, если мы хотим провести тесты на нашей странице и посмотреть, как она отображает контент в зависимости от устройства или операционной системы.
Что такое User Agent (пользовательский агент) браузера?
Ваш браузер отправляет свой пользовательский агент на каждый веб-сайт, к которому вы подключаетесь. Мы уже писали об изменении пользовательского агента веб браузера — но что такое User Agent?
Пользовательский агент (User Agent) — это строка текста, идентифицирующая браузер и операционную систему для веб-сервера. Это звучит просто, но со временем в пользовательских агентах стало много запутанного.
Основы
Когда ваш браузер подключается к веб-сайту, он добавляет поле User-Agent в передаваемые им HTTP заголовки. Содержимое поля пользовательского агента варьируется от браузера к браузеру. Каждый браузер имеет свой собственный, уникальный пользовательский агент. По сути, пользовательский агент — это способ для браузера сказать «Привет, я Mozilla Firefox в Windows» или «Привет, я Safari на iPhone» веб-серверу.
Веб-сервер может использовать эту информацию для обслуживания разных веб-страниц для разных веб-браузеров и разных операционных систем. Например, веб-сайт может отправлять мобильные страницы в мобильные браузеры, современные страницы в современные браузеры и сообщение «Пожалуйста, обновите ваш браузер» для Internet Explorer 6.
Понимание пользовательских агентов
Например, вот пользовательский агент Firefox в Windows 7:
Этот пользовательский агент довольно много говорит веб-серверу: операционная система Windows 7 (кодовое имя Windows NT 6.1), это 64-разрядная версия Windows (WOW64), а сам браузер Firefox 12.
Теперь давайте посмотрим на пользовательский агент Internet Explorer 9, который:
Строка агента пользователя идентифицирует браузер как IE 9 с механизмом рендеринга Trident 5. Однако вы можете заметить что-то непонятное — IE идентифицирует себя как Mozilla.
Мы вернёмся к этому через минуту. Но сначала, давайте также рассмотрим пользовательский агент Google Chrome:
Всё ещё хуже: Chrome притворяется и Mozilla, и Safari. Чтобы понять почему, нам нужно изучить историю пользовательских агентов и браузеров.
Что означает строка пользовательского агента
Mosaic был одним из первых браузеров. Его строка агента пользователя была NCSA_Mosaic/2.0. Позже появился Mozilla (позже переименованный в Netscape), а его пользовательским агентом был Mozilla/1.0. Mozilla был более продвинутым браузером, чем Mosaic — в частности, он поддерживал фреймы. Веб-серверы проверяли, что пользовательский агент содержит слово Mozilla, и отправили страницы, содержащие фреймы, в браузеры Mozilla. В другие браузеры веб-серверы отправляли старые страницы без фреймов.
В конце концов появился Microsoft Internet Explorer, который также поддерживал фреймы. Однако IE не получал веб-страницы с фреймами, потому что веб-серверы просто отправляли их в браузеры Mozilla. Чтобы решить эту проблему, Microsoft добавила слово Mozilla к своему пользовательскому агенту и добавила дополнительную информацию (слово «compatible» и ссылку на IE). Веб-серверы были рады видеть слово Mozilla и отправили IE на современные веб-страницы. Другие браузеры, которые появились позже, делали то же самое.
В конце концов, некоторые серверы искали слово Gecko — движок рендеринга Firefox — и обслуживали браузеры Gecko на иных страницах, чем старые браузеры. KHTML — изначально разработанный для Konquerer на рабочем столе KDE в Linux — добавил слова «как Gecko», чтобы они также получили современные страницы, разработанные для Gecko. WebKit был основан на KHTML — когда он разрабатывался, они добавили слово WebKit и сохранили оригинальную строку «KHTML, like Gecko» в целях совместимости. Таким образом, разработчики браузеров со временем добавляли слова в свои пользовательские агенты.
Использование
Веб-серверы используют пользовательские агенты для различных целей, включая:
Боты для веб-сканирования также используют пользовательские агенты. Например, веб-сканер Google идентифицирует себя как:
Веб-серверы могут предоставлять ботам особый режим — например, позволяя им пропускать необходимость регистрации. (Да, это означает, что иногда вы можете обойти страницы регистрации, установив в своём пользовательском агенте Googlebot.)
Веб-серверы также могут отдавать приказы определенным ботам (или всем ботам) с помощью файла robots.txt. Например, веб-сервер может указать конкретному боту, что он должен уйти, или сказать другому боту, чтобы он индексировал только определённые области веб-сайта. В файле robots.txt боты идентифицируются по строкам пользовательских агентов.
Все основные браузеры содержат способы подмены пользовательских агентов, чтобы вы могли видеть, какие страницы веб-серверы отправляются в разные браузеры. Например, установите в браузере на своём компьютере строку агента пользователя мобильного браузера, и вы увидите мобильные версии веб-страниц на рабочем столе.