Чтобы распознать строку useragent, воспользуйтесь онлайн формой ниже. Вставьте свою строку в поле User agent , или нажмите ссылку Мой user agent , чтобы узнать и распознать строку своего веб-браузера.

Внимание! JavaScript отключен.
Без включенной поддержки JavaScript функция User Agent работать не будет .
Включите в своём браузере поддержку JavaScript и обновите страницу.

Что такое User Agent?

User Agent — это строка, которую используют веб-браузеры в качестве своего имени, она содержит не только имя браузера, но и версию операционной системы и другие параметры. По user agent можно определить достаточно много параметров, например, название операционной системы, её версию и разрядность. Также можно определить и само устройство, на котором установлен браузер, это может быть компьютер, планшет, iPhone, iPad или другое мобильное устройство. Еще по user agent можно определить функции, которые поддерживает веб-браузер, например, JavaScript, Java Applet, Cookie, VBScript и Microsoft"s ActiveX.

Как происходит определение?

Как возможно определить так много параметров из одной маленькой строки? Большинство известных строк user agent находятся в базе данных browscap.org , если такая строка найдена в базе, то можно получить многие параметры, например, что за веб-браузер, что за версия, что за операционная система и т. д. База user agent постоянно обновляется и поддерживается, её можно скачать совершенно бесплатно на сайте browscap.org .

Как и кто использует данные user agent?

Данные из user agent используют веб-сервера, для определения версии браузера, чтобы отобразить наиболее корректно веб-страницу. Хоть этот метод уже и устарел, некоторые сайты продолжают использовать его для определения мобильных устройств. На смену такому способу пришел адаптивный дизайн.

Как изменить user agent?

Как изменить строку браузера на свою? Когда может потребоваться изменить user agent? Тогда, когда вы подозреваете, что сайт выдает информацию, исходя из вашей версии веб-браузера и не дает никакими образом увидеть полную версию сайта, вот тогда нужно изменить user agent и попробовать зайти на сайте еще раз.

Как изменить user agent в Mozilla Firefox

Актуально для версии Mozilla Firefox 34.0 и выше. В адресной строке набрать about:config и создать строку с именем general.useragent.override , по умолчанию такой строки нет. В значение строки необходимо вписать то, что будет отображаться в user agent.

Как изменить user agent в Chrome

Актуально для версии Google Chrome 26.0.1410.64 и выше. Необходимо запустить веб-браузер с ключом --user-agent="" и в кавычках указать новую строку user-agent. Например, в Windows можно запустить, нажав Win+R, и в поле "Открыть" вписать chrome --user-agent="MyBrowser" . Проверить текущее значение можно, введя в адресной строке about: .

Как изменить user agent в Opera

Актуально для версии Opera 12.15 и выше. Необходимо в адресной строке набрать opera:config#UserPrefs|CustomUser-Agent и заполнить выделенное поле "Custom User-Agent" новым значением для строки user agent. Затем необходимо прокрутить страницу в самый низ, нажать "Сохранить".

Как изменить user agent в Safari

Актуально для версии Apple Safari 5.1.7 и выше. Необходимо зайти в меню "Разработка". Чтобы увидеть панель меню, необходимо нажать Alt. Если не отображается меню "Разработка", его необходимо включить, для этого зайдите в меню "Правка" - "Настройки", перейдите во вкладку "Дополнения" и поставьте галочку напротив "Показывать меню разработка в строке меню". После опять нажмите Alt и выберите "Разработка" - "Пользовательский агент". На выбор уже представлены некоторые варианты, если ни один не подошел, выбирайте "Другой" и вписать свою строку user agent.

Как изменить user agent в Internet Explorer

Актуально для версии Internet Explorer 10 и выше. Необходимо нажать F12, откроется панель "Средства разработчика", выбрать меню "Сервис" - "Изменить строку агента пользователя". Уже, на выбор, представлено несколько вариантов, если ни один не подошел, то выбирайте "Особая...". В поле "Понятное имя" ввести любое имя, а в поле "Строка агента пользователя" ввести нужную строку user agent. Затем нажать "Добавить", выбрать её в списке и нажать "Установить". Единственный недостаток этого способа в том, что действует он временно, до закрытия веб-браузера, после нового запуска браузера необходимо опять нажать F12 и выбрать созданный вариант из списка быстрого выбора.

Еще способ изменить строку user agent - это исправить её в реестре, тогда установки сохраняются и после закрытия браузера, но есть минусы данного способа. Изменить строку user agent на совершенно произвольную не получится. Дело в том, что эта строка состоит из разных значений реестра, которые отделены друг от друга точкой с запятой (";"). Если значение нужно поменять для всех пользователей, то это HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\Windows\CurrentVersion\Internet Settings\5.0\ User Agent\ , а для одного текущего пользователя здесь HKEY_CURRENT_USER\SOFTWARE\Microsoft\Windows\CurrentVersion\Internet Settings\5.0\ User Agent\ . По умолчанию там только один ключ По умолчанию (default). Необходимо создать три "строковых параметра" Compatible , Platform и Version . Чтобы изменения вступили в силу, необходимо перезагрузить браузер. Установите для примера данные значения:

• По умолчанию = "Mozilla/5.0"
• Compatible = "compatible"
• Platform = "Windows NT 6.1"
• Version = "MSIE 10.0"

В зависимости от необходимости замените указанные значения на нужные и не забудьте перезапустить браузер. Более подробно об этом можно прочитать на сайте Microsoft .

Как изменить User Agent на мобильных устройствах

Во многих мобильных устройствах уже предусмотрены изменения useragent строки с помощью стандартных настроек веб-браузера.

Как изменить User Agent в стандартном браузере для Android

В стандартном браузере Android строка useragent изменяется в настройках браузера, опция UAString. Но по умолчанию этот пункт меню скрыт. Для отображения данного меню, необходимо набрать в адресной строке about:debug и нажать Поиск или Go (на виртуальной клавиатуре). Затем заново зайти в настройки: Настройки » UAString, теперь данная опция доступна для выбора.

Как изменить User Agent в Dolphin Browser

Актуально для версии Dolphin Browser 11.4.2 и выше. Изменения предусмотрены стандартными настройками в меню "Настройки" » "Специальные" » "Персонализация" » "Пользовательский агент". На выбор представлены сразу несколько вариантов: "Android", "Рабочий стол", "iPhone", "iPad", "Пользовательский". Последний вариант позволяет ввести произвольную useragent строку.

Как изменить User Agent в PHP

Актуально для версии PHP 5.6 и выше. User Agent в PHP можно изменить двумя способами. Первый, это в файле php.ini, изменить параметр user_agent . Второй способ, это во время выполнения скрипта использовать stream_context_create .

Пример использования для file_get_contents() :

$opts = [ "http" => ["user_agent" => "my user agent"] ]; $context = stream_context_create($opts); file_get_contents("http://example.com/", false, $context);

Пример использования для Soap Client:

$opts = [ "http" => ["user_agent" => "my user agent"] ]; $context = stream_context_create($opts); $soapclient = new SoapClient("http://example.com/wsdl/", ["stream_context" => $context]);

Примеры строк User Agent

Desktop браузеры:

• Mozilla Firefox 36 (Win 8.1 x64): Mozilla/5.0 (Windows NT 6.3; WOW64; rv:36.0) Gecko/20100101 Firefox/36.0
• Google Chrome 53 (Win 10 x64): Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.116 Safari/537.36
• Google Chrome 40 (Win 8.1 x64): Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/40.0.2214.115 Safari/537.36
• Opera 40 (Win 10 x64): Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.101 Safari/537.36 OPR/40.0.2308.62
• Opera 12.17 (Win 8 x64): Opera/9.80 (Windows NT 6.2; WOW64) Presto/2.12.388 Version/12.17
• Apple Safari 5.1 (Win 8 x64): Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/534.57.2 (KHTML, like Gecko) Version/5.1.7 Safari/534.57.2
• Internet Explorer 11 (Win 10 x64): Mozilla/5.0 (Windows NT 10.0; WOW64; Trident/7.0; .NET4.0C; .NET4.0E; rv:11.0) like Gecko
• Internet Explorer 11 (Win 8.1 x64): Mozilla/5.0 (Windows NT 6.3; WOW64; Trident/7.0; ASU2JS; rv:11.0) like Gecko
• Microsoft Edge (Win 10 x64): Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/46.0.2486.0 Safari/537.36 Edge/13.10586

Мобильные браузеры:

• iPhone: Mozilla/5.0 (iPhone; CPU iPhone OS 6_0 like Mac OS X) AppleWebKit/536.26 (KHTML, like Gecko) Version/6.0 Mobile/10A5376e Safari/8536.25
• Android 2.3.5 (Philips W632): Mozilla/5.0 (Linux; U; Android 2.3.5; ru-ru; Philips W632 Build/GRJ90) AppleWebKit/533.1 (KHTML, like Gecko) Version/4.0 Mobile Safari/533.1

Планшеты:

• iPad: Mozilla/5.0 (iPad; CPU OS 6_0 like Mac OS X) AppleWebKit/536.26 (KHTML, like Gecko) Version/6.0 Mobile/10A5376e Safari/8536.25

Поисковые системы:

• Яндекс: Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)
• Google: Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
• Bing: Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
• Yahoo! Slurp: Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)
• Mail.ru: Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Fast/2.0; +http://go.mail.ru/help/robots)
• Sputnik: Mozilla/5.0 (compatible; SputnikBot/2.3; +http://corp.sputnik.ru/webmaster)

Роботы, боты, анализаторы:

• Ahrefs: Mozilla/5.0 (compatible; AhrefsBot/5.0; +http://ahrefs.com/robot/)
• Majestic: Mozilla/5.0 (compatible; MJ12bot/v1.4.5; http://www.majestic12.co.uk/bot.php?+)
• SMTBot: Mozilla/5.0 (compatible; SMTBot/1.0; +http://www.similartech.com/smtbot)
• linkdex: Mozilla/5.0 (compatible; linkdexbot/2.2; +http://www.linkdex.com/bots/)
• Exabot: Mozilla/5.0 (compatible; Exabot/3.0; +http://www.exabot.com/go/robot)
• StatOnline.ru: Mozilla/5.0 (compatible; StatOnlineRuBot/1.0)

Наверное, каждый знает, что сайты и сервисы собирают информацию о пользователях для собственных целей. User Agent - строка, которая содержит информацию о версии операционной системы, браузере и его особых функциях, а также об устройстве, с которого пользователь посещает сайт. Сайты собирают эти сведения для корректного отображения страницы и её содержимого. Раньше, сайты создавались с учётом особенностей разных браузеров, поэтому пользователи изменяли Юзерагент, чтобы просматривать страницы сайтов в том виде, который им нужен. Этим инструментом часто пользуются разработчики, проверяя работоспособность страниц с разных устройств.

Сама по себе информация, которую предоставляет Юзерагент браузера вреда не представляет, однако, некоторые сайты и сервисы используют её для идентификации пользователей. Поэтому, User Agent мешает тем, кто работает с мультиаккаунтами, социальными сетями и торговыми сервисами: smm менеджерам, арбитражникам, вилочникам, и.т.д. С их помощью сайты, сервисы и социальные сети обнаруживают одновременную работу нескольких аккаунтов и блокируют всю сеть, что приводит к потере денег и времени. Чтобы этого не случилось, пользователи изменяют User Agent в браузерах и программах, в которых присутствует встроенный браузер.

Также подмена User Agent поможет просто сохранить анонимность и обеспечить безопасность компьютера и хранимых на нём данных, а также обойти ограничения и посещать сайты, содержимое которых доступно только при использовании определённой платформы или устройства.

Однако, смена User Agent имеет недостатки: некоторые сайты могут отображаться некорректно, а сервисы технической поддержки получат неверную информацию о вашем устройстве и браузере, что затруднит решение проблемы. Поэтому, делайте это с умом и не забывайте откатывать изменения, если этого потребует ситуация.

Как отключить User Agent в браузерах

Способы изменения User Agent отличаются, в зависимости от браузера. Где - то это сделать проще, где - то сложнее, а в отдельных случаях, сменить User Agent без сторонних расширений не представится возможным. Если вы не знаете, как изменить User Agent, то воспользуйтесь инструкциям ниже. В них рассказывается, о изменении User Agent в популярных браузерах.

Изменение Mozilla Firefox

В новых версиях Mozilla Firefox изменить User Agent можно через командную строку браузера. Для этого вам потребуется:

1. Открыть браузер и в адресную строку ввести: about:config.
2. Нажимаем правой кнопкой мыши в окно настроек и выбираем пункт "создать", а затем выбираем "строка".
3. После этого, откроется окно, где предлагается назвать строку. Даём ей имя general.User Agent.override и жмём "Ок".
4. После этого, появится новое окно, которое потребует ввести значение строки. Вводим в неё нужный вам User Agent и нажимаем "ОК".

Универсальный способ изменения User Agent для браузеров на базе Chromium

Универсальный способ, который подойдёт для всех браузеров на базе Chromium. Замена юзер агента осуществляется прямо через браузер, используя встроенные инструменты разработчика. Для этого нужно:

1. Открываем браузер и заходим в его меню. Наводим курсор на пункт "Дополнительные инструменты", затем кликаем на пункт "Инструменты разработчика", либо вызываем меню сочетанием клавиш Ctrl+Shift+L или просто жмём F12.
2. В появившемся окне справа нажимаем на три точки, которые расположены на вкладках сверху
3. Во всплывающем окне выбираем раздел "More Tools", в нём кликаем на кнопку "Network conditions".
4. Снизу справа откроется дополнительная вкладка. В разделе "User Agent" снимаем галочку с пункта "Select automatically".
5. После этого, выбираем необходимый User Agent из ползунка, или же вводим нужный в специальное поле, расположенное ниже.
6. Данный способ подойдёт для трёх указанных выше браузеров. Если же он не сработал, то попробуйте воспользоваться другими способами, которые перечислены ниже.

Изменение Google Chrome

Поменять User Agent в Google Chrome несложно. Если универсальный способ вам не помог, или оказался слишком сложен, то попробуйте этот. Он работает для версий выше 26. Вам потребуется:

• Кликнуть правой кнопкой мыши на ярлык браузера.
• Во всплывающем окне нажать "Свойства."
• В поле "Объект" добавить следующее содержимое: --user-agent="(необходимый вам User Agent)”
• После этого, нажмите "ОК".

• Нажмите Win+R. В открывшемся окне "Выполнить", впишите chrome --user-agent="(нужный User Agent)"
• Нажмите "ОК"

Также можно просто использовать расширение, которое сменит User Agent в пару кликов. Найти их можно в поисковике, или в магазине расширений Chrome. Если вы не знаете, какое расширение использовать, то советуем обратить внимание на User-Agent Switcher для Google Chrome.

Изменение User Agent в Opera

Если универсальный способ, указанный выше, вам не помог, попробуйте воспользоваться дополнительными способами изменения User Agent в опера, которые зависят от версии вашего браузера. Чтобы сменить User Agent в 43 версии Oprea и ниже необходимо:

1. Открыть браузер, в адресную строку ввести opera:config#UserPrefs|CustomUser-Agent.
2. В открывшемся окне впишите нужный вам User Agent.

В новых версиях такой способ может и не сработать, поэтому придётся воспользоваться сторонними расширениями, которые меняют User Agent браузера, или делают его случайным при каждом входе в браузер. Их легко найти по соответствующему запросу в поисковике. Например, расширение User-Agent Switcher для Opera.

Изменение Yandex Browser.

Помимо универсального способа, описанного выше, сменить User Agent в Yandex Browser можно при помощи специального расширения, которое можно найти при помощи поисковика. Мы рекомендуем использовать расширение User-Agent Switcher для Yandex Browser.

Помните, что сменой Юзер агента нужно пользоваться с умом. Не забывайте возвращать исходные параметры после каждого изменения, поскольку неверно установленный User Agent будет некорректно отображать некоторые страницы, а в худшем случае, доступ к нужной вас странице будет полностью заблокирован.

Юзерагент (User Agent) – это идентификатор браузера, показывающий сайтам: вашу операционную систему и ее версию, разрядность, ваш браузер и его версию. Каждый браузер с которого вы заходите в интернет имеет свой юзер агент, но его можно поменять с помощью специальных расширений.

Юзер агенты могут понадобиться для работы в различных программах, например MultiBrowser, ZennoPoster, LSender VK PRO, различный софт для вк и т.д. При работе в таких программах важно использовать только актуальные версии юзерагентов, потому что на основании их некоторые сайты делают определенные выводы. При использовании старых и “плохих” юзер агентов может даже повышаться вероятность блокировки.

Пример юзер агента: Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.87 Safari/537.36

Операционная система	Windows 7, архитектура x64
Браузер	Chrome 67.0.3396.87

Где взять актуальный список

Важность использования только актуальных юзер агентов очевидна. Если вы будете использовать в работе те же юзерагенты что и большинство пользователей интернета, вопросов у сайтов к вам не будет. С точки зрения сайтов вы будете выглядеть как обычный пользователь, нам как раз это и нужно при использовании программ для различной автоматизации.

Так где же взять юзерагенты? Оказалось в интернете практически нет ресурсов предоставляющих актуальные юзер агенты. Самый популярный сайт с юзер агентами (useragentstring.com/pages/useragentstring.php) не обновляет базу уже несколько лет.

Мы решили это исправить и запустили онлайн сервис , который обновляет базу каждый день. Юзер агенты в базе реальные, используемые пользователями в рунете. Можно скачать как бесплатный список, так и купить premium доступ.

User Agent – это набор параметров, по которым происходит определение браузера, операционной системы, их версий, языка и плагинов. Такие данные требуются для корректного отображения веб-страниц на различных устройствах и браузерах.

После стандартизации основных браузеров данные User Agent уже не обязательны, и используются в основном для отладки сайтов, сбора статистики и «черной» поисковой оптимизации. Также данные User Agent могут служить дополнительным источником информации для злоумышленников. Поэтому, для обеспечения анонимной работы в сети Интернет, пользователи изменяют значение User Agent при помощи различных плагинов и программ.

Важно помнить, что не все плагины способны корректно изменять User Agent пользователя. Некоторые плагины делают подмену данных User Agent только в браузере клиента, оставляя аналогичные серверные данные без изменений. Пользователи, у которых не совпадают значения User Agent, могут вызывать подозрения у администраций различных банковских сайтов и платежных сервисов.

Как проверить свой User Agent

После установки или удаления плагинов и программ для подмены User Agent рекомендуется пройти тест на сайте . Тест покажет, совпадают ли значения User Agent на стороне клиента и на стороне сервера.

Как изменить User Agent в браузере Chrome

В браузере Chrome подменять данные User Agent удобней при помощи плагина «User-Agent Switcher».

1. В браузере Chrome загружаем и устанавливаем плагин «User-Agent Switcher».
2. Кликаем на иконку плагина и выбираем любое значение User Agent.
3. Проверяем совпадение значений User Agent тестом на сайте .

Как изменить User Agent в браузере Firefox

В Firefox возможно подменить User Agent через настройки браузера.

1. В браузере Firefox вызываем скрытые настройки, для этого прописываем в адресной строке команду about:config и жмем Enter.
2. Создаем новый параметр с названием general.useragent.override. Далее вызываем контекстное меню, выбираем «Создать» и «Строка».
3. Вводим название параметра general.useragent.override и подтверждаем.
4. В появившемся окне прописываем нужные данные User Agent.
5. Проверяем результат подмены User Agent тестом на сайте сайт.

Как изменить User Agent в браузере Opera

В браузере Opera подмена User Agent возможна с помощью плагина «User-Agent Switcher».

1. В меню браузера Opera находим «Расширения» и загружаем плагин «User-Agent Switcher».
2. После установки кликаем на иконку плагина «User-Agent Switcher» и выбираем любые данные, которые будут отображаться в User Agent.
3. Проверяем правильность подмены User Agent тестом на сайте сайт.

Индексация содержимого страниц сайта поисковыми системами происходит при помощи различных поисковых роботов. Все они проводят на сайте определенное время. Поэтому важно, чтобы была проиндексирована вся нужная информация, которая может привлечь посетителей.

Если сайт состоит из большого количества страниц, то целесообразно скрыть от внимания ботов ту информацию, которая не является целью первоначального запроса при поиске информации по теме сайта в интернете. Также на период внесения изменений в тексты или оформление сайта можно скрыть его весь или отдельные страницы от поисковиков. Для того чтобы это сделать, нужно отредактировать файл Robots.txt, расположенный в корневой директории сайта. В нем прописываются строки User-agent – директив, которые задают инструкции ботам поисковых систем при работе с сайтом. Именно их нужно менять, чтобы управлять индексацией.

Что из себя представляет User-agent?

User-agent есть в любом браузере и мобильном устройстве. Эта строка содержит множество сведений о компьютере, операционной системе, версии браузера. Прописанные в файле Robots.txt, строки с описанием User-agent влияют на работу поисковых систем на сайте. С их помощью можно скрыть от поисковиков (от всех или каких-то определённых) находящуюся на сайте информацию – какую-то страницу или весь сайт, конкретный тип файлов. Ограничивая индексацию по типу файлов, к примеру, можно сделать видимыми только картинки, только тексты или, наоборот, исключить из индексации конкретный тип файла.

Ограничение видимости можно прописать для бота конкретной поисковой системы или для всех роботов. Инструкции прописываются для каждого робота, для которого известно написание User-agent.

Из строки, содержащей описание User-agent можно узнать следующие сведения:

• Наименование основного браузера, его версию;
• Версию операционной системы;
• Какое специфическое программное обеспечение установлено на устройстве;
• Вид устройства, с которого осуществляется выход в интернет.

Изменение User-agent может понадобиться не только для того чтобы редактировать параметры индексации сайта, но и чтобы скрывать нежелательную для отслеживания информацию: например, вид устройства для аккаунтов Google, VK. Также с помощью редактирования User-agent можно сделать актуальным устаревший браузер, перестать получать предложения об установке того или иного браузера. Изменение данной строки в разных браузерах и устройствах происходит по-своему. Следует искать инструкции для конкретного браузера или типа операционной системы (Android, iOS).

User-agent и поисковые роботы Google

Одной из самых популярных поисковых систем является Google, и этой системой создано множество ботов для индексации различного контента на сайтах и устройств, с которых осуществляется выход в интернет.

Некоторые боты системы:

• APIs-Google – робот для рассылки push-уведомлений;
• AdSense – распознает содержание сайта для размещения соответствующих тематике объявлений;
• AdsBot Mobile Web Android, Mobile Apps Android, AdsBot-Google и AdsBot Mobile Web – для проверки рекламного контента, размещенного на сканируемом портале. Каждый из ботов отвечает за свои устройства – компьютеры, телефоны на IOS или Android, мобильные приложения;
• Googlebot Images – сканирует файлы, являющиеся изображением;
• Googlebot News – ищет информацию для размещения в новостном разделе системы;
• Googlebot Video – отвечает за видеофайлы;
• Googlebot.

Основной робот для поисковика Google – это Googlebot. В случае необходимости полной блокировки индексации всего сайта для этой системы, достаточно внести в файл Robots.txt условие, устанавливающее Googlebot агентом пользователя. Тогда для всех ботов компании Google сайт станет невидимым. Можно ограничить видимость определенного контента. Тогда нужно настроить правило для агента, отвечающего за этот контент. Например, сканированием изображений на сайте занимается Googlebot-Image. Запись в файле Robots, где оформляется данная операция, выглядит так:

User-agent: Googlebot

Disallow: (здесь остается пустое место, так как основному боту ничего не запрещается)

User-agent: Googlebot-Image

Disallow: /personal (запрет на видимость изображений в личном каталоге для бота, ответственного за контент данного типа).

Можно запретить индексацию всего сайта, но разрешить индексировать конкретный контент, например, видео или размещенную рекламу. К примеру, чтобы разрешить сканировать только видео, основному боту нужно запретить индексацию всего сайта, а в качестве агента, для которого запретов не предусмотрено, указать Googlebot Video.

Если сайт должен быть виден поисковой системе Google полностью, без исключений, то файл Robots.txt не нужен, его можно вовсе удалить (при условии, что не нужно ограничить какой-либо другой поисковик).

Списки User-agent

Чтобы просмотреть список User-agent поисковой системы, достаточно перейти в соответствующий раздел ее сайта в интернете.

Списки строк агента пользователя для всех ботов Google можно найти на официальной странице ресурса в разделе «Поисковые роботы Google». Там находится подробная таблица с описанием ботов, их назначения, строками User-agent для каждого из них и инструкциями по прописыванию правил доступа в robots.txt и метатегах.

Основным поисковым ботом Яндекса является Yandex, для Yahoo! это Slurp, Рамблер запускает по Сети бота StackRambler, у Мэйл.ру функцию основного робота выполняет Mail.Ru. обычно крупные поисковики имеют нескольких роботов, перечень которых должен быть на их сайте с указанием полных строк агентов пользователя.

Если специальных настроек видимости для роботов поисковых систем на сайте не требуется, то можно удалить файл robots.txt и тогда сайт компании будет полностью сканироваться всеми роботами, если какие-либо другие параметры не помешают индексации.