Большинство Web-сайтов доступно всем желающим. Однако некоторые сайты или отдельные страницы этих сайтов должны оставаться невидимыми.

Эти страницы часто доступны только уполномоченному персоналу, когда URL предоставляется индивидуально, и нет необходимости размещать ссылку на него в поисковой машине.Типичный пример такого сайта – это сайт,занимающийся оптовыми поставками.Доступ к сайту разрешен только определенным менеджерам,которым назначены имена пользователей и пароли для доступа к сайту,поэтому нет никакой причины афишировать URL сайта всему миру. Если вы запретите индексирование такого сайта, то уменьшите случайный и нежелательный трафик, не будете вводить в заблуждение покупателей (в частности розничных клиентов, которые найдут ваш сайт и попытаются войти) и оградите сайт от чрезмерного внимания хакеров. Вместо исключения из поиска всего сайта вы можете создать список отдельных страниц и каталогов, которые будут проигнорированы пауком. Создавая список исключенных страниц, вы можете скрыть содержание, которое адресовано только определенным посетителям сайта. Например, вы хотите соз;дать калькулятор залога для местных (из вашего географического региона) пользователей. Если ссылка на этот калькулятор появится в поисковой машине, это привлечет на сайт посетителей со всего мира, а им ваш калькулятор неактуален, поэтому они не могут считаться вашими потенциальными клиентами, а только израсходуют трафик вашего сайта. Исключаемые из поиска файлы и каталоги должны быть перечислены в текстовом файле robot.txt, который должен быть расположен в корневом каталоге сайта.Файл содержит список полей, не чувствительных к регистру символов.Знак решетки () служит для добавления комментариев в этот файл, которые будут проигнорированы пауком. Поле user-agent может использоваться для уточнения паука (например, вы можете указать только паука Yahoo), для которого предназначен этот файл. В большинстве случаев данное поле устанавливается в * для выбора всех пауков. Например, файл robot.txt, запрещающий индексирование содержимого форума и файла clientlist.htm, будет выглядеть так:

# Файл исключений для http://www.example.com/

User-agent: *

Disallow: /forum                     #Не просматривать каталог /forum

Disallow: /clientlist.htm            #Не просматривать список клиентов

Поле Disallow исключает из поиска каталог \forum со всеми его файлами и подкаталогами. Иногда нужно исключить из поиска только главный файл (index.html, index.php, default.htm, index.htm или любой другой, который ис;пользуется в качестве index-файла на вашем сервере), укажите дополнительный слэш (/) после имени каталога: Disallow: /forum/ Не индексировать только index-файл К сожалению, вы не можете делать исключение по строке запроса, поэтому для использования robots.txt вам нужно включить Joomla!-опцию SEF (пара;метр Включить SEO) для исключения Web-сайта из поиска.

 СКАЧАТЬ