Шпаргалка по настройке .htaccess и robots.txt.
В этой статье мы рассмотрим особенности файлов robots.txt и .htaccess как инструменты для сайта.
Файл .htaccess предназначен для управления настройками сервера Apache. Для редактирования или создания файла .htaccess можно воспользоваться любым текстовым редактором. Только при создании укажите имя .htaccess, не забыв про точку в начала. Пропишите в нем следующие строчки (или добавьте их к уже имеющимся):
Редирект 301 с зеркала www на без www:
Options +FollowSymLinks RewriteEngine On RewriteCond %{HTTP_HOST} ^www.vash_sait.ru$ [NC] RewriteRule ^(.*)$ http://adres_saita.ru/$1 [R=301,L]
Обратный вариант — редирект 301 с зеркала без www на с www:
Options +FollowSymLinks RewriteEngine On RewriteCond %{HTTP_HOST} ^vash_sait.ru$ [NC] RewriteRule ^(.*)$ http://www.adres_saita.ru/$1 [R=301,L]
Определение основного домена:
# SEO RewriteCond %{HTTP_HOST} ^www.okna-ww.ru RewriteRule ^(.*)$ http://okna-ww.ru/$1 [R=permanent,L]
Только не забудьте вписать свой URL адрес. После этого еще необходимо прописать директиву Host в фале robots.txt, о чем читайте ниже.
Для безопасности сайта:
Необходимо в каталог, куда закачиваются все Ваши файлы добавить файл .htaccess куда прописать следующие строки:
RemoveHandler .php .php5 .php4 .php3 .phtml .pl AddType text/plain .php .php .htm .html .phtml .pl
Данные строки в .htaccess заставит сервер не исполнять php и др. файлы, а выводить их содержимое на экран.
Файл robots.txt указывает поисковикам, какие страницы сайта им можно индексировать, а какие нельзя. Для его создания можно воспользоваться любым текстовым редактором, даже блокнотом. Так же как файл .htaccess, robots.txt следует загрузить на ftp в корневую папку. Теперь рассмотрим основные директивы, которые следует прописывать в robots.txt.
User-agent — в этой директиве прописываются поисковые боты, для которых действуют указанные ниже настройки. Если указать символ *, то настройки будут относится ко всем поисковикам:
User-agent: *
Вот список имен ботов самых популярных поисковых систем:
- Google Googlebot
- Яндекс Yandex
- Rambler StackRambler
- Mail.ru Mail.Ru
- Yahoo! Slurp (или Yahoo! Slurp)
- Alexa ia_archiver
После User-agent обязательно должна следовать директива Disallow или Allow.
Директива Disallow используется для запрета индексации всего сайта целиком или каких-то его страниц. Allow наоборот разрешает индексацию, в ней можно задавать исключения из правил, указанных в директиве Disallow.
Главное зеркало сайта – это тот адрес, по которому ваш сайт будет показываться в результатах выдачи поисковой системы (с www или без www). Для этого используется директива Host. Например, Вы хотите, чтобы Ваш сайт показывался в результатах поиска с www, в этом случае наш код будет выглядеть так:
User-agent: * Allow: / Host: www.vashsite.ru
Если без www, то, соответственно:
User-agent: * Allow: / Host: vashsite.ru
Если у вас создана карта сайта, то её также можно указать в файле robots.txt, указав её полный адрес. Если она располагается в корневой директории сайта, то код приобретёт следующий вид:
User-agent: * Allow: / Host: www.vashsite.ru Sitemap: http://www.vashsite.ru/sitemap.xml
Пример robots.txt:
Host: okna-ww.ru Sitemap: http://okna-ww.ru/sitemap.xml