У людей, которые мало знакомы с Html, всегда возникает много вопросов, как работать с robots.txt. Но мало кто хочет сидеть и искать нудную информацию и рассматривать не понятные теги. Для тех кто хочет все изучить быстрее и остальное время провести на практике, я решил написать эту статью.

В начале разъясним важность этого файла. Поисковики в первую очередь обратят внимание на robots при посещении сайта, но данный файл не является обязательной его составляющей.

И у некоторых сайтов он может просто не существовать, как например сайты визитки. Но если вам хочется скрыть от индексации страницы, то без robots.txt вам не обойтись.

User-agent: — после двоеточия вы можете указать название любого поискового бота или же системы, от которой хотите запретить индексацию вашего сайта. Если после двоеточия

поставить *, User-agent:*, то вы запретите индексировать ваш сайт всех поисковых роботов и поисковиков.

Disallow: — после двоеточия вы можете прописать файл или папку, которую хотите закрыть от индексации. Например, Disallow:/img/ — это будет означать, то что вы запретили индексацию всех файлов или папок находящихся в папке img.

Host: — важная и специфическая команда. Все знают, что сайты могут быть как с www так и без него. Для людей это один и тот же сайт, но для поисковиков может оказаться совершенно два разных ресурса. Если Яндекс увидит это, то без проблем поделит тИЦ, который есть на вашем сайте пополам. Чтобы этого не произошло, нужно после двоеточия прописать желаемый вариант своего сайта. Например, fonweb.ru. Стоит отметить, что все команды нужно прописывать до индексации сайта.

Так же есть дополнения, команда allow, пример:

Disallow:/img/

Allow:/img/miniimg/

Такой код будет означать, что в запрещенной от индексации папке, будет доступна к индексации папка miniimg. Что бы всё это прописать нужно зайти на хостинг через ftp и создать одноимённый файл Robots.txt в который вставить код. Вот пример кода:

User-agent: *

Disallow: /wp-login.php

Disallow: /wp-register.php

Disallow: /cgi-bin

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content

Disallow: /trackback

Disallow: */trackback

Disallow: */*/trackback

Disallow: /feed

Disallow: */feed

Disallow: */*/feed

Disallow: /*?

User-agent: Yandex

Disallow: /wp-login.php

Disallow: /wp-register.php

Disallow: /cgi-bin

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content

Disallow: /trackback

Disallow: */trackback

Disallow: */*/trackback

Disallow: /feed

Disallow: */feed

Disallow: */*/feed

Disallow: /*?

Host: fonweb.ru

Sitemap: http://fonweb.ru/sitemap.xml.gz

Sitemap: http://fonweb.ru/sitemap.xml

Моё имя сайта соответственно заменяете на своё в 3 местах.