Как создать (сделать) файл robots.txt для сайта
5 (100%) 2 votes

Здравствуйте, уважаемые читатели сайта. В прошлой статье я подробно описал как можно самим сделать sitemap — «Как создать автоматически файл sitemap.xml«. А сегодня я расскажу как создать файл robots.txt для сайта. Эти файлы анализируются в первую очередь поисковой системой.

Основная задача этого файла — предоставить доступ или ограничение роботам от поисковых систем и разных сервисов.

Поэтому, если вы намерены первое время настраивать сайт, чтобы уже индексация прошла полностью готового к продвижению, на первое время рекомендую установить запрет.

Я ранее уже писал, что рекомендую всем кто планирует сделать свой сайт, делать его на cms wordpress. Это позволит вам в будущем сэкономить на плагинах (расширение функционала) и при выборе специалиста по настройкам. Поэтому стоит правильно поставить цели перед будущим сайтом. Обычно я использую следующие настройки для своего блога.

Правильный robots.txt для wordpress в 2017 году

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: */page/
Allow:/wp-content
Allow:/wp-includes
Host: seovsite.ru

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: */page/
Allow:/wp-content
Allow:/wp-includes

А теперь объясню, почему у меня стоят такие настройки и что они обозначают. После того, как вы создали аналогичный файл, то ваша задача взять мои настройки или их немного подредактировать, если возникнет такая потребность. Еще поисковые системы просят, чтобы не стояло никаких ограничений на css и скрипты.

Проверить возможно следующим образом. Для этого вам нужно добавить сайт в Google вебмастер и просмотреть как Googlebot. А потом нажать отобразить. Так вот, все что будет иметь высокий и средний уровень — рекомендую разрешить к индексации. Как вы могли заметить, я указал для всех роботов и отдельно для Яндекса.

Как запретить индексацию всего сайта

Тут я вам рекомендую снова создать две категории: для всех и для Яндекса. А выглядеть это должно следующим образом:

User-agent: Yandex
Disallow: /

User-agent: *
Disallow: /

Самое главное — это не забыть изменить сам файл. А то часто бывает так, что вроде вы внесли изменения и ждете индексацию сайта, а все никак. Вот еще вам должно понравиться — «Как добавить свой сайт в поисковики Яндекс и Google«.

Как добавить robots.txt на сайт

Каждый сайт состоит из множество файлов. Обычно все это видно на хостинге. Так вот для редактирования всех ваших файлов, вам будет нужно — ftp-клиент. Там можно будет увидеть все файлы, в том числе создавать и удалять.

Я обычно использую программу — FileZilla Client. И уже там на самом хостинге, выбираете создать файл. Копируете с сайта всю нужную вам информацию, редактируете и добавляете к себе в файл. Называйте файл robots.txt и все готово. Как видите ничего сложного нет.

Самое главное, чтобы ваш хостинг делал резервные копии. А то вдруг удалите что-то или отредактируете. Так вы обезопасите себя и всегда сможете принимать активное участие в модернизации вашего ресурса. Если вам понравилась, то прошу поделиться с друзьями и знакомыми в социальных сетях.