Файл robots.txt WordPress

Прежде чем мы сможем поговорить по теме «Файл robots.txt WordPress», важно определить, что такое «робот» в этом случае. Итак роботы – это любой тип «бота», который посещает веб-сайты в Интернете. К примеру – поисковые роботы. Эти боты «ползают» по сети, чтобы помочь таким поисковым системам, как Google, и ранжировать миллиарды страниц в Интернете.

Свойства файла robots. txt WordPress

Итак, боты, в общем , полезны для Интернета … или, по крайней мере, несомненно необходимы. Но это не обязательно означает, что вы или другие веб-мастера хотите, чтобы боты бегали без ограничений. Более того, желание контролировать взаимодействие веб-роботов с веб-сайтами привело к созданию стандарта исключения роботов в середине 1990-х годов. Robots.txt несомненно является практической реализацией этого стандарта – он позволяет вам контролировать, как боты взаимодействуют с вашим сайтом. Вы можете полностью блокировать ботов, более того, ограничить их доступ к определенным областям вашего сайта и многое другое.

Итак, нам нужен файл robots. txt для сайта на WordPress, содержащий команды для поисковых роботов.

Но, тем не менее, не стоит заострять сейчас внимание на них, как начинающим, вам будет сложно. Если кого-то интересует больше информации: читайте в интернете.

Файл Rjbots.txt

Готовый robots.txt смотрите ниже.

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-
Disallow: /wp/
Disallow: *?s=
Disallow: *&s=
Disallow: /search/
Disallow: /author/
Disallow: /users/
Disallow: */trackback
Disallow: */feed
Disallow: */rss
Disallow: */wlwmanifest.xml
Disallow: /xmlrpc.php
Disallow: utm=
Disallow: *openstat=
Allow: */uploads
Allow:*/embed
User-agent: GoogleBot
Disallow: /cgi-bin
Disallow: /wp-
Disallow: /wp/
Disallow: *?s=
Disallow: *&s=
Disallow: /search/
Disallow: /author/
Disallow: /users/
Disallow: */trackback
Disallow: */feed
Disallow: */rss
Disallow: */wlwmanifest.xml
Disallow: /xmlrpc.php
Disallow: *utm*=
Disallow: *openstat=
Allow:*/embed
Allow: */uploads
Allow: //.js
Allow: //.css
Allow: /wp-.png Allow: /wp-.jpg
Allow: /wp-.jpeg Allow: /wp-.gif
Allow: /wp-admin/admin-ajax.php
User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-
Disallow: /wp/
Disallow: *?s=
Disallow: *&s=
Disallow: /search/
Disallow: /author/
Disallow: /users/
Disallow: */trackback
Disallow: */feed
Disallow: */rss
Disallow: */wlwmanifest.xml
Disallow: /xmlrpc.php
Allow:*/embed
Allow: */uploads
Allow: //.js
Allow: //.css
Allow: /wp-.png Allow: /wp-.jpg
Allow: /wp-.jpeg Allow: /wp-.gif
Allow: /wp-admin/admin-ajax.php
Sitemap: https://……………./sitemap.xml.
Host: ……………..

По сути, это маленькая програмка для поисковых роботов, которая запрещает или разрешает определённые действия. Кстати, файл содержит специальные команды для робота Яндекс, Google и прочих поисковых систем. Файл рабочий на данный момент и вам, несомненно, заморачиваться не надо. В общем выделяйте его и копируйте.

Прежде всего создайте папку на вашем компьютере, в ней текстовый документ, подписываете его robots.txt. Далее вставляете скопированное, закрываете и конечно сохраняете. Теперь внимание! В конце файла найдите слово Host:……….. Многоточие замените названием вашего домена, например: Host: vachdomen.ru

Далее, в строчке Sitemap: https://……………./sitemap.xml замените прежде всего многоточие вашим доменом. Например: Sitemap: https://vachdomen.ru/sitemap.xml.

В интернете существуют генераторы файлов данного типа, а также расшифровка команд. Если кому интересно, посмотрите.
В Sitemap содержится указание для роботов карты вашего сайта. Если у вас домен .Рф, тогда нужно указывать в Юникоде или Уникоде. Это слова синонимы. В общем, копируете из плагина первую строчку и вставляете в строчку “Sitemap”.

Загрузка файла на сервер

Как-то так должен выглядеть ваш файл robots txt для wordpress. Теперь несомненно нам необходимо загрузить его через Файловый менеджер хостинга в папку WordPress нашего сайта. Заходим на хостинг, Файловый менеджер, папка WordPress, public_html.

файл robots. txt WordPress  Загрузка файла на сервер

Далее: Загрузить на сервер > Прикрепить файл.

Файл robots.txt WordPress

Прежде всего прикрепляете сохранённый файл в компьютере и жмёте кнопку Загрузить. Всё. Теперь вы можете его найти где-то среди файлов в открытой папке.

Далее тема Оптимизатор сертификата плагин Really Simple SSL…