Не буду долго описывать для чего нужен файл robots.txt для этого достаточно информации в интернете, просто привожу пример, который используется на сайтах которые мы разработали.

Если вы не знаете если у вас такой файл, просто допишите в конце вашего сайта https://www.ваш сайт/robots.txt
Если у вас нет такого файла просто скопируйте этот код в Блокнот, измените Host и Sitemap на название вашего сайта и сохраните файл с Имя файла — robots.txt
Загрузите этот файл в корень вашего сайта на хостинге.
Если вы используете плагин Yoast SEO вы можете внести изменения в файл robots.txt в разделе Инструменты — Yoast SEO

User-agent: *
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: /*?*
Allow: /wp-admin/admin-ajax.php

User-agent: Yandex
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: /*?*
Allow: /wp-admin/admin-ajax.php

Host: https://www.ваш сайт/
Sitemap: https://www.ваш сайт/sitemap_index.xml — Вид карты сайта если вы используете плагин Yoast SEO

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *

четыре × пять =