Такой файл robots.txt я обычно использую в своих проектах.
User-agent: * Disallow: /assets/components/ Disallow: /core/ Disallow: /connectors/ Disallow: /index.php Disallow: /index.html Disallow: /index Disallow: *? Host: [[host]] Sitemap: https://[[host]]/sitemap.xml
Если у вас нет SSL сертификата, то https замените на http.
Комментарии ()