Правильный файл robots.txt для CMS MODX Revolution

Такой файл robots.txt я обычно использую в своих проектах.

User-agent: *
Disallow: /assets/components/
Disallow: /core/
Disallow: /connectors/
Disallow: /index.php
Disallow: /index.html
Disallow: /index
Disallow: *?
Host: [[host]]
Sitemap: https://[[host]]/sitemap.xml

Если у вас нет SSL сертификата, то https замените на http.