Документация Сотбит: Мультирегиональность. Для пользователя. Генерация SiteMap и robots
Для генерации карты сайта необходимо перейти в Административную часть сайта по следующему пути: Администрирование > Сотбит > Мультирегиональность > Генерация sitemap и robots.
Генерация sitemap
В открывшемся окне необходимо нажать кнопку Генерация динамической карты сайта, после чего выбрать требуемый сайт.
Сгенерированная карта будет расположена в корне файловой системы сайта.
Генерация robots
В открывшемся окне необходимо нажать кнопку Генерация динамического robots.txt, после чего выбрать требуемый сайт.
Сгенерированный файл будет расположен в корне файловой системы сайта.
Модуль генерирует файлы с расширением php. В файл .htaccess добавляются правила перенаправления, чтобы при обращении к файлам sitemap.xml и robots.txt открывались их динамические версии. При обращении к robots.txt будет выведен контент файла robots.php, который строится на основе стандартного robots.txt, а так же данные из поля Региональный robots.txt, который заполняется индивидуально для каждого региона. Поле Региональный robots.txt нужно для индивидуальной настройки под каждый регион. Общие правила можно оставлять в файле robots.txt.
Генерация динамической карты сайта и robots.txt возможно только при работе на поддоменах. При установленной опции Работать на одном домене сделать этого нельзя. Для генерации robots должен быть указан параметр URL сервера (без http://) в настройках сайта.
Автоматическая генерация по агенту
В модуле предусмотрен механизм автоматической фоновой генерации файлов sitemap.xml и robots.txt с помощью системного агента 1С-Битрикс.