Файлы robots.txt и sitemap.xml - это файлы, предназначенные для поисковых систем.
Важно: robots.txt работает только после перехода на тариф и подключения доменного имени. После подключения доменного имени рекомендуем добавить в файл robots.txt директиву: Sitemap: https://site.ru/sitemap.xml, где site.ru - доменное имя вашего сайта.
Robots.txt - файл для разрешения или запрета индексации страниц поисковиками. В файле robots.txt можно указать параметры индексирования своего сайта как для всех роботов сразу, так и для каждой поисковой системы по отдельности. В целом файл robots носит запрещающий смысл, т.е. в нём прописывается то, что нужно запретить к индексации.
Sitemap.xml - файл с дополнительной информацией о страницах сайта, подлежащих индексированию. С помощью файла sitemap.xml можно сообщить поисковым системам, какие страницы вашего сайта нужно индексировать, как часто обновляется информация на страницах, а также индексирование каких страниц наиболее важно.
В платформе ABCP вы можете самостоятельно управлять данными файлами.
Файл robots.txt
Настройки для управления данным файлом находятся в панели управления меню Настройки->Система->Редактирование robots.txt.
Возможны три варианта индексации:
- Запретить индексирование
При выборе данного варианта вы отключаете индексирование сайта полностью.
- Разрешить индексирование
В данном варианте используется стандартный файл robots.txt платформы ABCP.
- Использовать собственный файл robots.txt
Вариант для самостоятельного формирования файла robots.txt по вашим требованиям.
Файл sitemap.xml
Настройки для управления данным файлом находятся в панели управления меню Настройки->Система->Редактирование sitemap.xml.
Возможны три варианта настройки:
- Не использовать
Файл sitemap.xml не используется.
- Автоматическая генерация (запускается на 30й минуте каждого часа)
В данном варианте файл sitemap.xml генерируется автоматически.
Можно по выбору настроить генерацию одного из нескольких файлов:
http://www.site.ru/sitemap2.xml - страницы новостей
http://www.site.ru/sitemap3.xml - все созданные в панели управления личные страницы, а также некоторые системные страницы
http://www.site.ru/sitemap4_*.xml - страницы карточек товаров с индивидуальными данными, загруженные в панели управления меню-> Информация о товарах->Просмотр карточек товаров.
http://www.site.ru/sitemap6_*.xml - страницы карточек товаров из наличия складов модуля TS.
- Использовать собственный файл sitemap.xml
Вариант для загрузки собственного файла sitemap.xml.
Вы можете отметить, какой из sitemap'ов не нужно автоматически генерировать, сняв напротив него чекбокс.
Обратите внимание, что карта сайта индивидуальных карточек товаров создается таким образом, что карточки, в которых не указан ни один из SEO-атрибутов, в неё не попадают.
Индексация происходит не сразу после внесения информации в sitemap.xml. Может пройти довольно долгое время (особенно для Яндекса), прежде чем поисковая система проиндексирует Ваш сайт.
Для Яндекса можно ускорить индексацию, добавив сайт и в sitemapы Яндекс.Вебмастер.
Примечание: пожалуйста, учтите, что данные интерфейсы недоступны для франчайзи.