Обратите внимание: раздел отображается, если включено приложение «SEO-настройки». Подробнее смотрите документ «Приложение SEO-настройки».
Карта сайта
На карте сайта представлен полный перечень разделов, групп товарных позиций и всех страниц, имеющихся на сайте. Карта сайта (sitemap) генерируется автоматически и доступна для просмотра по этой ссылке.
Редактирование robots.txt
Файл «robots.txt» – это текстовый файл, который находится в корневой директории сайта компании. В него записываются специальные инструкции (указания) для поисковых роботов. Эти инструкции могут запрещать к индексации некоторые разделы или страницы на сайте.
Все поисковые роботы при заходе на сайт в первую очередь ищут файл robots.txt.
Файл «robots.txt» – идентичен для всех сайтов, созданных на платформе портала, и уже находится в корневой директории вашего сайта. Для улучшения индексации поисковыми системами, в файле «robots.txt» заблокированы только дублирующиеся страницы, например, список одних и тех же товаров в виде галереи и в виде списка:
- http://company.com/product_list - разрешена;
- http://company.com/product_list?view_as=list - запрещена.
По умолчанию, в файле «robots.txt» вашего сайта закрыты от индексации не информационные страницы, такие как страница добавления товара в корзину, заказа товара, создания отзыва, все страницы личного кабинета и так далее. Открытие для индексации таких страниц только навредит вашему сайту, так как на них нет полезной информации ни для клиентов, ни для поисковых систем.
Все остальные страницы разрешены к индексации.
Для компаний, подключивших внешний домен вида «Company.com», есть возможность вносить изменения в файл «robots.txt». Более детально о подключении внешнего домена в документе «Доменное имя компании».
Для редактирования файла нажмите Редактировать в блоке «Robots.txt», внесите изменения в раскрывшемся поле «Редактирование robots.txt» и сохраните их.
Внимание! Редактирование «robots.txt» может привести к неправильной индексации вашего сайта поисковыми системами. Перед внесением изменений в файл проконсультируйтесь предварительно у SEO-специалиста.
Редактирование файла «robots.txt»
Для возврата к исходным установкам файла «robots.txt» нажмите на кнопку Вернуть стандартные настройки и сохраните изменения.
Основные ошибки при редактировании файла:
- Переименование или удаление инструкций:
- User-Agent: YadirectBot
Disallow: - User-Agent: YandexDirect
Disallow:
- User-Agent: YadirectBot
- В директиве Host аббревиатура протокола передачи гипертекста указана с использованием http:// и закрывающим слешем /
- Host: http://company.com/ - не правильно
- Host: company.com - правильно
- Удаление инструкции «Host: company.com»
- Использование инструкции Allow не всегда корректно воспринимается поисковыми системами и может ухудшить индексацию вашего сайта.
- Удаление инструкции «Sitemap: http://company.com/sitemap.xml»
Примечание. Карта сайта «sitemap.xml» генерируется и обновляется системой портала автоматически.
Ниже представлен пример файла «robots.txt», находящийся в корневой директории сайта компании на портале:
Пример файла «robots.txt»
Более детальная инструкция по формированию файла «robots.txt» с сайтов поисковых систем: