CSV.LV робот

CSV.LV robot - это название нашего робота, который выполняет процесс сканирования сайтов интернет магазинов для сбора информации о предоставляемых продуктах и услугах.

CSV.LV robot - на данный момент индексирует только те сайты, которые имеют бизнес активность связанную с Латвией, либо предоставляет возможность доставить товары в Латвию.

CSV.LV robot - не копирует информацию и не архивирует контент вашего сайта.

Настройки:

CSV.LV robot как и все остальные поисковые роботы подчиняется исключительно директиве robots.txt. Вы можете использовать данную директиву для настройки прав просмотра ваших страниц нашим роботом.

Примеры:

Для полной доступности сайта к индексации роботом, укажите в robots.txt

User-Agent: CSV
Allow: /

По определению, интервал сканирования страниц - 2 секунды. Чтобы изменить данную настройку, укажите:

User-Agent: CSV
crawl-delay: 10

Чтобы запретить индексацию роботом определенный вид страниц вашего сайта, укажите:

User-Agent: CSV
Disallow: [регулярное выражение страниц, которые необходимо запретить]

В случае, каких - либо вопросов - обращайтесь по адресу электронной почты - [email protected], указав в теме письма “CSV bot”. В письме укажите ссылку на ваш сайт.