TapkiBot
Робот сбора открытых данных tapki.com
TapkiBot загружает общедоступные страницы сайтов компаний. Собранные сведения помогают актуализировать данные о компаниях, их контактах и сайтах в сервисе tapki.com.
- Токен для robots.txt
- TapkiBot
- Страница информации
- https://tapki.com/bot
Идентификация
При обращении к сайту TapkiBot передаёт следующий HTTP-заголовок User-Agent:
Mozilla/5.0 (compatible; TapkiBot/1.0; +https://tapki.com/bot)Управление доступом через robots.txt
TapkiBot соблюдает Robots Exclusion Protocol. Сначала он ищет правила для группы User-agent: TapkiBot. Если такой группы нет, применяются правила группы User-agent: *Поддерживаются директивы Allow и Disallow.
Запретить доступ к отдельному разделу
Например, закрыть раздел /private/.
User-agent: TapkiBot
Disallow: /private/Запретить доступ ко всему сайту
Запрет распространяется на все пути сайта.
User-agent: TapkiBot
Disallow: /Если сервер возвращает ошибку 5xx при запросе robots.txt, TapkiBot считает весь сайт недоступным для обхода.
Как работает TapkiBot
- Перед загрузкой страницы проверяет правила robots.txt для домена.
- Использует HTTP-запросы GET и работает без входа в учётную запись.
- Не отправляет формы и запрашивает только страницы без авторизации.
- Передаёт постоянное имя TapkiBot и адрес этой страницы в User-Agent.
Контакты
Если у вас есть вопросы о работе TapkiBot или вы хотите сообщить о проблеме, напишите на info@tapki.com.
Укажите домен сайта и, по возможности, время запроса — это поможет быстрее разобраться в обращении.