tapki.com

TapkiBot

Робот сбора открытых данных tapki.com

TapkiBot загружает общедоступные страницы сайтов компаний. Собранные сведения помогают актуализировать данные о компаниях, их контактах и сайтах в сервисе tapki.com.

Токен для robots.txt
TapkiBot
Страница информации
https://tapki.com/bot

Идентификация

При обращении к сайту TapkiBot передаёт следующий HTTP-заголовок User-Agent:

Mozilla/5.0 (compatible; TapkiBot/1.0; +https://tapki.com/bot)

Управление доступом через robots.txt

TapkiBot соблюдает Robots Exclusion Protocol. Сначала он ищет правила для группы User-agent: TapkiBot. Если такой группы нет, применяются правила группы User-agent: *Поддерживаются директивы Allow и Disallow.

Запретить доступ к отдельному разделу

Например, закрыть раздел /private/.

User-agent: TapkiBot
Disallow: /private/

Запретить доступ ко всему сайту

Запрет распространяется на все пути сайта.

User-agent: TapkiBot
Disallow: /

Если сервер возвращает ошибку 5xx при запросе robots.txt, TapkiBot считает весь сайт недоступным для обхода.

Как работает TapkiBot

  • Перед загрузкой страницы проверяет правила robots.txt для домена.
  • Использует HTTP-запросы GET и работает без входа в учётную запись.
  • Не отправляет формы и запрашивает только страницы без авторизации.
  • Передаёт постоянное имя TapkiBot и адрес этой страницы в User-Agent.

Контакты

Если у вас есть вопросы о работе TapkiBot или вы хотите сообщить о проблеме, напишите на info@tapki.com.

Укажите домен сайта и, по возможности, время запроса — это поможет быстрее разобраться в обращении.