Что за бот заходил на ваш сайт

Если вы пришли сюда из логов сервера — вы попали точно по адресу. Адрес этой страницы стоит в User-Agent и в заголовке X-PDScan-Bot каждого нашего запроса именно для того, чтобы вопросы шли ко мне, а не в абузу вашего хостера.

Коротко

Это сканер сервиса проверки сайтов на соответствие 152-ФЗ. Он запускается только по запросу человека, который ввёл адрес сайта в форму на главной и подтвердил, что у него есть законные основания эту проверку заказывать. Сам по себе, по списку доменов или по расписанию, сканер не ходит никуда.

Скорее всего, проверку вашего сайта заказали вы сами или кто-то из вашей команды. Если это не так — напишите, я скажу, когда именно и с какого IP-адреса поступил запрос: такие обращения сохраняются вместе с подтверждениями заказчика.

Что он делает на сайте

• Открывает главную и до двух десятков типовых адресов (/privacy, /policy, /contacts и подобные) — ищет политику обработки персональных данных и реквизиты.
• Читает разметку: формы, отметки согласия, ссылки, счётчики, кнопки входа. Ничего не отправляет: формы не заполняются и не submit-ятся.
• Иногда открывает страницу в настоящем браузере — если разметка собирается скриптами и иначе видно пустое место.
• За один заказ — один проход. Это десятки запросов, а не тысячи.

Правила, которые он соблюдает

• robots.txt. Запрещённые адреса не открываются, в том числе когда страница отрисовывается браузером. Маски * и $ учитываются.
• Капчу мы не решаем и не обходим. Если перед сайтом стоит проверка «вы не робот», сканер останавливается, и заказчик получает честное «проверить не удалось» вместо отчёта.
• Ничего не меняем. Только GET-запросы. Никаких попыток входа, подбора паролей, поиска уязвимостей и служебных разделов.
• Не ищем персональные данные. Проверяется наличие документов и корректность форм, а не содержимое вашей базы.
• Не проверяем объекты КИИ (187-ФЗ) — это сказано прямо на форме заказа.

Как запретить доступ

Самый простой способ — robots.txt в корне вашего сайта:

User-agent: PDScanBot
Disallow: /

Запрет действует со следующего обращения, отдельно просить меня не нужно. Если хотите жёстче — блокируйте по заголовку X-PDScan-Bot на стороне веб-сервера: он есть в каждом запросе, в том числе когда страница открывается браузером и User-Agent выглядит обычным.

И напишите мне, пожалуйста, — мне важно понимать, почему сканер оказался нежелательным. Если дело в нагрузке или в неверном выводе отчёта, это я поправлю.

Куда писать

Электронная почта: mvgoldin@gmail.com. Telegram: @MaksFresh. Телефон: +7 (936) 149-82-62. Полные реквизиты — на странице контактов.

Отвечаю лично. Жалоба на бота — не формальность, которую я буду пересылать в поддержку: сервис маленький, и разбираю такие письма я сам.