KrasaBot

KrasaBot — робот сайту krasa.one, який порівнює ціни на косметику в інтернет-магазинах України. Він читає сторінки товарів (назва, ціна, наявність, фото) і показує покупцям, де товар дешевший, з посиланням на сторінку магазину.

Як він себе поводить

  • Називає себе чесно: Mozilla/5.0 (compatible; KrasaBot/1.0; +https://krasa.one/bot.html).
  • Дотримується robots.txt, зокрема Crawl-delay і Request-rate.
  • Робить один запит за раз до одного сайту, не частіше ніж раз на 5 секунд (повільніше, якщо сайт відповідає повільно), і не більше кількох тисяч запитів на добу.
  • Зупиняється, коли сайт просить сповільнитися (429, 503) або показує захист від роботів, і не намагається його обійти.
  • Не заповнює форм, не додає товарів у кошик і не читає сторінок облікових записів.

Як обмежити або заборонити

Додайте до robots.txt свого сайту правила для KrasaBot, наприклад заборону всього сайту:

User-agent: KrasaBot
Disallow: /

або більшу паузу між запитами (у секундах):

User-agent: KrasaBot
Crawl-delay: 20

Робот перечитує robots.txt щодня і виконує зміни з наступного звернення.

Як переконатися, що це справді KrasaBot

Кожен запит KrasaBot підписаний нашим ключем Ed25519 за стандартом Web Bot Auth (HTTP Message Signatures, RFC 9421): заголовки Signature-Agent, Signature-Input і Signature. Відкритий ключ опубліковано тут: https://krasa.one/.well-known/http-message-signatures-directory (ідентифікатор ключа KoPtcv7tbh8m3QP8LxtruhK8FMdGvoxwDs0LwSmP4lg). Запит із нашою назвою, але без дійсного підпису, зроблений не нами.

Зв’язок

Питання, побажання або прохання прибрати магазин з порівняння: [email protected].

In English

KrasaBot is the crawler of krasa.one, a price comparison site for cosmetics sold by online shops in Ukraine. It reads product pages (name, price, availability, picture) and links buyers to the shop's own page.

  • User-Agent: Mozilla/5.0 (compatible; KrasaBot/1.0; +https://krasa.one/bot.html); robots.txt token: KrasaBot.
  • Obeys robots.txt, including Crawl-delay and Request-rate, re-read daily.
  • One request at a time per site, at least 5 seconds apart, a few thousand requests per site per day at most; backs off on 429/503 and stops at bot-protection pages without trying to get past them.
  • Never submits forms, adds to carts or reads account pages.
  • Every request is signed with Web Bot Auth (Ed25519, RFC 9421). Key directory: https://krasa.one/.well-known/http-message-signatures-directory, key id KoPtcv7tbh8m3QP8LxtruhK8FMdGvoxwDs0LwSmP4lg.
  • To block it: User-agent: KrasaBot / Disallow: / in robots.txt.
  • Contact: [email protected]