roazon-bot

як нас упізнати

кожен наш запит містить цей User-Agent разом з адресою, за якою з нами можна зв'язатися:

у robots.txt наш токен — roazon-bot. ми працюємо на Cloudflare Workers, тож запити надходять з IP-адрес дата-центрів Cloudflare, а не з однієї сталої адреси — фільтруй за User-Agent, а не за списком IP.

чого ми дотримуємось

ці межі вбудовані в сам crawler, це не обіцянка на папері:

• запитимакс. 1 на секунду
• сторінок на обсмажувальню, за прохід40
• продуктів на обсмажувальню, за прохід120
• тайм-аут на запит15s
• відстежених перенаправлень3
• прочитана відповідьперші 5 МБ
• robots.txtзавжди дотримуємось

ми читаємо HTML і будь-який каталожний фід, який твій магазин уже публікує для машин — /products.json Shopify, WooCommerce Store API, твою мапу сайту, JSON-LD. ми ніколи не входимо в акаунт, не надсилаємо форм і не доходимо до каси.

впустити нас

якщо твій сайт за bot-check, ми там зупиняємось і позначаємо твою обсмажувальню як „очікує власника” — ми не намагаємось це обійти. якщо хочеш, щоб ми читали твій публічний каталог, дозволь User-Agent вище.

robots.txt (почни звідси) — якщо твій robots.txt блокує невідомі crawler'и, додай явну групу. це не захід безпеки, тож нічого тобі не коштує:

User-agent: roazon-bot
Allow: /

Cloudflare — лише якщо bot-check справді нас зупиняє. наш User-Agent не є посвідченням — його може надіслати будь-хто — тож ніколи не вимикай увесь WAF на підставі цього тексту. обмеж виняток лише модулем bot і лише запитами на читання:

(http.user_agent contains "roazon-bot"
  and http.request.method eq "GET")

постав дію Skip і вибери лише модуль bot fight / bot management — залиш увімкненими managed rules, rate limiting та решту правил фаєрвола. тоді підроблений User-Agent не дасть зловмиснику нічого, крім bot-check, і лише на запитах читання.

ще суворіше, якщо волієш вказати шляхи: спершу ми читаємо головну сторінку та сторінки про нас і контакти, потім каталожний endpoint твоєї платформи, а далі кожну сторінку продукту, що в ньому є. в останньому рядку впиши власний префікс шляху продуктів — він різний у кожному магазині, тому ми не можемо надрукувати список, який підійде всім:

(http.user_agent contains "roazon-bot"
  and http.request.method eq "GET"
  and (http.request.uri.path in {"/" "/about" "/about-us" "/over-ons" "/contact" "/contact-us"}
    or http.request.uri.path in {"/products.json" "/sitemap.xml" "/sitemap_index.xml"}
    or starts_with(http.request.uri.path, "/wp-json/wc/store/")
    or starts_with(http.request.uri.path, "/collections/")
    or starts_with(http.request.uri.path, "/products/")))

якщо сторінки обсмажувальні повертаються, а зерна ні — саме той останній префікс і є правилом, яке треба розширити.

на Shopify, WooCommerce чи Lightspeed без додаткового WAF зазвичай нічого не потрібно — твій каталог уже читабельний. якщо нас впускаєш, напиши на [email protected] і ми прочитаємо твій магазин знову.

вимкнути нас

тобі ніколи не треба пояснювати чому, і вдруге ми не питаємо. впиши це у свій robots.txt, і ми зупинимось при наступному візиті:

User-agent: roazon-bot
Disallow: /

волієш поговорити з людиною або хочеш прибрати свою обсмажувальню з roazon зовсім? напиши на [email protected] і ми знімемо сторінку та перестанемо читати твій сайт. без облікового запису, без форми, без умов.

якщо це твоя обсмажувальня

вже на roazon? відкрий сторінку своєї обсмажувальні й скористайся посиланням „закріпити сторінку” — воно містить ідентифікатор, що прив'язує закріплення до твого запису.

ще не на roazon або не впевнений? просто напиши на [email protected] — обліковий запис не потрібен. закріплення дозволяє виправляти дані й бачити, на що клікають клієнти.

запитання

за цією адресою читає справжня людина: [email protected].