roazon-bot

jak nas rozpoznać

każde nasze żądanie zawiera ten User-Agent, wraz z adresem, pod którym możesz się z nami skontaktować:

w robots.txt nasz token to roazon-bot. działamy na Cloudflare Workers, więc żądania przychodzą z adresów IP centrów danych Cloudflare, a nie z jednego stałego adresu — filtruj po User-Agent, nie po liście IP.

czego się trzymamy

te limity są wbudowane w sam crawler, to nie obietnica na papierze:

• żądaniamaks. 1 na sekundę
• stron na palarnię, na przebieg40
• produktów na palarnię, na przebieg120
• limit czasu na żądanie15s
• śledzonych przekierowań3
• odczytana odpowiedźpierwsze 5 MB
• robots.txtzawsze respektowany

czytamy HTML i każdy feed katalogu, który twój sklep już publikuje dla maszyn — /products.json Shopify, WooCommerce Store API, twoją mapę strony, JSON-LD. nigdy się nie logujemy, nie wysyłamy formularzy i nie docieramy do kasy.

wpuszczenie nas

jeśli twoja strona stoi za bot-checkiem, zatrzymujemy się tam i oznaczamy twoją palarnię jako „czeka na właściciela” — nie próbujemy tego obchodzić. jeśli chcesz, żebyśmy czytali twój publiczny katalog, wpuść User-Agent powyżej.

robots.txt (zacznij tutaj) — jeśli twój robots.txt blokuje nieznane crawlery, dodaj wyraźną grupę. to nie jest zabezpieczenie, więc nic cię nie kosztuje:

User-agent: roazon-bot
Allow: /

Cloudflare — tylko jeśli bot-check faktycznie nas zatrzymuje. nasz User-Agent nie jest dowodem tożsamości — każdy może go wysłać — więc nigdy nie wyłączaj całego WAF na podstawie tego tekstu. ogranicz wyjątek wyłącznie do modułu bot i wyłącznie do żądań odczytu:

(http.user_agent contains "roazon-bot"
  and http.request.method eq "GET")

ustaw akcję na Skip i wybierz wyłącznie moduł bot fight / bot management — zostaw włączone managed rules, rate limiting i pozostałe reguły firewalla. dzięki temu podrobiony User-Agent nie daje atakującemu nic poza bot-checkiem, i to tylko przy żądaniach odczytu.

jeszcze ściślej, jeśli wolisz wskazać ścieżki: najpierw czytamy stronę główną oraz strony o nas i kontakt, potem endpoint katalogu twojej platformy, a następnie każdą stronę produktu, która się w nim znajduje. w ostatniej linii wpisz własny prefiks ścieżki produktów — różni się w każdym sklepie, dlatego nie możemy wydrukować listy pasującej wszystkim:

(http.user_agent contains "roazon-bot"
  and http.request.method eq "GET"
  and (http.request.uri.path in {"/" "/about" "/about-us" "/over-ons" "/contact" "/contact-us"}
    or http.request.uri.path in {"/products.json" "/sitemap.xml" "/sitemap_index.xml"}
    or starts_with(http.request.uri.path, "/wp-json/wc/store/")
    or starts_with(http.request.uri.path, "/collections/")
    or starts_with(http.request.uri.path, "/products/")))

jeśli strony palarni wracają, ale ziarna nie, to właśnie ten ostatni prefiks jest regułą, którą trzeba poszerzyć.

na Shopify, WooCommerce czy Lightspeed bez dodatkowego WAF zwykle nic nie trzeba robić — twój katalog jest już czytelny. jeśli nas wpuszczasz, napisz na [email protected] a przeczytamy twój sklep ponownie.

wyłączenie nas

nigdy nie musisz tłumaczyć dlaczego i nie pytamy drugi raz. wpisz to do swojego robots.txt, a zatrzymamy się przy następnej wizycie:

User-agent: roazon-bot
Disallow: /

wolisz porozmawiać z człowiekiem albo chcesz całkowicie usunąć swoją palarnię z roazon? napisz na [email protected] a zdejmiemy stronę i przestaniemy czytać twój serwis. bez konta, bez formularza, bez warunków.

jeśli to twoja palarnia

jesteś już na roazon? otwórz stronę swojej palarni i skorzystaj z linku „przejmij stronę” — zawiera identyfikator, który wiąże przejęcie z twoim wpisem.

jeszcze nie na roazon albo nie masz pewności? po prostu napisz na [email protected] — konto nie jest potrzebne. przejęcie pozwala poprawiać dane i widzieć, w co klikają klienci.

pytania

pod tym adresem czyta prawdziwy człowiek: [email protected].