HeiLocalBot

HeiLocalBot este crawler-ul web al Hei!Local — motorul de căutare semantică pentru magazinele online din România. El descoperă și actualizează produsele din comerțul electronic românesc pentru a le face găsibile în căutare.
Read this page in English →

Identificare (User-Agent)

HeiLocalBot se identifică pe fiecare cerere HTTP prin următorul antet User-Agent:

Poți recunoaște traficul nostru după token-ul HeiLocalBot din User-Agent.

Adrese IP înregistrate

Toate cererile HeiLocalBot provin de la următoarele adrese IP. Le poți folosi pentru a confirma că traficul este cu adevărat al nostru (și nu un bot care îți imită User-Agent-ul):

De pe 88.198.50.185 se descarcă imaginile produselor. Și aceste cereri poartă User-Agent-ul HeiLocalBot și respectă robots.txt.

Verificare criptografică (Web Bot Auth)

Pe lângă adresele IP, HeiLocalBot semnează fiecare cerere criptografic, conform standardului Web Bot Auth (HTTP Message Signatures, RFC 9421, cheie Ed25519). Astfel poți confirma că o cerere este cu adevărat a noastră chiar dacă adresele IP se schimbă — un bot care doar ne imită User-Agent-ul nu poate produce o semnătură validă.

Fiecare cerere include anteturile Signature, Signature-Input și Signature-Agent. Cheia noastră publică este publicată în directorul de chei:

HeiLocalBot este înregistrat la Cloudflare ca agent semnat (Signed Agent), deci traficul nostru este verificabil automat pe site-urile protejate de Cloudflare.

Cum controlezi accesul HeiLocalBot

HeiLocalBot respectă standardul robots.txt. Poți permite sau bloca accesul, total sau pe anumite căi, adăugând reguli pentru token-ul HeiLocalBot în fișierul robots.txt de la rădăcina site-ului tău:

# Blochează complet HeiLocalBot
User-agent: HeiLocalBot
Disallow: /

# SAU: permite tot, dar exclude un director și cere un interval între cereri
User-agent: HeiLocalBot
Disallow: /cos/
Crawl-delay: 5

Modificările din robots.txt sunt preluate la următoarea vizită. Dacă vrei ca produsele tale să apară în Hei!Local, nu este nevoie de nicio acțiune — accesul este permis implicit.

Comportament responsabil

• Respectă directivele și Crawl-delay din robots.txt.
• Limitează numărul de cereri pe domeniu și păstrează un interval între ele.
• Aplică backoff adaptiv la erorile 429 / 503 și onorează antetul Retry-After.
• Folosește anteturile Last-Modified pentru a evita re-descărcarea conținutului neschimbat.
• Nu trimite formulare, nu se autentifică și nu accesează zonele protejate ale site-ului.

Contact

Pentru întrebări despre HeiLocalBot: hei@heilocal.ro.