HeiLocalBot

HeiLocalBot este crawler-ul web al Hei!Local — motorul de căutare semantică pentru magazinele online din România. El descoperă și actualizează produsele din comerțul electronic românesc pentru a le face găsibile în căutare.
Read this page in English →

Identificare (User-Agent)

HeiLocalBot se identifică pe fiecare cerere HTTP prin următorul antet User-Agent:

Poți recunoaște traficul nostru după token-ul HeiLocalBot din User-Agent.

Adresă IP înregistrată

Toate cererile HeiLocalBot provin de la următoarea adresă IP. O poți folosi pentru a confirma că traficul este cu adevărat al nostru (și nu un bot care îți imită User-Agent-ul):

Verificare criptografică (Web Bot Auth)

Pe lângă adresa IP, HeiLocalBot semnează fiecare cerere criptografic, conform standardului Web Bot Auth (HTTP Message Signatures, RFC 9421, cheie Ed25519). Astfel poți confirma că o cerere este cu adevărat a noastră chiar dacă adresa IP se schimbă — un bot care doar ne imită User-Agent-ul nu poate produce o semnătură validă.

Fiecare cerere include anteturile Signature, Signature-Input și Signature-Agent. Cheia noastră publică este publicată în directorul de chei:

HeiLocalBot este înregistrat la Cloudflare ca agent semnat (Signed Agent), deci traficul nostru este verificabil automat pe site-urile protejate de Cloudflare.

Cum controlezi accesul HeiLocalBot

HeiLocalBot respectă standardul robots.txt. Poți permite sau bloca accesul, total sau pe anumite căi, adăugând reguli pentru token-ul HeiLocalBot în fișierul robots.txt de la rădăcina site-ului tău:

# Blochează complet HeiLocalBot
User-agent: HeiLocalBot
Disallow: /

# SAU: permite tot, dar exclude un director și cere un interval între cereri
User-agent: HeiLocalBot
Disallow: /cos/
Crawl-delay: 5

Modificările din robots.txt sunt preluate la următoarea vizită. Dacă vrei ca produsele tale să apară în Hei!Local, nu este nevoie de nicio acțiune — accesul este permis implicit.

Comportament responsabil

• Respectă directivele și Crawl-delay din robots.txt.
• Limitează numărul de cereri pe domeniu și păstrează un interval între ele.
• Aplică backoff adaptiv la erorile 429 / 503 și onorează antetul Retry-After.
• Folosește anteturile Last-Modified pentru a evita re-descărcarea conținutului neschimbat.
• Nu trimite formulare, nu se autentifică și nu accesează zonele protejate ale site-ului.

Contact

Pentru întrebări despre HeiLocalBot: hei@heilocal.ro.