Proč se můj web neimportuje?
Pokud přidaný web skončil bez naindexovaných stránek, jeho server nejspíš zablokoval našeho crawlera. Zde zjistíte, jak to poznat a jak nás pustit dovnitř.
Co se děje
Některé weby jsou za Cloudflare, WAF nebo ochranou proti botům, která automatické požadavky prověřuje nebo blokuje. Když se to stane, náš crawler nedokáže přečíst vaše stránky, i když jste URL přidali správně, takže import skončí s nulou stránek a dostanete upozornění „Procházení zablokováno“. Blokace je téměř vždy dočasná nebo řešitelná, není to známka toho, že stránka zmizela.
Jak poznat, že jde o tuto příčinu
- Zdroj se tváří jako dokončený, ale má 0 stránek.
- Dostali jste do schránky upozornění „Procházení zablokováno“.
- Stránka se vám ve vlastním prohlížeči otevře normálně (člověk ověření projde, automatický crawler ne).
Jak našeho crawlera pustit dovnitř
Povolte BreezaroBot v ochraně, která váš web chrání, a poté spusťte procházení znovu. Rozpoznáte nás třemi způsoby:
- User-Agent obsahuje BreezaroBot.
- Požadavky přicházejí z jediné IP adresy: 167.235.18.41.
- Reverzní DNS této IP je crawler.breezaro.com (dopředně ověřená, takže ji nelze podvrhnout).
Na Cloudflare
Otevřete Security → WAF a přidejte pravidlo Skip (povolit), které odpovídá podmínce User-Agent obsahuje BreezaroBot nebo IP se rovná 167.235.18.41. BreezaroBot také přihlašujeme do programu Cloudflare Verified Bots.
Zkontrolujte robots.txt
Ujistěte se, že váš robots.txt nezakazuje BreezaroBot (ani všechny boty) na stránkách, které chcete naindexovat.
Stále se neimportuje?
Pokud to i po povolení stále skončí prázdné, může být ochrana přísnější než pravidlo na User-Agent nebo IP, například interaktivní ověření u každého požadavku. Napište na support@breezaro.com s adresou webu a pomůžeme vám, nebo dočasně snižte úroveň ochrany po dobu prvního procházení.
Úplné údaje o identitě crawlera, egress IP a reverzní DNS najdete na naší veřejné stránce crawlera: https://breezaro.com/bot