Crawler

Trilarbot

Trilarbot ist der Crawler hinter Trilar, einem SEO- und GEO-Audit-Werkzeug. Er crawlt Websites im Auftrag ihrer Betreiber oder der Agenturen, die sie betreuen.

User-Agents

Desktop

Mozilla/5.0 (compatible; Trilarbot/1.0; +https://trilar.io/bot/) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/141.0.0.0 Safari/537.36

Mobil

Mozilla/5.0 (Linux; Android 14; Pixel 8) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/141.0.0.0 Mobile Safari/537.36 (compatible; Trilarbot/1.0; +https://trilar.io/bot/)

Wer einen Crawl startet

Crawls starten Trilar-Kunden, die die Website betreiben oder betreuen, etwa für ein Audit vor einem Relaunch. Trilarbot crawlt das Web nicht von sich aus.

robots.txt

Standardmässig wendet ein Crawl die Regeln der robots.txt für Googlebot an, damit Kunden ihre Website so sehen wie Google. Kunden können einen anderen User-Agent für die Regeln wählen oder für ein Audit der eigenen Website bestimmte Pfade erlauben.

Crawl-Geschwindigkeit

Jeder Crawl hat ein Anfragelimit, und Trilarbot bremst automatisch, wenn der Server langsam oder mit Fehlern wie 429 oder 503 antwortet.

Fragen oder Ausschluss

Besucht Trilarbot eine Website, die er nicht besuchen soll, schreiben Sie uns die Domain, und wir schliessen sie aus. Wollen Sie Trilarbot durch Ihre Firewall oder Ihren Bot-Schutz lassen, erlauben Sie Anfragen, deren User-Agent «Trilarbot» enthält; die IP-Adressen unserer Crawler nennen wir Ihnen auf Anfrage.

support@trilar.io · +41 76 77 99 820