So steuern Sie das Verhalten von Cliqzbot und anderen Webcrawlern auf Ihrer Website.

Was genau ist Cliqzbot?

Cliqzbot ist der Web Crawler der Cliqz GmbH, einer Mehrheitsbeteiligung der Hubert Burda Media mit Sitz in München. Cliqz bietet Produkte für das Suchen direkt im Browser und betreibt eine eigenentwickelte Suchtechnologie. Der Cliqzbot erfasst URLs und Website-Inhalte im Index von Cliqz.

Wie kann ich den Cliqzbot blockieren, um den Zugriff auf meine Website zu verhindern?

Mit Hilfe einer robots.txt Datei können Website Administratoren einstellen, in welchem Umfang Cliqzbot (wie auch alle anderen Bots) die eigene Website analysiert.
Sie können “Cliqzbot” den Zugriff auf Ihre Website oder Teile davon verweigern, indem Sie einen der folgenden Schritte befolgen:

Ordner mit einem Passwort schützen

Der sicherste Weg um zu verhindern, dass Cliqzbot oder ein anderer Webcrawler auf URLs Ihrer Domain zugreift, ist sie in einem Passwort-geschützten Ordner des Website Servers zu legen.

Robots.txt

Wenn ein regelkonformer Bot wie der Cliqzbot eine Website besucht, liest er zunächst deren robots.txt Datei. Die robots.txt Datei definiert, wie der Cliqzbot (oder andere Webcrawler) mit den Inhalten und Dateien auf Ihrer Website umgehen soll. Sie können Ihre robots.txt Datei also dazu verwenden, den Zugriff auf Ihre Website vollständig oder teilweise zu verhindern.
Bitte beachten Sie, dass die in der robots.txt Datei verankerten Instruktionen nur Richtlinien sind. Der oben genannte Passwortschutz bietet mehr Kontrolle und schließt auch Webcrawler aus, die sich nicht an die Regeln halten, sei es durch Absicht oder eine Fehlfunktion.

Eine robots.txt Datei, mit der Sie den Cliqzbot steuern können, sieht wie folgt aus:

User-agent: Cliqzbot
Disallow: [der URL Pfad den Sie blockieren möchen]
Allow: [In blockierten Verzeichnissen: Der URL-Pfad im Unterverzeichnis, den Sie freigeben möchten]

Befehle für die robots.txt Datei, um URL’s zu blockieren:

/* Die gesamte Seite mit einem Slash(/) */
User-agent: Cliqzbot
Disallow: /  

/*Ein Verzeichnis und seinen Inhalt indem das Verzeichnis mit einem Slash gekennzeichnet wird */
User-agent: Cliqzbot
Disallow: /Beispiel-Verzeichnis/

/* Eine Website,  in dem sie nach dem slash genannt wird */
User-agent: Cliqzbot
Disallow: /private_datei.html 

/* Dateien eines bestimmtes Datei Types (zum Beispiel, .jpeg): */
User-agent: Cliqzbot
Disallow: /*.jpeg$

/* Weitere Möglichkeiten */
User-agent: Cliqzbot
Disallow: /private_file.html

Sollte dennoch ein Problem auftreten und der Cliqzbot ohne Ihre Erlaubnis auf Ihre Website zugreifen, schreiben Sie bitte eine E-Mail an cliqzbot@cliqz.com. Gerne helfen wir Ihnen weiter.