Ich habe ChatGPT-Plugins für das Crawlen meiner Website deaktiviert. Wird dies Auswirkungen auf die Suchmaschinenoptimierung haben?

Nein. Sie sollten jedoch sicherstellen, dass Sie Suchmaschinen-Bots wie Bingbot und Googlebot nicht deaktivieren, da diese von den Suchmaschinen zum Crawlen Ihrer Inhalte verwendet werden. Sie können auch andere unerwünschte Bots deaktivieren, um die Ladegeschwindigkeit zu erhöhen und Ihre Inhalte vor Diebstahl zu schützen.

So verhindern Sie, dass ChatGPT-Plugins den Inhalt Ihrer Website ausspähen

Unter Titus Kamunya

So verhindern Sie, dass ChatGPT-Plugins Ihren Website-Inhalt kaputt machen

Chat Generative Pre-trained Transformer (ChatGPT) ist seit seiner Markteinführung im November 2022 ein Begriff in der Internetwelt. ChatGPT wurde von OpenAI entwickelt und ist ein Sprachmodell, das Deep-Learning-Techniken verwendet, um auf der Grundlage von Benutzereingaben natürlich zu reagieren.

Die Einführung von ChatGPT und ähnlichen Technologien der künstlichen Intelligenz hat in der Internetwelt gemischte Gefühle hervorgerufen. Auf der einen Seite gibt es Nutzer, die die Technologie sehr schätzen und sie nutzen, um produktiver zu werden und verschiedene Aufgaben zu erledigen. Auf der anderen Seite gibt es eine Gruppe, die sich bedroht fühlt, dass ChatGPT ihnen die Arbeitsplätze wegnehmen wird.

Wir werden uns jedoch nicht auf die beiden oben genannten Gruppen konzentrieren, sondern auf die Ersteller von Inhalten und die Inhaber von Websites. In diesem Artikel wird erörtert, warum man ChatGPT keinen Zugang zu seiner Website gewähren sollte, welche ChatGPT-Plugins es gibt und wie man den Zugriff dieser Plugins auf eine Website verhindern kann.

Welche ChatGPT-Plugins?

Als ChatGPT zum ersten Mal eingeführt wurde, produzierten die Autoren von Inhalten schnell eine Menge Inhalte, in denen erklärt wurde, wie man diese neue Technologie verwendet. Das Internet und die sozialen Medien sind voll von Inhalten über die Verwendung von ChatGPT.

Andererseits haben auch die Entwickler von OpenAI und Einzelpersonen unermüdlich an der Verbesserung dieser Technologie gearbeitet. ChatGPT gibt es in verschiedenen Versionen; zum Zeitpunkt dieses Schreibens ist ChatGPT-4 die aktuellste. Die Einführung der Unterstützung für Plugins ist eine der kürzlich eingeführten Verbesserungen.

BeiChatGPT-Plugins handelt es sich um Tools oder benutzerdefinierte Module, die in dieses Sprachmodell integriert werden können, um seine Funktionalität zu verbessern und das Erlebnis zu steigern. Die Plugins sind so konzipiert, dass sie mit ChatGPT zusammenarbeiten, mehr personalisierte Ergebnisse bieten und die Funktionalität verbessern.

OpenAI hat bisher zwei Plugins entwickelt, ein Webbrowser und eine Code-Dolmetscher. Es hat jedoch auch ausgewählten Entwicklern die Möglichkeit gegeben, auf der Grundlage seiner Dokumentation 3rd-Party-Plugins zu erstellen.

Wie wirken sich ChatGPT-Plugins auf die Suchmaschinenoptimierung und die Betreiber von Websites aus?

Die "faire" Nutzung von Website-Inhalten ist seit der Einführung von ChatGPT Ende 2022 eine heiße Debatte. Diese Debatte ist nicht neu, denn sie besteht seit der Erfindung des Internets.

Einige Website-Besitzer haben das Gefühl, dass ChatGPT alle ihre SEO-Bemühungen "tötet". Wir haben ChatGPT-Plugins, die Inhalt im Internet auslesen und auf der Grundlage der gesammelten Daten eine Antwort geben. Das aktuelle ChatGPT-Browser-Plugin verwendet die Bing-API, um das Internet zu durchsuchen, die Antworten zusammenzufassen und Links zu den Quellen anzugeben.

Wenn der Nutzer mit der Antwort zufrieden ist, sieht er vielleicht nicht die Notwendigkeit, Ihre Website zu besuchen. Das bedeutet, dass jemand Ihre Inhalte genutzt hat, aber Sie profitieren nicht von Werbeeinnahmen oder gar Provisionen aus Affiliate-Links. Wenn der Nutzer mehr erfahren möchte, kann er jederzeit über den angegebenen Link Ihre Website besuchen.

Traurig, nicht wahr? Normalerweise sollte eine andere Website, die Ihre Inhalte zu Forschungszwecken verwendet, dies auf ihrer Plattform angeben und einen Link zurück zu Ihrer Website setzen.

Wie Sie robots.txt verwenden, um den Zugriff auf den Inhalt Ihrer Website für ChatGPT zu unterbinden

ChatGPT-Plugins verwenden den ChatGPT-User-Bot. Wenn Sie keine anderen Anweisungen geben, geht der ChatGPT-User-Bot davon aus, dass er die Erlaubnis hat, Inhalte von Ihrer Website zu scrapen. Bitte beachten Sie, dass der Bot nicht dafür ausgelegt ist, Inhalte automatisch zu crawlen. Er ist vielmehr dazu gedacht, direkte Aktionen im Namen der ChatGPT-Benutzer durchzuführen.

Die offizielle Dokumentation von OpenAI zeigt Website-Besitzern, wie sie ChatGPT-Plugins davon abhalten können, ihre Inhalte zu crawlen. Die einzigen Änderungen, die Sie vornehmen müssen, sind in Ihrer robots.txt.

Um zu überprüfen, ob Sie die Datei robots.txt auf Ihrer Website haben, fügen Sie /robots.txt zu Ihrer Domain hinzu.

Die robots.txt-Datei für www.example.com finden Sie zum Beispiel unter www.example.com/robots.txt.

So öffnen Sie die Datei robots.txt zur Bearbeitung

Welche Vorgehensweise Sie wählen, hängt von der Art Ihrer Website ab. Wir werden untersuchen, wie Sie WordPress-basierte Websites, individuell gehostete Websites und Web-Flow-Websites bearbeiten können;

WordPress-basierte Website

Sie können ein Plugin wie Yoast SEO verwenden. Folgen Sie diesen Schritten:

Wenn Sie bei Ihrer WordPress-Website angemeldet sind, klicken Sie im linken Menü auf "Yoast SEO".
Klicken Sie im Dropdown-Menü auf "Extras".
Klicken Sie auf "Datei-Editor".
Wenn Sie bereits eine robots.txt haben, sehen Sie sie dort. Klicken Sie darauf, und schon können Sie sie bearbeiten.

Individuell gehostete Website

Wenn Sie eine Website von Grund auf neu erstellt haben, können Sie auch deren robots.txt-Datei bearbeiten. Gehen Sie wie folgt vor;

Greifen Sie über eine Webschnittstelle wie FTP, Plesk oder cPanel auf den Dateimanager der Website zu.
Navigieren Sie zum Stammordner.
Erstellen oder öffnen Sie eine robots.txt-Datei, um sich für die nächsten Schritte vorzubereiten.

Webflow-basierte Website

Führen Sie diese Schritte aus;

Melden Sie sich bei Ihrer Webflow-Website eine
Gehen Sie zu "Einstellungen"
Klicken Sie auf die Registerkarte "SEO" und dann auf "Indizierung".
Öffnen Sie die Datei robots.txt, um sich für den nächsten Schritt vorzubereiten.

Sobald Sie diese Datei gefunden haben, können Sie nun ChatGPT-Plugins blockieren. Sie können zwei Wege einschlagen;

Blockieren Sie die gesamte Website: Damit weisen Sie ChatGPT-User darauf hin, Ihre gesamte Website nicht zu crawlen. Öffnen Sie die Datei robots.txt und fügen Sie die folgenden zwei Codezeilen ein;

Benutzer-Agent: ChatGPT-User

Disallow: /

Blockieren Sie Abschnitte Ihrer Website: Wenn Sie mehrere Seiten auf Ihrer Website haben, können Sie festlegen, dass ChatGPT-Plugins nur auf bestimmte Abschnitte zugreifen dürfen. Sie können dies anhand des folgenden Beispiels umsetzen;

Benutzer-Agent: ChatGPT-Benutzer

Disallow:

Allow: /Verzeichnis-1/

Erlaubt: /Verzeichnis-2/

In dem obigen Beispiel können ChatGPT-Plugins, die ChatGPT-Benutzer verwenden, Verzeichnis-1 und Verzeichnis-2 crawlen. Alle anderen Bereiche Ihrer Website werden jedoch nicht von ChatGPT-Plugins gecrawlt.

Hinweis: Wenn Sie die robots.txt öffnen, löschen Sie nicht den Inhalt, sondern fügen Sie die vorgesehenen Codezeilen am Ende ein.

Sollten Sie ChatGPT-Plugins den Zugriff auf Ihre Website verwehren?

Die Plagiats- und Urheberrechtsdebatte wird nie enden. Daher ist es eine persönliche Entscheidung, ob Sie dem OpenAI-Bot den Zugriff auf Ihre Website erlauben. Die Menschen werden immer gemischte Reaktionen haben, wenn eine neue Technologie eingeführt wird.

Auf der einen Seite haben Sie vielleicht das Gefühl, dass Chat-Plugins Ihnen Traffic vorenthalten, was sich in weniger Geld niederschlägt. Auf der anderen Seite sagt OpenAI auf seiner Website, dass es alle Quellen angeben wird, wenn seine Plugins Daten von Websites Dritter beziehen.

Ich habe diese Suchanfrage, "Was sind ChatGPT-Plugins“,in Microsoft New Bing eingegeben und die in diesem Screenshot gezeigten Ergebnisse erhalten;

Wie Sie sehen können, sind die Ergebnisse zusammengefasst und geben fünf Quellen an.

Häufig gestellte Fragen

Was ist der Unterschied zwischen ChatGPT-Plugins und Drittanbieter-Plugins?

ChatGPT unterstützt zwei Arten von Plugins, eigene Plugins und Plugins von Drittanbietern. Wie der Name schon sagt, wurden die eigenen Plugins von ChatGPT von Ingenieuren von OpenAI entwickelt.
Bislang hat das Team Webbrowser und Code-Interpreter-Plugins entwickelt.
Die Plugins von Drittanbietern werden dagegen von Entwicklern verschiedener Unternehmen erstellt. Diese Plugins sind vorab genehmigt worden und sollen ChatGPT zusätzliche Funktionen hinzufügen.

Kann ich mit dem kostenlosen Tarif auf ChatGPT-Plugins zugreifen?

Nein. ChatGPT-Plugins sind nur für ChatGPT Plus-Abonnenten verfügbar. Neben dem Zugang zu den Plugins bietet das kostenpflichtige Paket eine schnellere Reaktionszeit, Erreichbarkeit auch zu Stoßzeiten und bevorzugten Zugang zu neuen Funktionen.

Was sind Web-Scraper?

Web Scraper sind Skripte/Programme, die automatisch Daten aus dem Internet extrahieren. Web Scraper, auch bekannt als Web Crawler, besuchen Websites und analysieren deren Daten und extra relevante Informationen. Diese Programme können für Marktforschung, die Zusammenstellung von Inhalten, Data Mining und Preisvergleiche verwendet werden.

Ist Web Scraping legal?

Die Legalität von Web Scraping ist oft ein heiß diskutiertes Thema, zu dem es unterschiedliche Meinungen gibt. Als Faustregel gilt, dass das Scrapen von öffentlich zugänglichen Informationen für den persönlichen Gebrauch nicht illegal ist.
Das Scrapen von Informationen zu kommerziellen Zwecken oder das Scrapen von urheberrechtlich geschützten Inhalten ist jedoch illegal. Ob das Scrapen von Website-Inhalten legal oder illegal ist, hängt von der Art der fraglichen Inhalte ab.

Ich habe ChatGPT-Plugins für das Crawlen meiner Website deaktiviert. Wird sich dies auf die Suchmaschinenoptimierung auswirken?

Nein. Sie sollten jedoch darauf achten, dass Sie Suchmaschinen-Bots wie Bingbot und Googlebot nicht deaktivieren, da Suchmaschinen diese zum Crawlen Ihrer Inhalte verwenden. Sie können auch andere unerwünschte Bots deaktivieren, um die Ladegeschwindigkeit zu erhöhen und zu verhindern, dass Ihre Inhalte gestohlen werden.

Wer kann ChatGPT verwenden?

Zum Zeitpunkt der Erstellung dieses Artikels gibt es keine Beschränkungen, wer ChatGPT nutzen kann. Sie können auf die Website openai.de gehen, ein kostenloses Konto erstellen und mit der Nutzung beginnen. Sie können diese Technologie nutzen, um Code zu schreiben, Code zu interpretieren, Texte für Websites und Seiten sozialer Medien zu erstellen und Gedichte, Lieder und Reden zu schreiben. Die Art der Ausgabe hängt jedoch von den Eingaben ab, die Sie in dieses Sprachmodell eingeben.

Fazit

Wir hoffen, Sie haben nun verstanden, wie ChatGPT-Plugins funktionieren, wie Sie sie davon abhalten können, Ihre Website zu crawlen, und welche Auswirkungen das hat. Änderungen haben weitreichende Auswirkungen und werden die Nutzer immer in Gruppen einteilen, in Befürworter und Gegner.

Künstliche Intelligenz begleitet uns schon seit Jahren. Die meisten Menschen haben dies jedoch nie realisiert. Beispiele für Programme, die künstliche Intelligenz nutzen, sind Siri, das auf Apple-Geräten verfügbar ist, und Grammarly, ein Schreibassistent, der grammatikalische Fehler und Plagiate überprüft.

Die Wahrheit ist, dass ChatGPT, Bard und andere ähnliche künstliche Intelligenzen nicht so schnell verschwinden werden. Unsere Tests haben ergeben, dass Sie ChatGPT-4 für verschiedene Anwendungsfälle nutzen können. Allerdings müssen Sie wissen, wie Sie solche Technologien steuern müssen, um mit den richtigen Eingaben die gewünschten Ergebnisse zu erzielen.

Titus Kamunya

Autor