Hoe te voorkomen dat ChatGPT Plugins de inhoud van je website scrapen

Chat Generative Pre-trained Transformer (ChatGPT) is een veelgebruikte naam in de internetruimte sinds de lancering in november 2022. ChatGPT, gemaakt door OpenAI, is een taalmodel dat deep learning-technieken gebruikt om op natuurlijke wijze te reageren op input van gebruikers.

De introductie van ChatGPT en soortgelijke kunstmatige intelligentietechnologieën hebben gemengde gevoelens teweeggebracht in de internetruimte. Aan de ene kant zijn er gebruikers die de technologie zeer waarderen en gebruiken om productiever te worden en verschillende taken uit te voeren. Aan de andere kant voelt een groep zich bedreigd dat ChatGPT hun banen zal afpakken.

Onze focus ligt echter niet op de twee bovengenoemde groepen, maar op content creators/website-eigenaren. Dit artikel bespreekt waarom men kan overwegen om ChatGPT geen toegang te geven tot hun website, introduceert ChatGPT plugins, en hoe je deze plugins de toegang tot een site kunt ontzeggen.

Welke ChatGPT-plugins?

Toen ChatGPT voor het eerst werd geïntroduceerd, produceerden content creators al snel veel content waarin werd uitgelegd hoe deze nieuwe technologie te gebruiken. Het internet en de sociale media staan vol met informatie over het gebruik van ChatGPT.

Aan de andere kant hebben ontwikkelaars bij OpenAI en individuen ook onvermoeibaar gewerkt om deze technologie te verbeteren. ChatGPT heeft verschillende versies; op het moment van schrijven is ChatGPT-4 de meest recente. De introductie van de ondersteuning voor plugins is een van de recent geïntroduceerde verbeteringen.

ChatGPT-plugins zijn tools of aangepaste modules die kunnen worden geïntegreerd in dit taalmodel om de functionaliteit te verbeteren en de ervaring te vergroten. De plugins zijn ontworpen om met ChatGPT te werken, meer gepersonaliseerde resultaten te bieden en de functionaliteit te verbeteren.

OpenAI heeft tot nu toe twee plugins gemaakt, een webbrowser en een code-interpreter. Het heeft echter ook selectieve ontwikkelaars toegestaan om plugins van derden te maken op basis van zijn documentatie.

Welke invloed hebben ChatGPT-plugins op SEO en website-eigenaren?

Het “eerlijke” gebruik van website content is een heet debat sinds de introductie van ChatGPT eind 2022. Dit debat is niet nieuw, want het bestaat al sinds de uitvinding van het internet.

Sommige website-eigenaren hebben het gevoel dat ChatGPT al hun SEO-inspanningen “om zeep helpt”. We hebben ChatGPT plugins die inhoud op het internet scrapen en een antwoord geven op basis van de verzamelde gegevens. De huidige ChatGPT browser plugin gebruikt Bing API om het internet te doorzoeken, de antwoorden samen te vatten en links naar de bronnen te geven.

Als de gebruiker tevreden is met het antwoord, ziet hij of zij misschien niet de noodzaak om uw website te bezoeken, wat betekent dat iemand uw inhoud heeft gebruikt, maar u profiteert niet van advertentie-inkomsten of zelfs commissies van affiliate links. Als de gebruiker meer wil weten, kan hij of zij altijd uw website bezoeken via de link die u hem of haar hebt gegeven.

Triest, toch? Normaal gesproken, als een andere website uw inhoud gebruikt voor onderzoeksdoeleinden, moet het dit aangeven op zijn platform en teruglinken naar uw site.

Hoe robots.txt gebruiken om website-inhoud geen toegang meer te geven tot ChatGPT

ChatGPT-plugins gebruiken de ChatGPT-User bot. Tenzij anders aangegeven, zal de ChatGPT-User bot ervan uitgaan dat hij toestemming heeft om inhoud van je website te scrapen. Het is de moeite waard op te merken dat de bot niet is ontworpen om automatisch inhoud te crawlen. Het is echter ontworpen om directe acties te ondernemen namens de ChatGPT-gebruikers.

De officiële documentatie van OpenAI vertelt website-eigenaren hoe ze kunnen voorkomen dat ChatGPT-plugins hun content crawlen. De enige wijzigingen die u hoeft aan te brengen zijn in uw robots.txt.

Om te controleren of je het robots.txt-bestand op je website hebt, voeg je /robots.txt toe aan je domein.

Het robots.txt-bestand voor www.example.com is bijvoorbeeld te vinden als www.example.com/robots.txt.

Hoe opent u het robots.txt-bestand om het te bewerken?

Welke aanpak u kiest, hangt af van de aard van uw website. We zullen onderzoeken hoe u op WordPress gebaseerde websites, op maat gehoste websites en web-flow websites kunt bewerken;

WordPress website

Je kunt een plugin zoals Yoast SEO gebruiken. Volg deze stappen:

• Wanneer je bent ingelogd op je WordPress site, klik je op “Yoast SEO” in het linkermenu.
• Klik op “Extra” in het uitklapmenu.
• Klik op “Bestandseditor”
• Als je al een robots.txt hebt, zie je die daar, klik erop en je bent klaar om hem te bewerken.

Aangepaste gehoste website

Als u een website vanaf nul hebt gemaakt, kunt u het robots.txt-bestand ook bewerken. Volg deze stappen;

• Ga naar Bestandenbeheer van de website via een webinterface zoals FTP, Plesk of cPanel.
• Navigeer naar de hoofdmap.
• Maak of open een robots.txt-bestand om klaar te zijn voor de volgende stappen.

Webflow-gebaseerde website

Volg deze stappen;

• Log in op uw Webflow website
• Ga naar “Instellingen”
• Klik op het tabblad “SEO” en vervolgens op “Indexering”
• Open het robots.txt bestand om klaar te zijn voor de volgende stap.

Als je dit bestand hebt gevonden, kun je nu de ChatGPT plugins blokkeren. Je kunt dit op twee manieren aanpakken;

• Blokkeer de hele website: Hiermee instrueer je ChatGPT-User om niet je hele website te crawlen. Open het robots.txt-bestand en voeg de volgende twee regels code toe;

User-agent: ChatGPT-User

Disallow: /

• Blokkeer delen van uw website: Als je meerdere pagina’s op je website hebt, kun je besluiten om ChatGPT plugins alleen toegang te geven tot bepaalde secties. U kunt dit implementeren door dit voorbeeld te volgen;

User-agent: ChatGPT-User

Disallow:

Allow: /directory-1/

Toestaan: /directory-2/

In het bovenstaande voorbeeld kunnen ChatGPT-plugins, die ChatGPT-User gebruiken, directory-1 en directory-2 crawlen. Alle andere secties van je website worden echter niet gecrawld door ChatGPT-plugins.

Opmerking: Wanneer je robots.txt opent, verwijder dan niet de inhoud maar voeg de bijgeleverde regels code toe aan het einde.

Moet je de toegang tot je site blokkeren voor ChatGPT-plugins?

Het debat over plagiaat en auteursrecht zal nooit eindigen. Of je de OpenAI bot toegang geeft tot je website is een persoonlijke keuze. Mensen zullen altijd gemengde reacties hebben wanneer een nieuwe technologie wordt geïntroduceerd.

Aan de ene kant kun je het gevoel hebben dat chatplugins je verkeer ontzeggen, wat zich vertaalt in minder geld. Aan de andere kant zegt OpenAI op zijn website dat het alle bronnen zal vermelden wanneer zijn plugins gegevens van websites van derden halen.

Ik typte deze zoekopdracht, “Wat zijn ChatGPT plugins,” met Microsoft New Bing en kreeg de resultaten in deze schermafbeelding;

Zoals je kunt zien, zijn de resultaten samengevat en geven ze vijf bronnen.

Vaak gestelde vragen

Conclusie

We hopen dat je nu begrijpt wat ChatGPT-plugins zijn, hoe ze werken, hoe je kunt voorkomen dat ze je website crawlen en wat de gevolgen zijn. Veranderingen hebben verstrekkende gevolgen en zullen gebruikers altijd in groepen verdelen, de voorstanders en de tegenstanders.

Kunstmatige intelligentie is er al jaren. De meeste mensen hebben zich dit echter nooit gerealiseerd. Voorbeelden van programma’s die gebruik maken van kunstmatige intelligentie zijn Siri, beschikbaar op Apple apparaten, en Grammarly, een schrijfassistent die grammaticale fouten en plagiaat controleert.

De waarheid is dat ChatGPT, Bard en andere soortgelijke kunstmatige intelligentie niet snel zullen verdwijnen. Uit onze tests blijkt dat je ChatGPT-4 op verschillende manieren kunt gebruiken. Je moet echter wel weten hoe je dergelijke technologieën moet aansturen om de gewenste output te krijgen met de juiste input.