GPTBot og robots.txt

Kort sagtNej, luk dem ikke ude. Der er to slags AI-robotter: den ene henter indhold til at træne modellen, den anden henter en side, netop mens den svarer en bruger. Blokerer du den sidste, kan du ikke blive anbefalet. Vil du endelig lukke nogen ude, så luk kun træningsrobotten.

De, der kommer oftest, er GPTBot og OAI-SearchBot fra OpenAI, Google-Extended fra Google, PerplexityBot og ClaudeBot. De henter dine sider på præcis samme måde som en almindelig søgerobot, og de retter sig efter robots.txt.

Forskellen betyder noget. Blokerer du den robot, der henter, mens den svarer, kan tjenesten ikke citere dig i svaret. Blokerer du kun træningsrobotten, kan du stadig blive nævnt.

Det hele foregår i robots.txt, som ligger i roden af din side. Linjerne er enkle.

• Luk træningen ude, men bliv citerbar. Afvis GPTBot og Google-Extended, og lad OAI-SearchBot være. Så bliver dit indhold ikke brugt til træning, men du kan stadig komme med i et svar.
• Luk alt ude. Afvis alle AI-robotterne. Så er du ikke med i AI-svar overhovedet.
• Lad dem alle komme ind. Det er standarden, hvis du ikke gør noget, og det er det, vi anbefaler de fleste.

Husk, at robots.txt kun gælder robotter, der retter sig efter den. De store gør. Det er ikke en lås, det er et skilt. Vil du have en side helt væk, skal den bag et login.

For en håndværker eller en klinik er svaret næsten altid nej. Du sælger ikke indhold. Du sælger arbejde, og AI-svaret er en ny vej til kunden.

Det ville være en anden sag, hvis din forretning var at udgive tekst, som folk betaler for at læse. Derfor ser du mediehuse blokere. Men din side om tagudskiftning er et salgsargument, ikke et produkt.

Lukker du AI ude, mister du tre ting: at blive nævnt i svaret, at blive brugt som kilde med et link, og det lille, men stigende antal besøg, der kommer derfra. Se AI-trafik.

1. Åbn din robots.txt.Skriv dit domæne efterfulgt af /robots.txt i browseren. Står der Disallow under en AI-robot, er den lukket ude.
2. Tjek din firewall.Mange sikkerhedsopsætninger blokerer ukendte robotter som standard. Det sker uden for robots.txt, så du kan ikke se det der.
3. Se i logfilerne.Kommer GPTBot og PerplexityBot forbi? Gør de ikke, er der noget, der spærrer.
4. Tjek dine meta-tags.Et noarchive eller noindex på en side holder den også ude af svarene.

Er du i tvivl, så se først indlægget om teknisk SEO, hvor vi går resten af fundamentet igennem.

Det er et forslag til en fil, der skal fortælle AI-tjenester, hvad der er vigtigt på din side. Ingen af de store tjenester læser den endnu. Den koster ikke noget at lave, men den gør heller ikke noget i dag.

Vi har skrevet om den for sig i indlægget om llms.txt.

Vi tjekker robots.txt, firewall og meta-tags, når vi overtager en side, både under SEO og i driften på vores hosting. Det er typisk et kvarters arbejde at rette.