Using a robots.txt File
04/25/99 by John Pollock
This is a useful file that keeps search engines from indexing pages you do not want spidered. Why would you not want a page indexed by a search engine? Perhaps you want to display a page that shows an example of spamming the search engines. This type of page might include an example of repeated keywords, hidden tags with keywords, and other things that could get a page or an entire site banned from a search engine.
The robots.txt file is a good way to prevent this page from getting indexed. However, not every site can use it. The only robots.txt file that the spiders will read is the one at the top html directory of your server. This means you can only use it if you run your own domain. The spiders will look for the file in a location similar to these below:

http://www.pageresource.com/robots.txt
http://www.javascriptcity.com/robots.txt
http://www.mysite.com/robots.txt

Any other location of the robots.txt file will not be read by a search engine spider, so the file locations below will not be worthwhile:

http://www.pageresource.com/html/robots.txt
http://members.someplace.com/you/robots.txt
http://someisp.net/~you/robots.txt

Now, if you have your own domain- you can see where to place the file. So let's take a look at exactly what needs to go into the robots.txt file to make the spider see what you want done.

If you want to exclude all the search engine spiders from your entire domain, you would write just the following into the robots.txt file:

User-agent: *
Disallow: /
If you want to exclude all the spiders from a certain directory within your site, you would write the following:

User-agent: *
Disallow: /aboutme/
If you want to do this for multiple directories, you add on more Disallow lines:

User-agent: *
Disallow: /aboutme/
Disallow: /stats/
If you want to exclude certain files, then type in the rest of the path to the files you want to exclude:

User-agent: *
Disallow: /aboutme/album.html
Disallow: /stats/refer.htm
If you are curious, here is what I used to keep an article from getting indexed:

User-agent: *
Disallow: /zine/article002.htm
If you want to keep a specific search engine spider from indexing your site, do this:

User-agent: Robot_Name
Disallow: /
You'll need to know the name of the search engine spider or robot, and place it where Robot_Name is above. You can find these names from the web sites of the various search engines.

So, if you need to exclude something from search engine indexing, this is the most effective tool recognized by the search engines- so use it to keep the spiders out of any part of your web you want them to avoid.

Article Copyright © 1999 by John Pollock.

---

Af dato :02/03/2007 @ 09h47Sidst opdateret : 02/03/2007 @ 09h47

Når Du er tilmeldt som bruger på vores webside har Du mulighed for at modtage "anonym" support, det vil sige at de spørgsmål som du kan sende til vores Support Team ikke kan ses af andre, og det samme gælder for de svar som Du modtager fra vores Support Team.

Første gangs tilmelding:

Når Du tilmelder dig som bruger på vores webside vil der være nogende informationer som skal udfyldes i din profil, f.eks.:

Først en kort tilmelding hvor Du skal angive dit navn (det navn du ønsker at være kendt under) vi anbefaler at man bruger sit kunde nummer eller almindelige navn, ved flere sammenhængende navne skal der buges "underscore", dette tegn "_", sålede: Niels_Ole eller Kurt_Jensen.

Der næst skal der angives en brugerkode (password), brug eventuelt et du kan huske og måske plejer at bruge, men et som er svært at gætte, brugerkoden bliver krypteret og vil ikke kunne gendanes, KUN DU KENDER BRUGERKODEN, ikke en gang vi kan hjælpe dig med at genfremsende koden, så mister du koden skal Du anmode Support Teamet om at slette dig fra siden for at du kan genoprette din tilmelding.

Så skal du indtaste din e-mail adresse, din e-mail adresse kan du på et senere tidspunkt vælge ikke at være offentlig, alle e-mail adresser på vores webside er sikret mod spam.

Til sidst i den korte tilmelding kan du vælge at anføre din personlige signatur.

Så klikker du på "Gem", og du vil blive informeret om at du nu oprette en brugerkonto, og få sekunder efter vil du se en velkomst meddelse der anmoder dig om at opdatere din profil.

Profil opdatering:

Valg af sprog, da vores webside er to-sproget engelsk og dansk, normalt vil det forudindstillet sprog være dansk.

Brugerkode, som skal indtastes to gange hvis du ønsker at ændre den kode du allered har valgt.

Din e-mail som du allered har indtastet.

De næste fire punkter er vigtige for at du kan sende og modtage "anonym" support.

"Medlemmer kan kontakte mig via e-mail", denne mulighed kan fravælges hvis man ikke ønsker at modtage e-mail.

"Medlemmer kan sende mig PM'er", denne mulighed skal være aktiveret for at du kan modtage PM'er.

"Send mig en e-mail når jeg modtager PM'er", denne mulighed gør at du kan modtage besked via din e-mail når der er svar til dig fra vores Support Team, da alle beskeder ligger på vores server, således bliver du fri for at skulle besøge webside for at checke om der er sendt svar til dig.

"Send mig en e-mail når mine PM'er er læst af modtageren", denne mulighed gør at du kan se når vores Support Team har læst dit spørgsmål eller kommentar. (Ikke det samme som at der ligger svar til dig!).

I næste felt har Du mulighed at skrive stien til et lille billed som vil blive vist når du er logged ind på vores webside og når Du skriver indlæg i forumet.

I feltet efter vil det være muligt at vælge et standard billed (mange sjove at vælge imellem).

De efterfølgende felter er knap så vigtige men kan med fordel udfyldes, især hvis man ønsker at sprede lit reklame for sin egen webside.

Det sidste felt "Boksenes position" anbefaler vi at man springer over da det vil ændre på det layout du ser på vores webside og derved ikke vil have mulighed for at følge vores anvisninger for at finde hjælp.

---

---

Af dato :19/02/2006 @ 21h57Sidst opdateret : 14/11/2006 @ 23h28