Koristni nasveti

Kako izbrati pravi naslov spletne strani

Zemljevid spletne strani za lažjo indeksacijo

Povejte iskalnikom kje naj iščejo z robots.txt dokumentom

Vpis spletne strani v iskalnike in imenike

POVEJTE ISKALNIKOM KJE NA VAŠI SPLETNI STRANI NAJ IŠČEJO VSEBINO


Čeprav ima robots.txt dokument zelo pomebno vlogo pri visokih uvrstitvah spletnih strani v iskalnikih, ga še vedno večina spletnih strani ne uporablja.

Robots.txt dokument robotom iskalnikov pove predvsem, katere dokumente na spletni strani naj ne indeksira (ker npr. nimajo vsebine in s tem znižujejo ratinge vaše spletne strani).

Če vaša spletna stran še ne vsebuje robots.txt dokumenta, berite dalje in se naučite, kako ga narediti. Če vaša spletna stran že ima robots.txt dokument, preberite nekaj nasvetov, kako se izogniti napakam.

Kaj je robots.txt?

Najprej ko pride pajek (oziroma robot) iskalnika na vašo spletno stran, pogleda po dokumentu imenovanem robots.txt. Robots.txt dokument iskalniku pove, katere strani na vaši spletni strani naj preišče, katere pa naj izpusti.

Robots.txt je preprost dokument, ki vsebuje samo besedilo (tekst). Robots.txt ni html dokument, vstavimo pa ga v glavno mapo, kjer se nahaja tudi vaša index.html stran (uvodna stran vaše spletne strani). Primer bi bil:

http://www.vasadomena.com/robots.txt

 

Kako naredimo robots.txt dokument?

Kot smo že omenili, je robots.txt enostaven dokument z besedilom, zato ga ustvarimo z najpreprostejšim programom za urejanje besedila. Najprimernejši urejevalnik besedila, ki ga dobimo z operacijskim sistemom Windows, je Notepad.

Z robots.txt dokumentom lahko dajemo navodila samo točno določenim iskalnikom, lahko pa naredimo dokument, ki bo apeliral na vse iskalnike.

Primer robots.txt dokumenta, ki daje navodila samo za Googlov iskalnik bi bil:

User-agent: googlebot
Disallow: /cgi-bin/

Googlov pajek (robot) se imenuje Googlebot, zato smo v prvi atribut napisali "googlebot". Če bi želeli, da robots.txt daje navodila vsem iskalnikom, potem na tem mestu vstavimo zvezdico (*).

V spodnji atribut vpišemo mapo, katero ne želimo, da iskalnik preišče. Ponavadi je to vsaj mapa "cgi-bin". Primer bi bil:

User-agent: *
Disallow: /cgi-bin/

 

Katerim stvarem se moramo izogniti

Robots.txt je zelo enostaven dokument, ki pa lahko naredi tudi ogromno škodo uvrstitvam vaše spletne strani, v primeru, da so v njem napake. V tem primeru iskalniki dobijo drugačna navodila, kot bi jim jih mi želeli dati. Da se temu izognete, upoštevajte naslednja navodila:

1. V robots.txt dokumentu ne uporabljajte komentarjev. Komentarji lahko nekatere iskalnike zmedejo. Primer:

"Disallow: podpora # Don't index the podpora directory" lahko iskalniki zamenjajo z "Disallow: podpora#Don't index the podpora directory".

2. Ne uporabljajte praznih prostorov na začetku dokumenta:

User-agent: *
Disallow: /cgi-bin/

Pravilno je:

User-agent: *
Disallow: /cgi-bin/

3. Ne mešajte vrstnega reda ukazov:

Disallow: /cgi-bin/ User-agent: *

Pravilno je:

User-agent: *
Disallow: /cgi-bin/

4. Ne vpišite več kot eno mapo v Disallow vrstico:

User-agent: *
Disallow: /podpora /cgi-bin/ /images/

Iskalniki tega ne bodo razumeli. Če želite iskalnikom povedati več map na vaši spletni strani, v katerih naj ne iščejo, potem to povejte na sledeči način:

User-agent: *
Disallow: /podpora
Disallow: /cgi-bin/
Disallow: /images/

5. Pozorni bodite na velike in male začetnice. Če se mapa v vaši spletni strani imenuje cgi-bin, jo ne imenujte Cgi-bin in obratno.