Webmester honlap - robots.txt a Google-hoz?

Website-eltávolítás

Ha szeretné kizárni a Google index-éboxl a honlapot vagy a honlapnak egy bizonyos részét, akkor létre kell hozni a szerveren egy robots.txt fájlt.

Doménenként csak egy lehetséges. Csak a kisbetuxs írás érvényes tehát soha "Robots.txt" vagy "robots.TXT".

User-Agent: *
Disallow: /

csak Google Robot kizárás

User-agent: Googlebot
Disallow: /

Ha szeretnénk levédeni a képeinket, hogy a Google képkeresőn keresztül ne legyenek hozzá férhetők, akkor csak a robots.txt-be kell egy bejegyzést tennünk, két sor és a képek elrejtve maradnak:

User-Agent: Googlebot-Image
Disallow: /

User-agent: Googlebot
Disallow: /*.gif$

User-agent: Googlebot
Disallow: /*.gif$

User-agent: Googlebot
Disallow: /*.jpg$

Ez más formátumokban is lehetséges mint pl. PDF vagy DOC.

User-agent: Googlebot
Disallow: /*.pdf$

User-agent: Googlebot
Disallow: /*.doc$

Tartalom: