# robots.txt for http://www.actiu.net/

# Fitxer de parametres de comportament per als robots d'indexacio de buscadors
# Mes informacio a: www.robotstxt.org
# Especificacio tecnica mantinguda des del 1994 a: http://www.robotstxt.org/wc/robots.html
#                                                  http://www.robotstxt.org/wc/norobots-rfc.html

# Site administrator contact information: http://www.actiu.net/contacte_adm.asp
# =============================================================================

# Aqui s'especifica que el robot 'webcrawler' ho explori tot
User-agent: webcrawler
Disallow:

# Aqui s'especifica que el robot 'inventat' no ha d'explorar res a partir de l'arrel
User-agent: robotinventat
Disallow: /

# Aqui s'indica que la resta de robots (els no esmentats en la resta de fitxer) ho explorin
# tot excepte les dues rutes especificades
User-agent: *
Disallow: /carpetainventada_ALGU_REMENA
Disallow: /fitxerinventat_ALGU_REMENA

# =============================================================================
# Notes: - No valen comodins per a les rutes (* % ?). Nomes s'utilitza l'asterisc '*' com a
#          constant especial per a indicar 'tots els robots' i prou.
#        - Cada ruta a excloure s'especifica amb la seva propia linia 'Disallow'
#        - Les rutes a excloure son cadenes que parteixen de l'arrel del domini HTTP, i seran
#          interpretades com a fragment de la URL relativa: "/help/inde" excloura
#           "/help/index.htm" i tambe excloura "/help/independent/coses.htm"
#        - Per als documents de font textual (com els HTML), hi ha normalitzada una
#          MetaMarca per a la capçalera HTML amb nomes 4 possibles valors:
#          "index", "noindex", "follow", "nofollow", "all", "none"
#          Exemple d'us:          <meta name="robots" content="index">
#          Exemple d'us combinat: <meta name="robots" content="noindex,nofollow">
#          (Per defecte: "index,follow")
#          * Tambe hi altres valors implementats nomes per alguns indexadors
#          * Aquesta MetaMarca preval per sobre de les directives del fitxer /robots.txt
#        - Els documents de font textual (com els HTML), tenen normalitzada una MetaMarca
#          per a incloure el text/sumari/resum que l'indexador ha de presentar amb el
#          resultat de les cerques d'usuari: <meta name="description" content="Pagina molt interessant">

# Exemples d'ubicacio d'aquest fitxer:
#    Site URL                 Corresponding Robots.txt URL
#    http://www.w3.org/       http://www.w3.org/robots.txt
#    http://www.w3.org:80/    http://www.w3.org:80/robots.txt
#    http://www.w3.org:1234/  http://www.w3.org:1234/robots.txt
#    http://w3.org/           http://w3.org/robots.txt

# Plantilla robots.txt amb explicacions creada per Narcis Garcia Langa (www.actiu.net)