# robots.txt for http://www.actiu.net/ # Fitxer de parametres de comportament per als robots d'indexacio de buscadors # Mes informacio a: www.robotstxt.org # Especificacio tecnica mantinguda des del 1994 a: http://www.robotstxt.org/wc/robots.html # http://www.robotstxt.org/wc/norobots-rfc.html # Site administrator contact information: http://www.actiu.net/contacte_adm.asp # ============================================================================= # Aqui s'especifica que el robot 'webcrawler' ho explori tot User-agent: webcrawler Disallow: # Aqui s'especifica que el robot 'inventat' no ha d'explorar res a partir de l'arrel User-agent: robotinventat Disallow: / # Aqui s'indica que la resta de robots (els no esmentats en la resta de fitxer) ho explorin # tot excepte les dues rutes especificades User-agent: * Disallow: / # ============================================================================= # Notes: - No valen comodins per a les rutes (* % ?). Nomes s'utilitza l'asterisc '*' com a # constant especial per a indicar 'tots els robots' i prou. # - Cada ruta a excloure s'especifica amb la seva propia linia 'Disallow' # - Les rutes a excloure son cadenes que parteixen de l'arrel del domini HTTP, i seran # interpretades com a fragment de la URL relativa: "/help/inde" excloura # "/help/index.htm" i tambe excloura "/help/independent/coses.htm" # - Per als documents de font textual (com els HTML), hi ha normalitzada una # MetaMarca per a la capçalera HTML amb nomes 4 possibles valors: # "index", "noindex", "follow", "nofollow", "all", "none" # Exemple d'us: # Exemple d'us combinat: # (Per defecte: "index,follow") # * Tambe hi altres valors implementats nomes per alguns indexadors # * Aquesta MetaMarca preval per sobre de les directives del fitxer /robots.txt # - Els documents de font textual (com els HTML), tenen normalitzada una MetaMarca # per a incloure el text/sumari/resum que l'indexador ha de presentar amb el # resultat de les cerques d'usuari: # Exemples d'ubicacio d'aquest fitxer: # Site URL Corresponding Robots.txt URL # http://www.w3.org/ http://www.w3.org/robots.txt # http://www.w3.org:80/ http://www.w3.org:80/robots.txt # http://www.w3.org:1234/ http://www.w3.org:1234/robots.txt # http://w3.org/ http://w3.org/robots.txt # Plantilla robots.txt amb explicacions creada per Narcis Garcia Langa (www.actiu.net)