Robots.txt
Il file che indica agli
spider
un elenco di directory o di file che non devono essere indicizzati. E' un file di solo testo, con una determinata sintassi, che deve risiedere nella root del sito web.
Argomenti correlati a "Robots.txt"
Agent Name
Algoritmo
Alta Vista
Crawler
Fast
Google
Hidden Text
Indicizzazione
Inktomi
Motore di ricerca
ODP
, Open Directory Project
Robot
SEO
, Search Engine Optimization
Scooter
Setaccio
Slurp
spider
Submission
[Guida al DOS]
-
[Guida alle estensioni]
-
[Siti italiani di informatica]
Copyright 1995/2014
Luigi Bruno
Vietata la riproduzione in qualsiasi forma, anche parziale