# robots file by Fontmania # Koristenje robot filea: # Kada neki pauk pretrazivac dodje u root prvo trazi file robot.txt. # U njemu postoje samo dvije naredbe to su: # User-agent: i Disallow: # User agent oznacava robot odn. pauk pretrazivac, # a disallow znaci zabranu. # Za svaku robot trazilicu se moze odrediti posebni uvjeti # npr: # User-agent: Webcrawler # Disallow: /images # Disallow: /art/pictures.html # Sto znaci da se ovaj paragraf odnosi na pauk Webcrawler i # da je njemu zabranjeno indexirati direktorij images i file # pictures.html u direktoriju art. # Zvjezdica oznacava sve robote. # Iza plota je komentar sto nema utjecaja na file. # Disallow: /fonts User-agent: * Disallow: /