Forstå og bruge robots.txt filer!

We alle få en smule ophidset, når søgemaskinerne besøger vores hjemmeside ofte og indekserer vores indhold. Men der er visse ting, vi don t ønsker søgemaskinerne til edderkop på grund af private oplysninger, som vi don t ønsker verden at se. Et andet scenario vil være, at vi kan have mere end én version af en side på vores hjemmeside. Vi kan fortælle søgemaskinerne i vores robot.txt fil, som side gennemgå og hvilke der til at ignorere.

Vi helt sikkert don t ønsker begge disse sider, der skal gennemgås og ender med søgemaskinen sømning dig for spam på grund af den kopieret indhold i de to tilsvarende versioner af én page.Another grund du måske ønsker at fortælle edderkopper ikke at spider en side ville være at spare nogle båndbredde ved at udelukke nogle af de billeder, style sheets eller javascript. Med robot.txt fil kan du være meget specifik om, hvad du ønsker spidered og ikke spidered.What betyder robots.txt-fil egentlig? Den robots.

txt er en tekstfil (ikke html) du lægger på din hjemmeside til at informere søgerobotter hvilke sider på dit websted, du gerne vil have gennemgået og hvilke du don t ønsker edderkopper til at kravle. Placering af en robots.txt-fil på dit websted er ikke mandat af søgemaskinerne, men søgemaskinerne vil normalt følge dine instruktioner, du ville sætte i denne fil. Denne proces svarer til at sætte et skilt på din hjemmeside siger Do Not Enter på en ulåst dør. Denne fil er ikke en brand væg, så søgemaskinen kan stadig edderkop dit site.

Another måde du kunne fortælle de motorer, som filer og mapper til ikke edderkop ville være med brug af en robotter metatag. Nogle motorer don t læse metatags, så oplysningerne i robotter metatag ville ikke ses overhovedet ved visse motorer. Den foretrukne måde at være specifikt for alle motorer ville være med brugen af ​​robots.txt-fil .... ikke robotter metatags.Where du placere din robots.txt-fil er meget vigtigt. Det skal være i den vigtigste mappe eller søgemaskiner vil ikke finde filen.

Motorerne ikke søge på hele webstedet, de ser i de vigtigste bibliotek, og hvis de don t finde filen der, ville motoren antage, at en sådan fil ikke eksisterer. Som et resultat, så motoren vil indeksere alt, hvad de finder på dit websted. Selvom denne fil ikke kræves af motorerne, hvis du don t sætte filen i det rigtige sted søgemaskinerne vil sandsynligvis indeks hele webstedet, herunder dine private oplysninger, du ønskede at holde confidential.The struktur af robots.

txt-fil har lidt til ingen fleksibilite