Oggi è sab set 19, 2020 3:44 pm

Benvenuto!

Lo stato dell'Arte come software Open Source gratuito E-commerce.
 

Zen Cart Italia

SEO - Motori di ricerca

Domanda sul robot.txt

Forum per discutere di ottimizzazione di Zen Cart per i motori di ricerca.

Moderatore: Alessio Turriziani

Domanda sul robot.txt

Messaggioda techoffice » gio gen 03, 2008 1:03 pm

Salve a tutti per l'ennesima volta 8-)...
volevo una delucidazione sul robot.txt (so che nn è proprio il posto migliore dove postare, ma nn saprei proprio a chi chiedere)

Ho installato il google sitemap, e prima di effettuare alcuna modifica al mio [i][b]robot.txt[/b][/i] volevo semplicemente sapere se nella voce sitemap del robot.txt è sufficente indicare il file sitemapindex.xml creato con il mopdulo google o è necessario indicare un sitemap per ogni file xml realizzato con il modulo google.

Cioè:

- [b]Questo è come si presenta il mio robot.txt:[/b]
--------------------------------
User-agent: *
Sitemap: http://www.miosito.it/sitemapindex.xml
--------------------------------

- [b]Mentre questo è quello che vorrei inserire:[/b]
--------------------------------
User-agent: *
Sitemap: http://www.miosito.it/sitemapindex.xml
User-agent: *
Sitemap: http://www.miosito.it/sitemapcategories.xml
User-agent: *
Sitemap: http://www.miosito.it/sitemapezpages.xml
User-agent: *
Sitemap: http://www.miosito.it/sitemapproducts.xml
-------------------------------

Non ho capito bene se per ogni sitempa è necessario dichiarare da quale agente è utilizzato, [i][b]e se necassario inserire la disabilitazione per la directory admin, o eventualmente anche per altre directory[/b][/i]

User-agent: *
Disallow: http://www.miosito.it/admin

Grazie mille a tutti... 8-)
My best syte: www.mondocompatibili.it
techoffice
 
Messaggi: 139
Iscritto il: gio mar 30, 2006 3:43 pm

Re: Domanda sul robot.txt

Messaggioda Necsy1 » ven gen 04, 2008 12:08 pm

Ciao, a mio avviso la tua procedura non è affatto la più idonea.
In sostanza tu hai riservato robot.txt a google e lo stai utilizzando per indicizzare la tua sitemap, che è anche in questo caso quasi esclusivamente dedicata a google.


Robot.txt è un file importante in ambito SEO, ha come funzione principale quella di "istruire" le visite al proprio sito da parte dei motori di ricerca, i quali sono molti, ed ognuno utilizza un proprio sistema di indicizzazione, siano essi spider, bot, crawler...

Quando uno di questi strumenti viene a visitare il tuo sito, dal file robot.txt acquisisce diverse informazioni, la più importante sono una serie di istruzioni che dicono quali sono le directory o le pagine che NON si devono indicizzare...

E si potrebbe dire che tu gli stai dicendo il contrario, e cioè COSA VUOI indicizzare... :)

Esistono moltissime documentazioni in rete sull'utilizzo di questo file, puoi dare istruzioni generiche o specifiche ed ognuna se vuoi suddividerla anche per ciascun specifico spider...

Inoltre aggiungo, come del resto è stato spesso consigliato anche su questo forum, di fare attenzione ad utilizzare il robot.txt, perchè senza una necessaria esperienza si rischia molto spesso di finire con il fare più danni rispetto ai vantaggi voluti...

Per quanto riguarda invece l'indicizzazione delle tue sitemap, ti consiglio di utilizzare l'apposito strumento su google, MI PARE a questo indirizzo: https://www.google.com/accounts/ (dopo esserti registrato se non lo hai ancora fatto).

Dove una volta registrato e seguendo gli specifici link: Account personale / Strumenti per i webmaster / Aggiungi un sito / Sitemap / Aggiungere una sitemap; hai la possibilità di dire a google che utilizzi una o più sitemap, che percorso hanno e successivamente di aggiornarle e vedere anche al tempo stesso se google le ha indicizzate, se contenevano errori, quanti link contiene la sitemap, quanti ne ha indicizzati google e tutta un altra serie di strumenti che è senza dubbio più idonea compiere attraverso questa interfaccia che attraverso il robot.txt.

Spero di esserti stato utile, buon lavoro. :-)
Necsy1
 
Messaggi: 159
Iscritto il: mer set 26, 2007 4:09 pm

Re: Domanda sul robot.txt

Messaggioda techoffice » ven gen 04, 2008 12:14 pm

In poche parole, se rimuovo il file robot.txt ho più vantaggi rispetto che tenerlo?...
My best syte: www.mondocompatibili.it
techoffice
 
Messaggi: 139
Iscritto il: gio mar 30, 2006 3:43 pm

Re: Domanda sul robot.txt

Messaggioda Necsy1 » ven gen 04, 2008 12:21 pm

Non ho affatto detto questo, ma più semplicemente il file robot.txt istruisce è vero i robots, ma non per dirgli tutto ciò che vorresti facessero :-D

Il mio consiglio è quello di dare poche semplici istruzioni generiche per quelle directory che non sono da indicizzare (ad esempio le dir admin, cgi-bin, etc), eventualmente scegliere in futuro quando avrai più esperienza di dare info specifiche a determinati robots (ad esempio io non ho questa necessità, ma un amico l'altro giorno ha deciso di inibire l'accesso allo spider di msn perchè sosteneva gli occupasse troppe risorse inutilmente).

Mentre per gli ALTRI STRUMENTI, come possono essere in questo caso le sitemap, esistono link e interfacce di dialogo apposite, le sitemap sono un invenzione quasi esclusiva di google che ora stanno adottando molti motori, ad esempio yahoo utilizza una sitemap ma in formato testo, msn live seach sta testando in inglese datafeed per indicizzare prodotti e prezzi, etc etc....

Necsy1
 
Messaggi: 159
Iscritto il: mer set 26, 2007 4:09 pm

Re: Domanda sul robot.txt

Messaggioda elvinomac » ven gen 04, 2008 4:45 pm

una semplice sintassi potrebbe essere:
[code]
User-agent: *

Disallow: /cartella_da_non_indicizzare/
Disallow: /cartella_da_non_indicizzare2/


Sitemap: http://www.miosito.est/sitemapindex.xml
[/code]

dove ovviamente c'è da sostituire il nome delle cartelle e del dominio.

riguardo l' utilizzo degli altri motori della sitemap xml, con la creazione del protocollo 0.9 ( http://www.sitemap.org/ ) c'è uno standard condiviso da google, yahoo, msn, ask.



Elvino
elvinomac
 
Messaggi: 526
Iscritto il: gio feb 16, 2006 4:39 pm
Località: prov. di Vicenza

Re: Domanda sul robot.txt

Messaggioda ghisirds » lun ago 24, 2020 2:29 am

Ciao a tutti,
per chi non dovessere essere chiaro l'ultizzo di robot.txt, vi fornisco una guida con un sacco di nozioni interessanti.
ionos.it/digitalguide/hosting/tecniche-hosting/gestire-lindicizzazione-con-il-file-robotstxt/
Saluti a tutti.

__________________
Agenzia web agency reggio emilia > Visita ora SitiWeb.RE
ghisirds
 
Messaggi: 4
Iscritto il: sab mag 05, 2007 10:15 pm


Torna a SEO - Motori di ricerca

cron

Login

Real Time Analytics