Il Robots-nocontent tag di Yahoo!

In occasione del Search Engine Strategies di New York è stato indetto il “Robots.txt Summit” , una conferenza che ha voluto far incontrare i rappresentanti dei maggiori Motori di Ricerca con gli editori di alcuni siti web.

Durante l’ incontro si è parlato di Robots.txt, argomento rilevante quando si discute di ricerca e spiders.

Il direttore di Yahoo! Search Technology, Sean Suchter, ha presentato il robots-nocontent tag di Yahoo!, un tag che dovrebbe indirizzare i crawlers del motore solo nella direzione dei contenuti rilevanti all’ interno della pagina web.

Su Yahoo! Help vengono elencati una serie di esempi che suggeriscono come e quando applicare il “class=robots-nocontent”:

div class=”robots-nocontent” This is the navigational menu of the site and is common on all pages. It contains many terms and keywords not related to this site /div

span class=”robots-nocontent” This is the site header that is present on all pages of the site and is not related to any particular page /span

p class=”robots-nocontent” This is a boilerplate legal disclaimer required on each page of the site /p

div class=”robots-nocontent” This is a section where ads are displayed on the page. Words that show up in ads may be entirely unrelated to the page contents /div

Il “class=robots-nocontent” viene presentato come un validissimo aiuto per i webmaster:

• grazie all’uso del robots-nocontent, il webmaster potrà suggerire al motore di indicizzare solo i contenuti rilevanti del sito web;

• il robots-nocontent consente di targettizzare le pagine interne del sito e garantisce che le pagine interne del sito compaiano solo quando ritenute davvero pertinenti rispetto alla query dell’ utente;

• il robots-nocontent consente di migliorare il testo di presentazione alla pagina web del sito, l’ abstract, che il searcher estrapola dal testo della pagina stessa ogni volta che l’ utente lo interroga con una query: impedendo ai crawlers di assimilare le parti non rilevanti della pagina, non si corre il rischio di vedere queste parti di testo inserite nell’ abstract dei risultati di ricerca.