Желательно (хотя и не обязательно) наличие карты сайта. В случае Яндекса - это страница или несколько страниц, которые содержат ссылки на все документы сайта. В случае Google, Yahoo!, MSN требуется карта сайта в виде xml-документа. Посмотреть правила для создания карты сайта можно на http://www.sitemaps.org/ru/protocol.php или в файлах помощи в инструментах для веб-мастеров на Google. Конечный файл должен иметь подобный вид:
В выше приведённом примере описываем две страницы - index.html и page_1.html:
1. <?xml version="1.0" encoding="UTF-8"?> - декларируем
тип документа и кодировку. Обязательно сохраняем файл с расширением .xml и в кодировке UTF-8.
2. Вся остальная часть нашей карты будет идти между тегами <urlset>
</urlset>, сюда же вносим и адрес схемы, по которой будет осуществляться проверка нашего
файла (в данном примере - xmlns="http://www.sitemaps.org/schemas/sitemap/0.9").
3. Между открывающим и закрывающим тегом тегами <url></url> идёт
информация для каждого конкретного документа на нашем сайте:
а) <loc>http://BoBa.net/index.html</loc> - location -
обязательный параметр, указываем полный URL страницы.
б) <lastmod>2008-04-27</lastmod> - last
modified - указываем дату последнего изменения файла.
Необязательный параметр, но, считается, что даже его приблизительное указание
позволит роботам быстрее работать с новыми и (или) обновлёнными файлами вашего
сайта. Обратите внимание на формат записи. В данном случае это ГГГГ.ММ.ДД.
Другие способы
указания даты в соответствии с рекомендациями W3C:
Полная дата плюс часы и минуты, + указываем часовой пояс:
YYYY- MM -
Полная дата плюс часы, минуты и секунды, + указываем часовой пояс:
YYYY-MM-DDThh:mm:ssTZD - 1997-07-16T19:20:30+04:00;
Полная дата плюс часы, минуты, секунды и миллисекунды, + указываем часовой
пояс:
YYYY-MM-DDThh:mm:ss.sTZD
- 1997-07-16T19:20:30.45+04:00;
где:
YYYY = четырёхзначный год;
MM = двузначный месяц (04 = апрель);
DD = двузначный день месяца (01 по 31);
hh = двузначное обозначение часа (00 до 23);
mm = двузначное обозначение минуты (00 до 59);
ss = двузначное обозначение секунды (00 до 59);
s = одна или более цифр, представляющих доли секунды;
TZD = часовой пояс (+hh:mm или -hh:mm).
в) <changefreq></changefreq> - необязательный параметр, определяет
примерную частоту изменений страницы (может игнорироваться роботами), возможные
значения:
always (всегда)
hourly (ежечасно)
daily (ежедневно)
weekly (еженедельно)
monthly
(ежемесячно)
yearly (ежегодно)
never (никогда);
г) <priority></priority> - необязательный параметр с допустимым
диапазоном значений от 0.0 до 1.0, определяет важность данной страницы только
относительно других страниц сайта.
* В файле robots.txt можем указать адрес нашей карты сайта: например,
Содержание файла может этой строчкой и ограничиваться.
Пинг карты сайта. Карту сайта можно передать через адресную
строку браузера следующим поисковикам (после знака равенства - полный url
карты сайта, например, опять же http://BoBa.net/sitemap.xml):
Google: http://google.com/webmasters/sitemaps/ping?sitemap=здесь_полный_URL_Вашей_карты
Yahoo!: http://search.yahooapis.com/SiteExplorerService/V1/ping?sitemap=
Live Search (MSN): http://webmaster.live.com/ping.aspx?siteMap=