На сайте любой поисковой системы (в разделе советы разработчикам -> оптимизация сайта) Вы найдёте строчку о том, что главное в данном вопросе - это наличие оригинального и интересного для пользователей контента. Но, учитывая, что для большинства пользователей этот самый контент может стать доступным только благодаря какому-либо поисковику, уже на этапе планирования сайта нужно подумать о том, с чем и как ему предстоит работать и, по-возможности, облегчить эту работу.
Итак, для начала, давайте определимся,
как видит заурядный поисковый робот (spider, crawler,
бот, сканер) наши страницы? Оказывается, примерно так же, как мы их можем
увидеть в текстовом браузере (см. браузер Lynx,
в своё время был популярен по причине чрезвычайного удобства в использовании
со скринридерами, к сожалению, идёт не под каждой ОС). Счастливые пользователи
браузера Firefox могут установить расширение Yellow
Pipe Viewer Tool, которое будет эмулировать вид страницы в Lynx. Если
мы можем просмотреть весь наш сайт через текстовый браузер (т.
е. по ссылкам добраться до любой страницы), то, скорее всего, индексация
сайта не вызовет никаких проблем и у поисковых роботов. Использование таких
элементов как JavaScript, DHTML, cookies, Flash, фреймов может затруднять
переход на определённые страницы (в текстовом браузере) и, следовательно,
нахождение этих страниц сканерами поисковых систем. Это вовсе не значит,
что мы должны отказаться от использования этих элементов, просто обычно
нужно предоставить параллельный текстово - ссылочный контент.
[Кстати, Вам не кажется, что вся эта суета по-поводу доступности содержания
страниц для людей с ограниченными возможностями на самом деле вызвана тем,
что что хорошо для скринридеров фактически равно хорошо для
сканеров? Гипокриты.]