Достижение оптимального индексирования Вашего сервера поисковыми машинами

Нет никакого волшебства и секретных методов для того, чтобы заставить страницу появиться в начале листинга любой поисковой машины. Каждая поисковая машина определяет релевантность по-своему. В довершение всего появляются новые страницы, старые обновляются - соответственно меняется и листинг.

Ниже предлагаются несколько общих советов, которые могут помочь Вам увеличить появление Ваших страниц в листингах поисковых машин. Часто это очень простые идеи, которые были выпущены из виду. Все эти советы расширены дополнительной информацией о дизайне и управлении страницами (в разрезе поисковых машин).

Общие советы

На вашей странице должен быть текст. Поскольку поисковые машины индексируют именно текст (извините за прописные истины). Страница с недостаточным количеством текста имеет мало шансов попасть в список ответа на запрос пользователя.
Не забывайте, что текст на картинке не может быть распознан поисковой машиной, поэтому рекомендуется записывать в таг ALT не только название рисунка, но и важнейшие слова из него (если они есть). Часто встречающаяся ошибка - большой сложный рисунок, содержащий множество ключевых слов, выносится вебмастером в отдельный HTML-файл. Это понятно: не хочется перегружать файл с текстом такой громадиной. Однако в это отдельном файле есть только заголовок, собственно сам рисунок, и далеко не всегда - подпись к рисунку из пары-тройки слов. А представляете, если в ALT и META записаны все слова из рисунка!
Кстати говоря, существует такое понятие, как спамминг - к примеру: когда люди повторяют слова маленьким фонтом или цветом фона страницы, чтобы не было заметно через броузер. Этими хитростями действительно обманываются поисковые машины. Ожидается, что поисковые машины будут учитывать подобные вещи при индексации страниц.

Газетчики очень хорошо знают как это делается. Грубо говоря, необходимо в начале документа выдавать его "изюминку". Это полезно как для людей, так и для поисковых машин. Однако то, что видно человеку в шапке документа, в исходнике не всегда находится в начале. К примеру, при табличной организации документа его релевантность некоторому запросу может оказаться ниже, чем при простой страничной организации того же самого документа. Вывод прост: включите аннотацию документа в начало документа и в META-таги (газетчики всегда пишут после заголовка статьи пару абзацев жирным шрифтом, после чего идет собственно статья) или упростите дизайн страницы (если это возможно).

Фокус двух или трех ключевых слов может оказаться более сильным аргументом в определении релевантности запросу, чем слова в заголовке или документе. Часто ключевые слова имеются в тексте, но не в заголовке документа.
Использование синонимов в ключевых словах не обязательно окажется решающим фактором при определении релевантности. Часто одно "экстра-слово" лучше помогает, чем подборка синонимов. Кстати, это не означает, что плохо записывать несколько таких "экстра-слов".

Большинство поисковых машин индексируют страницы по гипертекстовым ссылкам из указанной (submitted) страницы. Иногда они, правда, ошибаются, поэтому полезно указывать первые три уровня дерева страниц сервера или те страницы, которые наилучшим образом отражают суть сервера.
В статье Характеристики основных поисковых машин можно почерпнуть более подробные сведения об основных поисковых машинах.

Опять прописная истина, но поисковые машины отыскивают страницы именно по гипертекстовым ссылкам. Вообще говоря, чем больше ссылок внутри дерева документов на сервере, тем больше вероятность того, что ни одна страница не будет забыта при индексировании. Верно и обратное: если есть ссылки на другие, внешние сервера, то есть вероятность, что поисковый робот уйдет по этим ссылкам, не до конца проиндексировав страницы.

Некоторые поисковые машины не могут проводить индексацию по ссылкам из FRAMESET. Чтобы избежать этого необходимо обеспечить альтернативный вход и индексацию страниц, использовать META-таги или упростить дизайн. Более подробно об этом можно прочитать здесь.

META-таги могут помочь контролировать действия поисковых роботов и машин, однако некоторые машины "умеют" работать со всеми тагами, некоторые - только с несколькими тагами, остальные и вовсе на воспринимают подобные вещи. Отсюда следует вывод, что использование META-тагов НЕ ГАРАНТИРУЕТ, что Ваши страницы окажутся первыми в списке ответов на пользовательский запрос к машине. Детали можно понять, прочитав статью "Несколько слов о роботах поисковых машин".

Генерация страниц через CGI или необходимость использования баз данных? Ожидается, что некоторые поисковые машины не будут индексировать подобные страницы. Рекомендации могут быть следующими: создание статических страниц везде, где это возможно, использование баз данных для обновления уже существующих и при этом статических(!) страниц, ни в коем случае не генерировать их на лету. Еще одна деталь: очень плохо относятся поисковые роботы к специальным символам в URL, особенно к символу '?'

С одной стороны спамминг - это не этично, с другой - никто кроме вебмастера не сможет точнее определить суть сделанных им документов. Альтернативные формы паблисити на сети описаны ниже.

Если ваши страницы уже попали в индексы поисковых машин, проверяйте это не реже раза в неделю. Иногда случаются странные вещи. Страницы исчезают из индексов. Линки становятся искаженными. Если Вы заметили подобные вещи - укажите страницы поисковой машине еще раз.

Многие поисковые машины сейчас индексируют сайты в соответствии с их изменением. Это хорошо, если сайт редко изменяется, и реиндексация его один-два раза в год - нормально. Если же сайт изменяется часто, рекомендуется регулярно указывать страницы поисковым машинам, раз в один-два месяца. Это может гарантировать, что содержимое индекса в поисковых машинах не будет отличаться от реального содержания страниц.

Поисковые машины это основной путь, по которому люди могут зайти на Ваш сайт, однако не единственный. К числу оставшихся путей можно отнести традиционную рекламу, средства массовой информации, почтовые рассылки и информация из телеконференций, рекламные сети, веб-каталоги и ссылки с других серверов. Зачастую эти пути далеко не так эффективны, как при использовании поисковых машин.

Note: Этот материал предназначен для тех, кто достаточно хорошо знаком с фреймовыми структурами. Если это не так, рекомендую ознакомиться сначала с информацией о фреймах и их использовании здесь.

Большинство поисковых машин не умеют работать с фреймовыми структурами. Они не будут проверять ссылки, определенные в структуре FRAMESET. Для того чтобы поисковые машины отработали таки ссылки из FRAMESET следует предпринять специальные меры по дублированию ссылок из FRAMESET в конструкции NOFRAMES. Теперь подробнее: В большинстве случаев фреймовые структуры используются для обеспечения удобства навигации внутри сервера. В маленьком фрейме делаются ссылки на разделы сервера, в большом отображаются собственно документы с информацией. То есть с помощью маленького фрейма идет управление переходами по большому. Рассмотрим простой пример. Имеется структура из двух окон: в одном отображается навигационное меню, во втором - информация по каждому из пунктов.
Поисковые машины похожи на уже устаревшие версии броузеров типа первых Netscape Navigator и MS Internet Explorer, которые еще не умели работать с фреймами. Когда робот заходит на управляющий фреймами файл, он видит только содержимое NOFRAMES, а именно строку "Извините! Для просмотра этого сайта необходимы броузеры, поддерживающие фреймы!". Вы думаете, подобное способствует успешной индексации сервера? Ни одной ссылки нет, идти роботу некуда. Соответственно он вносит в индекс поисковой машины эту строчку и отваливает, а сотни Ваших прекрасных и полезных страниц оказываются для него не видны.
Одним из решений подобной проблемы могут быть META-данные для этой страницы, однако это лишь частичное решение, поскольку не все поисковые машины поддерживают META-таги. Кроме того, не забывайте про людей, пользующихся старыми версиями броузеров. Ведь они увидят все ту же единственную строку, и пойти дальше им некуда! Им остается лишь нажать кнопку "Back".
Второе решение таково: в содержимое NOFRAMES вставляется полный каталог документов Вашего сервера или что-либо в этом роде. Получается типичная карта сервера, пусть не такая симпатичная как с использованием фреймов, зато и люди видят, куда им дальше податься и роботы поисковых машин могут идти по ссылкам и индексировать содержимое. У этого решения есть два узких места:

1. Вебмастеру при обновлении сервера приходится следить за корректностью фреймовой части и не забывать обновлять содержимое NOFRAMES.
2. Если человек попал не на заглавную страницу сервера, он увидит документы без фреймов. А если в документе нет навигационных средств (ссылок дальше), получается ситуация "Dead end". Поэтому при создании сервера с использованием фреймов не забывайте включать средства навигации в каждый документ!

Мой Вам совет: используйте фреймы только тогда, когда без них уже ну никак нельзя обойтись.

Источники информации о фреймах и их использовании

• Framing the Web
  http://webreference.com/dev/frames/
  An excellent introduction and tutorial on creating frame sites.
• A Compendium of HTML Elements
  http://www.synapse.net/~woodall/icons/html.htm
  The ABCs of HTML tags, including frame-related tags.

В одних поисковых машинах довольно просто проверить насколько глубоко проидексирован сервер, в других - сложнее. Ниже описаны возможные способы проверки для различных поисковых машин

Alta Vista
В этой поисковой машине проверку статуса URL осуществить довольно просто - достаточно набрать в строке запроса:

В первом случае будут выданы все проиндексированные страницы сервера. Во втором - только страницы Windows-кодировки. В третьем - есть ли в индексе AltaVista файл index.shtml из указанной директории

Excite
Так же просто как и в AltaVista проверяется статус URL в поисковой машине Excite. Достаточно набрать URL. Например:

HotBot
Несколько по-другому проверяется статус URL в поисковой машине HotBot. Это делается так:

• Введите URL в поле запроса
• Измените опцию "all of the words" на "links to this URL"

Infoseek
В поисковой машине Infoseek для проверки статуса URL существует отдельный интерфейс с целым набором настроек:

http://www.infoseek.com/Forms?&sv=IS&lk=noframes&pg=special.html

WebCrawler
WebCrawler предоставляет возможность проверить статус URL на странице:

http://www.webcrawler.com/WebCrawler/Status.html

Rambler
В этой поисковой машине статус URL можно проверить двумя способами.

• В разделе "Расширеный поиск" путем указания имени сервера в качестве маски в одной из опций
• Можно набрать $URL:www.citforum.ru в обычном поле запроса

Aport
Для проверки статуса URL в этой поисковой машине есть специальный запрос url=www.citforum.ru/*

Лучший способ определить как люди попадают на Ваш сервер - посмотреть файл статистики (если конечно он содержит поле HTTP_REFERER). Можно сделать это и с помощью поисковых машин. Общий для всех машин способ - набрать имя сервера, однако в этом случае в результаты запроса попадут и страницы самого сервера. Более продвинутые способы проверки наличия ссылок на Ваш сервер с других изложены ниже.

Alta Vista
Чтобы проверить наличие ссылок на Ваш сервер с других достаточно набрать в окне запроса:

link:citforum.ru

Excite
Просто наберите URL Вашего сервера в окне запроса

HotBot
Наберите URL Вашего сервера в окне запроса и смените опцию "all of the words" на "links to this URL"

Infoseek
Поисковая машина Infoseek предоставляет возможность измерить популярность сервера на странице"Special Searches":

http://www.infoseek.com/Forms?&sv=IS&lk=noframes&pg=special.html

WebCrawler
Как и на InfoSeek здесь есть специальная страница:

http://www.webcrawler.com/WebCrawler/Links.html

Списки наиболее популярных запросов к поисковым машинам можно посмотреть:

1. За рубежом:
   • WebCrawler Search Ticker
     Вам понадобится броузер с поддержкой Java чтобы увидеть это во всей своей красе
   • Magellan Search Voyeur
     20 случайно выбранных запросов в реальном времени.
   • Yahoo Top 200 Search Words
     200 самых популярных запросов к Yahoo
2. У нас:
   • Top 100 Search Word
     Статистика частоты упоминания слов в запросах к поисковой машине Rambler

Источник: CIT