После того как Вы разместили сайт в Интернете необходимо чтоб Поисковые системы проиндексировали все страницы сайта. Существует огромное количество Поисковых систем, но нет необходимости регистрировать сайт для индексации во всех. Особое внимание следует уделить самым популярным, например, Google, Yandex, Rambler, Yahoo!, MSN. Также не стоит забывать о региональных поисковиках. Возможно для Вашего региона популярным будет другая поисковая система, на нее и следует Вам ориентироваться. Как происходит индексирование? Если хотя бы один сайт имеет ссылку на Ваш сайт, то индексация Вашего сайта будет произведена автоматически роботом поисковой системы. Другой способ заставить посетить робота поисковика Ваш сайт – это ввести URL Вашего ресурса непосредственно на сайте поисковой системы. После чего в течении нескольких дней или недель сайт будет проиндексирован. Роботов которые проводят индексирование страниц часто называют «пауками». При индексировании имеет значение размер веб страницы. Старайтесь не делать страницы очень большими, пауки не смогут проиндексировать очень большую страницу целиком. (Размер не должен превышать 150-200 KB).
Чтобы просмотреть сколько страниц Вашего сайта уже проиндексировано Поисковыми системами, приведем ряд команд спецыфичных для каждого поисковика: Pages Command

Поисковая система  — Команда для отображения проиндексированых страниц
AltaVista : domain:your-domain.com
AllTheWeb:domain:your-domain.com
AOL Search: site:your-domain.com your-domain.com
DMOZ/Open Directory :your-domain.com
Google allinurl:your-domain.com
site:your-domain.com

HotBot (ASK Jeeves): domain:your-domain.com your-domain.com
MSN Search: site:your-domain.com
Teoma: site:your-domain.com your-domain.com
Yahoo!: site:your-domain.com your-domain.com

Вы можите конролировать процесс индексирования роботами с помощью файла Robots.txt (его следует разместить в корне сайта). Используя его, Вы имеете возможность запретить индексирование определенных папок или файлов для всех роботов или для конкретных, указав их имена. Файл имеет такой формат:

User-agent:
Disallow:

Ниже мы опишем несколько примеров:
Действие
Разрешить индексирование всех файлов и избежать ошибки «file not
found: robots.txt»
Командв в файле Robots.txt
Создайте пустой файл

Действие
Разрешить всем роботам индексирование всех страниц
Команда в файле Robots.txt
User-agent: *
Disallow:
Действие
Разрешить только роботу Google индексировать все страницы
Команда в файле Robots.txt
User-agent: googlebot
Disallow:
User-agent: *
Disallow: /
Действие
Запретить всем роботам индексирование всех страниц
Команда в файле Robots.txt
User-agent: *
Disallow: /

Действие
Запретить индексирование всем роботам папки «images»,«cgi-bin»
Команда в файле Robots.txt
User-agent: *
Disallow: /cgi-bin/
Disallow: /images/
Действие
Запретить роботу MSN индексирование страницы home.html
Команда в файле Robots.txt
User-agent: Msnbot
Disallow: myonlinestore.html