И так переходим к главному, адурилки и системы поиска:
Добавить сайт в поисковики...
Весь список адурилок, они служат для быстрого внесения страницы в поисковик. Просто вводите урл новой страницы, или картинки (не важно), и по-ходу бот быстрее её заносит в индекс, а вообще достаточно добавить в Гугл + и рассказать в парочки соц. закладках, главное в твиттере, обычно после этого боты поисковых систем сами находят вашу страницу, в кратчайшие строки. А теперь о главное, поисковые системы Гугл, Яндекс, Апорт, Маил ру, Яху....
1. Первое место в этом обзоре займет не поисковая система, а справочник Интернет страниц Open Directory Project (или dmoz). Добавив свой блог сюда вы поведаете о нем многим поисковым системам и известным сайтам, использующим базу данных справочника. Главный минус - ручная модерация и добавление редакторами-добровольцами, что приводит к длительному ожиданию. Но результат стоит того.
2. Google - поисковая система №1 в мире и, на сегодняшний день, №2 в России. Бот Google быстро обходит страницы блога или сайта и добавляет в индекс.
3. Yandex - поисковая система №1 в Рунете, №2 в Украине и в лидерах мирового поиска. Поисковая система Yandex "предпочитает" уникальный контент.
4. Yahoo! - поисковая система №2 по популярности в мире, в первой пятерке в России и Европе. Для добавления блога/сайта необходимо иметь Yahoo!ID. Блог/сайт автоматически будет добавлен в индекс еще одной поисковой системы AltaVista.
5. Rambler - одна из популярных поисковых систем Рунета. Добавлять в Rambler можно сайты только в доменах России или стран СНГ.
6. Апорт - поисковая система России. Также имеет свой каталог. При поиске учитываются особенности русского языка.
7. Bing (MSN Search до 11 сентября 2006, Windows Live Search до 21 марта 2007, Live Search до 1 июня 2009) - поисковая система компании Майкрософт. Bing хорошо ищет англоязычные сайты.
8. Мета - популярная украинская поисковая система. Для добавления своего ресурса необходимо зарегистрироваться или войти под своим логином на МетаПаспорте.
9. I.ua – Добавить сайт в i.ua
10. Nigma - интеллектуальная поисковая система. Добавляет сайт в индекс сразу после заполнения формы. Есть возможность указать периодичность обновления информации на сайте.
11. gogo - поисковая система от mail.ru.
LiveInternet – добавление в LiveInternet (лучший и наиболее популярней счётчик)
MSN – Поисковая система от Microsoft. (MSN Аддурилка)
Робот тхт, сайтмап, нафига оно нам нужно?! Тяжело сказать, порой из-за неправильного робота тхт сайт вовсе не идентифицируется, но обычно распространением таких роботов из тегами ноиндекс, занимаются всякие крысы-вебмастеры, которые хотят оградить чужие блоги от своего, чтоб быть в топе по своим запросам вебмастра... Так что робот тхт нафиг не нужен для сайта, он автоматически есть у любого сайта, а вот сайтмап - может пригодиться разве-что при переезде сайта, при при смене домена, чтобы быстрее его переиндентифицировать для поисковика. Обычно в гугле, яндексе есть функция сайтмап, и есть сервисы что позволяют создать быстро (генераторы) сайтмапы, погуглите, если оно вам нужно, читайте в цитате что оно такое, кстати цитата по-идее автоматом добавляет к цитируемому тексту тег "ноиндекс":
Sitemaps — это XML-файл с информацией для поисковых систем (таких как Google, Yahoo, Ask.com, MSN, Яндекс) о страницах веб-сайта, которые подлежат индексации. Sitemaps может помочь поисковикам определить местонахождение страниц сайта, время их последнего обновления, частоту обновления и важность относительно других страниц сайта для того, чтобы поисковая машина смогла более разумно индексировать сайт.
robots.txt — файл ограничения доступа к содержимому роботам на http-сервере. Файл должен находиться в корне сайта (т.е. иметь путь относительно имени сайта /robots.txt). При наличии нескольких субдоменов файл должен располагаться в корневом каталоге каждого из них. Данный файл дополняет стандарт Sitemaps, который служит прямо противоположной цели: облегчать роботам доступ к содержимому.