Тема сообщения: как составляется файл robots для поисковой машины Отправлено: 14 Дек, 2005 г. - 16:37
Здравствуйте, Андрей!
Не могли бы вы подсказать, как составляется файл robots для поисковой машины? Я думаю, что мне будет достаточно для понимания, просто примера этого файла для одного из Ваших сайтов. Я читала объяснения на Yandax, но что-то ничего не поняла.
С уважением,
Светлана Беленцова
garin
Тема сообщения: Re: как составляется файл robots для поисковой машины Отправлено: 14 Дек, 2005 г. - 18:51
shin-flein писал(а):
Здравствуйте, Андрей!
Не могли бы вы подсказать, как составляется файл robots для поисковой машины?
Какие вы задачи перед ним хотите поставить?
Расскажите мне человеческим языком, я его переведу в робот тхт
shin-flein писал(а):
Я думаю, что мне будет достаточно для понимания, просто примера этого файла для одного из Ваших сайтов.
Думаю, что нет
Надо уловить смысл, там очень важны переводы строк, очередность и приоритет записей
Говорилось об этом на форуме много, но все как-то вразнобой, так что в итоге ничего не понятно. Одни говорят, что не передается вообще, другие - что только со страниц, на которые нет внешних ссылок...
http://forum.searchengines.ru/showthread.php?t=33842
Diara
Тема сообщения: УРА! Отправлено: 07 Фев, 2006 г. - 17:23
Андрей, огромное спасибо за советы и помощь.
Все проведенные мероприятия очень действенны, и рассылка объявлений по доскам, и все остальное.
Ну, теперь немного похвастаюсь:
ТИЦ 400, по поиску на интересующие меня ключевые слова в яндексе только ПЕРВАЯ СТРАНИЦА.
СПАСИБО!!!!! СПАСИБО!!! СПАСИБО!!!!
p.s. Но это совершенно не значит, что я собираюсь останавливаться на достигнутом.
podpiska
Тема сообщения: Грязный обмен ссылками Отправлено: 15 Фев, 2006 г. - 12:51
Ниже приводится небольшой список путей, которые уменьшают или сводят к нулю значисомть ссылки на ваш сайт с другой страницы.
Маскирование МЕТА-тегов - это старый трюк, использующий CGI-кодирование для того, чтобы спрятать МЕТА-тэги от броузеров, в то же время позволяя поисковым машинам читать эти же теги.
Мета-инструкции для роботов - использование аттрибутов noindex и nofollow позволит видеть партнеру свою ссылку на странице, в то время как поисковые роботы будут игнорировать эту страницу, поэтому такие ссылки никогда не будут найдены. Использование nofollow разрешает индексацию страницы и даже создает впечатление, что в конечном итоге поисковик будет ее учитывать.
Атрибуты rel=nofollow - это не действительный HTML-атрибут, однако это тот аттрибут, который был одобрен поисковыми машинами, чтобы помочь им идентифицировать факт, что какие-то ссылки не должны посещаться. Этот аттрибут часто используется в блогах, чтобы предотвратить спам в комментариях и ссылках. Ссылка будет отображаться на странице и в кэше поисковика, но не будет учитываться.
Динамический листинг - динамический листинг - это результат появления ссылок случайным образом на разных страницах. Каждый раз ссылка находится на новой странице, поэтому поисковая машина каждый раз учитывает это как обновление ссылки. Очень вероятно, что ссылка не будет на той же самой странице, когда поисковый робот придет на нее еще раз. Таким образом, ссылка с партнера, использующего ротатор, динамический листинг вряд ли поможет.
Плавающий список - вы даже можете не заметить этого, проверяя обратные ссылки с партнера. По сути, ваша ссылка может быть первой сегодня, но по мере добавления новых ссылок на страницу партнера, она перемещается вниз. Это болезненно для страницы, на которую эта ссылка ведет, т. к. значимость ссылок внизу списка много меньше, чем ссылки вверху списка. В связи с этим, возможно, что ваша ссылка будет перемещена на страницу, чей PR существенно меньше и вообще не существует и новая странцица не будет посещена и проиндексирована месяцы.
Старый кэш - дата кэширования, которую обеспечивает Гугл свидетельствует о времени последнего посещения и кэширования страницы. Страницы с низким величиной PR (PR-page rank, значимость страницы в Гугле , прим. переводчика) имеют тенденцию посещаться и кэшироваться не так часто, как страницы, которыен имеют среднюю или высокую величину PR. Если кэш старше, чем полгода, то это наводит на мысль, что Гугл слишком редко или вообще не посещал эту страницу.
Денвер-страницы - в то время как Денвер отличное место для посещения, Денвер-страницы - это не то место, где бы вы хотели найти свои ссылки после торговли. Денвер-страницы обычно содержат огромное количество ссылок, сгруппированных по категориями на той же самой странице. Страницы такого типа не имею никакой значимости для поисковых машин и никоим образом не могут подходить для вашего сайта.
Страницы-лужи - довольноо опасны и легко узнаваемы. Ваша ссылка находится в куче нетематических ссылок, расположенных в бессмысленном порядке. Это похоже, как будто кто-то взял все ссылки и подбросил их в воздух, чтобы посмотреть как они упадут на землю. Это даже хуже, чем Денвер-страницы.
Клоакинг - процесс, когда страница, которая отдается реальному посетителю отличается от той страницы, которая отдается поисковому роботу. Вы можете видеть свою ссылку на странице, однако поисковый робот, возможно, гикогда не увидит ее, потому что ему будет представлена совершенно другая страница. Только проверка кэша Гугла позволит определить эту уловку.
Танцующие роботы - этот способ легко применять с серверными скриптовыми языками, типа PHP и его очень редко удается отловить. В этой ситуации люди, которые пытаются получить копию файла robots.txt получают копи. этого файла, которая не содержит в себе инструкции для поискового роботы. Однако, когда этот robots.txt затребует поисковый робот, то он получит все необходимые ему инструкции. В такой ситуации страницы с ссылками никогда не будет проиндексировны и вы не узнаете об этом без вмешательства специалиста.
Путаница с использолванием МЕТА-тэгов и robots.txt - какие инструкции имею больший вес? Не знаете ответ? Позор. Поисковые машины знают. Если возникает конфликт МЕТА-тэгов, то обычно используется правило follow.
Ссылка в заголовке HEAD - в то время как эти ссылки не учитываются поисковиками и не показываются на веб-странице, они все таки обнаруживаются скриптами или программами, разработанными для проверки существования этой ссылки. Эти программы только ищут URL внутри исходного кода веб-страницы.
Пустые анкеры - отвратительный трюк, который однако может быть и честной ошибкой. Ссылки существуют и учитываются поисковыми машинами, но, к несчастью, они невидимы или некликабельны на веб-странице. Другими словами, ссылка не дает трафик вообще.
Несмотря на то, что вы никогда не станете экспертом в области последних трюков, ловушек и тестов, вы по крайней мере узнали о тех 13, которые описаны выше. Уверенность в том, что ваш партнер не следует или не использует эти способы поможет вам улучшить качество обратных ссылок, которые вы получаете с других веб-страниц. Имея качественные ссылки, указывающие на вашу страницу, вы получите дополнительный трафик от поисковиков и от посетителей, приходящих на ваш сайт прямо с сайтов ваших партнеров.
Разрешается использовать, цитировать, копировать, транслировать и переводить любые материалы проекта ZooLife в сети Интернет при условии установки прямой ссылки на этот конкретный материал на сайте ZooLife
сделать так, чтоб в этом каталоге отражались новые ссылки, которые появились после моего последнего посещения? 
