Как закрыть сайт от индексации разными способами: инструкция

Приветствую вас, уважаемые читатели блога AFlife.ru! В этой статье я хочу поговорить о том, как закрыть сайт от индексации. Я расскажу, как можно скрыть весь сайт целиком, а также его отдельные элементы. Мы разберёмся с существующими способами закрытия, а также часто встречающимися ошибками.

Сперва отмечу, что боты поисковых систем просматривают все имеющиеся в интернете данные. В определённых случаях у владельца сайта может возникнуть необходимость в закрытии доступа к имеющимся на ресурсе сведениям. Как правило, это выполняется при помощи файла «robots.txt».

Посетители не должны видеть в поисковиках служебные вкладки, ссылки на личные кабинеты, устаревшие материалы и т.п. Также рекомендуется закрывать индексацию скриптов, баннеров, особенно больших файлов, а также всплывающих уведомлений. Благодаря этому можно значительно сократить время индексации и понизить загруженность сервиса.

Полное закрытие от индексации

Как правило, подобная необходимость возникает в процессе создания или изменения дизайна ресурса.

Также имеют место ситуации, когда вебмастеры всячески экспериментируют или изучают механики работы с сайтом.

Закрыть ресурс от индексации можно для конкретного поискового бота, для всех существующих, а также для всех, за исключением одного. Соответствующие команды показаны на изображении снизу.

Как закрыть сайт от индексации разными способами: инструкция

Закрытие отдельно взятых элементов

Небольшие одностраничники, как правило, не нуждаются в сокрытии конкретных элементов. Однако крупные площадки, в которых содержится много служебных сведений, часто подвергаются процедуре сокрытия некоторых страниц и даже разделов. В качестве примера можно выделить панель администратора, кабинет пользователя, регистрационные формы, разделы «Избранное», «Корзина» и т.п.

Также рекомендую вам отключать индексацию «мусорного» содержания. К таковому можно отнести старые и неактуальные публикации, различные акции и специальные предложения, заметки в календаре.

Сокрытие устаревших данных позволит сохранить актуальность всего ресурса. Также можно регулярно обновлять контент ресурса для того, чтобы не заниматься его сокрытием.

Непосредственно запрет в рассматриваемом случае осуществляется при помощи команд, показанных на изображении снизу.

Как закрыть сайт от индексации разными способами: инструкция

Под «прочей» информацией я подразумеваю различные папки, документы, скрипты, метки и тому подобные элементы, которые можно скрыть при помощи файла robots.txt. Они также могут быть сокрыты целиком, либо частично, для всех существующих поисковых ботов, или же для каких-либо конкретных. На картинке снизу показаны использующиеся для этого команды.

Как закрыть сайт от индексации разными способами: инструкция

Как выглядит robots.txt на AFlife.ru

Как закрыть сайт от индексации разными способами: инструкция

Если у вас свой информационный сайт, можете скачать правильный robots.txt по этой ссылке и добавить в корневой каталог своего сайта, предварительно изменив в двух последних строках доменное имя на свое.

Какие страницы нужно закрыть от индексации: запрет индексации страниц

Как закрыть сайт от индексации разными способами: инструкция

ЧЕК-ЛИСТ: ТЕХНИЧЕСКАЯ ЧАСТЬ — ИСПРАВЛЕНИЕ

Инструкцию одобрилTech Head of SEO в TRINET.Group

Контент сайта должен быть информативным и полезным для пользователя, а соответствующие страницы — открытыми для сканирования поисковым роботом. Однако есть случаи, когда индексация страницы нежелательна и может уменьшить эффект от оптимизации.

Причины ограничить индексацию страниц

Владелец сайта заинтересован, чтобы потенциальный клиент находил его веб-ресурс в выдаче, а поисковая система — в том, чтобы предоставить пользователю ценную и релевантную информацию. Для индексации должны быть открыты только те страницы, которые имеет смысл выводить в результаты поиска.

Рассмотрим причины, по которым следует запретить индексацию сайта или отдельных страниц: Контент не несет в себе смысловой нагрузки для поисковой системы и пользователей или же вводит их в заблуждение.

К такому контенту можно отнести технические и административные страницы сайта, данные с персональной информацией. Также некоторые страницы могут создать иллюзию дублированного контента, что является нарушением и может привести к штрафным санкциям для всего ресурса.

Нерациональное использование краулингового бюджета.

Краулинговый бюджет — это определенное количество страниц сайта, которое может просканировать поисковая система. В наших интересах тратить ресурсы сервера только на ценные и качественные страницы.

Чтобы получить быструю и результативную индексацию важного содержимого веб-ресурса, необходимо закрыть от сканирования ненужный контент.

Как закрыть сайт от индексации разными способами: инструкция

Схема сканирования, индексирования и ранжирования сайта

Чтобы проверить, какие страницы вашего сайта сейчас находятся в топе поисковой выдаче, и по каким фразам их находят — воспользуйтесь Serpstat.

Какие страницы лучше убрать из индекса

Страницы сайта в процессе разработки

Если проект только в процессе создания, лучше закрыть сайт от поисковиков. Рекомендуется открыть доступ к сканированию наполненных и оптимизированных страниц, отображение которых в результатах поиска целесообразно. При разработке сайта на тестовом сервере доступ к нему должен быть ограничен с помощью файла robots.txt, no index или пароля.Закрыть сайт от индексации в robots можно так: User-agent: * Disallow: / Эти две строчки запретят доступ к сайту всем роботам поисковых систем.Запрет индексации для сайта на сервере NGINX осуществляется с помощью добавления кода add_header X-Robots-Tag “noindex, nofollow”; в файл .conf.

Настраивая копию сайта, важно правильно указать зеркало с помощью 301 редиректов, либо атрибута rel= “canonical”, чтобы сохранить рейтинг существующего ресурса и проинформировать поисковую систему: где сайт-первоисточник, а где его аналог. Закрывать от индексации работающий ресурс крайне нежелательно. Тем самым можно обнулить возраст сайта и наработанную репутацию.

Страницы печати могут быть полезны посетителю. Нужную информацию можно распечатать в виде адаптированного текста: статью, сведения о товаре, карту расположения организации. По сути страница печати является копией её основной версии. Если эта страница открыта для индексации, поисковый робот может выбрать ее приоритетной и более релевантной. Для правильной оптимизации сайта с большим числом страниц следует установить запрет индексации страниц для печати.Чтобы закрыть ссылку на документ, можно использовать вывод контента с помощью AJAX, закрыть страницы с помощью метатега , либо в роботс закрыть от индексации все страницы печати. На сайте, кроме страниц с основным контентом, могут присутствовать документы PDF, DOC, XLS, доступные для чтения и загрузки. В результатах поиска на ряду со страницами сайта можно увидеть заголовки pdf-файлов. Возможно, содержимое этих файлов не отвечает запросам целевой аудитории сайта. Или же документы появляются в поиске выше html-страниц сайта. В этом случае индексация документов нежелательна, и их лучше закрыть от сканирования в файле robots.txt. Как закрыть сайт от индексации разными способами: инструкция

Пример индексации pdf-файла на сайте

Пользовательские формы и элементы

Сюда относят все страницы, которые полезны для клиентов, но не несут информационной ценности для других пользователей и, как следствие, поисковых систем. Это могут быть формы регистрации и оформления заявок, корзина, личный кабинет. Доступ к таким страницам следует ограничить.

Технические страницы нужны исключительно для служебного использования администратором. Например, форма авторизации для входа в панель управления.

Как закрыть сайт от индексации разными способами: инструкция

Форма авторизации в админку OpenCart

Персональная информация о клиентах

Эти данные могут содержать не только только имя и фамилию зарегистрированного пользователя, но и контактные и платежные данные, оставленные при оформлении заказа. Эта информация должна быть надежно защищена от просмотра.

Особенности структуры таких страниц делают их похожими друг на друга. Чтобы снизить риск санкций от поисковых систем за дублированный контент, рекомендуем закрывать к ним доступ.

Как закрыть страницы от индексации

Метатег robots со значением noindex в html-файле

Как закрыть сайт от индексации в поисковых системах

Приветствую всех тех, кто читает мой блог на его страничках! Я рад продолжить говорить с Вами на тему всего, что связано с созданием сайтов, их поддержкой, оптимизацией и продвижением. В одной из прежних публикаций мы затрагивали такое понятие, как индексация интернет-ресурса, и убедились, насколько она важна при выводе проекта в ТОП.

Также разбирали основные критерии, по которым индексируют и оценивают сайты поисковые системы. Оказывается, существуют ситуации, когда это не только не полезно, но и нежелательно. Одним словом, сегодня хочу обсудить с Вами случай, как закрыть сайт от индексации. Теперь об этом и о многом другом по порядку.

Почему бывает необходимо спрятать контент на время разработки

При необходимости каждый веб-мастер может самостоятельно закрыть сайт от того, чтобы он индексировался поисковыми роботами. Такая потребность может возникнуть, когда в интернет-проекте используются системы фильтрации или поиска товаров, а это бывает нередко, если представить себе большой онлайн гипермаркет.

В итоге поисковики воспринимают это как ресурс с огромным количеством страниц. Не обнаружив многие из них, им начинает казаться, что проект недоброкачественный, а в итоге его рейтинг неоправданно занижается.

Читайте также:  Как добавить интернет-магазин в яндекс маркет

Также бывают случаи, в которых мы хотим спрятать от поисковых роботов не уникальный контент или же тот, который дублируется внутри страниц.

Иногда требуется скрыть от лишних глаз техническую информацию и сделать так, чтобы пользователи интернет-сообщества не смогли видеть ее в запросах.

Ну и, наконец, спрятаться от индексации нужно, когда проект еще на стадии разработки и его рано выпускать в открытое плавание, например, если мы делаем всего лишь тестовый сайт.

Как закрыть сайт от индексации разными способами: инструкция

Команды для закрытия индексации поисковиками

Рассмотрим теперь подробнее, какие инструменты придут нам на помощь в этом вопросе.

Закрываем в robots.txt доменное или субдоменное имя. Открываем вышеуказанный файлик, а дальше в нем надо прописать изменения. Буквально пишем следующие команды:

• User-agent: *

• Disallow: /

Это довольно несложный способ, чтобы скрыть свой проект от индексации в любых поисковиках, и с ним легко справится даже пользователь-чайник. В ситуации, если требуется спрятать его от какого-либо конкретного поисковика (скажем, от Гугла), пример команды будет следующим:

  • • User-agent: *
  • • Disallow: /
  • • User-agent: Yandex
  • • Allow: /

Обращаю внимание, что это способ частичного закрытия сайта от индексации. Значит, полной гарантии в том, что проект нигде не будет отражаться, тоже не существует.

Следующий сценарий способен обеспечить даже большую точность при скрытии страниц или проектов. Можем назвать его «Применение мета тег Robots». Для этого нужно добавлять код к каждой странице тег. Теги должны быть следующего вида:

.

Готовые метатеги помещаются в область HEAD HTML разметки страницы.

Основные примочки в роботс для Битрикс

Примерно аналогичным образом работает процедура закрытия сайта от индексирования в Битрикс. Для этого применяется закладка «Общие правила», если только мы не желаем спрятаться от конкретного поискового робота, например, Яндекс (для них есть свои соответствующие вкладки, но принцип действия будет тот же самый).

Данная закладка предусмотрена для того, чтобы задавать общие правила, которые касаются индексирования. Есть несколько инструкций, рядом с каждой из которых есть либо поле для активации, либо кнопка для отмены действия (нужно нажать на крестик). Основные кнопки в закладке следующие:

• стартовый набор правил (либо ограничений). Обычно касается личных данных пользователя, административных страниц, прочей ненужной для широкого круга посетителей информации;

• disallow (запретить папку или файл). Задавая маску пути (как было описано выше), мы можем указать ту информацию, которую не следует проверять поисковым системам. Если активировать кнопку с этой опцией, то будут предложены стандартные инструкции запрета. Можно и самому выбрать те каталоги или файлы, которых мы не хотим видеть в индексации;

• allow (открыть папку или файл). Здесь все наоборот — мы можем открыть сведения для индексирования поисковыми системами. Происходит это через указание списка путей к конкретным каталогам или отдельным файлам;

Как закрыть сайт от индексации разными способами: инструкция

• карта сайта. Пользуясь этой опцией, мы задаем ссылку, ведущую на карту нашего сайта через sitemap.

Как спрятать страницу в других случаях

Такой же алгоритм действий будет справедлив для Opencart или Joomla. Но необходимо сказать несколько слов и о другом файле, отвечающем за конфигурацию на веб-сервере Apache. Он отвечает не только за работу всего веб-сервера, но и за настройки управления, которые облегчают жизнь пользователей и админа. Речь идет о файлике .htaccess, который также должен находиться в корневой папке.

Для каждой поисковой системы из известных предусмотрен отдельный бот и отдельная точка для входа. Останется лишь прописать команды наподобие:

  1. • SetEnvlfNoCase «Aport» Search Bot
  2. • SetEnvlfNoCase «Yandex» Search Bot
  3. • SetEnvlfNoCase «Yahoo» Search Bot и так далее по ситуации.

Что можно предложить для Вордпресс

Несмотря на то, что каждый создатель проекта должен только мечтать о том, чтобы его видели как можно больше людей, бывают случаи, когда нужно убрать сайт на WordPress из-под пристального взгляда поисковых систем.

Обычно к такому средству прибегают тогда, когда он не полностью готов для широкого круга посетителей. ВордПресс предоставляет для этого 3 основных способа.

Самый простой заключается в использовании встроенных функций этого конструктора.

Сначала нужно войти в панель администратора, после чего отыскать в них пункт Настройки, а в нем подпункт Чтение. Здесь предусмотрена функция, которая так и называется «Видимость для поисковых систем».

Ставим галочку там, где написан вариант не быть видимым для поисковиков. Здесь также предусмотрен свой файлик robots.txt — система сама отредактирует его по новым правилам, стоит лишь сохранить изменения.

Как закрыть сайт от индексации разными способами: инструкция

Существует выход и для тех, кто предпочитает делать все вручную самостоятельно — системный файл можно отредактировать своими руками. Для доступа можно воспользоваться файловым менеджером либо FTP. Находим robots.

txt (обычно располагается в той же папке, что и конструктор сайтов). Далее прописываем тот же синтаксис, который был указан выше.

Осталось сохранить новую версию файла, который будет предупреждать поисковые системы о том, что мы не хотим попасть под индексацию.

Следующий вариант представляет собой защиту проекта при помощи пароля. К таким файлам поисковики не могут получить доступ. Например, у клиентов ресурса Hostinger предусмотрена опция «Защиту папок паролем». Включаем ее путем проставления соответствующей галочки в контрольной панели. В левой части экрана расположены каталоги, которым требуется защита.

Как закрыть сайт от индексации?

Приветствую вас, посетители сайта Impuls-Web!

Когда вы только приступили к созданию сайта и не хотите, что бы поисковые системы индексировали его до завершения работ, вы может закрыть сайт от индексации в поисковых системах.

Навигация по статье:

Так же такая необходимость может возникнуть для тестового сайта, или для сайта, который предназначен для закрытого пользования определенной группой лиц, и вам не нужно, чтобы внутренние ссылки попали в выдачу поисковиков.

Я хочу вам сегодня показать несколько достаточно простых способов, как можно закрыть сайт от индексации.

Как закрыть сайт от индексации разными способами: инструкция

Как закрыть сайт от индексации в WordPress?

Данный способ, наверное, самый простой, и владельцам сайтов, которые созданы на базе CMS WordPress, очень повезло. Дело в том, что в данной CMS предусмотрена возможность закрытия сайта от индексации при установке движка на хостинг. В случае если вы не сделали этого при установке, вы всегда можете это сделать в настройках. Для этого вам нужно:

  1. 1.В админпанели переходим в раздел «Настройки»«Чтение».
  2. 2.Перелистываем открывшуюся страницу в самый низ, и отмечаем галочкой опцию показанную на скриншоте:

    Как закрыть сайт от индексации разными способами: инструкция

  3. 3.Сохраняем изменения.

Все. Теперь ваш сайт не будет индексироваться. Если открыть страницу в браузере и нажать комбинацию клавиш CTRL+U, мы сможем просмотреть код страницы, и увидим вот такую строку кода:

Как закрыть сайт от индексации разными способами: инструкция

Данная запись была добавлена автоматически, после того как мы включили опцию запрета индексации в настройках.

Главное не забыть отключить эту опцию после завершения работ:)

Как закрыть сайт от индексации name=»robots»?

Данный способ заключается в самостоятельном добавлении записи, показанной на предыдущем скриншоте. Данный вариант подойдет для тех сайтов, которые создаются без использования CMS.

Вам всего лишь нужно в начале каждой страницы, перед закрытием тега добавить эту запись:

В поле content можно задать следующие условия:

Запрещающие условия:

  • none – запрет для страниц и ссылок;
  • noindex – запрет для страниц;
  • nofollow – запрещает индексацию ссылок на странице;

Разрещающие условия:

  • all – разрешает индексацию страниц и ссылок;
  • index — разрешает индексацию страниц;
  • follow – разрешает индексацию ссылок на странице;

Зная данный набор условий, мы можем составить альтернативную запись для полного запрета для сайта и ссылок на нем. Выглядеть она будет вот так:

Как закрыть сайт от индексации в robots.txt?

Показанные выше варианты закрытия сайта от индексации работают для всех поисковиков, а это бывает не всегда нужно. Так же, предыдущий способ достаточно неудобен в случае, если ваш ресурс состоит из большого количества страниц, и каждую из них нужно закрыть от индексации.

В этом случае лучше воспользоваться еще одним способом закрытия сайта от индексации. Данный вариант дает нам возможность более гибко закрывать от индексации не только сайт в целом, но и отдельные страницы, медиафайлы и папки.

Читайте также:  Что такое справка о доходах по форме банка и как ее правильно заполнить

Для полного закрытия от индексации вам нужно создать в редакторе кода NotePad++ файл с названием robots.txt и разместить в нем такую запись:

User-agent: *
Disallow: /

User-agent со значением * означает, что данное правило предназначено для всех поисковых роботов. Так же вы можете запретить индексацию для какой-то поисковой системы в отдельности. Для этого в User-agent указываем имя конкретного поискового робота. Например:

User-agent: Yandex

В этом случае запись будет работать только для Яндекса.

Обратите внимание. В строке User-agent может быть указан только один поисковый робот, и соответственно директивы Disallow

Как закрыть сайт от индексации за 1 минуту: 3 способа

Иногда возникают ситуации, когда необходимо закрыть сайт от индексации.

Как закрыть сайт от индексации разными способами: инструкция

Ну, например вы решили сменить дизайн блога и не хотите, чтобы в это время на ресурс заходили поисковые боты.

Или просто вы только что создали сайт и установили на него движок, соответственно если на ресурсе нет полезной информации, то показывать его поисковым ботам не стоит.

В данной статье вы узнаете о том, как закрыть сайт от индексации в Яндексе, Гугле, или сразу во всех поисковых системах. Но перед тем вы также можете прочитать еще одну похожую статью: «Как закрыть ссылку от индексации?» А теперь приступим.

1. Закрываем сайт от индексации с помощью файла robots.txt. Для начала вам нужно создать файл robots.txt. Для этого создаете на своем компьютере обычный текстовый документ с названием robots и расширением .txt. Вот я только что создал его:

Как закрыть сайт от индексации разными способами: инструкция

Теперь этот файл нужно загрузить в корневую папку своего блога. Если ресурс сделан на движке вордпрес, то корневая папка находится там, где папки wp-content, wp-includes и т. д.

Итак, мы загрузили пустой файл на хостинг, теперь нужно с помощью этого файла как-то закрыть блог от индексации. Это можно сделать, как я уже написал только для Яндекса, Гугла или сразу всех поисковиков. Давайте обо всем по порядку.

Как закрыть сайт от индексации только для Яндекса? Пропишите в файле robots.txt вот такую строчку:

User-agent: Yandex Disallow: /

Для того чтобы убедиться в том, что вы запретили индексировать свой ресурс Яндексу, добавьте сначала сайт в Яндекс Вебмастер, если вы этого еще не сделали, а потом перейдите на эту страницу. Дальше введите несколько страниц своего сайта и нажмите на кнопку «Проверить». Если страницы запрещены к индексации, то вы увидите примерно такую картину:

Как запретить индексирование сайта или страниц – Вебмастер. Справка

Индексирование сайта

Иногда нужно, чтобы страницы сайта или размещенные на них ссылки не появлялись в результатах поиска. Скрыть содержимое сайта от индексирования можно с помощью файла robots.txt, HTML-разметки или авторизации на сайте.

Если какие-то страницы или разделы сайта не должны индексироваться (например, со служебной или конфиденциальной информацией), ограничьте доступ к ним следующими способами:

  • В файле robots.txt укажите директиву Disallow.
  • В HTML-коде страниц сайта укажите метатег robots с директивой noindex или none. Подробнее см. в разделе Метатег robots и HTTP-заголовок X-Robots-Tag.
  • Используйте авторизацию на сайте. Рекомендуем этот способ, чтобы скрыть от индексирования главную страницу сайта. Если главная страница запрещена в файле robots.txt или с помощью метатега noindex, но на нее ведут ссылки, страница может попасть в результаты поиска.

Скрыть от индексирования часть текста можно несколькими способами:

  • В HTML-код страницы добавьте элемент noindex. Например: текст, индексирование которого нужно запретить Элемент не чувствителен к вложенности — может находиться в любом месте HTML-кода страницы. Если на странице отсутствует закрывающий тег, скрытым считается весь контент страницы. Не создавайте множественную вложенность тегов noindex — разметка будет учитываться только до первого закрывающего тега. При необходимости сделать код сайта валидным возможно использование тега в следующем формате: текст, индексирование которого нужно запретить
  • В HTML-код страницы добавьте элемент noscript. Например: текст, индексирование которого нужно запретить Элемент noscript, как и noindex, запрещает индексирование, но при этом скрывает содержимое сайта от пользователя, если его браузер поддерживает технологию JavaScript. Примечание. JavaScript поддерживают все популярные браузеры, если эта функция не отключена пользователем специально. Посмотреть отчет о наличии JavaScript можно в Яндекс Метрике .

Рекомендуем использовать атрибут rel. Разные значения атрибута указывают на тип ссылки, что помогает поисковой системе лучше распознавать содержимое сайта.

  • rel=”ugc”. Используйте, если на вашем сайте есть форум или возможность оставить отзыв и вы не уверены в качестве ссылок, которые оставляют посетители.
  • rel=”sponsored”. Используйте, если ссылка носит рекламный характер, указывает на рекламное место или размещение в рамках партнерской программы с другим сайтом.
  • rel=”nofollow”. Указывайте, чтобы робот не проходил по ссылке, не зависимо от ее типа.

Можно комбинировать несколько значений. Пример:

текст ссылки
или
текст ссылки

Значения атрибута rel воспринимаются роботом как рекомендация не принимать ссылку во внимание.

Чтобы скрыть от индексирования все ссылки на странице, укажите в HTML-коде страницы метатег robots с директивой nofollow. Робот не перейдет по ссылкам при обходе сайта, но может узнать о них из других источников. Например, на других страницах или сайтах.

При использовании любого из перечисленных указаний ссылка может быть обработана роботом и отобразиться в Вебмастере как внутренняя или внешняя. Само отображение или отсутствие ссылки в Вебмастере не указывает на то, что поисковые алгоритмы учитывают ее.

Написать в службу поддержки

Была ли статья полезна?

Закрываем зеркало сайта от индексации правильно

Здравствуй, %habrauser%. Сегодня я покажу как не надо закрывать от индексации зеркало сайта, и как закрыть его правильно.

Предыстория

Я работаю web-мастером в одной крупной для нашего города компании. Мы сделали клиенту сайт, для рекламирования и продажи своей продукции.

Клиент выбрал доменное имя в зоне .RU, и сайт около года успешно работал. Сайт по настоящее время обслуживается и редактируется по мере необходимости у нас.

Через какое-то время клиент захотел второй домен для сайта, но в зоне .РФ. Он самостоятельно нашёл «профессиональных seo-специалистов продвигальщиков», сайт которых стоял на первом месте в выдаче Яндекса по определенным запросам. С ними он заключил договор, и ежемесячно отгружал немалую сумму денег в эту seo-конторку. Спустя пару недель сеошники наконец проснулись, связались с нами и получили ftp доступы к сайту, а так же пароль от админки сайта.

Началась «оптимизация»

Всё началось с того, что они не разобрались в движке сайта PHPShop. Отправили нам письмо, мы им сообщили где что редактируется, в каком файле находятся нужные им теги, а так же в довесок дали немного ссылок на официальную документацию. Сам сайт устроен так, что скелет вёрстки главной страницы находится в файле index.

tpl, а html-скелет остальных внутренних страниц находится в файле shop.tpl. Сам же контент находится в базе данных и редактируется через админку с помощью визуального редактора, либо в виде source html. Сеошники поправили верстку как им было необходимо, но на главной странице они захотели воткнуть свой копирайт-рекламу.

В договоре, кстати, указано что убирать эту индексируемую ссылку на их сайт нельзя.

Горе-оптимизаторы так и не разобравшись в элементарной админке, напичкали сайт своими скриптами костылями, которые мешали нормальной работе фреймворка и шли в разрез со здравым смыслом. Самое безобидное — сделали статичную версию главной, и положили этот статичный index.html рядом с index.php.

Далее, через свои скрипты, сделали переадресацию с index.php на index.html

Зачем? Закрывая глаза на то, что всё редактируется через админку, можно же через htaccess и mod_rewrite сделать такую переадресацию на уровне веб-сервера написав несколько строк, и не подключать mod_php для вывода 301 заголовка…

Выяснился этот сюрприз оставленный сеошниками через месяц, когда клиент захотел поменять на главной информацию, и обратился к нам. Я всё делаю по т.з., сохраняю, и начинаю медленно сходить с ума. Полез в базу — информация новая. Полез ковыряться в движке, и дебаг показывает что информация выдаётся правильно. Захожу по ftp, и нахожу 4 незнакомых скрипта в корне сайта, в названии которых есть наименование seo-компании.

Читайте также:  Что такое деноминация: причины проведения и последствия для населения

Около часа ковырялся в их коде. К слову, php код их скриптов удостоен почетного места на ресурсе govnokod.ru

Поправляю за ними косяк, переношу проделанную ими работу из статичного index.html в базу данных движка.

«Нам сюрпризов не жалко»

Еще через пару недель выясняется новый косяк. Именно тот, о котором данный тред. Клиент звонит и злостно говорит что мы опять что-то натворили на сайте, и ничего не работает. Мы в недоумении начинаем опять разбираться в проблеме.

Заходим на главную страницу зеркала в зоне РФ, и видим ошибку 404.

Снова начинаем немного удивляться умению добавить людям работы на ровном месте, и задаваться вопросом «как?». Заходим на основной домен в зоне.ру (они его и продвигают) — всё нормально. Опять лезу ковыряться в коде горе-оптимизаторов. И… Нахожу следующий код:

Доменные имена специально не раскрываю, а так же умолчу какая именно seo компания так извращается

if($_SERVER['HTTP_HOST']!='domain.ru'&&$_SERVER['HTTP_HOST']!='www.domain.ru') {
$page=file_get_contents_curl('http://domain.ru/hjgjgjhgjh');
$page=iconv('utf-8','windows-1251',$page);
header('HTTP/1.1 404 Not Found',true,404);
$page=str_replace('','',$page);
echo $page;
echo 'not found';
exit();
}
facepalm.jpg Как мы видим, они не захотели что бы зеркало попадало в индекс Яндекса, и сделали зверский костыль. Сношу их индусский код, и делаю следующее:

Создаю файл robots.php, и пишу туда следующее:

User-agent: Yandex
Disallow: /gbook/ID
Disallow: /search/
Disallow: /highslide/
Disallow: /java/
Disallow: /license/
Disallow: /pageHTML/
Disallow: /tagcloud/
Disallow: /data/
Disallow: /capcha/
Disallow: /pages/
Host: domain.ru

User-Agent: Slurp
Disallow: /

User-agent: *
Disallow: /gbook/ID
Disallow: */*.swf
Disallow: /search/
Disallow: /highslide/
Disallow: /java/
Disallow: /license/
Disallow: /pageHTML/
Disallow: /tagcloud/
Disallow: /webstat/
Disallow: /data/
Disallow: /capcha/
Disallow: /pages/

Sitemap: http://domain.ru/sitemap.xml

Пол дела сделано, теперь удаляем robots.txt, и в файл .htaccess добавляем такие строки (обязательное условие apache+mod_rewrite):

RewriteEngine On
RewriteRule ^robots.txt$ robots.php

UPD: конвертированное правило для nginx Лично не проверял, но должно работать. Если что напишите в коммент — поправлю

location = /robots.txt {
rewrite ^(.*)$ /robots.php;
}
Всё! Когда роботы запрашивает robots.txt, сервер отдаёт им файл robots.php P.S. Надеюсь если кто-то использует подобные кривые способы закрытия зеркала, добавит это к себе в «копилку» скриптов для оптимизации. P.P.S. Так уж сложилось, что в настоящее время профессиональных seo компаний очень мало, и получается вечное противостояние «сеошники VS разработчики», одни делают сайт, другие ломают его функциональность за счёт кривых рук и непонимания. P.P.P.S. Если кому то интересно, всё таки могу указать ссылочку на ту seo-конторку Спасибо за внимание!

UPD: Не в целях антирекламы, а в целях предосторожности: demis.ru — сеошники-герои данного треда.

UPD: Очередной случай. Полезли что-то делать, поехала вёрстка. Уже надоело за свой счёт и время поправлять их косяки

Как закрыть сайт от индексации — Офтоп на vc.ru

Существует несколько способов закрыть сайт от индексации.

{“id”:40521,”gtm”:null}

Файл robots.txt отвечает за индексацию сайта поисковыми роботами. Найти его можно в корневой папке сайта. Если же его не существует, то его необходимо создать в любом текстовом редакторе и перенести в нужную директорию. В файле должны находиться всего лишь две строчки:

Остальные правила должны быть удалены.

Этот метод самый простой для скрытия сайта от индексации.

Прописав в шаблоне страниц сайта в теге следующее правило

вы запретите его индексацию.

Зеркало — точная копия сайта, доступная по другому домену. То есть два разных домена настроены на одну и ту же папку с сайтом. Цели создания зеркал могут быть разные, но в любом случае мы получаем полную копию сайта, которую рекомендуется закрыть от индексации.

Сделать это стандартными способами невозможно — по адресам domen1.ru/robots.txt и domen2.ru/robots.txt открывается один и тот же файл robots.txt с одинаковым содержанием. В таком случае необходимо провести специальные настройки на сервере, которые позволят одному из доменов отдавать запрещающий robots.txt.

Ждите новые заметки в блоге или ищите на нашем сайте.

{“contentId”:40521,”count”:0,”isReposted”:false,”gtm”:null}

{“id”:40521,”gtm”:null}

Школа управления Сколково

вчера

Эфир «СКОЛКОВО. На связи». Новая экономическая география бизнеса: вызовы и возможности

Новый этап — новые вызовы для бизнеса. Как меняется география рынков развития и на что обратить внимание при организации рабочих процессов?

{“id”:386122,”gtm”:”Feed Item u2014 Share u2014 Click”}

Разработка

Work Solutions

4 часа

Злые и дикие: какими бывают фулстек-разработчики и зачем они нужны

Может ли один программист создать современное приложение, и есть ли у такого подхода шансы в сравнении с командной разработкой? Если коротко, то ответ на оба вопроса — «да», но все не так просто. Подробнее читайте в материале.

{
“lastComments”: [
{
“photo”: “https://leonardo.osnova.io/d1e88a03-4ddf-7cbc-4c81-ca47d0e39a4a/”
}
]
}

{“id”:382511,”gtm”:”Feed Item u2014 Share u2014 Click”}

Миграция

Громадный американец

3 часа

Российские ИТ-специалисты запустили бота, который помогает найти соседей для коливинга в эмиграции Статьи редакции

Бот бесплатный и работает как Tinder.

{
“lastComments”: [
{
“photo”: “https://leonardo.osnova.io/072ac7de-05b8-5a41-bf80-ab696bbadb5f/”
},
{
“photo”: “https://leonardo.osnova.io/41ce28c2-0381-5292-829f-6b32e705646d/”
},
{
“photo”: “https://leonardo.osnova.io/da090493-b0f1-82f9-36e1-375dd4b163d9/”
}
]
}

{“id”:386368,”gtm”:”Feed Item u2014 Share u2014 Click”}

Маркетинг

Роман Яланжи

3 часа

Как застройщик наладил работу отдела продаж и удвоил приглашения клиентов в офис

Ошибка менеджера во время телефонного разговора с клиентом может стоить компании-застройщику сотни тысяч рублей — прибыли с непроданной квартиры или дома. Компания «Индикатор» рассказывает, как выявить проблемы в переговорах менеджеров по продажам и улучшить качество звонков, на примере застройщика загородных домов «Дачный Сезон».

Фрагмент отчёта. Здесь собраны CQR менеджеров неделя к неделе, с динамикой изменений
{
“lastComments”: [
{
“photo”: “https://leonardo.osnova.io/c96642d2-b942-536b-8982-b7182b60d0b8/”
}
]
}

{“id”:385220,”gtm”:”Feed Item u2014 Share u2014 Click”}

Финансы

Леонид Кофман

5 часов

Как действовать, когда откроется Мосбиржа?

Сегодня, 24 марта возобновляются торги российскими акциями на Мосбирже. Как инвестор с 12ти летним опытом хочу высказать свои предположения на этот счет и предостеречь новичков. Сразу скажу, что я никогда не сталкивался со столь откровенным «регулированием» рынков, но все же постараюсь интерпретировать факты исходя из здравого смысла.

{
“lastComments”: [
{
“photo”: “https://leonardo.osnova.io/9414837d-4351-58cd-9928-caaea1b7822f/”
},
{
“photo”: “https://leonardo.osnova.io/422a3a85-1eb3-5ba6-9253-2ec3c8205b6b/”
},
{
“photo”: “https://leonardo.osnova.io/aae36f7d-22f4-dc23-3572-8d0b1fcf81ab/”
}
]
}

{“id”:386275,”gtm”:”Feed Item u2014 Share u2014 Click”}

Обращение к подписчикам блога “TeamMotion”

Коллеги, здравствуйте!Благодарю Вас за то, что Вы стали подписчиками блога моей компании TeamMotion!

Мы живем уже в новой реальности и возврата назад не будет. Ландшафт российского рынка быстро меняется. В свою очередь это вызывает необходимость значимых изменений внутри компании.

{“id”:386177,”gtm”:”Feed Item u2014 Share u2014 Click”}

Право

Громадный американец

2 часа

Под санкции Великобритании попал Герман Греф, а Олегу Тинькову запретили заводить яхты в британские порты Статьи редакции

Под санкции попали также «Газпромбанк», «Россельхозбанк» и «Альфа-банк».

{
“lastComments”: [
{
“photo”: “https://leonardo.osnova.io/736dbde0-091e-30b7-e847-2f770d92898e/”
},
{
“photo”: “https://leonardo.osnova.io/1dff8662-6840-d061-d12f-29e885598983/”
},
{
“photo”: “https://png.cmtt.space/user-userpic/0a/0d/8c/c89a4fced47665.jpg”
}
]
}

{“id”:386456,”gtm”:”Feed Item u2014 Share u2014 Click”}

Сила отзывов на СберМегаМаркете, или как увеличить продажи за счет UGC

В онлайн-ритейле отзывы играют ключевую роль как для покупателей, так и для продавцов. Как показало исследование СберМегаМаркета, более 93% покупателей смотрят отзывы перед принятием решения о покупке товара. Рассказываем, почему отзывы так важны и как с ними работает СберМегаМаркет.

{“id”:386397,”gtm”:”Feed Item u2014 Share u2014 Click”}

Устойчивые города: Москва

вчера

Дикие звери и птицы начали создавать семейные пары

Как устроен процесс ухаживания у обитателей природных территорий города – читайте в материале.

фото: ДПиООС/Анна Филиппова
{
“lastComments”: [
{
“photo”: “https://leonardo.osnova.io/c18567db-8ef8-aa86-fdab-1c4532a5822a/”
}
]
}

{“id”:379883,”gtm”:”Feed Item u2014 Share u2014 Click”}

Qlik помог сэкономить деньги налогоплательщиков Казахстана

Команда Datanomix.pro, партнер Qlik в Казахстане, разработала систему для аудиторов, проверяющих прозрачность госзакупок в стране.

{“id”:384200,”gtm”:”Feed Item u2014 Share u2014 Click”}

«Мы подвели людей, которые пользовались нашим сервисом»: «Яндекс.Еда» извинилась за «беспрецедентную» утечку данных Статьи редакции

И объяснила, как борется с ней сейчас и что будет делать потом.

{
“lastComments”: [
{
“photo”: “https://leonardo.osnova.io/ce4e48cc-96c7-53e5-9edd-fa866ffc866a/”
},
{
“photo”: “https://leonardo.osnova.io/08ec104d-28fa-9813-f735-8b815193377d/”
},
{
“photo”: “https://leonardo.osnova.io/3b002c33-6168-5761-8d3e-64ca1ae570bc/”
}
]
}

{“id”:386478,”gtm”:”Feed Item u2014 Share u2014 Click”}

Сервисы

Вирусный алмаз

2 часа

Карты «Мир» перестали привязываться к Apple Pay Статьи редакции

При этом уже привязанные карты пока работают.

{
“lastComments”: [
{
“photo”: “https://leonardo.osnova.io/5ea08df8-a96e-55b3-87df-ed2e58f9c3c7/”
},
{
“photo”: “https://leonardo.osnova.io/077f33d7-91c9-5904-83a1-1f2a61452163/”
},
{
“photo”: “https://leonardo.osnova.io/a5c1d183-fda1-5a2f-88b0-31d6927ecf7f/”
}
]
}

{“id”:386402,”gtm”:”Feed Item u2014 Share u2014 Click”}

Ссылка на основную публикацию