Как закрыть параметры фильтра от индексации без ошибок

Чтобы закрыть параметры фильтра от индексации без потери полезных страниц, сначала разделите URL на две группы: самостоятельные посадочные со спросом и технические состояния для пользователя. Одно правило для всех параметров может заблокировать нужные категории, пагинацию или возможность поисковику увидеть canonical.

Управление строится сочетанием внутренних ссылок, sitemap, meta robots, canonical и robots.txt. У каждого механизма своя задача.

Соберите все форматы URL

Просканируйте сайт, логи и отчёты поисковых систем. Зафиксируйте ЧПУ Умного фильтра, GET-параметры, порядок свойств, сортировку, вид списка, пагинацию и пустые результаты. Одну выборку могут представлять десятки адресов.

Сравните набор товаров и назначение, а не только строку URL.

Выберите полезные посадочные

Оставляйте индексируемыми комбинации с самостоятельным спросом, устойчивым ассортиментом, понятным намерением и уникальной пользой. Для них нужны постоянный адрес, собственные H1 и метаданные, описание, внутренняя ссылка и canonical на себя.

Не создавайте SEO-страницу автоматически для каждого свойства и города. Белый список проще контролировать.

Meta robots для технических страниц

Значение noindex, follow сообщает не включать страницу в индекс, сохраняя возможность увидеть ссылки. Чтобы поисковик прочитал метатег, URL должен быть доступен для обхода. Уже известная страница исчезает не мгновенно.

В Битрикс вывод тега должен зависеть от типа состояния и не кешироваться ошибочно для всех пользователей и URL.

Canonical для эквивалентных состояний

Если параметр меняет только сортировку или вид, canonical может вести на чистую категорию. Но фильтр, который показывает другой существенный набор, не всегда эквивалентен корню. Canonical — подсказка, а не запрет индексации.

Не используйте одновременно противоречивые сигналы: noindex на полезной странице, canonical на себя и блокировку обхода.

Ограничьте внутреннее пространство ссылок

Поисковые роботы находят фильтры через ссылки. Не генерируйте бесконечные комбинации и перестановки в HTML. Используйте контролируемый интерфейс и постоянные ссылки только на выбранные посадочные. При этом фильтр должен оставаться доступным человеку.

• единый порядок параметров;
• сброс в чистую категорию;
• нет ссылок на нулевой результат;
• ограничение зависимых свойств;
• не создаются сессионные URL;
• параметры представления не входят в sitemap.

Осторожно с robots.txt

Robots.txt управляет обходом, а не гарантированным удалением из индекса. Если закрыть URL, робот не увидит meta robots и canonical. Используйте блокировку для контроля бесконечного обхода после анализа, не маскируя ею уже проиндексированные проблемы.

Проверяйте правила на тестере и избегайте широких масок по вопросительному знаку без списка нужных параметров.

Что делать с уже проиндексированными URL

Оставьте их доступными для чтения noindex или настройте 301 на эквивалентную основную страницу, если состояние больше не нужно. Обновите внутренние ссылки и sitemap. Инструмент удаления URL применяют только для срочного временного скрытия, а источник проблемы всё равно исправляют.

Проверка после запуска

1. Проверить полезные посадочные.
2. Открыть технические комбинации.
3. Сверить robots и meta robots.
4. Проверить один canonical.
5. Пересканировать ссылки.
6. Посмотреть логи обхода.
7. Наблюдать индекс и пустые страницы.

Алиса может спроектировать белый список и правила фильтра в 1С-Битрикс без массового закрытия полезного каталога.