Атрибут rel canonical – полная инструкция по применению и устранению ошибок с дублями

Пишу статьи по запросам читателей, был один с вопросом, что такое и как управлять атрибутом canonical, вообще зачем он нужен если есть много других инструментов. Давайте разбираться в каких случаях его стоит использовать, а когда нет.

Атрибут canonical – что это такое в сайтах

Каноникал это атрибут тега link, служебного по своему назначению, с его помощью чаще подключаются стили и выводится другая meta информация.

Атрибут canonical – располагается в основном на страницах дублирующего частично или полностью контента с других документов сайта, для того чтобы явно указать роботам ПС, что данный URL не самостоятельный, выглядит он так.

<link rel="canonical" href="https://site.ru/supy/borsh/" />

Простыми словами, на сайтах много повторов страниц, например пагинация, карточки товаров расположенные в разных категориях – это все создает дубли, то есть идентичные записи. Поисковики это не любят, потому что не знают какой брать из них в индекс, поэтому понижают все в поиске. Но атрибут каноникал указывает явно, что вы находитесь в документе, который не главный, а дубль, сканируйте указанный в canonical. Посмотрим пример, есть запись и она опубликована в двух рубриках.

https://site.ru/supy/borsh/
https://site.ru/pervie-bluda/borsh/

Администратор создал две рубрики и поместил пост в два раздела, в итоге получили два дубля. Так быть не должно, нужно указать какая из них главная, то есть на одну из них помещаем тег link с атрибутом canonical, чтобы указать на оригинал.

Каноникал располагается в разделе head, все роботы начинают сканировать код сайта сверху вниз и, видя этот атрибут, просто переходят по нему и фиксируют, что он не главный. Это как 301 редирект, только для поисковых систем.

Где чаще всего применяется rel canonical

Сейчас во многих случаях атрибут заменил 301 редирект, но применение rel canonical все еще находит в сайтостроении. Его сила уже не та, но остается одним из факторов и намеков для ботов, где и как ходить.

Товары в магазинах

Применение canonical можно увидеть в действии в основном на страницах товаров в интернет магазинах. Множество позиций располагаются в разных категориях, соответственно адрес тоже будет содержать ее название, что является не допустимым, если не применять canonical.

Статьи в информационных сайтах

То же самое и со статьями на информационных сайтах они могут содержаться во множестве рубрик, но главной должна быть только одна. Я работаю с WordPress, поэтому могу показать только в ней как проставлять каноникал к статьям и другим сущностям. Для оптимизации использую плагин Yoast SEO, он подходит для генерации правильных инструкций, в других CMS и модулях к ним должна быть эта функция.

Аналогично работает для категорий и карточек товаров в WooCommerce внизу любой таксономии в редакторе появиться такой же блок Йоаст. Нужно открыть спойлер Дополнительно и вставить значение.

Пагинация в категориях и рубриках

В пагинациях, самое разумное применение если хотим, чтобы робот вообще не сканировал пагинацию. Это радикальный метод и я его не поощряю, потому что зачастую при огромных ошибках оптимизации только через пагинацию можно выйти к старому контенту, карточкам товаров или постов. Для пагинации советую применять noindex, follow – но об этом поговорим в следующих постах. Так представлен атрибут в исходном HTML.

UTM метки и служебные документы

Страницы начинающиеся со знака вопроса – это post параметры либо UTM метки, например при поиске статей, после адреса устанавливается такой знак и дальше идет обращение к серверу с помощью символов и букв.

Остальные дубли формируемые в основном в CMS системах, например в WordPress – replytocom, архивы дат и авторов, пагинации постов. Они могут идти от плагинов и модулей дополнительно установленных в движок.

Мобильные версии с поддоменом

Множество крупных проектов используют для выдачи мобильной версии сайта отдельный поддомен, который направлен на обработку пользователей заходящих с гаджетов, например m.ok.ru.

Рекомендации для таких ресурсов – все страницы мобильной версии с одинаковым содержанием должны ссылаться через атрибут canonical на соответствующую на десктопах, то есть ПК. У десктопных версий должен быть прописан альтернативный атрибут rel=alternate ведущий на соответствующий контент в мобильной разработке. Так происходит завязка двух ресурсов, боты узнают какой домен прилинковать.

В карте сайта XML

Честно ни разу не видел в XML картах сайта параметр с canonical, множество просмотрел плагинов для WordPress, но ни один не выводит атрибуты с каноническими ссылками. Скорее всего эта технология устарела и считается не правильным ее применять в XML.

Адреса с переводами или имеющие разные виды по переводу и странам

При разработке мультиязычного сайта, не путать с автоматическим переводом в браузерах, нужно делать с помощью дополнительного атрибута hreflang указывать страницу, где есть перевод данного текста на другой язык, например.

site.ru/post/ru/
site.ru/post/en/
site.ru/post/bra/

Методика работает именно там где есть качественные, а не автоматические переводы. Особенность метода в очень тонком правильном формировании, потому что нужно учесть обе версии сайтов (мобильная десктопная) и редиректные данные (www,https), если возможно отказаться от мультиязычности, то лучше так и сделать.

Редко и только в случаях манипуляцией выдаче со стороны конкурентов, поиск воспринимает регистр имени, поэтому нужно явно указывать его написания с больших или маленьких букв. На данный момент не стоит переживать, если будут в выдаче дубли, то предпринимайте действия.

Когда не учитывают canonical поисковые системы в SEO

Обратимся за информацией к справке Яндекса, она достаточно хорошо показывает все пункты, что следует учитывать при простановке атрибута.

1. Если не каноническая запись раскрывает проблему пользователя намного лучше главной, то возможно, что canonical учитываться не будет, а наоборот собой перекроет в индексе основной документ.
2. Если ссылка на основную страницу битая, то есть при переходе по ней ничего нет, то по логике учитываться не будет, и запись успешно будет проиндексирована роботом.
3. Оставлять канонические ссылки можно только внутри одного домена, нельзя ссылаться на другие сайты, иначе атрибут работать не будет.
4. Происходит редирект или основной url закрыт от индексирования в robots, noindex и другими методами.
5. Прописано несколько canonical – это ошибка SEO, нельзя указать сразу несколько урлов в атрибуте.
6. При простановке canonical в виде цепочки. Например есть адрес site.ru/1 и на нем стоит каноникал на site.ru/2, а на этой стоит на site.ru/3, то есть не понятно как определить адрес, поэтому такие вещи пропускаются роботами и не учитываются.

Советы по выбору канонического адреса

Ситуаций очень много, не только с дублирующимся контентом, но и когда есть несколько контента, имеющие между собой отличия, но в итоге они отвечают на один вопрос, это ошибка SEO и нужно выбрать какой контент будет считаться основным, иначе произойдет каннибализация трафика.

Каннибализация трафика (контента) – это когда несколько страниц блога отвечают на один и тот же запрос пользователя, но имеют разное написание. Это ошибка семантических ядер, когда в них не правильно распределены запросы по кластерам. Второй момент это автор новичок, забывший что на блоге есть уже статьи с описанием проблемы и он пишет еще одну. В таких случаях как минимум пессимизируется одна, как максимум все.

• При обнаружении нужно выбирать ту страницу, которая имеет уже вес и трафик в виде канонической.
• Если трафика нет на обоих URL, но одна из них имеет больше входящих внутренних и внешних ссылок, то выбираем ее, не стоит плодить 404 ошибки вместе с понижением ссылочной массы из внешних источников.
• При полном нуле трафика и ссылок, стоит считать основной для атрибута запись, раскрывающую запрос пользователя более раскрыто.
• Бывает не все записи в индексе ПС, тогда ставим canonical на том материале, который уже в выдаче.

HTTPS и WWW домены – как лучше работать с 301 редиректом или canonical

При регистрации нового домена в большинстве случаев сайт доступен по нескольким адресам, например если был установлен SSL и теперь ресурс доступен с HTTP и HTTPS протоколом. Также возможна ситуация с www, блог открывается с данной приставкой и без нее. Раньше использовали canonical, указывающий главное зеркало, но со временем это стало не эффективно и вылезало много ошибок.

Поэтому лучше использовать 301 редирект вместо атрибута, он полностью склеит все зеркала в основной желаемый адрес, потому что canonical не гарантия, а лишь рекомендация для поведения роботов.

Применение canonical на статичных файлах в http заголовках htaccess на сервере

Случай необходим при распространении файлов с вашего сервера. Например хотите дать для скачивания свою pdf книгу или rar архив, но не хотите, чтобы он попадал в индекс поисковых систем. Для этого применяются специальный http заголовки в файле htaccess.

Я ни разу не пользовался такой схемой, потому что файлы проще распространять через облачные хранилища, а ссылки на них скрывать от индексации. Для корректной настройки таких директив в htaccess обратитесь в службу поддержки хостинга, чтобы они выдали корректный код либо сделали самостоятельно.

Можно ли ставить ссылку в каноникал на саму страницу

Да конечно это не запрещено правилами SEO, если в коде указан атрибут каноникал, ссылающийся на саму страницу где расположен. Никаких ошибок не будет, это просто еще одно дополнение и информация для поисковых систем, что это самостоятельный документ.

Где должен располагаться атрибут в HTML коде страницы

Canonical это дополнительная информация для поисковых систем и других ботов. Он должен располагаться строго между открывающим и закрывающим тегом head в HTML. Коды ответа должны быть у всех 200, никаких редиректов и перенаправлений через манипуляцию канониклом не должно быть, только конкретный урл, ведущий напрямую на указанную страницу.

Как проверить canonical на страницах

Можно использовать простой ручной метод – зайти на интересующую страницу, нажимаем комбинацию клавиш ctrl+u. Откроется исходный код, вызываем поиск ctrl+f и вводим canonical. Атрибут должен отобразиться.

Так не удобно и не наглядно, хочется увидеть все адреса и узнать какой атрибут canonical отображается везде. Я для технических аудитов клиентов использую SEO frog программу. Она имеет бесплатную версию, ограничение только в количестве урлов до 500 штук, что для рядового блогера достаточно. В левой колонке видим адреса сайта, а в правой какое значение canonical они содержат, можно легко воспользоваться различными фильтрами и увидеть неполадки или неправильно обработанные параметры.

Использование относительных ссылок взамен абсолютных

Некоторые вебмастера хотят облегчить себе процесс написания и управления текстом, поэтому придумывают непонятные вещи, например, использование относительных ссылок вместо абсолютных, сначала покажу на пример что это.

https://seodesc.ru/klyuchevye-frazy-sayta/ – абсолютная, весь путь прописан.

/klyuchevye-frazy-sayta/ – относительный, то есть не привязан к главной, и до него может стоять любой текст.

В интервью со специалистами Яндекса и Google они явно рекомендуют, что относительные URL писать нельзя, система расценивает его по–разному, начнется путаница – всегда в канонических ссылках пишем полный абсолютный адрес.

Предупреждение в Яндекс Вебмастере – изменился каноникал и исправьте или удалите canonical на важных страницах

При добавлении страниц в раздел Важные в Яндекс Вебмастере система будет приоритетно наблюдать за этими документами, поэтому любое изменение будет отображаться в виде оповещений и писем. Конечно если canonical постоянно меняется, то это сигнал к проверке сайта на вирусы и вредоносные программы, метатеги самостоятельно не изменяются.

На снимке выше показал пример того, что не канонические страницы так же могут участвовать в поиске, потому что Yandex посчитал содержимое существенно другим по отношению с основным, начал его индексировать и приоритетно ранжировать. Дал рекомендацию, что лучше исправить атрибут либо его удалить. В таком случае нужно решить, оставлять ли запись в индексе или удалить, потому что ошибки будут расти, а Яндекс не любит плохо настроенные meta.

В основном работаю с Вордпресс, эта система гибкая и настраивается лучше, если будут вопросы по остальным (тильда, битрикс, opencart, joomla, юкоз, ubuntu, webasyst и т.д.), то возможно смогу помочь.

Чек лист что нужно знать про атрибут

Подведем итог по canonical, чтобы все полученные знание привести в порядок:

• Canonical это как редирект 301, только для поисковых машин.
• Проставлять его нужно только в том случае если есть полные дубли. Если записи содержат не одинаковый контент, то может не сработать.
• Проставлять сам на себя каноникал можно, ошибок не будет.
• Следить чтобы по ссылке в атрибуте открывались адреса корректно без 404 ошибок.
• Размещать строго в разделе head.
• Регулярно проверять сайт на правильность заполнения, это рекомендация, но она не на последнем месте в ранжировании.
• Для AMP страниц нужно указывать основной адрес, а в Турбо используется XML формат передачи, поэтому данный момент нужно уточнить в поддержке.
• Не использовать относительные урлы.

Остальные факторы в современном продвижении не так важны, надеюсь статья была полезна, разобрались что такое атрибут canonical, где он применяется и как правильно использовать для грамотного управления ботами и роботами различных сервисов.