Когда говорят о SEO, то чаще всего обсуждают внешнюю SEO-оптимизацию. Обратные ссылки — это, безусловно, очень важный аспект SEO, который становится все сложнее буквально с каждым днем обновлением Google. Внутренняя SEO-оптимизация — также не менее популярная тема, особенно в сегодняшнюю эпоху семантического поиска Google, когда старые тактики работают не так эффективно, как раньше, или не работают вовсе.
Никто не умаляет важности этих двух аспектов SEO-оптимизации, но есть еще один момент, о котором история и различные SEO-мануалы часто умалчивают: SEO не делится на исключительно внешнее и внутреннее. Техническая SEO-оптимизация столь же важна, как и ее собратья; по сути, без надлежащей технической базы все ваши усилия в области внешней и внутренней оптимизации не принесут результата.
На какие технические моменты стоить обратить внимание, чтобы повысить UX сайта, улучшить эффективность обхода поисковиками, индексирование и в конечном итоге поднять рейтинги? Правильный ответ: на все. Хорошая новость: это не так много, как кажется на первый взгляд. Читайте и практикуйте!
1. Проверьте индексацию
Для начала посмотрим, как ваш сайт индексируется поисковыми системами. Самый простой способ — ввести "site:https://www.domain name" в строке поиска.
Подобным образом можно проанализировать небольшие сайты, содержащие около 500 URL. Для проверки индексации сайтов большего размера можно использовать инструмент для SEO-аудита из программы WebSite Auditor. Запустите программу, введите URL вашего сайта и нажмите Domain Strength для просмотра данных индексирования.
В идеале результат должен быть близким к общему количеству страниц сайта (которое можно просмотреть в разделе Site Structure > Pages), за исключением страниц, специально исключенных из индексации. Если разрыв составляет больше, чем вы ожидали, пересмотрите список страниц, исключенных из индексации. Что подводит к необходимости более детального SEO-аудита.
2. Найдите заблокированные от индексации страницы
Если вы думаете, что все скрытые от индексации страницы можно увидеть в файле robots.txt, то вы ошибаетесь. На самом деле файл robots.txt — лишь один из нескольких способов ограничения индексирования ресурсов. Не забывайте, что есть еще мета-тег noindex, тег X-Robots-Tag, а также так называемые сиротские страницы, не связанные ни с какими другими страницами сайта при помощи навигации. Также есть файлы JavaScript и CSS, которые могут существенно влиять на отображение контента. Для полной проверки доступности страниц сайта поисковикам вам однозначно потребуется инструмент для технического SEO-аудита.
- Для просмотра списка всех заблокированных или скрытых от индексации ресурсов с помощью инструмента SEO crawler в WebSite Auditor выберите Site Structure > Site Audit и нажмите Resources restricted from indexing.
Если какие-либо из ресурсов в списке не должны блокироваться, поверьте столбец Robots instructions, чтобы найти инструкции по отказу и быстро исправить проблему.
3. Просмотрите ваши URL в Google Search Console
URL должны быть адаптированы для SEO. Это значит, что адрес должен быть описательным (включать ключевые слова), достаточно коротким (не превышать 75 знаков) и статическим (без "?"", "_" и параметров).
В Google Search Console есть специальный инструмент для проверки URL, позволяющий определить возможные проблемы конкретной страницы. Инструмент предоставляет полезную информацию о проблемах, связанных с индексированием, AMP-страницах, связанных с URL, ошибках структурированных данных, canonical-тегах и дублирующихся URL.
Для поиска ошибок, связанных с индексацией страниц, откройте Coverage Report в Google Search Console: в нем указано, какие страницы были проиндексированы как положено, какие имеют предупреждения, а какие вообще заблокированы в соответствии с файлом robots.txt, мета-тегами, тегами canonical и т.д. Нажмите на ошибку, чтобы увидеть все страницы с этой ошибкой, устраните проблему и запросите Google проиндексировать страницу снова.
4. Проанализируйте структуру вашего сайта
Неглубокая и логически выстроенная структура сайта важна как для пользователей, так и для поисковых роботов. Кроме того, внутренние ссылки, обеспечивающие навигацию, также позволяют эффективно распределять влияние на рейтинг (так называемый вес ссылок) между вашими страницами.
- Проверьте глубину внутренних ссылок. Убедитесь, что важные страницы вашего сайта (а в идеале — вообще любые страницы) находятся на расстоянии не более трех кликов от главной страницы. В WebSite Auditor выберите Site Structure > Pages. Затем отсортируйте URL по параметру Click depth в порядке убывания, дважды щелкнув по заголовку столбца.
- Найдите страницы-сироты. Сиротские страницы не имеют внутренних ссылок, их почти невозможно обнаружить как пользователям, так и поисковикам. Логично, что поисковики крайне редко выполняют обход этих страниц, а часто и вовсе не находят их. Для обнаружения таких страниц пересоберите проект в WebSite Auditor, выбрав Site Structure > Pages и нажав кнопку Rebuild Project. На втором этапе повторного построения установите флажок Search for orphan pages и продолжите процесс.
Полное руководство по эффективной оптимизации внутренних ссылок можно найти в этом посте.
6. Проверьте наличие HTTPS-протокола
Google начал использовать HTTPS как фактор рейтинга еще в далеком 2014 году; с тех пор миграция на HTTPS наблюдается все чаще. Сегодня, согласно Google Transparency Report, 95% сайтов в Google используют HTTPS.
Если ваш сайт еще не перешел на HTTPS, то вам стоит исправить эту обидную оплошность. В качестве инструкции можно использовать анализ нашей собственной миграции на HTTPS на сайте link-assistant.com.
Если ваш сайт уже использует HTTPS (частично или полностью), регулярно проверяйте его на предмет связанных с HTTPS:
- Наличие смешанного контента. Проблемы, связанные с контентом смешанного типа, возникают, когда в остальном безопасная страница загружает часть своего контента (изображения, видео, скрипты, CSS-файлы) посредством небезопасного HTTP-соединения. Это снижает безопасность страницы и может помешать браузерам загружать небезопасный контент и даже всю страницу. Для проверки сайта на предмет проблем, связанных со смешанным контентом, выберите Site Audit > Encoding and technical factors.
- Canonical-теги и переадресация. В первую очередь проверьте сайт на наличие дублирующихся http и https версий страниц в разделе Site Audit > Redirects. Если HTTP и HTTPS версии вашего сайта настроены неправильно, они могут одновременно индексироваться поисковыми системами. Это приведет к дублированию контента, что, в свою очередь, может отрицательно отразиться на рейтинге сайта в выдаче. В идеале все ссылки на вашем HTTP-сайте, а также ссылки переадресации и канонические ссылки, должны напрямую вести на HTTPS-страницы.
Даже если переадресация с HTTP на HTTPS реализована правильно, все равно следует избегать ненужных перенаправлений — они заставляют сайт казаться куда медленнее, чем он есть на самом деле. Такая переадресация может стать проблемой и с точки зрения обхода, поскольку вы будете расходовать единицу краулингового бюджета каждый раз, когда бот поисковой системы будет обнаруживать ссылку с переадресацией.
Для просмотра полного списка всех ресурсов, отличных от HTTPS, в WebSite Auditor откройте панель All Resources. Нажмите HTML в области Internal resources и отсортируйте список по URL, щелкнув по заголовку столбца. Так вы сможете увидеть переадресуемые URL ваших HTTP-страниц в первую очередь (код статуса 301). Для каждой обнаруженной HTTP-страницы в нижней части экрана выберите Found on pages для просмотра полного списка страниц, связанных с рассматриваемой HTTP-страницей. Устраните проблему, заменив ссылку на HTTPS-версию.
6. Увеличьте краулинговый бюджет
Краулинговый бюджет — это количество страниц сайта, обходимых поисковиком за определенный период времени. Краулинговый бюджет сам по себе не является фактором, влияющим на рейтинг, но определяет частоту обхода важных страниц вашего сайта (как и то, выполняется ли обход некоторых из них в принципе). В старых версиях Google присутствовал инструмент, используемый для отображения краулингового бюджета. Вы по-прежнему можете найти его в Google Search Console, выбрав Legacy tools and reports > Crawl Stats.
В представленном выше отчете видно, что в среднем Google совершает обход 7900 страниц сайта в день. На основании этого можно рассчитать, что краулинговый бюджет на месяц составляет около 240 000 единиц.
Технически вы можете повлиять на фактор скорости обхода, но только в меньшую сторону. Вы можете настроить предельное значение скорости обхода в случае, если Googlebot направляет слишком много запросов в секунду, что замедляет ваш сервер. И напротив, при обнаружении низкого показателя обхода попробуйте отправить карту сайта (при наличии большого количества новых URL) или запросить индексирование с помощью URL inspection tool (если URL немного). Как правило, чем чаще вы публикуете записи в блоге, тем чаще Googlebot посещает ваш сайт.
- Обратите внимание на нерабочие ссылки. Когда поисковой бот натыкается на страницу 4XX/5XX, единица вашего краулингового бюджета расходуется впустую. Именно поэтому важно найти и устранить все поврежденные ссылки на вашем сайте. Полный список таких ссылок можно просмотреть в WebSite Auditor в разделе Site Audit > Links, нажав на Broken links.
Поврежденные ссылки не только расходуют краулинговый бюджет, но и сбивают с толку посетителей и снижают вес ссылок. Важно помнить, что поврежденные ссылки могут скрываться не только в тегах <a>, но и в тегах <link>, HTTP-заголовках и картах сайта. Полный список всех ресурсов с кодами отклика 4xx/5xx можно найти на панели All Resources в приложении WebSite Auditor. Нажмите Internal resources и отсортируйте список по параметру HTTP Status Code, щелкнув по заголовку столбца. Теперь нажмите на любой из поврежденных ресурсов, чтобы определить, где скрываются ведущие на него ссылки.
- Устраните проблемы, связанные с цепочками переадресации. Каждая ссылка с переадресацией, по которой переходит бот поисковой системы, расходует единицу вашего краулингового бюджета. Кроме того, если на вашем сайте присутствует слишком много ссылок с переадресацией типов 301 и 302 подряд, то в определенный момент краулеры перестанут по ним переходить, так и не добравшись в итоге до конечной целевой страницы.
В WebSite Auditor можно найти полный список ссылок с переадресацией, а также список цепочек переадресации на вашем сайте. Откройте панель Site Audit и проверьте наличие переадресации типов 302 и 301 и длинных цепочек переадресации.
- Ограничьте индексацию страниц, не имеющих ценности для SEO-оптимизации. Подумайте о том, какие страницы вашего сайта не имеют значения для построения рейтинга на странице выдачи: политика в отношении личных данных, условия и положения, старая реклама и т.д. Такая информация нужна для маркетинговых целей и находится обычно в футере или вообще где-то глубоко на сайте на расстоянии большого количества кликов. Все подобные страницы — потенциальные кандидаты на исключение из индексации.
Для того, чтобы узнать больше подробностей об оптимизации краулингового бюджета, изучите наше полное руководство.
Определив величину краулингового бюджета, вы, вероятно, начнете думать о том, как использовать его с максимальной эффективностью. Эти мысли приводят нас к следующему этапу технической SEO-оптимизации: устранению SEO-факторов, расходующих краулинговый бюджет.
7. Удалите дублирующийся контент
Дублирующийся контент может принести вам много головной боли и точно не принесет рейтинги. Чтобы понять, есть ли на вашем сайте такие страницы, откройте раздел On-page в WebSite Auditor на панели Site Audit. Обратите внимание на страницы с ошибками Duplicate titles и Duplicate meta descriptions — если заголовки и мета-описания дублируются, то, скорее всего, контент на этих страницах тоже будет одинаковый.
Избавьтесь от всех дублирующихся страниц, от которых вы можете избавиться. Если страницу необходимо сохранить, то хотя бы скройте ее от поисковых ботов. С точки зрения экономии краулингового бюджета каноничные URL не особо помогают: поисковики будут по-прежнему находить дублирующуюся информацию и каждый раз расходовать впустую единицу краулингового бюджета. Если оказалось, что, несмотря на дублирующиеся заголовки и мета-описания, контент на страницах разный, то не поленитесь переписать эти заголовки и мета-описания.
8. Оптимизируйте скорость загрузки страниц
По стандартам Google, быстрым считается тот сайт, страницы которого загружаются за две секунды или быстрее, и компания официально подтвердила, что скорость загрузки сайта является фактором, влияющим на рейтинг. Скорость сайта имеет огромное значение для пользовательского опыта (UX): медленные страницы имеют более высокий процент отказов и низкие показатели конверсии.
Скорость страницы — не просто один из главных приоритетов Google; она также является фактором формирования рейтинга для результатов поиска на ПК и мобильных устройствах. Для того, чтобы проверить, проходят ли ваши страницы тест на скорость от Google, откройте ваш проект в WebSite Auditor и выберите Content Analysis > Page Audit. Добавьте URL, который вы хотите проверить, и целевые ключевые слова. Программа проанализирует страницу с точки зрения внутренней и технической SEO-оптимизации. Перейдите в раздел Technical factors и промотайте страницу на раздел Mobile Friendliness and Page Speed, чтобы увидеть список возможных технических проблем. Инструмент для аудита рассчитывает SEO-рейтинг скорости страницы на основании показателей Web Core Vitals от Google.
Если ваша страница не проходит какие-либо аспекты теста, вы увидите подробную информацию о проблемах и рекомендации по их исправлению в правой части экрана.
Еще один источник данных о скорости вашего сайта — Google Analytics. Вы можете найти отчет со всей необходимой аналитикой и рекомендациями касательно скорости страниц в модуле Behavior > Site speed.
9. Оптимизируйте ваши страницы для мобильных устройств
В 2018 году, спустя полтора года скрупулезных экспериментов и тестов, Google начал перевод сайтов на индексирование mobile-first: новые алгоритмы заставляют поисковики обходить мобильные версии сайтов, а не их полные версии. Это буквально означает, что мобильная версия ваших страниц определяет их рейтинг в выдаче как на мобильных устройствах, так и на обычных ПК. В настоящий момент индексирование mobile-first используется для всех новых сайтов по умолчанию (новых в сети или ранее не индексируемых Google). Что касается более старых или существующих сайтов, Google также отслеживает и оценивает страницы на основании передовых практик mobile-first индексации.
Ниже приведен список самых важных аспектов, которые следует принимать во внимание при аудите мобильного сайта.
- Проверьте страницы на совместимость с мобильными устройствами. Тест Google на совместимость с мобильными устройствами включает ряд критериев удобства, в том числе — конфигурацию поля видимости, использование плагинов и размер текста и активных элементов. Совместимость с мобильными устройствами оценивается для каждой конкретной страницы, поэтому каждый лендинг нужно проверять на совместимость отдельно. Вы можете быстро выполнить проверку в WebSite Auditor — тест Google на совместимость с мобильными устройствами встроен прямо в инструмент. Откройте модуль Content Analysis > Page Audit в вашем проекте, выберите страницу, которую вы хотите проанализировать, и введите целевые ключевики. После завершения анализа обратите внимание параметр Mobile friendly в разделе Mobile Friendliness and Page Speed на предмет возможных ошибок или предупреждений.
- Проанализируйте SEO мобильной версии вашего сайта. Прохождение мобильного теста Google всеми вашими важными страницами — неплохое начало, но впереди еще много аспектов анализа. Полный SEO-аудит мобильного сайта — отличный способ убедиться, что все важные страницы доступны для Googlebot и не содержат ошибок.
Для выполнения полной проверки мобильного сайта необходимо запустить его обход с использованием индивидуальных настроек пользовательского агента и файла robots.txt. В WebSite Auditor откройте панель Pages и нажмите кнопку Rebuild Project. На следующем этапе включите продвинутые опции и проверьте наличие флажка Follow robots.txt instructions; в выпадающем списке рядом с ним выберите Googlebot-Mobile. Ниже установите флажок Crawl as a specific user agent. В выпадающем списке выберите второй по счету пользовательский агент:
Google использует этот пользовательский агент для обхода мобильных версий страниц. Инструмент проанализирует SEO мобильной версии сайта. Помните, что все обнаруженные вами проблемы с SEO могут повлиять на рейтинги как полной, так и мобильной версии устройства, поэтому нужно также изучить факторы, традиционно влияющие на SEO, например, цепочки перенаправления, поврежденные ссылки, тяжелые ресурсы, дублирующиеся или пустые теги заголовков и мета-описания, и так далее.
Полное руководство по SEO для мобильных версий сайтов можно найти здесь.
10. Изучите карту вашего сайта
Само собой, вы прекрасно знаете, как важна карта сайта. Этот файл рассказывает поисковикам о структуре сайта и помогает им найти новый контент. Если у вас нет карты сайта, то стоит создать ее прямо сейчас. Это можно сделать в WebSite Auditor на панели Pages, нажав кнопку Sitemap.
Проверьте карту вашего сайта. Она должна быть:
Чистой. Карта сайта не должна содержать ошибок, перенаправлений и URL, защищенных от
индексации; в противном случае поисковики могут просто проигнорировать карту сайта, словно ее не существует.
Актуальной. Обновляйте карту сайта каждый раз при добавлении или удалении контента — это
поможет поисковикам быстрее находить новый контент.
Лаконичной. Google не смотрит на карты сайтов, содержащие более 50 000 URL. Технические
эксперименты в области SEO демонстрируют, что более короткие карты сайтов повышают эффективность обхода. Если в
вашем сайте больше 50 000 URL, и все они должны быть проиндексированы, то можно сгенерировать файл
индексации карт сайта (sitemap index file), в который помещаются все имеющиеся карты сайтов. Этот файл также
имеет ограничения — не больше 50 000 сайтмапов.
Зарегистрированной в Search Console. Расскажите Google о карте вашего сайта. Вы можете
предоставить ее вручную в
Google Search Console или задать ее расположение в файле robots.txt следующим образом:
Sitemap: http://yourdomain.com/sitemaplocation.xml
Помимо технической проверки сайта инструменты Webmaster в Website Auditor позволяют вам быстро создать карту сайта, а также файл robot.txt. Подробную информацию о картах сайтов можно найти в руководстве Google.
11. Добавьте структурированные данные
Структурированные данные — универсальный языковой формат, помогающий поисковикам понять, о чем ваша страница. Они используются для контента, организованного особым образом, включая отзывы, списки, вопросы и ответы, и позволяют Google демонстрировать этот контент сразу на странице выдачи. Такие сниппеты привлекают больше трафика, повышают процент переходов и в конечном итоге улучшают рейтинг вашего сайта.
Просмотреть свои структурированные данные можно в Google Search Console. URL inspection tool предоставляет сведения о сниппетах с дополнительными данными, а также структурированных данных, не поддающихся синтаксическому анализу. Эту информацию также можно найти в инструменте Website Auditor на вкладке Pages > Open graph and structured data markup.
Существует несколько разных способов описания структурированных данных, например, Schema.org, JSON-LD или Microdata. Для более подробной информации прочтите наше краткое руководство по SEO-оптимизации, посвященное структурированным данным.
12. Запросите повторную индексацию сайта
В ходе описанной выше проверки сайта будет однозначно обнаружено несколько проблем, требующих исправления. После того, как проблемы будут устранены, вы можете обратиться к Google за повторным обходом, чтобы убедиться, что Google примет во внимание изменения как можно быстрее.
Запросить повторную индексацию обновленных URL можно в Google Search Console с помощью URL inspection tool. Введите URL страницы, которую хотите проиндексировать еще раз, и нажмите Request indexing. Также можно использовать функцию Test Live URL (ранее известную как Fetch as Google), чтобы просмотреть страницу в ее текущем состоянии, а затем запросить индексацию.
Вы должны оценивать ситуации, в которых повторный обход по-настоящему необходим. Так, например, это необходимо после внесения существенных изменений на сайте, если вы перевели сайт с http на https, внедрили структурированные данные или выполнили необходимую оптимизацию контента, или если вы хотите, чтобы срочно опубликованный пост в блоге как можно быстрее отобразился в Google. Считается, что существует ограничение на количество повторных обходов в месяц, так что не злоупотребляйте. Повторный обход может занять от 10 минут до нескольких недель. Лучшая альтернатива повторному обходу — представление существенных изменений через карту сайта. Но даже в этом случае Google не гарантирует правильную индексацию всех страниц, особенно если сайт очень большой.
Похожая опция доступна и в Bing Webmaster Tools. Найдите раздел Configure My Site на панели и нажмите Submit URLs. Введите URL, который вы хотите повторно проиндексировать, и Bing выполнит его обход, что, как правило, занимает несколько минут. Инструмент позволяет направлять до 10 000 URL в день для большинства сайтов.
Выполняйте регулярную проверку сайта
Любые сетевые изменения могут повлиять на рейтинг самым непредсказуемым образом. Именно поэтому регулярный технический SEO-аудит является ключом к своевременному обнаружению и устранению проблем (читайте: к спасению рейтинга сайта). Для большего удобства вы можете автоматизировать этот процесс с помощью профессиональной версии Website Auditor: добавьте в программу задачу по предоставлению ежемесячного отчета о SEO-аудите по таким критериям, как, например, трафик, обратные ссылки, и так далее.
