Простыми словами о словах, которые постоянно встречаются в теме индексации.
Добавление страницы в базу поисковика. Только проиндексированные страницы могут появиться в выдаче.
Заход бота поисковика на страницу и считывание её содержимого. Первый этап перед индексацией.
Внешняя ссылка с другого сайта на ваш. Влияет на авторитет, но только если её обошёл и учёл поисковик.
Карта сайта, список страниц для поисковика. Помогает боту быстрее находить новые страницы.
Протокол, которым сайт сообщает поисковикам (Bing, Яндекс и другим) о новой или изменённой странице.
Указание не добавлять страницу в индекс. Задаётся мета-тегом robots или заголовком X-Robots-Tag.
Файл в корне сайта с правилами обхода. Может запрещать ботам заходить в определённые разделы.
Указание основной версии страницы среди дублей. Поисковик индексирует именно её.
Сколько страниц бот готов обойти за визит. На больших сайтах его важно расходовать на нужные страницы.
Краулеры ИИ-поиска: GPTBot, PerplexityBot, ClaudeBot и другие. Собирают контент для ответов ИИ.