Краулинг и индексация: в чём разница
Почему бот зашёл на страницу, а в поиске её всё равно нет, и что здесь от вас зависит.
Эти два слова часто путают, но это разные этапы. Понимание разницы экономит время при разборе проблем.
Краулинг (обход)
Это когда бот поисковика заходит на страницу и считывает её содержимое. На этом этапе вы можете повлиять напрямую: сделать страницу доступной, дать на неё ссылки, сообщить о ней поисковику. Именно обход ускоряют сервисы индексации, включая aitunz.
Индексация
Это когда поисковик решает добавить страницу в свою базу, после чего она может появиться в выдаче. Решение принимает сам поисковик на основе качества, уникальности и пользы. Гарантировать индексацию не может никто, кто обещает 100 процентов, лукавит.
Почему бот зашёл, а страницы в поиске нет
Частая ситуация: обход случился, но индексации нет. Значит этап обхода вы прошли, а дальше вопрос к контенту и сигналам. Проверьте noindex, canonical, уникальность и ценность страницы.
Вывод простой: вы отвечаете за то, чтобы бот дошёл и страница была открыта. Поисковик отвечает за решение об индексации. aitunz берёт на себя первую часть и честно показывает, какие боты уже обошли каждую вашу ссылку.