Просмотр файла robots.txt из корня сайта и анализ страницы на наличие запретов индексации в META тегах и в теле страницы.
Скрипт ищет теги noindex и атрибуты тегов nofollow. Для анализа введите адрес страницы сайта. Можно выбрать User Agent,
в остальном скрипт посылает стандартные заголовки.
URL начинается с http://