Если вы это загрузили — сверьтесь с robots.txt: путь /deny-bot мог быть запрещён для вашего агента.
/deny-bot