Explicação Detalhada
O arquivo robots.txt é a porta de entrada de qualquer site para crawlers. É por meio dele que um e-commerce bloqueia o Googlebot de rastrear áreas restritas (como painel do cliente, carrinho e políticas internas), preservando o Crawl Budget.
Na era do GEO, o robots.txt ganha atenção redobrada: muitos sites o utilizam para bloquear ou permitir deliberadamente rastreadores de Inteligência Artificial, como o GPTBot (da OpenAI) e o Google-Extended (do Gemini).