Otimizando o rastreamento dos bots
O que você pensa no momento em que ouve as palavras "search engine optimization"?

O que você pensa no momento em que ouve as palavras "search engine optimization" ou apenas SEO? Com certeza, sua mente vai lembrar de ranqueamento, de palavras-chaves, de design e de um fluxo constante de conteúdo com qualidade acima da média.  

No entanto, você não deve estar preocupado apenas com esses termos e muitos outros que estão relacionados ao SEO. É preciso pensar que o Crawl Rate Optimisation não só pode como deve ser otimizado.

Então, diante desse quadro, faz-se necessário questionar: como Crawl Rate Optimisation se sobrepõe ao SEO e o que os websites podem fazer para melhorar sua taxa de rastreamento?

O que é um Crawl Rate Optimisation?

Os mecanismos de pesquisa e os serviços da WEB utilizam bots para rastrear a web. Há quem os chame de spiders, mas a função independentemente do nome é: rastrear páginas da Web, coletar informações e adicioná-las ao índice. Esses spiders também detectam links nas páginas que visitam e tentam rastrear essas novas páginas também.

Os bots mais conhecidos são: o Googlebot ou o Bingbot. Ambos têm a função de encontrar novas páginas e adicioná-las no índice do Google ou da Microsoft.

Boa parte das ferramentas de SEO e outros serviços da Web também dependem de spiders para coletar informações.

O número de vezes que um spider de mecanismo de pesquisa rastreia seu website em um determinado período é o que chamamos de "Crawl Rate Optimisation". Portanto, se o Googlebot acessar seu site 32 vezes por dia, podemos dizer que seu Crawl Rate Optimisation do Google é aproximadamente 960 por mês.

No entanto, você pode estar perguntando: Crawl Rate Optimisation é o mesma coisa que SEO?

Sim e não. Embora os dois tipos de otimização visem tornar sua página mais visível e possam afetar seus SERP’s, o SEO enfatiza mais a experiência do usuário, enquanto a otimização de spider é totalmente atraente para os bots.

Para conseguir fazer com que sua página seja atraente, será preciso garantir que ela seja rastreada. Sua página pode ser rastreada se spiders de mecanismos de pesquisa puderem encontrar e seguir links em seu website.

A configuração deve permitir que as páginas críticas do seu site não sejam bloqueadas. É possível ainda fornecer versões de texto das páginas que utilizam muito arquivos de mídia.

Arquivos de Rich Media devem ser usados com cautela

É fato que o Google está apto a ler boa parte dos arquivos rich media, porém o mais indicado é usá-los com parcimônia e não usar em páginas onde se objetivo é obter uma boa classificação.

Correntes de redirecionamento devem ser evitadas

O mais indicado nesse caso é fazer o mínimo possível de redirecionamentos no seu site e não fazer mais que dois, pois cada URL que é redirecionada, seu site acaba perdendo um pouco do orçamento destinado ao rastreamento.

URLs dinâmicos devem contar com parâmetros

Os bots classificam URLs dinâmicos que são responsáveis por levar a mesma página como páginas separadas. Sendo assim, isso pode estar motivando um gasto desnecessário com o Crawl Rate Optimisation.

Para mudar isso, o indicado é gerenciar os parâmetros de URL no Google Search Console. Fazendo isso, ficará fácil dizer ao Googlebot se o seu CMS inclui parâmetros aos URLS que não modificam o conteúdo da página.