¿Cómo afectan los errores 500 a la indexación en Google?

Los errores 500 (Internal Server Error) es un código de estado HTTP general que significa que el servidor del sitio web ha tenido algún tipo de problema al cargar la página web, aunque no puede especificar cuál es este problema, ya que es desconocido.
Los errores 500 tienen como principal causa un error de comunicación entre el navegador y el servidor, y se puede dar por varias causas comunes.
Este problema puede tener muchas causas diferentes, que van desde un problema con la conexión a Internet del usuario a faltas de permisos en el navegador, o incluso una caída de la energía en los servidores donde se aloja el sitio web. Del mismo modo, este error tiene muchas soluciones posibles; desde refrescar el navegador a borrar el historial de navegación, las cookies y el caché a problemas con el archivo .htaccess.
A pesar de ser problemas relativamente sencillos, estos pueden afectar a la indexación de las páginas y sitios web, ya que, si cuando las «arañas» de Google van a escanear un sitio web se encuentran con un error 500, es posible que etiqueten el sitio como «poco fiable» y no lo analicen con la periodicidad correcta, por lo que su contenido no se indexara correctamente.
Para descubrir si un sitio web tiene problemas con errores 500, es posible acceder a los informes de indexación de Google Search Console, donde se mostrarán todos los errores como los 200, 300, 400 y 500. Para Google, cualquiera de estos errores es un indicador de que «algo va mal» en el sitio, por lo que lo ideal es solucionar cualquiera de ellos lo más rápidamente posible.
Por suerte, los errores 500 están catalogados como «errores suaves» por lo que Google no penaliza a las páginas o sitios web que los sufren. Al contrario, cuando Googlebot quiere analizar una página y se encuentra con un error 500, en lugar de etiquetar el error, lo que hace es esperar y volver a ella más tarde.
Si tras varios intentos, las arañas de Google se encuentran con el mismo error una y otra vez, entonces lo que hacen es aumentar el tiempo entre cada escaneado. Si el error persiste, entonces Google elimina la página web de la indexación.
Google considera que, si una gran parte de las páginas que forman un sitio web tienen errores 500 a lo largo de un periodo prolongado de tiempo, el problema puede ser una mala configuración del archivo Robots.txt en el que se esté bloqueando el acceso al Googlebot.
Para aquellos usuarios que deseen ampliar información sobre cómo Google trata los errores 500 en los sitios web, a continuación pueden completa la charla de John Mueller con los usuarios en la que ofrece detalles sobre este y otros problemas: