La home de mi web ha desaparecido de Google.. Y ahora que hago?

Saludos a todos los que me leéis por primera vez. Soy Pablo Clavero, llevo algunos años trasteando con páginas web (o sea que soy algo viejete), y ahora trabajo de consultor de marketing online en Glissmarket Interactive.

Durante mi vida he tenido relación con empresas de alimentación, así que hace 2 años pensé que podía montar una tienda online donde vender productos de alimentación. Había leído una frase en un grupo de LinkedIn sobre los ecommerce, que decía que había que elegir un nicho que fuera “amazon proof”, y entonces pensé que Amazon no se metería en la logística en frío. Ahora me como mis palabras.

En resumen, lo que monté y sigue funcionando a día de hoy es BenKebab.com, una tienda online de productos de kebab. Funciona razonablemente bien, es un nicho no muy explotado, y tiene una cartera de clientes bastante fieles.

Desde el principio pensé que el SEO sería la mejor forma de ganar clientes, y como el nicho no era muy competido, me puse a ello. Tras un tiempo de trabajo, a día de hoy tengo buenos rankings para bastantes keywords transaccionales, lo que me reporta una fuente estable de clientes nuevos.

El momento de pánico donde empieza mi periplo

Pero un Lunes llegué a la oficina, y me encontré con un panorama que me hizo tragar saliva unas pocas de veces.. Abro SEMrush, voy a mi panel para ver mis posiciones y me encuentro que he bajado un 75% en el índice de visibilidad… Aaarrrghhhh… ¿Eso como es?

La mayoría de keywords en las que tenía TOP 3 habían bajado a TOP 8-10 o incluso segunda página… No puede ser… Hago la búsqueda en Google para una de las keywords, y lo que sale en posición 8 es una página de categoría, cuando la que rankeaba era la home (que es la que tiene la mayoría de los enlaces entrantes).

Sigo haciendo más búsquedas, para otras keywords, y el mismo panorama. ¿Donde se ha metido mi home? Google me la ha desindexado!!

Para terminar de comprobarlo, hago una búsqueda tipo “ site:benkebab.com”, y confirmado, ni rastro de la home.

Motivos por los que se puede desindexar una página

En ese momento, me pongo a pensar en lo que ha podido pasar:

  1. Penalización. Es improbable porque el perfil de backlinks es bastante limpio, no he comprado enlaces, y todo es muy natural. Tampoco hago keyword stuffing (repetir la misma keyword muchas veces).
  2. Noindex. No se me ocurriría poner una etiqueta de “noindex” en la home ni de coña, pero Dios sabe qué pueden hacer los plugins cuando haces actualizaciones. No he instalado plugins nuevos, ni tema nuevo, pero de todas formas chequeo el código y ni rastro de “noindex” o de “nofollow”.
  3. Sitio hackeado. Compruebo el plugin de defensa que tengo instalado, y no hay actividad más extraña que la de todos los días.
  4. Search Console. Esta herramienta de Google es la crema, quien no la tenga debería dejar de leer esto y activarla, pero ya. En Search Console no aparece nada raro, ningún problema de seguridad, ninguna advertencia, las estadísticas de rastreo normales..
  5. Problemas en el hosting. La web se carga bien, le paso los tests de velocidad Google Pagespeed y GTMetrix, y todo aparece con normalidad. La home está normal, sólo que no aparece en el índice de Google.

Tras estas pruebas, me planteo darle solución al tema, y tengo 2 opciones:

  1. Seguir investigando, preguntar a expertos (lanzo un tweet a los cracks del SEO nacional por si alguno sabe algo)
  2. Pedir reindexación de la página y rezarle a San Antón que me la indexe de nuevo lo más rápido posible.

Así que para ir a lo práctico, y pensando que tiempo que la home no estuviera en primeras posiciones, son ventas que podría perder en la tienda online, me dispongo a pedir reindexación.

Cómo solicitar la indexación de una URL en Google Search Console

Si no sabéis como pedir la reindexación de una URL (o la indexación de una nueva), es algo bastante sencillo si lo haces a través de Search Console. Te vas al menú de la izquierda Rastreo > Explorar como Google , y ahí le insertas tu URL (sin el dominio que ya lo lleva puesto). Al ser la home, dejo la caja en blanco, y le doy a Obtener y procesar.

explorar como google

Google rastrea la página bastante rápido, en cuestión de minutos, y ahí mismo te aparece la URL solicitada con un botón que pone “Solicitar indexación”. Le damos a la tecla y a cruzar los dedos. El procedimiento lo hago tanto para Escritorio como para Móvil, por si las moscas.

resultado indexacion

 

Algo raro pasa con mi homepage, y Google se ha dado cuenta

Pasado un rato, compruebo en la misma página y aparece el estado del proceso donde me pone “Completada parcialmente”. Si te vas a la derecha del todo y clickas la flecha, se abre una página donde te informan más a fondo sobre lo que han encontrado.

En mi caso, aparece lo siguiente:

Resultado de la indexacion parcial
Ostia tú, ahí hay algo. Al parecer, un javascript de Google Adwords está bloqueado por robots.txt. Busco información sobre eso y aparentemente es lo normal, es el javascript que te registra las conversiones asíncronas en Adwords, por ejemplo, cuando alguien añade un producto al carrito (sin cargar una página nueva). Y ahí mismo dice que el nivel de gravedad es bajo, así que no debe ser eso.

¿Es Zopim la causa de que se desindexe una página?

Y el resto del listado, todo se lo lleva Zopim. Llevo bastante tiempo usando Zopim (la versión gratuita), porque queda bastante chulo poder hablar con los posibles clientes mientras están visitando la tienda y le surgen dudas. Además, puedes visualizar (al estilo de Tiempo Real en Google Analytics) quién está visitando la página, de donde viene, de qué país, o área geográfica, etc…

Me resulta bastante raro que eso pueda afectar a que Google desindexe esa página, en concreto la home, aún más cuando Zopim te aparece en todas y cada una de las páginas de la web, y lleva funcionando como un año sin problema. Igualmente busco información sobre problemas SEO derivados de usar Zopim (o Zendesk Chat como lo llaman ahora), y ni rastro (wtf, esto me pasa a mi sólo?).

En fin, que pasa el día, sigo mirando y los rankings siguen igual, la home desaparecida.

Viene la ayuda de primer nivel

Los cracks del SEO nacional a los que había consultado en Twitter, y desde aquí quiero dar las gracias a Sr. Muñoz, Mª Jose Cachon, Luis M. Villanueva y Romuald Fons, me contestan que “raro, raro…”, y Sr. Muñoz me dice que a él le había pasado algo similar días atrás y cambió de Tema WordPress por si las moscas.. Romuald también me dice que le ha pasado a varias de sus webs pequeñas (habrá que pensar lo que entiende él por pequeñas, jeje), y que le mantenga actualizado sobre el tema.

Sin tener otra cosa que mirar, pasa la noche (una de las que menos he dormido en los últimos meses), y cuando al día siguiente llego de nuevo a la oficina… VOILÁ… La home está de nuevo indexada y más o menos en su sitio (gracias San Antón por si has intervenido).

En las gráficas de SEMrush se ve el tortazo del día anterior, del que no me he recuperado del todo:

efectos desindexacion semrush

Todavía tengo que dejar pasar unos días a ver si recupero totalmente las posiciones, pero imagino que el bajón será porque la home transmite mucho link juice a las páginas interiores, y eso ha tenido que afectar también a las demás en pérdida de posiciones. Según SEMrush, tras el día fatídico he subido posiciones en 6 keywords y he bajado en 35. A ver los días siguientes si cambia. Romuald me comenta también que cuando le pasó a sus webs, tras volver a indexar perdió algunas posiciones.

La autopsia para descubrir al culpable

A pesar de haber recuperado las posiciones, no me quedo tranquilo, así que me pongo a investigar un poco más. Pienso que la mejor forma de saber lo que ha pasado es recurrir a los logs, así que me pongo en contacto con mi hosting y me pasan los archivos de logs del último mes.

Hay varios programitas para analizar los logs fácilmente, como Screaming Frog Log Analyzer, pero la versión gratuita de esta herramienta solo permite analizar 1.000 registros, y por poco que tengas una web concurrida, vas a superar esos registros en un par de días. Así que convierto los archivos a CSV y los importo a una hoja de cálculo Excel para mirar con lupa.

analisis de logs con excel

Con los logs en Excel hay que hacer un par de ajustes para que se puedan trabajar bien los datos. Cuando ya están a mi gusto, empiezo a lanzar tablas dinámicas para ver qué bots visitan mi página, con qué frecuencia, y las respuestas que da el servidor. Lo primero, un susto: Googlebot obtiene 168 respuestas 404 en sólo 1 día de la semana anterior. Debe ser eso!! Cuando lo miro mejor, resulta que es un fake, es decir, un bot que se hace pasar por Google pero que en realidad no lo es, y está ahí para “tocarte un poco las narices” o por motivos peores que ahora mismo no me quiero ni plantear.

Lo único que encuentro es una disminución significativa de las visitas de Googlebot el Domingo, justo el día antes de la desindexación. ¿Le dan descanso los domingos al robot de Google? Va a ser que no… Pido también los gráficos de actividad a mi hosting, y resulta que los domingos hay unos crons y reinicios programados de mi servidor para actualizar paneles de control, estadísticas y realizar backups. No podemos concretar el tiempo real de “downtime”, pero sospecho que puede estar cerca de los 20 minutos.

De forma que, a falta de más información, mi teoría es que Googlebot ha visitado mi web justo en el momento de los crons semanales, no ha obtenido respuesta, y ha pensado que había borrado mi homepage, de forma que también la elimina del Index.   Que estricto nos ha salido este bot,  no nos deja respirar ni un minuto…

La moraleja de todo este asunto

En resumen, que de esta experiencia puedo sacar las siguientes conclusiones:

  1. El Search Console es la herramienta más importante para el SEO, y te puede sacar de un apuro pero que muy gordo, y en tiempo record.
  2. Hay que poner un poco el ojo sobre Zopim – Zendesk Chat, por si el chorro de Javascript que te mete en la web hace que el robot de Google se vuelva tarumba y pase de indexarte la página.
  3. Tener un buen hosting es fundamental. No es que el mío sea malo, en absoluto, pero precisamente esos trabajos de cron y que el servidor no haya aguantado y haya tenido que reiniciar, puede provocar que Google te desindexe páginas, o que el crawl budget de té para muy poco…
  4. No es buena idea que tu negocio dependa única y exclusivamente del tráfico orgánico, pues te puede pasar algo como esto (o una penalización), y amigo, te han tumbao el chiringuito. Mejor tener fuentes de tráfico diversificadas, y si tienes problemas con alguna de ellas, no te afectará tanto en el corto plazo.

Y para despedirme, me encantaría deciros que escribiérais en los comentarios, ya que yo me he montado mi teoría pero no estoy seguro al 100% de que sea este el motivo por el que desindexaron la home de mi web. No os cortéis en escribir y si me tenéis que llamar merluzo por alguna cagada que haga, pues adelante, que estoy para aprender todo lo que pueda. Muchas gracias a los valientes que hayan leído hasta aquí….