Ventana mantenimiento urgente entre 00:00 y 07:00 días 12-22 Abril 2012

Una vez recuperados todos los datos y puestas todas las máquinas en funcionamiento de nuevo tenemos que reinstalar la nueva cabina de datos con los nuevos discos.

 

Para realizar esta operación hemos abierto una ventana de mantenimiento entre los días 12 (Jueves) y 22 (Domingo) de Abril para poder realizarlo sin prisa y correctamente. Cada día vamos a migrar un servidor, con lo que la afectación para cada cliente será de entre 2h y 6h y sólo debe ocurrir una vez.

 

Este proceso nos permitirá poner todos los datos bajo control seguro y que el rendimiento de los servidores vuelva a ser el normal.

 

Aclarar que no se perderá ningún correo y que lo único afectado serán los servicios web y FTP de cada máquina durante el proceso de copia de los datos, que será de madrugada para minimizar la afectación.

 

Para cualquier duda, por favor no dudéis en escribirnos a soporte@hachete.com

El Equipo de Hacheté

Fallo en configuración RAID cabina discos

Esta mañana a las 10:47 ha fallado la configuración de los discos espejo de la cabina que habíamos estado intentando diagnosticar este fín de semana tal y como anunciamos aquí:  https://www.statushachete.com/2012/04/04/mantenimiento-planificado-posible-lentitud-dias-04050607-y-08-abril-2012/

 

Esta cabina contiene los datos de varios servidores, incluyendo servidores DNS con lo que, aunque algunos servidores no estén caídos, su disponibilidad es cero (debido al fallo de las DNS).

 

Desde Taiwan el fabricante de la cabina nos ha echado una mano telefónicamente y en remoto y ya tenemos los datos recuperándose, pero al ser tantos (12TB de información), es un proceso lento.

 

Ahora mismo la recuperación va por el 27%.

 

Conforme vaya habiendo cambios en la misma, iremos actualizando este post.

 

Lamentamos las molestias causadas y os aseguramos que estamos trabajando con la mayor celeridad para tener este problema solucionado.

 

— Actualización 19:36 — El proceso va por el 39%.

— Actualización 21:13 — El proceso va por el 53%.

— Actualización 23:16 — El proceso va por el 70%.

— Actualización 00:24 — El proceso va por el 80%.

— Actualización 01:32 — El proceso va por el 90%.

– Actualización 04:41. El proceso se ha quedado estancado en el 98.8%. Pasamos a copiar los datos a mano a una nueva cabina.

 

– Actualización 13:52 10/04/2012: Algunos clientes ya tienen el servicio operativo (por el tema de DNS). Esperamos poder restaurar el resto de servicios a lo largo de la tarde de hoy.

 

– Actualización 20:13 10/04/2012:  La mayor parte de nuestros clientes tienen el servicio DNS restablecido.  Esperamos poder restaurar el resto de servicios a lo largo de la tarde de hoy.

 

– Actualización 07:35 11/04/2012: El 99% de los clientes afectados ya tiene el servicio plenamente operativo. El resto de los servicios esperamos terminar de recuperarlos a lo largo de esta mañana.  Si alguna incidencia/problema persistiera, os rogamos que abráis un ticket de soporte en: http://soporte.hachete.com.

 

– Última actualización 08:24 12/04/2012: El 100% de los clientes afectados ya tiene el servicio plenamente operativo. Ya volvemos a los cauces normales de funcionamiento: si hay alguna incidencia/problema, os rogamos que abráis un ticket de soporte en: http://soporte.hachete.com.

Mantenimiento planificado: posible lentitud días 04,05,06,07 y 08 Abril 2012

Este “fin de semana largo” del 4,5,6,7, y 8 de Abril, entre las 20:00 del Miércoles y las 19:00 del Domingo vamos a realizar tareas de mantenimiento en una de las cabinas de almacenamiento de nuestra red, lo cual implicará que durantes breves períodos de tiempo algunos de nuestros servidores perderán su conectividad.

Tipo de incidencia: mantenimiento planificado

Afectación: todos los servicios en las mencionadas máquinas.

Lamentamos las molestias causadas.

 

Actualización 23:45 05/04/2012:

La cabina está haciendo una comprobación exhaustiva de los 12TB de datos que contiene. Lleva 5h y va por el 25%. Esto es más tiempo que el previsto, pero es un proceso que no se puede cancelar sin riesgo de pérdida de datos.

 

Actualización 03:45 06/04/2012:

La cabina sigue haciendo una comprobación exhaustiva de los 12TB de datos que contiene. Lleva 9h y va por el 50%. Sigue siendo mucho más tiempo del previsto, pero es un proceso que no se puede cancelar sin riesgo de pérdida de datos.

 

Actualización 05:25 06/04/2012:

El proceso de comprobación de los discos sigue en el 50%, pero el rendimiento de la cabina vuelve a estar cerca de sus parámetros normales y todos los servicios vuelven a estar operativos.

Detención servicios entre 11:25 y 13:00 en rango IPs 84.124.52.1-84.124.52.64

Comienzo de la incidencia: 11:25 del 14/02/2012

Finalización de la incidencia: 13:05 del 14/02/2012

Duración de la incidencia: 01:40h

Problema:

– Pérdida de servicios en todos los servidores afectados.

Motivo:

– Rotura placa base router balanceador de conectividad

Afectación:

– Total en todos los servidores y servicios afectados

Solución:

– Reemplazo de router

 

Esta mañana a las 11:25 el servicio de un tramo de nuestra red se ha visto interrumpido completamente.

Tras una consulta con nuestros proveedores de conectividad hemos descubierto que uno de nuestros roúteres que nos balancean la conexión parecía estar funcionando bien, pero no enrutaba paquetes correctamente.

Gracias a que (como siempre para estos casos) teníamos un router de reemplazo, hemos procedido a desmontar el roto y reemplazarlo por el nuevo y, tras unos eternos 45 minutos,  hemos vuelto a dejar su configuración de nuevo operativa y el servicio reestablecido.

Lamentablemente, este problema no es predecible ni insalvable, aunque por la parte de Hacheté hemos hecho todo lo posible por reestablecer el servicio en el menor tiempo posible.

Lamentamos las molestias causadas y si necesitan alguna aclaración adicional, estamos siempre disponibles en soporte@hachete.com

Detención de servicio email en 84.124.52.2 – obelix.hachete.com

Comienzo de la incidencia: 12:30 del 14/02/2012

Finalización de la incidencia: 17:20 del 14/02/2012

Duración de la incidencia: 02:50h

Problema:

– Pérdida de servicio de email en el servidor afectado.

Motivo:

– Corrupción en el listado de usuarios/dominios del servidor

Afectación:

– Parcial e intermitente en varios dominios.

Solución:

– Reemplazo listado usuarios/dominios por copia de seguridad del día anterior

 

Esta mañana, sobre las 12:30 hemos detectado que uno de nuestros servidores específicos antispam (84.124.52.2) no podía enviar ni recibir emails. En principio parecía que el servicio se había colgado, pero tras un reinicio de la máquina, éste no parecía funcionar.

Al reiniciarse la máquina, ha detectado “nuevo hardware”, cuando éste no había sido añadido. Tras reconfigurar las tarjetas de red hemos pensado que éstas podían ser las causantes del problema, con lo que las hemos reemplazado por unas nuevas.

Las tarjetas tampoco eran el problema, con lo que hemos tenido que restaurar toda la configuración del servidor de email e ir comprobando uno a uno todos los archivos que contenían configuración hasta que nos hemos dado cuenta que el correspondiente al listado de usuarios/dominios estaba corrupto y por eso el servidor no respondía.

No se ha perdido ningún email, pero sí que se ha producido retraso en la entrea y envío de los mismos.

Lamentamos las molestias causadas.

Mantenimiento planificado 4-5 Febrero 2012

Este fin de semana del 4 y 5 de Febrero, entre las 19:00 del Sábado y las 19:00 del Domingo vamos a realizar tareas de mantenimiento en nuestra red, lo cual implicará que durantes breves períodos de tiempo algunos de nuestros servidores perderán su conectividad.

Tipo de incidencia: mantenimiento planificado

Afectación: todos los servicios en las mencionadas máquina.

 

Lamentamos las molestias causadas.

Detención servicios en 84.124.52.16

Estimado cliente,

Debido a nuestro ciclo de reemplazo de hardware trianual, la máquina con IP 84.124.52.16  será detenida y reemplazada por una completamente nueva el dia 06/01/2012  sobre las 20:00. La operación no debería llevarnos más de 2h.

Lamentamos las molestias causadas.

Tipo de incidencia: mantenimiento planificado

Tiempo de reparación (aprox): 2h

Afectación: todos los servicios en la mencionada máquina.

Detención de servicios DNS en 84.124.52.15 – garfield.hachete.com

Comienzo de la incidencia: 09:10 del 03/12/2011

Finalización de la incidencia: 10:35 del 03/12/2011

Duración de la incidencia: 01:25h

Problema:

– Pérdida de conectividad intermitente en algunos servidores.

Motivo:

– Fallo en servidor DNS

Afectación:

– Parcial e intermitente en varios dominios.

Solución:

– Reinicio servicios DNS en servidor afectado

Lamentamos las molestias causadas.

Trabajos planificados 26/10/2011 01:30-03:30

El próximo Miércoles 26/10/2011 uno de nuestros proveedores de conectividad va a realizar trabajos planificados en las cabeceras de red de Zaragoza y Murcia y éstos nos afectarán. En principio no han de superar los 5-10 minutos, pero hemos abierto una ventana de operaciones entre las 01:30 y las 03:30 (CET) para curarnos en salud.

 

No se perderá ningún email, aunque algunos servicios web sí que se podrían ver afectados .

 

Lamentamos las molestias causadas.

 

El Equipo de Hacheté

Cortes intermitentes en servicios

Comienzo de la incidencia: 06:30 del 19/10/2011

Finalización de la incidencia: 09:30 del 19/10/2011

Duración de la incidencia: 03:00h

Problema:

– Pérdida de conectividad intermitente en algunos servidores.

Motivo:

– Tras varias pruebas, se ha reemplazado un switch y todo su cableado para su diagnóstico.

Afectación:

– Parcial e intermitente en varios servidores.

Solución:

– Reemplazo de un cableado y un switch y monitorización de servicios afectados.

Lamentamos las molestias causadas.

El Equipo de Hacheté Diseños Web