Algunos sistemas están experimentando problemas

Acerca de este sitio

Waugi Cloud y su transparencia con el cliente: Creemos que uno de los pilares fundamentales para construir una alianza tecnológica es la transparencia. Es por eso que hemos desarrollado e implementado nuestro gestor de tareas de forma pública.

Aquí podrás observar los mantenimientos, incidentes, mejoras, actualizaciones y todos los trabajos de nuestro equipo de soporte día a día. El sistema se actualiza automáticamente cada 240 segundos.

Soporte: [email protected]

Trabajos anclados

miércoles 21 febrero

IFX (Argentina) [Incidente] Datacenter IFX

Nuestro equipo de soporte ha detectado una falla energética en el datacenter de IFX, lo que resultó en la pérdida de energía en los routers de borde, switches y servidores.

Estamos colaborando con el proveedor IFX Networks para investigar el incidente y estamos trabajando en la restauración gradual de los servicios afectados.

  • Se ha iniciado el ticket TT191321022024
  • Nuestros routers de borde, switches y servidores han sido restablecidos y están nuevamente en línea.

    Estamos a la espera del informe RFO por parte del centro de datos de IFX Networks para obtener detalles precisos sobre lo sucedido.

    • El ticket TT191321022024 permanecerá abierto, y nuestros sistemas seguirán siendo monitoreados.
  • lunes 19 febrero

    AntiDDoS: ZEUSfirewall-6 [Incidente] ZEUS-06 firewall

    Nuestro equipo de soporte detectó que las protecciones de intrusión no se estaban ejecutando correctamente en el firewall con ID: zeus-06.

    Iniciamos el ticket: 190220241113

  • Aplicamos correcciones y ahora las reglas se están ejecutando correctamente.

    Además, hemos actualizado el kernel y la versión de nuestro firewall a 1.0.9.

  • miércoles 10 enero

    [Incidente] Storage: SSD960-1 en esxi-mr-robot

    Nuestro equipo de soporte detectó una desconexión en una unidad de almacenamiento SSD en el Storage con ID: esxi-mr-robot.

    • No hay servicios afectados; todo está funcionando bien. Desactivamos y aislamos la unidad afectada.

    Unidad afectada, Estado: fallido, número de serie: 50026B7783A48ACA, ubicación: Puerto 1, Caja 2 Bahía 1, firmware: SBFKK1C3

    Programaremos un mantenimiento más adelante e informaremos el día y la hora para retirar la unidad afectada y reemplazarla.

    • Ticket de seguimiento: TT130510012024, el ticket permanecerá abierto hasta finalizar el caso.
    [Mantenimiento] esxi-mr-robot

    Nuestro equipo de soporte técnico estará realizando la actualización de rutina sobre el ESXi con ID: esxi-mr-robot.

    • No esperamos degradación.

    Ticket TT094810012024

  • Cerramos ticket TT094810012024

  • Actualización build: 22380479, ok.

  • jueves 10 agosto

    Network Core: IFX networks Incidente en Unidad SSD sobre ID: mr-robot.waugi.cloud

    Reporte de Incidente Detectado - RID

    Fecha: 10/08/2023 Ubicación: Centro de Datos IFX, Capital Federal.

    Resumen del incidente

    Inicio: 09:15, 10/08/2023
    En la mañana de hoy, hemos detectado un incidente en uno de nuestros servidores en el centro de datos IFX. Una unidad de estado sólido (SSD) en el servidor host ESXi con ID: mr-robot.waugi.cloud ha dejado de responder. Estamos actualmente investigando este problema para determinar su causa y tomar las medidas necesarias.

    Detalles del incidente

    A partir de las 09:15, comenzamos a recibir alertas indicando que una de las unidades de estado sólido (SSD) sobre el servidor host ESXi con ID: mr-robot.waugi.cloud no estaba respondiendo. Después de una revisión inicial, identificamos que la unidad de estado sólido (SSD) se desconectó.

    Actualmente estamos llevando a cabo un análisis exhaustivo para comprender la naturaleza exacta de la falla y determinar si es un problema a nivel de hardware o si está relacionado con el sistema operativo y los datos almacenados en la unidad.

    Tenga la seguridad de que estamos tomando todas las medidas necesarias para abordar este incidente y prevenir su recurrencia en el futuro. La continuidad y la confiabilidad de nuestros servicios son de suma importancia para nosotros y estamos trabajando arduamente para restaurar completamente la funcionalidad normal del servidor afectado.

  • Actualización del Incidente - 11/08/2023, 00:28hs

    Ubicación: Centro de Datos IFX, Capital Federal.

    Estado Actual del Incidente

    Después de una intensa labor, nos complace informar que hemos logrado importantes avances en la resolución del incidente que afectó la unidad de estado sólido (SSD) en el servidor host ESXi con ID: mr-robot.waugi.cloud en el Centro de Datos IFX.

    A las 22:28hs, logramos restablecer exitosamente la conexión con el almacenamiento que había experimentado una pérdida de comunicación. Además, como medida de precaución, hemos procedido a realocar las instancias a otro almacenamiento seguro para garantizar la integridad de los datos y la continuidad del servicio.

    Acciones Realizadas

    Nuestro equipo técnico trabajó de manera conjunta y coordinada para llevar a cabo las siguientes acciones:

    1. Restablecimiento de la Conexión: Se restableció la comunicación con el storage que había mostrado una pérdida de conexión, permitiendo el acceso nuevamente a los datos almacenados en la unidad SSD afectada.

    2. Migración Segura de Instancias: Por medidas de seguridad, se trasladaron las instancias y datos relevantes a otro almacenamiento funcional. Esto asegura la disponibilidad y confiabilidad de los servicios ofrecidos.

    3. Remoción del Datastore Afectado: Como parte del proceso de recuperación, se ha tomado la decisión de remover el datastore afectado para evitar cualquier riesgo potencial en el futuro.

    Próximos Pasos

    Continuaremos trabajando diligentemente para garantizar la completa estabilidad y seguridad de nuestros sistemas. En las próximas horas, se realizarán pruebas exhaustivas para asegurarnos de que todas las instancias y servicios operen sin problemas en el nuevo almacenamiento.

    La resolución de este incidente ha requerido un esfuerzo conjunto y dedicado por parte de nuestro equipo. Agradecemos su paciencia y comprensión mientras trabajamos para restaurar completamente la funcionalidad normal y minimizar cualquier posible impacto.

    Fecha de Actualización: 11/08/2023, 00:28hs

  • Actualización 19:15

    Con el objetivo de resolver este incidente de manera eficiente, hemos organizado el desplazamiento de personal al Centro de Datos IFX. A partir de las 20:00hs de hoy, un equipo estará en sitio trabajando en coordinación con nuestro equipo de TI para restablecer la conexión con el almacenamiento que ha perdido conexión. Esta estrategia nos permitirá trabajar fuera del horario laboral y minimizar cualquier impacto en la operación normal.

  • lunes 05 junio

    [Mantenimiento] Veeam Backup ID: Veeam-1-SPX-AR

    Mantenimiento del servicio veeam - ID: Veeam-1-SPX-AR

    Queremos informarles sobre un próximo mantenimiento planificado en nuestro servicio de Veeam Backup con el ID Veeam-1-SPX-AR. Este mantenimiento es parte de nuestros esfuerzos continuos para garantizar la calidad y el rendimiento óptimo de nuestros servicios de respaldo y recuperación de datos.

    Durante este período de mantenimiento, estaremos realizando tareas de optimización y actualización en nuestro sistema Veeam Backup.

    Durante el mantenimiento, es posible que experimente una breve interrupción en el acceso al servicio de Veeam Backup. Sin embargo, estamos tomando todas las medidas necesarias para minimizar cualquier impacto en su operación.

    Nuestro equipo de soporte estará disponible para brindar asistencia durante el mantenimiento. Si tiene alguna pregunta o necesita asistencia adicional, no dude en comunicarse con nosotros a través de los canales habituales de contacto.

    Agradecemos su comprensión y paciencia mientras llevamos a cabo este mantenimiento para mejorar aún más nuestro servicio de Veeam Backup y brindarle la mejor experiencia posible.

    viernes 02 junio

    [Update] Firewalls ZEUS

    Evento de mejora en nuestra infraestructura de red

    Estimados clientes de Waugi Cloud,

    Queremos informarles que estaremos realizando una mejora en nuestra infraestructura de red para optimizar nuestros servicios. Durante este proceso, estaremos implementando una nueva política de control de paquetes ARP en nuestros firewalls de borde, lo que fortalecerá la seguridad y el rendimiento de nuestra red.

    Duración estimada: 1 Minuto por firewall ID.

    Hemos tomado todas las precauciones necesarias para minimizar cualquier interrupción en el servicio. Sin embargo, es posible que durante la actualización se produzcan reconexiones IP.

    Nuestro equipo de soporte estará disponible para brindar asistencia durante el evento. Si experimenta algún problema, no dude en comunicarse con nosotros a través de los canales habituales de contacto.

    Agradecemos su comprensión y paciencia mientras trabajamos en esta mejora de nuestra infraestructura de red.

  • En espera: zeus-65.

  • En espera: zeusfirewall-10-ar.

  • En espera: zeusfirewall-4-us.

  • En espera: zeusfirewall-cbl.

  • En espera: zeusfirewall-3-ca.

  • En espera: zeusfirewall-2-ca.

  • En espera: zeusfirewall-1-ca.

  • Finalizo: zeusfirewall-inside-ar.

    • Nuevo control de paquetes ARP en zeusfirewall-inside-ar, ok. Establecimos la versión estable: v1.0.7.

    Ticket: 030620231527.

  • Finalizo: zeusfirewall-6-ar.

    • Nuevo control de paquetes ARP en zeusfirewall-6-ar, ok. Establecimos la versión estable: v1.0.7.
  • En espera: zeusfirewall-5-ar.

  • domingo 07 mayo

    [Mantenimiento] Eyes de Waugi.

    Nuestro equipo hará una reconstrucción sobre nuestro sistema de monitoring.

    • Será posible una inaccesibilidad a Eyes de Waugi Cloud.

    Esta reconstrucción traerá mejoras en el monitoreo de los servicios.

    • Iniciamos el ticket: #070520231748

    miércoles 22 febrero

    Storage: Backup Argentina [Mantenimiento] Corregir logo en la infraestructura de Cloud Storage.

    Nuestro equipo de soporte detectó que el logo quedó con una URL incorrecta.

    • Abrimos el ticket para la corrección: TT181122022023, el ticket permanecerá anclado hasta finalizar el caso.

    No esperamos degradación del servicio Cloud Storage.

    lunes 12 diciembre

    [Update] Firmware iLO HPE servers.

    Hola, nuestro equipo de técnicos estará realizando una actualización sobre las placas iLO de nuestros servidores HPE. Empezaremos de inmediato, no esperamos downtime del servicio, ni ningún impacto.

  • Pendiente de actualización server HPE ID: spx-64.

  • Pendiente de actualización server HPE ID: spx-65.

  • Pendiente de actualización server HPE ID: esxi-morfeo.

  • Iniciando actualización server HPE ID: esxi-trinity.

    Update: Ok.

  • Iniciando actualización server HPE ID: esxi-neo.

    Update: Ok.

  • Iniciando actualización server HPE ID: esxi-mr-robot.

    Update: Ok.

  • jueves 01 septiembre

    IFX (Argentina) [Incidente] esxi-neo.waugi.cloud / RAM Degraded

    En el día de hoy 01-09-2022 alrededor de las 9 de la mañana; nuestro equipo cloud denominado esxi-neo.waugi.cloud se reinició inesperadamente. Provocando la interrupción sobre las instancias Cloud que se ejecutaban en este servidor.

    Rápidamente nuestros ingenieros empezaron la investigación sobre dicho servidor. Detectamos un modulo de ram que está conectado en el zócalo: 𝟭 𝗱𝗲𝗹 𝗽𝗿𝗼𝗰𝗲𝘀𝗮𝗱𝗼𝗿 𝟮, se degradó y es por ello que el equipo se reinició.

    Aislamos la memoria ram y todos los servicios que se ejecutaban en este equipo volvieron a estar en línea. Ahora, programaremos con nuestro equipo de ingenieros una intervención sobre el servidor en cuestión para cambiar el modulo de ram degradado.

    Iniciamos el ticket de seguimiento #J-01092022

  • Ticket pendiente de finalizar: #J-01092022

  • miércoles 13 abril

    [Incidente] Degradación de rendimiento sobre esxi-mr-robot.waugi.cloud

    Nuestro equipo ha detectado una degradación de IOPS (afectando a la escritura de datos, no a la lectura) sobre el servidor con ID: esxi-mr-robot.waugi.cloud.

    • El servidor se encuentra operativo; con una pequeña degradación de rendimiento a la hora de escribir datos en los discos.

    Vamos a estar programando una visita al datacenter para implementar los nuevos discos NVMe Enterprise class a dicho servidor.

    Abriremos una agenda programada para hacer interceder al servidor en cuestión.

    • Daremos detalles y seguimiento por este medio de comunicación.
  • Ticket pendiente de finalizar: TT12122022195.

  • Agregamos x2: nuevos discos U.2 NVMe Enterprise Class, esto solucionaría el incidente sobre la degradación de IOPS en los SSD. Aislamos los clientes a los nuevos discos, y trabajaremos de forma segura interviniendo el equipo.

    Programaremos un nuevo mantenimiento para finalizar de forma segura los trabajos de reparación de IOPS.

  • Historial de trabajos

    martes 21 mayo

    Ningún trabajo o incidente reportado

    lunes 20 mayo

    Ningún trabajo o incidente reportado

    domingo 19 mayo

    Ningún trabajo o incidente reportado

    sábado 18 mayo

    Ningún trabajo o incidente reportado

    viernes 17 mayo

    Ningún trabajo o incidente reportado

    jueves 16 mayo

    Ningún trabajo o incidente reportado

    miércoles 15 mayo

    Ningún trabajo o incidente reportado