Líder de e-commerce ejecuta pruebas de performance en CI

Al ser un e-commerce muy visitado con un alto nivel de complejidad en términos de las tecnologías que usan, el rendimiento del sistema de Shutterfly.com es un componente crítico del éxito y la premiada experiencia del cliente de la compañía.

Shutterfly tiene un equipo dedicado para probar y monitorear el rendimiento de su sitio para que, incluso en los días con peaks de compras o después del lanzamiento de una nueva versión, todo funcione sin inconvenientes.

Tener una comprensión clara del comportamiento del sistema, le permite a Shutterfly intuir cuándo pueden ocurrir problemas y tomar las medidas necesarias para mantener su reputación como una compañía confiable.

Para llevar a cabo con éxito su esquema de pruebas continuas, Shutterfly necesitaba la ayuda de un equipo de ingeniería en performance con experiencia en Gatling, Jenkins y análisis de performance para que los ayudara principalmente con tres tareas:

• Ejecución de pruebas de performance:
  El equipo ejecuta alrededor de 300 pruebas diarias para lo que necesitaba de alguien que revisará los resultados, con el propósito de determinar si alguna prueba que fallara eran falsos negativos (debido a problemas con la prueba, infraestructura de prueba, datos, compilación, etc.) o si correspondía a un problema real y de ser así, reportarlo.

• Consolidación de las pruebas:
  Como el tiempo para las pruebas siempre es limitado y Shutterfly tiene diferentes equipos que entregan nuevas pruebas frecuentemente, se hacía necesario consolidarlas. Una tarea importante con la que necesitaba ayuda, era encontrar pruebas que cubrieran funcionalidades similares y combinarlas, o incluso ejecutarlas en paralelo si se mantenían los niveles de rendimiento que el equipo intentó alcanzar desde el principio.

• Mantener afirmaciones de prueba y pruebas de perfil:
  También era imprescindible que alguien mantuviera todas las validaciones de las pruebas. Periódicamente, necesitaban que alguien verificara que dichas validaciones se ajustaran al nivel correcto para que continúen reportando un error cuando haya una degradación del rendimiento. Esto se lograría calibrando las pruebas, identificando su punto de quiebre dentro de la infraestructura (el número de usuarios virtuales a través de los cuales todo comienza a degradarse) y ajustando las pruebas para que se ejecuten con ese número de usuarios virtuales concurrentes, y con las validaciones correspondientes de la forma más estricta posible.