¿La automatización de pruebas es considerada como un gasto o una inversión?

¿Existe un positivo ROI de la automatización de pruebas? Generalmente, se dice que las pruebas automatizadas pueden extender la cobertura y el alcance de las pruebas, reducir costos, mitigar el riesgo, enfocarse en las pruebas manuales donde sea realmente necesario, encontrar incidentes con anticipación, etc. Suena como si fuera el mismo discurso que repiten quienes están al frente del área comercial sin tener muchos argumentos.

Si bien muchos testers saben que hay múltiples beneficios asociados a la automatización de pruebas, uno de los principales desafíos para comenzar es obtener la aceptación y el compromiso por parte de las áreas gerenciales. Afortunadamente, hay una manera de convencer a los gerentes de que también se pueden ver beneficiados.

En este post, comentaremos no solo las formas en que la automatización de pruebas es valiosa para el desarrollo de software, sino también las formas en las que proporciona a los gerentes y ejecutivos financieros un valor comercial real.

¿Cuándo es útil la Automatización de Pruebas?

Los mejores usos para la automatización de pruebas implican pruebas que son repetitivas y deben ejecutarse muchas veces, ya sea porque la aplicación tendrá muchas versiones, por razones de mantenimiento o porque debe probarse en diferentes plataformas. Un ejemplo de este tipo, son las pruebas de regresión.

Otras que se deben considerar para la automatización incluyen aquellas que cubren funcionalidades de alto riesgo que, de fallar, causarían un gran impacto negativo en el negocio. 

Para obtener más información sobre qué pruebas automatizar, le recomendamos leer este post.

Pruebas Manuales vs. Pruebas Automatizadas

En ocasiones, no todo es automatizable y no siempre es necesario intentar reemplazar todas las pruebas manuales. Hay cosas que simplemente no se pueden automatizar o no vale la pena hacerlo.

Probar una nueva funcionalidad manualmente le permite saber más rápidamente sobre la aplicación a un bajo costo. A medida que se acumula el conocimiento, aumenta el inventario de pruebas y en consecuencia, también aumenta el costo de las pruebas manuales.

Beneficios de la Automatización de Pruebas

Las pruebas automatizadas se ejecutan en promedio 5 veces más rápido (probablemente muchas más veces que eso) que las pruebas manuales. Si automatizamos las pruebas de un ciclo de desarrollo, podremos volver a probar con un un mínimo esfuerzo durante el siguiente ciclo. Esto nos permitirá aumentar el tamaño del conjunto de pruebas, ampliando así la cobertura.

Las pruebas manuales permiten encontrar los pocos incidentes críticos que son fáciles de localizar, mientras que las pruebas automatizadas permiten ir más allá para encontrar defectos sutiles que son poco probables de encontrar.

Por último, si no automatizamos, podemos terminar con ciclos de prueba más largos que los ciclos de desarrollo, o bien, decidir no probar ciertas cosas en absoluto, lo que nos expone a riesgos.

¿Cuál es el ROI de la Automatización de Pruebas?

Un tester manual ejecuta pruebas 8 horas al día y se va a casa. En ese momento, la prueba se detiene. Con la automatización de pruebas, podemos ejecutar pruebas durante 16 horas más a diario (en el mejor de los casos, por supuesto) por el mismo costo, reduciendo el costo promedio de las horas de prueba.

Aquí, veremos el ejemplo de caso de Paul Grossman. informe técnico, ‘ROI de las pruebas automatizadas: ¿realidad o ficción?’

Considere el caso de practicar únicamente pruebas manuales. Si un tester cuesta en promedio 50 USD por hora, y un tester senior que crea pruebas automatizadas cuesta 75 USD por hora, costaría alrededor de 400 y 600 USD respectivamente al día por cada tester.

Ahora, considere un equipo de diez testers, cinco senior y cinco junior, con una carga mensual de 105.000 USD (por 168 horas al mes). Obtendríamos un total de 1.350 horas con un costo de 78 USD por hora (esto asumiendo que cada tester trabaja realmente 135 horas al mes debido a licencias, días de capacitación, vacaciones, etc.).

Si automatizamos las pruebas, el costo de la mano de obra seguirá siendo el mismo, pero con el esfuerzo de tres ingenieros de automatización de pruebas, lograríamos 16 horas diarias de pruebas y ejecutaremos cinco veces más pruebas por hora. Esto da como resultado el equivalente a 5.040 horas por mes de pruebas manuales creadas por los tres ingenieros de automatización de pruebas. Luego, considere al resto del equipo haciendo pruebas manuales (siete personas por 135 horas al mes). Eso equivale a 945 horas más, terminando con un total combinado de 5.985 horas de prueba a 17.54 USD por hora (105.000 USD dividido por 5.985 horas).

En este escenario, hemos reducido drásticamente el costo de cada hora de prueba de 78 USD a 17.54 USD; un beneficio que el Director Financiero comprenderá claramente.

O bien, podría mirarlo de esta manera: Hemos aumentado las pruebas de 1.350 horas a 5.985 horas equivalentes y ganado 315.000 USD en pruebas por mes por el mismo costo (5.040 veces el costo promedio por hora de un tester).

No solo probamos más rápido, sino que la cobertura de prueba es mayor, lo que significa que podemos encontrar más errores. Pero ,¿encontrar errores significa que tendremos más trabajo por hacer y más dinero necesario para solucionarlos? No necesariamente.

Cuesta mucho menos corregir errores que se detectan al inicio del ciclo de desarrollo. En la siguiente imagen, puede visualizar el costo de corregir un defecto detectado por la etapa en la que se ha encontrado (desarrollo, integración, pruebas beta o producción). Asumiremos que la corrección de errores cuesta 75 USD por hora. Estos costos de errores no incluyen los intangibles, como la pérdida de reputación, confianza e incluso el desgaste del equipo.

Como puede ver, cuanto antes encontremos incidentes, más económico y más fácil será solucionarlos. Si practicamos la automatización de pruebas, es más probable que encontremos más errores antes de las fases de prueba beta y producción. Es difícil estimar cuánto, pero en general, por cada error que encontremos en las primeras etapas, ahorraremos 200 USD ¡no está nada mal! 🤑

Los errores de codificación encontrados después del lanzamiento, cuestan 5 veces más de solucionar que los encontrados durante los tests unitarios.

Entonces, es seguro decir que existe un alto ROI de la automatización de pruebas, y que es una buena inversión porque proporciona valor de dos maneras:

1. Valor Comercial

• Mejora la calidad del software.
• Evita problemas operativos.
• Mantiene una buena imagen y reputación del cliente.
• Se evitan problemas legales.
• Se disminuye el costo de corregir los errores 5 veces.

2. Valor de TI

• Simplifica las tareas rutinarias.
• Se pueden ejecutar más pruebas sin aumentar los costos en la misma cantidad de tiempo.
• Aumenta el alcance de la cobertura.
• Se encuentran los defectos difíciles de detectar antes, cuando son más fáciles de arreglar.
• Mejora la calidad del software.

¿Está de acuerdo con que el ROI de la automatización de pruebas es significativo? ¡Déjenos sus impresiones sobre este tema en los comentarios!

E-book gratuito sobre automatización

Si quiere aprender más sobre este tema, le invitamos a descargar hoy nuestro último e-book 📘: ‘Una completa introducción a la automatización de pruebas funcionales’, un recurso útil con todo lo que necesita considerar para hacer que la automatización sea realmente efectiva.

En este e-book de 50 páginas podrá descubrir:

• Valor comercial y de TI en la automatización de pruebas, así como su ROI potencial.
• Qué, dónde, cómo y cuándo la automatización tiene más sentido.
• Prácticas y enfoques líderes en la industria que brindan una máxima efectividad.

¿Quiere obtener más información sobre nuestro servicio de automatización de pruebas? Visite esta sección o agende ahora una consultoría gratuita y personalizada de 30 minutos con nuestros expertos.

---

Otros contenidos relacionados

Automatización de Pruebas: el motor de la Ingeniería de Calidad

4 desafíos comunes de la Automatización de Pruebas: ¿cómo enfrentarlos?

Cobertura de Pruebas de Software: ¿cómo aumenta con la Automatización?