![\"Ilustraci\u00f3n](\"https:\/\/es.abstracta.us\/wp-content\/uploads\/2024\/04\/probar-aplicaciones-potenciadas-uso-inteligencia-artificial-generativa.png\")
<\/figure><\/div>\n\n\nLas aplicaciones que integran GPT y otros LLMs est\u00e1n remodelando campos como la atenci\u00f3n al cliente, medicina, educaci\u00f3n, finanzas, generaci\u00f3n de contenidos, y mucho m\u00e1s.<\/p>\n\n\n\n
Se trata de avances que traen consigo desaf\u00edos \u00fanicos, especialmente en calidad de software. En plena transformaci\u00f3n digital acelerada, la calidad de los sistemas tiene impacto en la mayor\u00eda de las \u00e1reas de la vida de las personas.<\/strong> Asimismo, la naturaleza din\u00e1mica de las aplicaciones demanda un enfoque novedoso y adaptable para asegurar su eficacia.<\/p>\n\n\n\n Tal como expres\u00f3 el Chief Quality Officer de Abstracta, Federico Toledo<\/strong> en una charla<\/a> que brind\u00f3 en el Global Quality Summit, organizado por Globant, existe un gran ecosistema. \u201cEstamos hablando de una Inteligencia Artificial Generativa que nos hace replantear hasta la forma de probar las cosas\u201d<\/strong>, expres\u00f3.<\/p>\n\n\n\n En este sentido, explic\u00f3 que por un lado contamos con ChatGPT, que es la plataforma que la mayor\u00eda de las personas interesadas en el tema han probado hasta ahora, para generar desde contenido hasta c\u00f3digo, con un enfoque conversacional. Pero el sistema tambi\u00e9n ofrece una API, que podemos utilizar de m\u00faltiples y novedosas maneras en el desarrollo de productos.<\/strong><\/p>\n\n\n\n Para poder utilizar la API, es necesario contar con una cuenta Plus, es decir paga. \u201cPara simplificar, podr\u00edamos decir que al usar la API de OpenAI es como que los programas ejecutaran un prompt sobre ChatGPT, el cual se va a armar con informaci\u00f3n de contexto<\/strong> del programa que se est\u00e9 probando, como datos de sesi\u00f3n o inputs de usuario\u201d, introdujo Federico.<\/p>\n\n\n\n En el \u00e1mbito del testing de aplicaciones que utilizan Modelos de Lenguaje de Gran Escala como GPT, los hiperpar\u00e1metros juegan un papel crucial, y es fundamental conocer c\u00f3mo afectan el comportamiento para guiar nuestras pruebas de la mejor manera.<\/strong><\/p>\n\n\n Los hiperpar\u00e1metros son configuraciones externas de un modelo de aprendizaje autom\u00e1tico que se establecen antes del entrenamiento y que el modelo no puede aprender por s\u00ed mismo luego a partir de los datos.<\/strong><\/p>\n\n\n\n A diferencia de los par\u00e1metros del modelo, que se aprenden de los datos durante el entrenamiento, los hiperpar\u00e1metros son determinados por el equipo de desarrollo y son cruciales para controlar el comportamiento y rendimiento del algoritmo.<\/p>\n\n\n\n Para ilustrar, consideremos un videojuego en desarrollo: los hiperpar\u00e1metros ser\u00edan como los ajustes de dificultad configurados antes de iniciar una sesi\u00f3n de prueba. Estos ajustes, como el poder de los personajes enemigos o la frecuencia con la que aparecen, no cambian durante el juego pero pueden tener un gran impacto en c\u00f3mo se siente el juego y en su dificultad.<\/p>\n\n\n\n En la Inteligencia Artificial Generativa, la elecci\u00f3n adecuada de hiperpar\u00e1metros es clave para optimizar la precisi\u00f3n y eficacia del modelo. Ejemplos comunes incluyen la tasa de aprendizaje, el n\u00famero de capas en una red neuronal, y el tama\u00f1o del batch.<\/p>\n\n\n\n Aunque estos t\u00e9rminos no encajan en la definici\u00f3n cl\u00e1sica de hiperpar\u00e1metros (como la tasa de aprendizaje o el tama\u00f1o del batch, que se usan en el entrenamiento de modelos de aprendizaje autom\u00e1tico), en la pr\u00e1ctica de modelos generativos, cumplen una funci\u00f3n similar y son fundamentales para la realizaci\u00f3n de pruebas con apoyo de la IAG.<\/p>\n\n\n\n Su importancia en la configuraci\u00f3n de modelos generativos y su impacto en los resultados los hace similares a los hiperpar\u00e1metros en t\u00e9rminos pr\u00e1cticos. Es por esto que en algunos contextos, particularmente en la descripci\u00f3n de modelos generativos, se les puede referir como hiperpar\u00e1metros, aunque con la aclaraci\u00f3n de que son un tipo especial de configuraciones.<\/p>\n\n\n\n Afectan c\u00f3mo se comporta el modelo (en t\u00e9rminos de aleatoriedad o reproducibilidad), pero no son aprendidos por el modelo a trav\u00e9s de los datos. Son configurados antes de utilizar el modelo para la generaci\u00f3n.<\/p>\n\n\n\n Al utilizar la API, es importante tener en cuenta la temperatura que elegimos<\/strong>, la cual determina el equilibrio entre precisi\u00f3n y creatividad en las respuestas del modelo. Puede variar entre 0 y 2: cuanto m\u00e1s baja la temperatura que seleccionemos, m\u00e1s precisa y determinista ser\u00e1 la respuesta. Cuanto m\u00e1s elevada, m\u00e1s creativa, o aleatoria.<\/p>\n\n\n Se trata de un valor inicial utilizado en algoritmos para garantizar la reproducibilidad de resultados aleatorios. Al utilizar una semilla espec\u00edfica, la IA puede ayudar a que, bajo las mismas condiciones y entradas, el modelo genere respuestas consistentes. Esto es fundamental para las pruebas, ya que aumenta la reproducibilidad de los resultados y permite evaluar de manera m\u00e1s precisa y confiable el comportamiento del modelo en diferentes escenarios y tras cambios en el c\u00f3digo o los datos.<\/p>\n\n\n\n La reproducibilidad es especialmente valiosa en entornos de testing donde controlar y predecir la salida del modelo es vital para asegurar la calidad y eficiencia de las aplicaciones basadas en Inteligencia Artificial Generativa.<\/p>\n\n\n\n En modelos de lenguaje o generativos, los tokens<\/em> son unidades b\u00e1sicas de procesamiento de texto<\/strong>, como palabras o partes de ellas. Cada token puede ser una palabra, parte de una palabra, o un s\u00edmbolo. El proceso de dividir el texto en tokens se llama tokenizaci\u00f3n<\/em>, y es crucial para que el modelo entienda y genere lenguaje.<\/p>\n\n\n\n En esencia, son bloques de construcci\u00f3n que el modelo utiliza para interpretar y producir lenguaje. Si te interesa saber m\u00e1s sobre el proceso de tokenizaci\u00f3n, te recomendamos visitar el Tokenizer<\/a> de Open AI.<\/p>\n\n\n\n Es importante destacar que los modelos tienen un l\u00edmite en la cantidad de tokens<\/em> que pueden procesar en un solo paso. Al alcanzar este l\u00edmite, pueden empezar a \u201colvidar\u201d informaci\u00f3n previa para incorporar nuevos tokens, lo cual es un aspecto crucial en la gesti\u00f3n de la memoria del modelo.<\/p>\n\n\n\n L\u00edmite de tokens y costo:<\/strong> la cantidad de tokens procesados no solo afecta el rendimiento del modelo, sino que tambi\u00e9n tiene implicaciones directas en t\u00e9rminos de costo. En servicios basados en la nube, el uso de tokens es un factor clave en la facturaci\u00f3n: se cobra por la cantidad de tokens procesados. Esto significa que procesar m\u00e1s tokens incrementa el costo del servicio.<\/p>\n\n\n\n Uso del par\u00e1metro max_tokens: <\/strong>es esencial en la configuraci\u00f3n de la API. Act\u00faa como un controlador que determina cu\u00e1ndo se corta la respuesta del modelo para evitar consumir m\u00e1s tokens <\/em>de los necesarios o deseados. En la pr\u00e1ctica, establece un l\u00edmite superior en la cantidad de tokens<\/em> que el modelo generar\u00e1 en respuesta a una entrada dada, y permite gestionar el equilibrio entre la exhaustividad de la respuesta y el costo asociado.<\/p>\n\n\n\n Aunque los tokens no son hiperpar\u00e1metros, forman parte integral del dise\u00f1o y funcionamiento del modelo. La cantidad de tokens <\/em>procesados y el ajuste del par\u00e1metro max_tokens son cr\u00edticos tanto para el rendimiento como para la gesti\u00f3n de costos en aplicaciones basadas en Inteligencia Artificial Generativa.<\/strong><\/p>\n\n\n\n Por todo esto, Federico enfatiz\u00f3 que es necesario encontrar un balance adecuado entre costo y resultado a la hora de proporcionar la cantidad de tokens que la API puede utilizar.<\/strong><\/p>\n\n\n\n El testing de aplicaciones que usan la Inteligencia Artificial Generativa como los LLMs presenta desaf\u00edos \u00fanicos. A continuaci\u00f3n, exploramos diferentes enfoques que pueden aplicarse en este contexto, cada uno con sus propias ventajas y consideraciones.<\/p>\n\n\n\n Para agrupar y ordenar estos distintos enfoques, comencemos repasando la categorizaci\u00f3n de enfoques m\u00e1s conocida, mediante la separaci\u00f3n en caja negra y caja blanca.<\/p>\n\n\n\n Estos enfoques se centran en las entradas y salidas del sistema bajo prueba, independientemente del c\u00f3digo subyacente<\/strong>. La clave aqu\u00ed es entender el dominio, el sistema y c\u00f3mo las personas interact\u00faan con el mismo, sin necesidad de comprender c\u00f3mo est\u00e1 implementado internamente.<\/p>\n\n\n\n La mayor limitaci\u00f3n es que no ofrece una visi\u00f3n de lo que sucede dentro del sistema, es decir c\u00f3mo est\u00e1 implementado. Esto puede llevar a una menor cobertura de pruebas y a la redundancia de casos, ya que no podemos tener control sobre los aspectos internos del sistema. Adem\u00e1s, solo podemos comenzar a probar una vez que el sistema est\u00e1 medianamente completo.<\/p>\n\n\n\n En contraste con el enfoque de caja negra, este m\u00e9todo implica una comprensi\u00f3n profunda del interior del sistema<\/strong>.<\/p>\n\n\n\n Tenemos la posibilidad de analizar c\u00f3mo se configuran y utilizan los par\u00e1metros y prompts, y hasta c\u00f3mo el sistema procesa las respuestas. Todo esto es viable dado que podemos mirar hacia adentro de la caja y aprovechar la informaci\u00f3n que tenemos para dise\u00f1ar las pruebas.<\/strong><\/p>\n\n\n\n Los enfoques de caja blanca nos permiten lograr un an\u00e1lisis m\u00e1s detallado, evitar la ejecuci\u00f3n de pruebas que resulten redundantes, y crear pruebas con mayor cobertura.<\/p>\n\n\n\n Sin embargo, tambi\u00e9n presentan desventajas: es necesario contar con conocimiento en programaci\u00f3n y manejo de APIs, lo cual a su vez puede implicar un sesgo, justamente debido al conocimiento de c\u00f3mo fue construido.<\/p>\n\n\n\n Esto podr\u00eda limitar nuestra creatividad en la generaci\u00f3n de pruebas y traer como consecuencia la p\u00e9rdida de foco en la experiencia y desaf\u00edos reales de las personas que utilizan los sistemas.<\/p>\n\n\n\n Si te gustar\u00eda seguir profundizando sobre conceptos de testing, te recomendamos descargar el libro <\/strong>\u201cIntroducci\u00f3n a las Pruebas de Sistemas de Informaci\u00f3n\u201d<\/strong><\/a>, de Federico Toledo.<\/strong><\/p>\n\n\n\n Otro enfoque que se podr\u00eda tomar de alto nivel implica formular preguntas guiadas por diferentes factores de calidad del software, como fiabilidad, usabilidad, accesibilidad y seguridad, entre otros. En cada uno de estos aspectos, es importante considerar preguntas tanto generales como espec\u00edficas para sistemas basados en Inteligencia Artificial Generativa.<\/p>\n\n\n\n Dado que las aplicaciones tendr\u00e1n cada vez m\u00e1s interfaces conversacionales, nos enfrentamos aqu\u00ed al gran desaf\u00edo de lograr que sean inclusivas y adaptables.<\/p>\n\n\n\n Es importante lograr que sean intuitivas y \u00fatiles para todas las personas, que sean capaces de comprender diferentes voces, con diferentes condiciones, y brinden respuestas comprensibles en distintos contextos y necesidades. La accesibilidad aqu\u00ed va m\u00e1s all\u00e1 de la simple compatibilidad con herramientas asistivas, busca una comunicaci\u00f3n efectiva y accesible.<\/p>\n\n\n\n En este aspecto, buscaremos comprender la facilidad con la que se pueden realizar actualizaciones y cambios en el sistema.<\/p>\n\n\n\n \u00bfC\u00f3mo se pueden automatizar pruebas para un sistema con resultados no deterministas (es decir que no arrojan siempre los mismos resultados)? \u00bfSe manejan de manera eficiente las pruebas de regresi\u00f3n para que los cambios no afecten negativamente las funcionalidades existentes? \u00bfLos prompts se est\u00e1n gestionando como c\u00f3digo, son f\u00e1ciles de entender, est\u00e1n bien modularizados y se est\u00e1n versionando?<\/p>\n\n\n\n Dentro del marco de seguridad, la IAG introdujo un nuevo tipo de vulnerabilidad que es conocido como \u201cPrompt Injection\u201d.<\/p>\n\n\n\n Similar al concepto de SQL Injection<\/em>, un atacante podr\u00eda querer alterar el comportamiento esperado del sistema manipulando las entradas de manera maliciosa, y sabiendo que si esas entradas no son procesadas con cuidado y se est\u00e1n concatenando a un prompt preestablecido, podr\u00e1 terminar explotando esa vulnerabilidad.<\/p>\n\n\n\n Al realizar pruebas, tendremos que considerar este tipo de ataques y revisar c\u00f3mo el sistema maneja entradas inesperadas o malintencionadas que podr\u00edan alterar su funcionamiento.<\/p>\n\n\n\n \u00bfC\u00f3mo responde el sistema a entradas dise\u00f1adas para provocar errores o respuestas no deseadas? Esta evaluaci\u00f3n es esencial para lograr que las aplicaciones basadas en Inteligencia Artificial Generativa sean seguras y resistentes a intentos de manipulaci\u00f3n.<\/p>\n\n\n\n Te invitamos a leer este art\u00edculo para seguir aprendiendo sobre temas relacionados: Tips para utilizar ChatGPT de manera segura en tu organizaci\u00f3n<\/a>.<\/strong><\/p>\n\n\n\n En este punto, nos centraremos en c\u00f3mo el sistema maneja la carga y la eficiencia bajo diferentes condiciones. En el contexto de IAG, pueden surgir m\u00faltiples preguntas.<\/p>\n\n\n\n \u00bfC\u00f3mo se comporta nuestro sistema cuando el servicio de OpenAI, que es utilizado a trav\u00e9s de la API, experimenta lentitud o alta demanda? Esto incluye evaluar la capacidad del sistema para manejar un n\u00famero elevado de solicitudes por segundo y c\u00f3mo esto afecta la calidad y velocidad de las respuestas.<\/p>\n\n\n\n Adem\u00e1s, es necesario considerar la gesti\u00f3n eficiente de los recursos computacionales, especialmente en relaci\u00f3n con el uso de tokens y su impacto en el rendimiento y los costos operativos. Analizar el rendimiento bajo estas circunstancias es crucial para asegurar que las aplicaciones basadas en IAG sean no solo funcionales y seguras, sino tambi\u00e9n escalables y eficientes en un entorno de uso real.<\/p>\n\n\n\n En Abstracta, reconocemos la importancia del uso responsable y eficiente de los LLMs y de las herramientas que construyamos basadas en ellos. Para poder acompa\u00f1ar el desarrollo de forma \u00e1gil, nos enfrentamos al desaf\u00edo de probar autom\u00e1ticamente sistemas no determin\u00edsticos<\/strong>, donde la variabilidad sobre el resultado esperado hace m\u00e1s compleja la creaci\u00f3n de pruebas eficaces.<\/p>\n\n\n\n Ante esta dificultad, recomendamos adoptar el uso del framework de OpenAI conocido como \u2018Evals\u2019 <\/strong>para realizar pruebas de regresi\u00f3n, el cual funciona de distintos mecanismos, y para resolver el no-determinismo de las respuestas permite emplear un LLM como un \u2018juez\u2019 o \u2018or\u00e1culo\u2019.<\/p>\n\n\n\n Este m\u00e9todo, integrado en nuestras pruebas de regresi\u00f3n, nos permite evaluar los resultados obtenidos contra un criterio adaptable y avanzado, con el fin de lograr pruebas m\u00e1s efectivas y precisas.<\/p>\n\n\n\n \u00bfQu\u00e9 son los Evals de OpenAI?<\/strong><\/p>\n\n\n\n Es un framework desarrollado espec\u00edficamente para evaluar LLMs o herramientas que utilizan LLMs. Este framework<\/em> es valioso por varias razones:<\/p>\n\n\n\n La incorporaci\u00f3n de Evals en nuestro proceso de testing fortalece nuestra capacidad de asegurar que los LLMs y las herramientas relacionadas funcionen seg\u00fan lo previsto, y nos permite mantener altos est\u00e1ndares de calidad y eficacia.<\/strong><\/p>\n\n\n\n Si te interesa este tema, te recomendamos leer el art\u00edculo \u201cDecoding OpenAI Evals\u201d<\/a>, que ofrece una visi\u00f3n detallada de este framework y su aplicaci\u00f3n en diferentes contextos.<\/p>\n\n\n\n Nos encontramos con m\u00faltiples desaf\u00edos todos los d\u00edas. La tecnolog\u00eda avanza a pasos impactantes y por eso es vital construir equipo y compartir conocimientos mientras seguimos experimentando.<\/p>\n\n\n\n En referencia a la calidad de software, posiblemente, uno de los aspectos m\u00e1s desafiantes en el testing de Inteligencia Artificial Generativa es la creaci\u00f3n de sets de pruebas efectivos. Esta \u00e1rea, llena de complejidades y matices, requiere una combinaci\u00f3n de creatividad, comprensi\u00f3n t\u00e9cnica profunda, y un enfoque meticuloso.<\/p>\n\n\n\n Si bien esto representa un reto significativo, tambi\u00e9n ofrece una oportunidad \u00fanica para explorar nuevas fronteras en la calidad del software.<\/strong><\/p>\n\n\n\n La creaci\u00f3n de sets de pruebas efectivos para la Inteligencia Artificial Generativa presenta grandes desaf\u00edos significativos debido a varias razones:<\/p>\n\n\n\n Los sistemas basados en IAG, como los LLMs, pueden producir una amplia gama de respuestas diferentes para el mismo input. Esta variabilidad hace que sea dif\u00edcil predecir y verificar las respuestas correctas o esperadas, complicando la creaci\u00f3n de un set de pruebas que cubra adecuadamente todos los posibles escenarios.<\/p>\n\n\n\n Dise\u00f1ar pruebas para IAG requiere no solo un entendimiento t\u00e9cnico profundo de c\u00f3mo funcionan estos modelos, sino tambi\u00e9n una gran dosis de creatividad para anticipar y modelar los diversos contextos y usos que los usuarios pueden darle a la aplicaci\u00f3n.<\/p>\n\n\n\n En aplicaciones como chatbots, la gesti\u00f3n del contexto y la continuidad en las conversaciones son cr\u00edticas. Esto significa que las pruebas deben ser capaces de simular interacciones realistas y prolongadas para evaluar la coherencia y relevancia de las respuestas del sistema.<\/p>\n\n\n\n Muchas veces, la \u2018correctitud\u2019 de una respuesta generada por IAG puede ser subjetiva o depender del contexto espec\u00edfico. Esto requiere un enfoque de evaluaci\u00f3n m\u00e1s matizado que en el testing de software tradicional.<\/p>\n\n\n\n Los modelos de IAG pueden reflejar y amplificar sesgos presentes en los datos de entrenamiento. Identificar y mitigar estos sesgos en las pruebas es crucial para garantizar la equidad y seguridad del sistema.<\/p>\n\n\n\n La tecnolog\u00eda de IAG est\u00e1 en constante evoluci\u00f3n, lo que significa que los sets de pruebas deben actualizarse continuamente para mantenerse relevantes y efectivos.<\/p>\n\n\n\n En muchos casos, la IAG se integra con otros sistemas y tecnolog\u00edas. Probar estas integraciones de manera efectiva, especialmente a gran escala, puede ser complejo.<\/p>\n\n\n\n Ante la complejidad de los sistemas, y como en la mayor\u00eda de los casos los enfoques que se toman son de caja negra (por restricciones de contexto, acceso a datos o c\u00f3digo, etc), la observabilidad<\/a> jugar\u00e1 un papel clave en nuestra efectividad para probar.<\/p>\n\n\n\n Gracias a poder entender y hacer visible a trav\u00e9s de plataformas de observabilidad lo que sucede en la interna del sistema, vamos a poder comprender cada paso de los procesos internos y as\u00ed asociar las entradas con los comportamientos y las salidas, para pensar m\u00e1s y mejores pruebas.<\/p>\n\n\n\n Estos desaf\u00edos hacen que la calidad de software en IAG requiera un enfoque innovador y adaptable, capaz de mantenerse al d\u00eda con el r\u00e1pido desarrollo de esta tecnolog\u00eda.<\/p>\n\n\n\n![\"Ilustraci\u00f3n](\"https:\/\/es.abstracta.us\/wp-content\/uploads\/2024\/04\/testing-aplicaciones-uso-modelo-lenguaje-gran-escala-gpt.png\")
<\/figure><\/div>\n\n\nHiperpar\u00e1metros<\/strong><\/h2>\n\n\n\n
Temperatura y semilla<\/strong><\/h2>\n\n\n\n
Temperatura<\/strong><\/h3>\n\n\n\n
![\"Imagen](\"https:\/\/es.abstracta.us\/wp-content\/uploads\/2024\/04\/temperatura-respuestas-modelo-inteligencia-artificial-generativa-1024x571.png\")
<\/figure><\/div>\n\n\nSemilla<\/strong><\/h2>\n\n\n\n
Tokens<\/strong><\/h2>\n\n\n\n
Par\u00e1metro max_tokens y costo<\/strong><\/h3>\n\n\n\n
Enfoques de testing aplicables en Inteligencia Artificial Generativa<\/strong><\/h2>\n\n\n\n
Caja negra<\/strong><\/h3>\n\n\n
![\"Imagen](\"https:\/\/es.abstracta.us\/wp-content\/uploads\/2024\/04\/enfoque-testing-caja-negra-inteligencia-artificial-generativa.png\")
<\/figure><\/div>\n\n\nCaja blanca<\/strong><\/h3>\n\n\n
![\"Imagen](\"https:\/\/es.abstracta.us\/wp-content\/uploads\/2024\/04\/enfoque-testing-caja-blanca-inteligencia-artificial-generativa.png\")
<\/figure><\/div>\n\n\nEnfoque basado en factores de calidad<\/strong><\/h2>\n\n\n
![\"Imagen](\"https:\/\/es.abstracta.us\/wp-content\/uploads\/2024\/04\/enfoque-testing-factores-calidad-software-1024x573.png\")
<\/figure><\/div>\n\n\n\n
\n
\n
\n
\u00bfQu\u00e9 son los Evals y por qu\u00e9 recomendamos su uso?<\/strong><\/h2>\n\n\n
![\"Imagen](\"https:\/\/es.abstracta.us\/wp-content\/uploads\/2024\/04\/definicion-uso-framework-evals-open-ai-pruebas-software.png\")
<\/figure><\/div>\n\n\n\n
Desaf\u00edos a futuro<\/h2>\n\n\n\n
\n
\n
\n
\n
\n
\n
\n
\n