Si has estado pensando: «Hmm… ¿con qué lenguaje de programación debería comenzar mi viaje de pruebas?». – Python es tu respuesta. ¡Pero no es sólo para principiantes! En una encuesta reciente que realicé en LinkedIn, podemos ver que incluso entre los programadores experimentados, casi el 35% votó que Python es su lenguaje de programación favorito (aunque no muy lejos del favorito de todos los tiempos, Java, que quedó en segundo lugar con el 32%).
A lo largo de los años, Python ha ido ganando impulso tanto entre los testers como entre los desarrolladores y es el lenguaje de programación de más rápido crecimiento (como podemos ver en el gráfico de tendencias de Stack Overflow más abajo), y todos sabemos lo que eso significa… ¡Popularidad = relevancia!
Al final de este artículo, mi objetivo es ayudarte a ver lo poderoso que es el lenguaje de programación Python, y qué marco de pruebas de Python es el que mejor se adapta a las necesidades de tu proyecto.
¿Qué tiene de bueno Python para la automatización de pruebas?
Python es un lenguaje de programación de código abierto que fue lanzado por primera vez en 1991 con la intención de proporcionar un lenguaje de programación intuitivo, simple, legible para el ser humano, elegante y menos desordenado para trabajar. Y cuando se trata de pruebas, tales cualidades son una necesidad, especialmente cuando tenemos probadores manuales en el equipo (que no necesariamente tienen conocimientos de programación) que ahora están en transición hacia la automatización y pueden disfrutar de la rápida curva de aprendizaje de Python para escribir scripts rápidamente.
Hay bastantes razones de por qué la popularidad de Python ha estado aumentando en el campo de la automatización de pruebas y por qué se piensa que es una de las mejores opciones para la automatización de pruebas. Entre esas razones encontrarás: El Zen de Python (19 principios rectores de la filosofía de diseño de Python), es amigable para los principiantes pero también poderoso para los expertos, es orientado a objetos y funcional, tiene una rica biblioteca de paquetes para pruebas, una comunidad fuerte a nivel mundial, ¡y mucho más! Recomiendo leer más sobre él en el impresionante blog de AutomationPanda.
El marco de pruebas de Python adecuado para ti
Con el creciente uso de Python, la popularidad de los marcos de pruebas basados en Python está aumentando también. Al principio, puede ser un poco confuso saber cuál elegir entre toda la riqueza de herramientas que hay, ya que cada una tiene sus pros y sus contras. Dicho esto, cada proyecto y organización tiene diferentes requisitos y limitaciones, por lo que debemos tenerlos en cuenta a la hora de seleccionar la herramienta que mejor se adapte a nosotros. Recomiendo la lectura de estos grandes artículos sobre cómo elegir la herramienta adecuada para usted:
- Cómo seleccionar la herramienta de automatización de pruebas adecuada
- Cómo seleccionar la mejor herramienta – Proceso de investigación
- Criterios para seleccionar las herramientas de pruebas funcionales adecuadas
Y, por supuesto, para qué existen las listas de pros y contras, si no es para ayudarnos a obtener orientación adicional sobre nuestras herramientas favoritas, ¡todo en un solo lugar! 😉 Por lo tanto, vamos a profundizar en los 8 mejores frameworks de pruebas de Python por ahí, y explorar tanto sus beneficios como sus deficiencias para que puedas estar mucho más cerca de seleccionar el marco de pruebas de Python ideal para tus necesidades.
Pros y contras de los 8 mejores frameworks de pruebas de Python
- Robot Framework
- Pytest
- TestProject
- PyUnit (Unittest)
- Nose2
- Behave
- Lettuce
- Testify
- Conclusión
Robot Framework (RF)
Robot Framework (RF) es un framework de automatización de pruebas de código abierto para el desarrollo dirigido por pruebas de aceptación (ATDD) y automatización de procesos robóticos (RPA). Su núcleo está implementado en Python, pero también puede ejecutarse en Jython (implementación Java de Python) e IronPython (Python para .NET framework). Para ejecutarlo es necesario instalar la versión 2.7.14 o superior de Python.
Pros
- Basado en el enfoque Keyword-driven testing (KDT), lo que nos permite crear fácilmente casos de prueba utilizando palabras clave legibles por los humanos (no se requiere experiencia en codificación).
- Soporta todos los sistemas operativos (Windows, Linux o MacOS), y todas las aplicaciones (web, móvil y aplicaciones de escritorio).
- Proporciona datos de informes HTML claros y fáciles de usar (incluyendo capturas de pantalla).
- Rico ecosistema con una gran cantidad de APIs que lo convierten en un marco altamente extensible y que permite integrarse con cualquier otra herramienta de terceros.
- Gran apoyo de la comunidad y recursos en línea.
Cons
- Las pruebas paralelas no están soportadas fuera de la caja, pero se puede lograr a través de Selenium Grid o a través de Pabot (un ejecutor paralelo para RF).
- Para bien y para mal te obliga a trabajar según una metodología predefinida, la curva de aprendizaje inicial puede ser un poco más larga de lo habitual para los novatos
- Crear palabras clave genéricas puede llevar más tiempo que simplemente escribir pruebas codificadas
- No es fácil personalizar los informes.
- No tiene una construcción if/else real, pero hay varias maneras de conseguir el mismo efecto (como se puede explorar en su documentación oficial)
En resumen: Si está buscando implementar un enfoque de marco de trabajo basado en palabras clave que permita a los probadores manuales y a los analistas de negocio crear pruebas de automatización, RF es la solución para usted, proporcionando una variedad de extensiones & bibliotecas y fácil de usar. Sin embargo, si usted está en la búsqueda para el desarrollo de escenarios complejos, ya que tendrá que hacer algunas personalizaciones que no están incorporados en el marco.
Pytest
Pytest es un marco de pruebas de código abierto que es posiblemente uno de los marcos de pruebas de Python más utilizados por ahí. Pytest es compatible con las pruebas unitarias, las pruebas funcionales y las pruebas de la API también. Para ejecutarlo se necesita la versión 3.5 o superior de Python.
Pros
- Permite realizar suites de pruebas compactas y sencillas.
- Es altamente extensible mediante el uso de plugins, como: pytest-randomly, pytest-cov, pytest-django, pytest-bdd.
- También puede añadir el plugin pytest html a su proyecto para imprimir informes HTML con una simple opción de línea de comandos.
- Puede ejecutar pruebas en paralelo utilizando un plugin de Pytest pytest-xdist. Puedes leer más sobre él aquí también.
- Tiene una comunidad muy grande.
- Soporta fixtures ayudando a cubrir todas las combinaciones de parámetros sin reescribir los casos de prueba, y son una gran manera de gestionar el contexto entre los pasos.
Cons
- La compatibilidad no es clave para Pytest, ya que aunque puede escribir fácilmente casos de prueba con Pytest, no será capaz de utilizarlos dentro de cualquier otro marco de pruebas debido al uso de las rutinas únicas de Pytest.
TestProject
TestProject es 100% GRATIS marco de automatización completa con informes en la nube. Usando TestProject, puede desarrollar fácilmente la automatización de pruebas para móviles, web o propósitos genéricos con el SDK de código abierto de Python. Soporta la versión 3.6 de Python o superior, y es compatible con los frameworks Pytest y Unittest. TestProject incluye todas las dependencias necesarias como parte del único ejecutable de agente multiplataforma (Puedes ver la grabación de este webinar para empezar).
Pros
- Ejecutable de agente único que incluye todas las librerías de terceros necesarias para ejecutar y desarrollar la automatización de pruebas para móviles, web y genéricas.
- GRATIS Informes automáticos en la nube en formato HTML/PDF (incluyendo capturas de pantalla).
- Historia de ejecución accesible a través de la API RESTful.
- Siempre actualizado con las últimas y estables versiones de los drivers de Selenium/Appium.
- Un único SDK para pruebas web, Android, iOS y genéricas.
- Corredor de pruebas incorporado y capacidades de reporte.
- Soporte multiplataforma para Mac, Windows, Linux y Docker.
- Gran comunidad y soporte: foro, blog y chat en vivo incorporado.
Cons
- El agente puede ejecutar pruebas de una en una, por lo tanto para pruebas paralelas necesitaría usar Agentes Docker.
- Los informes sólo están disponibles en la nube de TestProject, para almacenarlos localmente necesitarás descargar un informe en PDF o utilizar la API RESTful.
- El Agente necesita conexión a internet para ejecutar/ejecutar las pruebas.
En resumen: Si usted está buscando un único marco que cubre sus esfuerzos de automatización de extremo a extremo, a continuación, TestProject es definitivamente el uno para usted y un ajuste perfecto para los equipos con conjuntos de habilidades mixtas, desde los principiantes hasta los expertos en automatización experimentados.
PyUnit (Unittest)
PyUnit (Unittest) es un marco de pruebas unitarias para Python que fue inspirado por JUnit. Es el marco de pruebas de Python por defecto que sale de la caja con el paquete de Python, y por lo tanto el que la mayoría de los desarrolladores comienzan sus pruebas con.
Pros
- Debido a que es parte de la biblioteca estándar de Python no hay módulos adicionales necesarios para instalar – sale de la caja con el paquete de Python.
- Ofrece una ejecución de casos de prueba simple y flexible.
- Generación rápida de informes de prueba, tanto informes XML como unittest-sml-reporting.
Cons
- La intención del código de prueba a veces se vuelve poco clara, ya que soporta la abstracción.
- Se requiere una enorme cantidad de código boilerplate.
- Dado que se basa en Junit, se utiliza el método de nomenclatura camelCase, en lugar de la convención de nomenclatura snake_case de Python.
Nose2
Nose2 es un sucesor de Nose y es básicamente PyUnit (Unittest), pero con plugins. Nose2 extiende PyUnit más allá de su funcionalidad con varios plugins que añaden soporte para la ejecución de pruebas, descubrimiento de pruebas, decoradores, fixtures, parametrización, etc.
Pros
- Fácil de empezar ya que extiende el framework de PyUnit (Unittest) que viene fuera de la caja con la biblioteca de Python.
- Incluye un gran número de plugins incorporados que pueden hacer sus pruebas más rápidas y fáciles.
- Habilita las pruebas en paralelo utilizando el plugin mp.
- Recoge las pruebas automáticamente, siempre y cuando sigas unas sencillas pautas para organizar tu biblioteca y código de pruebas.
Contra
- Falta de documentación extensa que puede frenar si se está empezando.
- No se mantiene tan activamente a diferencia de otros frameworks.
En resumen: Si ya estás usando PyUnit, podrías darle una oportunidad a Nose2 y explorar cómo extiende PyUnit.
Behave
Behave es uno de los frameworks de pruebas BDD (behavior-driven development) más populares de Python. Aunque no es oficialmente parte del proyecto Cucumber, funciona de forma muy similar a los frameworks de Cucumber.
Pros
- Permite escribir casos de prueba en un lenguaje legible, lo que lleva a una fácil colaboración entre equipos con características similares.
- Hay una gran cantidad de documentación y soporte disponible para ayudar a empezar.
- Soporta completamente el lenguaje Gherkin – por lo que la creación de archivos de características no requiere ningún conocimiento técnico.
- Tiene integraciones con Django y Flask.
Cons
- No hay soporte para la ejecución en paralelo.
- Sólo para pruebas de caja negra.
En resumen: Si tu equipo sigue un enfoque BDD, tienes conocimientos previos de BDD (como Cucumber, SpecFlow, etc) y estás buscando pruebas de caja negra – definitivamente deberías revisar Behave. También deberías explorar otros frameworks BDD de Python como: Pytest-bdd, Lettuce (que se describirá más adelante), Radish y más en este artículo de comparación de frameworks de pruebas BDD de Python. Si necesitas algo más que pruebas de caja negra, entonces debes buscar en otra parte.
Lettuce
Lettuce es otro framework BDD de Python y está basado en Cucumber. Requiere Python 2.7.14 o superior.
Pros
- Soporta el lenguaje Gherkin, por lo que permite incluso a los miembros no técnicos del equipo crear fácilmente pruebas utilizando el lenguaje natural.
- Similar a Behave, se utiliza principalmente para las pruebas de caja negra, pero puede ser utilizado para más tipos de pruebas. Por ejemplo, Lettuce puede probar varios comportamientos e interacciones con el servidor y la base de datos.
Cons
- Carece de parte de la riqueza de características de otros frameworks, por lo que es más adecuado para proyectos pequeños.
- Su soporte y documentación no parecen ser mantenidos.
- Requiere una comunicación dedicada entre todas las partes interesadas del proyecto: dev, QA y gerentes con el fin de asegurarse de que la implementación es exitosa.
En conclusión: Si tienes un proyecto BDD pequeño, Lettuce es una gran opción para crear pruebas de forma fácil y en lenguaje natural entre todos los miembros del equipo.
Testify
Testify está diseñado para reemplazar los frameworks comunes Unittest y Nose y tiene características avanzadas al Unittest estándar.
Pros
- Se utiliza para pruebas unitarias, pruebas de integración y pruebas del sistema.
- Para aquellos que están familiarizados con Unittest, Testify es muy fácil de empezar.
- Tiene extensos plugins.
- Similar a Nose2, Testify permite el descubrimiento de pruebas.
- Sintaxis simple para fijar el método.
Cons
- Falta de documentación extensa, por lo que los principiantes pueden necesitar invertir en la búsqueda de recursos relevantes.
- Las pruebas paralelas no son fáciles de lograr.
En resumen: Si tienes experiencia previa con Unittest, te resultará bastante fácil ajustar tus pruebas existentes para que funcionen con Testify, así que definitivamente merece la pena echarle un vistazo.
Conclusión
Hemos llegado al final de esta lista comparativa de frameworks de pruebas en python, y ahora es el momento de elegir el que más se adapte a tus necesidades.
¿Buscas más un enfoque BDD? ¿Busca pruebas unitarias o más bien pruebas funcionales? ¿Su equipo tiene experiencia técnica o de codificación, o se compone principalmente de principiantes? Estas preguntas y muchas otras son las que hay que tener en cuenta a la hora de tomar una decisión. Cada uno de los marcos mencionados tiene sus ventajas y desventajas, y no hay tal cosa como bueno o malo, sino adecuado. Adecuado para tus propias necesidades y requerimientos del producto.
Espero que este artículo haya sido capaz de ayudarte no sólo a entender lo bueno que es Python para las pruebas de automatización, sino que también te ayude en tu viaje hacia las pruebas fáciles en Python!