生产式AI驱动的主机自动化测试
审校 | 重楼
将传统大型主机应用的代码和数据迁移到现代化技术架构上,被业界认为是企业信息系统数字化发展的关键阶段。尤其是在追求提高效率和可扩展性的过程中,这种转变通常会涉及到从传统的大型主机环境,转移到更加灵活的云计算、或是在内部部署方案中。
不过,随着业务环境的动态变化,也会使得迁移过程变得更加复杂。这不仅仅是技术上的资源重新部署,而且是一种根本性的转变,因此往往需要经历严格的测试,以确保各项功能的等效,进而保持应用在运行上的完整性和性能上的标准化。
同时,在迁移之后,应用程序经常会在新的要求、业务战略的演变、以及监管标准变化的驱动下,被迫进行大量的修改。而每一次修改,无论是微小的调整、还是重大的“翻修”,都必须经过严密的测试。其中最关键的挑战就在于,如何确保新的变化能够与现有的功能和谐集成,而不会造成意想不到的后果或中断。可见,验证新功能和保留现有功能的双重要求,凸显了在迁移后自动化测试套件的重要性。
近年来,生成式AI(GenAI)的广泛应用,已辐射到了各个领域。如果将其引入大型主机的现代化过程,不但有望让企业在软件质量、运营效率等方面取得显著改善,而且能够带来软件开发和质量保证理念上的根本转变,进而让企业最终获得可观的投资回报。
下面,我将和您探讨如何通过合适的自动化测试方法、工具和最佳实践,实现在技术平稳过渡中,确保现代化大型主机应用的固有质量和性能。
传统的手动测试理念
一直以来,大型主机环境并不愿意接受自动化的测试方式。由Compuware和Vanson Bourne联合开展的2019年全球调查显示,仅有7%的受访者为大型主机应用采用了自动化的测试用例,这足以说明业界对此的态度。
手动测试的困境
作为对比,手动测试则是许多企业普遍采用的传统方法。不过,在复杂的大型主机现代化过程中,该方法越来越显得力不从心,而且容易出错。毕竟,测试工程师需要手动验证每个方案和业务规则。这一过程就充满了人为出错的可能性。而且,鉴于许多大型主机应用的高风险性和关键任务性特点,我们一旦在测试过程中忽略了某个细微的错误,则可能会导致严重的生产问题、大量的停机时间、乃至经济损失。因此,该缺点会变得尤为突出。此外,人工测试还存在着如下缺陷:
1. 遗漏与不准确:手动处理大量测试用例,会增加遗漏关键场景、以及数据验证不准确的风险。
2. 耗时性:手动方法需要大量时间对每个方面进行彻底测试,因此在快节奏的开发环境中效率不高。
3. 可扩展性问题:随着应用程序的扩展和演进,人工测试所需的工作量会成倍增加,更无法有效地识别错误。
有的企业可能会直观地想到扩大人工测试团队。不过,这并非一个可行的解决方案。此举既会导致成本效率的低下,又无法解决人工测试流程的固有局限性。企业需要通过DevOps等现代方法,来整合自动化测试流程,以提高效率并减少错误。
测试自动化的必要性
总的说来,通过在现代化大型主机应用程序中集成自动化测试流程,企业可以大幅提高迁移的效率和准确性。当然,大型主机环境中自动化测试的采用率并不高。有的企业认为这是挑战,但也有的企业视之为巨大的转型机遇。毕竟,在测试中采用自动化不仅仅是一种技术升级,更是一种降低风险、节省时间和优化资源利用的战略举措。
对于希望在快速发展的技术环境中,保持竞争力和效率的企业来说,这一转变至关重要。根据《DevOps状态报告》显示,自动化测试在优化操作工作流程和确保应用程序可靠性等方面,能够发挥巨大的作用。
什么是自动化测试?
根据Atlassian的定义,自动化测试是通过运用软件工具,自动完成那些由人工驱动的软件产品的审查和验证过程。其速度、效率和精度,都超越了传统人工测试方法的局限性。也就是说,自动化测试有助于在加快应用变化的同时,确保其质量和可靠性不受影响。自动化测试不仅能够简化新变化的验证过程,也可以监控现有功能的完整性,从而在现代化应用的无缝过渡和持续维护方面发挥关键性作用。
在追求优化软件测试流程的过程中,采用自动化测试往往需要初始的人工投入,会涉及到测试工程师对于应用程序底层错综复杂的业务逻辑的理解。这种理解对于使用Selenium等框架有效地生成自动化测试用例是至关重要的。该阶段虽然会耗费大量人力,却是一项基础性工作。毕竟后续的自动化测试将大幅减少测试本身对于人工的依赖,尤其是在重复和广泛的测试场景中。而且,自动化框架一旦被建立,就会成为对应用程序进行持续评估的强大机制。其优势在于,它善于识别因应用更改而可能出现的错误或bug。
大型主机现代化过程中的自动化测试方法
在软件工程领域,针对大规模的迁移或现代化大型主机应用程序的自动化测试,往往需要全面了解应用程序中的所有业务规则,以便为通常由数百万行代码组成的庞大代码库,生成自动化的测试用例。这是一项复杂而又相当艰巨的任务。鉴于难以实现100%的代码覆盖率,我们需要在测试覆盖深度与实际可行性之间实现平衡,以确保关键性的业务逻辑,能够得到充分的测试覆盖。
在这种情况下,GenAI等新兴技术提供了一种可能性。它能够自动生成自动化测试脚本,以简化大型主机现代化项目的测试流程,为软件开发中的质量保证提供一种更高效、更准确、更可扩展的方法。
GenAI的广泛利用
在深入研究GenAI如何在大型主机现代化中实现自动化测试之前,让我们简单了解一下GenAI。从根本上说,GenAI代表了人工智能的一个方面。它通过生成式模型,来生成各种文本、图像或其他媒介。这些生成式人工智能模型善于学习输入训练数据的模式和结构元素,进而生成能够反映这些特征的新数据。显然,此类系统主要依赖机器学习模型,尤其是深度学习领域的模型。
自然语言生成(Natural Language Generation,NLG)是与大型主机现代化强相关的一种GenAI形式。它能够在大语言模型(large language models,LLM)的支持下,产生出类似人类的文本。通常,LLM在大量文本数据的语料库中接受训练,使之能够辨别和复制语言的细微差别和结构。因此,这种训练使得它们能够执行各种自然语言处理任务,包括:文本生成、翻译摘要、以及情感分析等。值得注意的是,LLM还能够熟练地生成准确的计算机程序代码。
目前,大语言模型的著名用例包括:GPT-3(Generative Pre-trained Transformer 3)、BERT(Bidirectional Encoder Representations from Transformers)和T5(Text-to-Text Transfer Transformer)。这些模型通常建立在深度神经网络的基础上,尤其是那些采用了Transformer架构的模型。因此,它们在处理文本等顺序数据方面,表现出了卓越的功效。大量的训练数据(包括数百万、甚至数十亿的单词或文档)使得这些模型能够全面掌握各种编程语言。它们不仅在生成连贯且与上下文相关的文本方面表现出色,而且在预测语言模式(如完成句子或回答查询)方面也很优秀。
当前,某些大语言模型还可以理解和生成多种语言的文本,从而提高其在全球范围内的实用性,从为聊天机器人和虚拟助手提供“智力”,到支持内容生成、语言翻译与摘要等应用领域,LLM的多功能性都能够带来不俗的表现。
如何使用GenAI生成自动化测试脚本
在软件测试领域,LLM可以帮助我们从应用程序的代码中提取业务逻辑,并将这些规则转化为人类可读的格式,进而生成相应的自动化测试脚本。同时,它也能够帮助我们遴选出必要数量的测试用例,以满足代码片段的各种潜在覆盖率要求。
通常,使用GenAI生成应用程序代码的自动化测试脚本,需要如下结构化的三步流程:
1. 使用GenAI提取业务规则:作为初始阶段,我们需要使用GenAI从应用程序中提炼业务规则。该流程会对提炼到的规则按照详细程度进行判定,并以人类可读的格式进行诠释。此外,GenAI也有助于全面了解给定代码段的所有潜在结果。这些知识对于确保创建准确、相关的测试脚本是至关重要的。
2. 利用GenAI在功能层面生成自动化测试脚本:根据提取到的业务逻辑,测试工程师能够对应用程序的功能拥有全面的了解,以便在功能层面上利用GenAI来开发测试脚本。该步骤涉及到确定所需的测试脚本数量,并识别可能被排除在外的场景。当然,此类自动化测试脚本的代码覆盖范围,往往是由团队集体决定的。
3. 由主题专家(Subject Matter Experts,SME)进行验证和推理添加:在最后阶段,一旦提取了业务逻辑,并生成了相应的自动化测试脚本,测试专家就会验证这些脚本,并有权进行添加、修改或删除等操作。此类干预解决了GenAI输出可能产生的潜在概率错误,并提高了自动化测试脚本的质量确定性。
上述过程看似复杂,实际上却能充分利用GenAI的能力,以简化测试脚本生成的流程,并确保自动化的效率与人类专业知识的完美结合。其中,测试人员在验证阶段的参与尤为重要。这会让人工智能生成的输出结果,能够建立在实际、真实的应用知识之上,从而显著提高测试脚本的可靠性和适用性。
小结
综上所述,作为一种提高效率的工具,GenAI可以通过其NLG能力生成自动化测试脚本,进而提高大型主机现代化的软件测试过程的准确性和可靠性。同时,GenAI需要通过结构化的三步流程,来完善AI生成的输出结果,并确保自动化脚本不仅在技术上合理,而且在实践中适用,从而体现AI能力与人类专业知识的和谐统一。而这种融合对于解决现代化大型主机应用程序的复杂性和动态要求,显然是至关重要的。
译者介绍
陈峻(Julian Chen),51CTO社区编辑,具有十多年的IT项目实施经验,善于对内外部资源与风险实施管控,专注传播网络与信息安全知识与经验。
原文GenAI-Driven Automation Testing in Mainframe Modernization,作者:sampath amatam)
免责声明:
① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。
② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341