关于智能计算系统自动化测试方法的研究.pdf

简介：
本文探讨了针对智能计算系统的自动化测试技术，提出了一种新的自动化测试框架和策略，以提高测试效率和准确性。 智能计算系统在大数据与高效计算资源的推动下，在自然语言处理、图像识别、语音识别及机器翻译等领域取得了显著进展。然而，系统的正确性和可预测性依赖于输入数据的准确性，传统的测试方法通常需要人工标注的数据来检测错误行为，这导致效率低下。因此，研究针对智能计算系统自动化测试的方法变得尤为重要。 本段落介绍了一种名为IntelTest的自动化白盒测试系统，专门用于智能计算系统的深度评估。该系统的总体框架包括几个关键模块：生成测试输入、计算神经元覆盖率以及求解联合优化问题等。通过使用未标记的数据作为种子，IntelTest能够创建广泛的覆盖模型中各个神经元的新测试数据，从而深入检测潜在的错误。 在IntelTest系统中，测试任务被转化为一个最大化不同行为差异和提高神经元覆盖率的目标函数优化问题，并采用梯度上升算法来解决这一挑战。该算法迭代更新输入值以满足领域特定约束（例如图像像素范围），同时保持权重参数不变，类似于深度学习中的反向传播过程。 通过两个独立训练的DNN模型示例可以说明IntelTest的工作原理：系统通过对种子数据进行修改，寻找能够导致不同模型决策差异的新测试样本。这种策略有助于揭示隐藏层神经元之间的关系，并生成新的输入以检测模型间的分歧点。例如，一个新输入可能使其中一个DNN将图像分类为汽车而另一个将其识别为人脸。 关键在于设计有效的算法来定义和优化神经元覆盖率以及应用梯度上升策略。这种方法可以在不依赖大量人工标注数据的情况下有效测试智能计算系统的性能及稳定性，并显著提高测试效率、降低成本并增强模型的可靠性与准确性。IntelTest系统为此提供了理论框架和技术工具，对于未来智能计算系统的开发具有重要指导意义。这项工作也为后续研究提供了参考和专业建议，有助于推动该领域内自动化测试技术的发展进步。