学院新闻
新闻动态

陈占龙、张梦玺研究组基于大语言模型的安卓移动应用GUI无障碍问题 复现测试用例生成方法研究成果被《软件学报》录用发表

发布人:郑晓军发表时间:2026-08-15点击:


近日,陈占龙教授、张梦玺副教授团队完成的研究论文—“基于大语言模型的安卓移动应用GUI无障碍问题复现测试用例生成方法”被CCF推荐A类中文期刊《软件学报》录用并发表。其中,张梦玺副教授为论文第一作者,陈占龙教授为通讯作者。

                           图1 本文提出的测试用例生成方法 

                               图2 论文录用证明

随着移动应用(App)深度嵌入社交、教育、金融与出行等日常场景,确保包括视障用户在内的所有群体平等完成功能操作,已成为衡量App质量的基本要求。然而,视障用户高度依赖界面的语义标注、结构组织与正确交互顺序,而应用界面动态多变、交互路径复杂,导致开发实践中难以完整落实无障碍规范,现有自动化测试方法(如规则引擎、静态分析或模拟交互)在处理动态界面和屏幕阅读器输出分析时存在显著局限,且无法自动生成可复现无障碍问题的测试用例,使得缺陷复现与验证仍高度依赖人工,极大增加了开发负担。

针对上述挑战,本文提出了一种基于大语言模型(LLM)的无障碍测试用例自动生成方法。该方法通过整合界面截图、控件层级树及辅助功能语义构建多源GUI表征,利用LLM推理可触发问题的交互路径并估计屏幕阅读器朗读行为,将路径转化为可执行的UIAutomator脚本,并结合专家标注样本进行小样本学习,同时设计闭环验证机制自适应调整执行策略,从而实现对动态界面与复杂交互场景下无障碍问题的稳定复现。

为验证方法有效性,本文在Google Play推荐的239个App和F-Droid平台的36个App上分别进行实验,并与AXNav、GPTDroid和RecActDroid等基线方法对比。结果表明,本文方法在无障碍问题复现率和测试用例执行成功率上均显著优于基线,生成的可执行用例数量大幅增加,覆盖更多交互场景。消融实验进一步验证了小样本学习模块对生成效果的关键作用,而视障用户的真实反馈也表明,该方法能有效帮助开发者识别并修复无障碍问题,切实提升了视障用户的App使用体验。

《软件学报》是中国计算机学会(CCF)评定的A类推荐中文科技期刊(在最新高质量科技期刊分级目录中属于T1类顶尖中文期刊),由中国科学院软件研究所和中国计算机学会共同主办,是国内计算机软件与理论、软件工程领域最具权威性和影响力的学术期刊之一。

该研究得到国家科技重大专项(2025ZD1008501)、国家自然科学基金(42471475)、地大青年学者基金(Project No.2025061)、中央高校基本科研业务费(No.CUG250691)等项目的资助。



论文信息:

题目:基于大语言模型的安卓移动应用GUI无障碍问题复现测试用例生成方法

作者:张梦玺,赵军利,刘然,陈占龙*

发表期刊:《软件学报》

论文链接:https://www.jos.org.cn/ch/reader/view_abstract.aspx?file_no=202512040000001


通讯员:张梦玺

审核:龚文引

校对:卢笙