研究

透镜下的晶体版画与存在差异的轮廓线

2026 · 预印本 · 愿景论文

测试语言模型与智能体的诚实性

人类监督越来越依赖 AI 的报告。这篇愿景论文关注应如实沟通时,明确陈述与报告当时系统自身判断相冲突的情形,提出覆盖语言模型与完整智能体的初步诚实性测试框架和研究议程。

完整引用

Honesty Testing Of LLMs And AI Agents: A Vision For Software Engineering

Ying Xiao, Xinjian Wu, Lukas Twist, Yaoqi Guo, Yepang Liu, Zhenpeng Chen, and Jie M. Zhang.

从科学仪器延伸出的细线贯穿连续的透明图层,其中一个连接以朱红色标记

2026 · 预印本 · 愿景论文

为 AI 驱动的科学研究建立可靠性保障

AI 生成的代码、实验流程和证据解释中的错误,可能导致无效的科学结论。这篇愿景论文提出连接研究意图、实验设计、实现、执行、证据与结论的“科学保障链”,并通过六个失败案例梳理研究挑战。

完整引用

Software Engineering For AI-Driven Science

Lukas Twist, Xinjian Wu, Jingzhi Gong, Shuyin Ouyang, Ying Xiao, Benedetta Donato, Yaoqi Guo, Zhenpeng Chen, Leonardo Mariani, Helen Yannakoudakis, and Jie M. Zhang.

手部图谱版画与半透明测量图层交叠

2026 · Communications Health

梳理医疗 AI 的偏差与评测缺口

这项范围综述梳理了医疗健康领域大型 AI 模型的 92 项偏差研究,归纳偏差类型、检测方法与缓解策略,并指出公平性定义、评测数据和真实场景验证方面的缺口。

完整引用

A Scoping Review Of Bias In Large AI Models For Medicine And Healthcare

Ying Xiao, Zhenpeng Chen, Jen-tse Huang, Wenting Chen, Yepang Liu, Kezhi Li, Mohammad Reza Mousavi, Richard Dobson, and Jie M. Zhang. Communications Health.

植物根系版画与因果节点交叠,一条路径经朱红色连接件重新接通

2026 · TOSEM

用因果模型引导公平性修复

Fairabel 利用因果模型引导训练数据修改,并通过多目标优化协调公平性与预测性能。研究在多种决策场景中评估其缓解单一及交叉敏感属性偏差的效果,同时考察模型性能的保留情况。

完整引用

Software Fairness Analysis And Repair Via Causal Model-Guided Data Mutation

Ying Xiao, Zhenpeng Chen, Yepang Liu, Mohammad Reza Mousavi, and Jie M. Zhang, ACM Transactions on Software Engineering and Methodology (TOSEM).

绘图机构留下层叠回环轨迹,一条清晰的出口穿过朱红色终止标记

2026 · ACL Findings

减少软件工程智能体的无效迭代

EET 从历史问题解决过程提取经验,引导补丁生成与选择阶段提前结束无效迭代。在 SWE-bench Verified 上对三类智能体的评估中,它降低了运行成本,并基本保持问题解决率。

完整引用

EET: Experience-Driven Early Termination For Cost-Efficient Software Engineering Agents

Yaoqi Guo, Ying Xiao, Jie M. Zhang, Mark Harman, Yiling Lou, Yang Liu, Zhenpeng Chen, ACL 2026 Findings.

同一张中性石膏面孔被不同半透明角色轮廓覆盖,输出的点阵发生偏移

2026 · FSE

角色扮演会怎样影响模型公平性

这项研究构建了覆盖 550 种角色的 33,000 个测试问题,评估十个语言模型。移除角色设定后,所有受测模型的偏差回答均显著减少,说明角色扮演可能引入额外的公平性风险。

完整引用

Fairness Testing Of Large Language Models In Role-Playing

Xinyue Li, Zhenpeng Chen, Jie M. Zhang, Ying Xiao, Tianlin Li, Weisong Sun, Yang Liu, Yiling Lou, Xuanzhe Liu, Proceedings of the ACM on Software Engineering (FSE 2026).

不同种子的版画与彩色几何图形、共同测量线并置

2026 · ICSE

通过调整数据相关性缓解偏差

Correlation Tuning 调整敏感属性与标签之间的数据相关性,并结合多目标优化处理代理偏差。在受测情境中,该方法改善了弱势群体的预测表现,并降低多项偏差指标,将公平性与软件质量联系起来。

完整引用

Fairness Is Not Just Ethical: Performance Trade-Off Via Data Correlation Tuning To Mitigate Bias In ML Software

Ying Xiao, Shangwen Wang, Sicen Liu, Dingyuan Xue, Xian Zhan, Yepang Liu, and Jie M. Zhang, 2026, IEEE/ACM 48th International Conference on Software Engineering (ICSE 2026).

医学听诊器版画旁叠放不同滤片,同一波形经过滤片后呈现不同轨迹

2026 · Philosophical Transactions of the Royal Society A

提示工程缓解医疗 AI 偏差的效果与代价

这项研究比较多种提示策略对五个语言模型的公平性、准确率和推理开销的影响。效果高度依赖模型,部分策略甚至加剧偏差;思维链提示改善偏差的同时,也增加了推理成本。

完整引用

Mitigating Medical Bias In Large Language Models By Prompt Engineering: An Empirical Study Of Effectiveness And Trade-Offs

Ying Xiao, Zhenpeng Chen, and Jie M. Zhang, Philosophical Transactions of the Royal Society A.

精细机械连杆连接两组不同颜色的形状,局部支点呈现相互牵动的关系

2025 · FSE

偏差缓解让谁受益,又让谁付出代价

这项研究考察表格数据任务中的偏差缓解如何改变不同群体的收益,发现受测方法常伴随一方改善、另一方受损的权衡。进一步实验显示,针对弱势群体实施干预,有望改善公平性并避免这些损失。

完整引用

Software Fairness Dilemma: Is Bias Mitigation A Zero-Sum Game?

Zhenpeng Chen, Xinyue Li, Jie M. Zhang, Weisong Sun, Ying Xiao, Tianlin Li, Yiling Lou, and Yang Liu, Proceedings of the ACM on Software Engineering (FSE 2025).

两张相近的医学病例卡并置,仅一处彩色标记不同,透镜突出比较区域

2025 · 预印本 · v1

测试医学问答中的人群偏差

AMQA 构建了 4,806 对对抗性医学问答,评估五个语言模型,揭示与种族、性别和社会经济地位相关的准确率差异,为测试总体准确率可能掩盖的人群差距提供数据。

完整引用

AMQA: An Adversarial Dataset For Benchmarking Bias Of LLMs In Medicine And Healthcare

Ying Xiao, Jie Huang, Ruijuan He, Jing Xiao, Mohammad Reza Mousavi, Yepang Liu, Kezhi Li, Zhenpeng Chen, Jie M. Zhang.

一个种子标本通过两面倾斜镜片呈现对照,细线连接两种观察结果

2024 · FSE

利用反事实预测改善公平性

MirrorFair 在原始数据及修改敏感属性后的反事实数据上分别训练模型,再自适应融合两者的预测。跨任务与学习算法的评估显示,相比受测对照方法,它更好地兼顾了公平性与预测性能。

完整引用

MirrorFair: Fixing Fairness Bugs In Machine Learning Software Via Counterfactual Predictions

Ying Xiao, Jie M. Zhang, Yepang Liu, Mohammad Reza Mousavi, Sicen Liu, Dingyuan Xue, Proceedings of the ACM on Software Engineering (FSE 2024).

复杂齿轮组件与简化后的组件并列,一处错位齿轮以朱红色突出

2023 · ICSE

理解模型优化中的真实缺陷

模型优化操作也可能引入缺陷,导致输出错误、精度下降或系统崩溃。这项研究分析 TensorFlow 与 PyTorch 的 371 个真实优化缺陷,梳理症状、根因、生命周期及检测修复难点。

完整引用

A Comprehensive Study Of Real-World Bugs In Machine Learning Model Optimization

Hao Guan, Ying Xiao, Jiaying Li, Yepang Liu, Guangdong Bai, 2023 IEEE/ACM 45th International Conference on Software Engineering (ICSE 2023).

两株相互缠绕的植物线稿在透明图层下被轻柔分开,各自根系保持完整

2023 · 预印本 · v1

通过因果去相关缓解偏差

FITNESS 通过修改训练数据降低敏感属性与标签之间的因果关联,并利用多目标优化协调公平性与性能。基准任务上的评估显示,它能改善公平性,并在多数受测情境中避免预测性能下降。

完整引用

FITNESS: A Causal De-Correlation Approach For Mitigating Bias In Machine Learning Software

Ying Xiao, Shangwen Wang, Sicen Liu, Dingyuan Xue, Xian Zhan, and Yepang Liu.