暨南大学融媒体中心讯 近日,CCF A类人工智能国际顶级会议AAAI2024放榜,暨南大学信息科学技术学院、广东智慧教育研究院官全龙与陈子良,与澳大利亚莫纳什大学、中山大学等单位合作,以暨南大学为通讯作者单位或第一作者单位被人工智能国际顶级会议(CCF A)AAAI2024接收。本次会议上发表的2篇论文涉及分布外泛化模型、作文自动评分模型等研究领域。本次会议共提交了12100篇文章,接受了2342篇论文,总体录用率为23.75%。
AAAI的英文全称是The Association for the Advancement of Artificial Intelligence,即人工智能促进协会,该协会主办的年会 (The AAAI Conference on Artificial Intelligence) 是重要的国际人工智能学术会议之一,致力于推动智能思维与行为机制的科学理解及机器实现,并促进人工智能的科学研究和规范应用,对于人工智能领域的学术研究有着显著的影响力和知名度。许多重要的理论突破、创新方法和实际应用都在该会议上首次亮相,属于CCF-A类会议。第38届AAAI会议(AAAI-24)将于2024年2月20日至27日在加拿大温哥华举行。
论文1:Diagnosing and Rectifying Fake OOD Invariance: A Restructured Causal Approach
中文:分布外泛化中伪不变性的诊断与修正:一种重构因果方法
作者:陈子良,Yongsen Zheng ,赖兆荣,官全龙*, 林倞
通讯作者:官全龙
不变表征学习通过构建不变特征到标签之间的因果关系去排除领域环境中的混淆因子,从而赋予智能体在面对训练分布外数据时的泛化能力。尽管这类方法备受关注,最近理论研究发现通过不变表征学习重构出来的一部分因果特征往往只是“假装”具有领域不变性:其领域不变性只体现在参与训练的领域中,而当遇上没见过的领域数据时,这些特征下的标签预测效果往往不具备领域不变的特点。该类伪不变特性严重威胁到现有不变表征学习模型的分布外泛化能力。而在本工作中,基于部分信息不变特征结构因果模型(PIIF SCM)及完全信息不变特征结构因果模型(FIIF SCM)的常见数据假设下,我们重新审视了一系列关于不变表征学习方法。我们对基于信息不变特征结构因果模型和完全信息不变特征结构因果模型的领域数据假设提供了新的理论分析,发现其两者均无法同时对虚假特征(spurious features)和伪不变特征(fake invariant features)进行有效建模。因此,我们联合以上两个结构因果模型的因果图提出了重构结构因果模型(RS-SCM),实现了对数据背后的虚假特征和伪不变特征的同时建模;并且通过对RS-SCM中的变量因果关系进行分析,进一步提出了交互不变学习方法。交互不变学习通过引入一个小型的辅助网络对现有的不变表征学习方法实现改造,利用条件互信息去交互消除虚假特征和伪不变特征对分布外标签预测效果的干扰。诊断性实验进一步证实了理论假设和方法的可信性,同时真实的大规模领域泛化基准数据也验证了提出方法的有效性。
论文2:Unveiling the Tapestry of Automated Essay Scoring: A Comprehensive Investigation of Accuracy, Fairness, and Generalizability
中文:揭开作文自动评分模型的面纱:对准确性、公平性和普遍性的综合研究
作者:Kaixun Yang , Mladen Rakovic , Yuyang Li ,Quanlong Guan(官全龙)*, Dragan Gasevic , Guanliang Chen*
通讯作者:官全龙,Guanliang Chen
作文自动评分(AES)模型是一种公认的智慧教育追求和人工智能+教育的典型应用,它采用机器学习来评估学生撰写的作文。鉴于目前机器学习模型存在固有的偏见及对边缘化群体有着潜在影响,研究当前AES模型中是否存在这种非公平性的偏见,这种偏见如何发现及影响AES模型的准确性和泛化性。因此,我们的研究旨在揭示AES模型的准确性、公平性和泛化性之间的复杂关系,为在现实世界的智慧教育中开发有效的AES模型提供实用见解。为此,我们精心选择了九种先进的AES方法,并在开源数据集上使用七种不同的指标评估了它们的性能,该数据集包含25000多篇文章和关于学生的各种人口统计信息,如性别、英语学习者状况和经济状况。通过广泛的评估,我们得出非常有趣的结论:
1.在预测准确性方面,特定提示模型往往优于跨提示模型;
2.与跨提示模型相比,特定提示模型往往对不同经济地位的学生表现出更大的偏见;
3.在追求泛化性的过程中,与复杂的神经网络模型相比,传统的机器学习模型(如SVM)与精心设计的特征相结合,在实现高精度和公平性方面具有更大的潜力。
研究工作得到了国家重点研发计划(2022YFC3303603),国家自然科学基金(62077028, 62377028),粤港澳智慧教育联合重点实验室(2022LSYS003)等项目的支持。
责编:李伟苗