暨南大学融媒体中心讯 2024年12月，美国人工智能协会 AAAI公布了2025年的论文录用结果，暨南大学广东智慧教育研究院师生投稿的六篇文章顺利入选，文章涉及到基于注意力机制的知识追踪、认知波动增强知识注意力网络、阶梯式奖励模型等研究内容。
AAAI全称为国际先进人工智能协会(Association for the Advancement of Artificial Intelligence)，是人工智能和机器学习领域的顶级会议，据最新中国计算机学会（CCF）推荐国际学术会议和期刊目录，AAAI为人工智能领域的A类会议。AAAI 2025会议共有12,957篇投稿，接收率仅为 23.4%。会议将于2025年2月25-3月4日在美国宾夕法尼亚州费城召开。
入选论文介绍
论文题目：Rethinking and Improving Student Learning and Forgetting Processes for Attention based Knowledge Tracing Models
作者：白友恒（暨南大学）、李薛毅（暨南大学）、刘子韬（暨南大学）、黄雅莹（暨南大学）、田密（好未来）、罗伟其（暨南大学）
通讯作者：刘子韬
成果简介：知识追踪（KT）对学生的知识状态进行建模，并根据他们的历史交互数据预测他们未来的表现。然而，基于注意力的 KT 模型很难准确捕捉不断增长的交互序列中的各种遗忘行为。首先，现有模型使用统一的时间衰减矩阵，导致遗忘表征与问题相关性混淆。其次，固定长度窗口预测范式无法对扩展序列中的连续遗忘过程进行建模。为了应对这些挑战，本文引入了 LFPKT，这是一种统一的架构，通过结合提出的相对遗忘注意力来增强基于注意力的 KT 模型。LFPKT 通过相对遗忘注意力来改善遗忘建模，以实现与问题相关性的解耦。此外，它还增强了基于注意力的 KT 模型的长度外推能力，用于捕获不断增长的交互序列中的连续遗忘过程。三个数据集上的实验结果验证了 LFPKT 的有效性。为了鼓励可重复的研究，我们将数据集和代码公开在https://pykt.org/。
论文题目：Cognitive Fluctuations Enhanced Attention Network for Knowledge
作者：侯明良（好未来）、李薛毅（暨南大学）、郭腾（暨南大学）、刘子韬（暨南大学）、田密（好未来）、罗仁强（大连理工大学）、罗伟其（暨南大学）
通讯作者：郭腾
成果简介：知识追踪（Knowledge Tracing，KT）是一项序列预测任务，旨在利用学生的历史学习交互数据预测其在未来问题上的表现。KT的核心在于对人类认知行为的建模，以加深对认知过程的理解。人类认知具有两个关键特性：一是长期认知趋势，反映知识随着时间逐渐积累和稳定的过程；二是短期认知波动，源于遗忘或注意力暂时失焦等瞬时因素。现有的基于注意力机制的KT模型虽然能够有效捕捉长期认知趋势，但往往难以充分处理短期认知波动。这些局限性导致认知特征过于平滑，从而降低了模型性能，特别是在测试数据长度超过训练数据长度时表现尤为明显。为了解决这些问题，我们提出了FlucKT，一种增强短期认知波动建模的注意力网络，用于KT任务。FlucKT从以下两方面改进了注意力机制：首先，通过基于分解的层和因果卷积，分离并动态重权重长期与短期认知特征；其次，引入了核化偏置注意力分数惩罚，以强化对短期波动的关注，从而提升模型的长度泛化能力。我们通过在三个真实数据集上的广泛实验验证了FlucKT的贡献，实验结果表明，该模型在长度泛化能力和预测性能上均取得了显著提升。
论文题目：What Are Step-Level Reward Models Rewarding? Counterintuitive Findings from MCTS-Boosted Mathematical Reasoning
作者：马奕然（浙江大学）、陈醉（上海科技大学）、刘天乔（好未来）、田密（好未来）、刘卓（University of Rochester）、刘子韬（暨南大学）、罗伟其（暨南大学）
通讯作者：刘子韬
成果简介：步骤级奖励模型（SRM）可以通过过程监督或基于强化学习的步骤级偏好对齐，显著提升数学推理性能。SRM 的性能至关重要，因为它们作为关键的指导方针，确保推理过程中的每一步都与预期的结果一致。最近，类似 AlphaZero 的方法，使用蒙特卡罗树搜索（MCTS）进行自动步骤级偏好标注，被证明特别有效。然而，SRM 成功的精确机制仍然尚未被深入探讨。为了解决这一空白，本研究深入探讨了 SRM 的一些反直觉方面，特别关注基于 MCTS 的方法。我们的研究发现，移除思维过程的自然语言描述对 SRM 的效能影响甚微。此外，我们证明了 SRM 能够擅长评估数学语言中复杂的逻辑一致性，而在自然语言方面则存在困难。这些见解为有效的数学推理中步骤级奖励建模的核心要素提供了细致的理解。通过揭示这些机制，本研究为开发更高效、更简化的 SRM 提供了宝贵的指导，这可以通过专注于数学推理的关键部分来实现。
论文题目：A Syntactic Approach to Computing Completeand Sound Abstraction in the Situation Calculus
作者：方良达（暨南大学）、王晓曼（暨南大学）、陈长（暨南大学）、罗凯伦（东莞理工大学）、崔振河（湖南科技大学）、官全龙（暨南大学）
通讯作者：官全龙
成果简介：抽象是人工智能领域中一个重要且有用的概念。据我们所知，目前还没有一种句法方法可以从给定的低阶基本动作理论和细化映射中计算出完备且正确的抽象动作理论。本文旨在解决这个问题。为此，本文首先提出一种情景演算的变体，即线性整数情景演算，它用作高阶基本动作理论的描述框架。然后，本文将Banihashemi、De Giacomo和 Lesperance三人提出的抽象框架迁移至一个从线性整数情景演算到扩展情景演算的框架。此外，本文确定一类 Golog 程序，即受限动作，用于限制低阶 Golog 程序，并对细化映射施加了一定的限制。最后，本文设计一种句法操作，用于从低阶基本动作理论和受限细化映射中，计算出完备且正确的抽象动作理论。
论文题目：Vision Transformers Beat WideResNets on Small Scale Datasets Adversarial Robustness
作者：邬钧陶（暨南大学）、宋子玉（暨南大学）、张晓钰（暨南大学）、谢淑君（暨南大学）、林龙新（暨南大学）、王苛（暨南大学）
通讯作者：王苛
成果简介：在长时间内，Vision Transformers（ViTs）一直被认为不适合在小规模数据集上获得强大的表现，而WideResNet模型则在这一领域占据主导地位。尽管WideResNet模型在CIFAR-10和CIFAR-100等数据集上持续设定了最先进的（SOTA）鲁棒性准确率，但本文挑战了只有WideResNet能够在这一背景下表现优异的普遍观点。我们提出了一个关键问题：ViTs是否能够超越WideResNet模型的鲁棒性准确率？我们的结果给出了一个肯定答案。通过结合扩散模型生成的数据进行对抗训练，我们证明了ViTs确实可以在鲁棒性准确率方面超越WideResNet。具体而言，在无穷范数威胁模型下，epsilon = 8/255时，我们的方法在CIFAR-10上达到了74.97%的鲁棒准确率，在CIFAR-100上达到了44.07%的鲁棒准确率，相较于之前的SOTA模型，分别提高了+3.9%和+1.4%。值得注意的是，我们的ViT-B/2模型，参数量是WRN-70-16的三分之一，且超越了此前表现最好的WRN-70-16。我们的成就开辟了一条新道路，未来采用ViTs或其他新型高效架构的模型，可能最终取代长期主导的WRN模型。
责编：周会谦
