近日，第34届ACM国际多媒体会议（ACM International Conference on Multimedia，简称ACM MM 2026）公布了录用结果。该会议将于2026年11月10日至14日在巴西里约热内卢举行，是多媒体领域最具影响力和权威性的国际学术会议之一，也是CCF（中国计算机学会）推荐的A类会议。在此次会议上，我院3项研究成果被录用，取得重要进展。

1.融合EEG-fNIRS的多模态脑机接口的三分支残差网络TREF-Net

2025级硕士研究生甄家宇在潘家辉教授指导下，研究成果《TREF-Net: A Triple-Branch Residual Network for Hybrid EEG-fNIRS Brain-Computer Interfaces》被录用。该成果简介如下：

（1）研究背景

脑电图（EEG）与功能性近红外光谱技术（fNIRS）具备便携性与无创性，是实用化脑机接口（BCI）的理想技术。结合脑电图的时间分辨率优势与功能性近红外光谱技术的空间定位优势，能够有效提升脑机接口的系统性能。三维张量表示能够保留神经活动的空间拓扑结构，使模型可以挖掘跨模态的空间关联特征。然而，基于三维张量的脑电图-功能性近红外光谱解码方法面临两大核心难题：①三维卷积运算导致模型参数量庞大、计算复杂度大幅提升；②加法、拼接等传统融合方式难以充分挖掘两种模态数据的互补信息，无法自适应地实现特征融合。

（2）技术方案与结果

针对上述问题，本文提出三分支残差网络TREF-Net，该网络包含并行的脑电图分支、功能性近红外光谱分支与融合分支，可实现特征级与决策级的双重融合。首先，本文设计了一种适用于三维脑信号张量高效处理的Inception式残差模块，将通道拆分与深度可分离卷积相结合，实现高效的多尺度时空特征提取。相较于同等规格的传统三维卷积架构，整体模型参数量降低84%，浮点运算量降低89%，推理吞吐量提升至2.2倍。其次，本文提出均值-最大值双池化加权融合模块，依托无参数注意力机制，实现脑电图与功能性近红外光谱特征的自适应融合。在词语生成（WG）、运动想象（MI）、心算（MA）三类任务测试中，该模型分类准确率分别达87.90%、83.91%、88.17%，性能表现优异，证明三维空间拓扑结构保留与高效运算性能可以兼顾。

图1 TREF-Net模型框架

图2 TREF-Net核心模块结构详图

（3）总结与展望

    TREF-Net通过三分支架构与Inception式高效三维残差模块，在大幅降低计算开销的同时，实现了EEG-fNIRS多模态脑机接口的精准解码，为便携式、低功耗混合脑机接口系统的实用化提供了新的技术路径。

2。 基于预训练语言模型的语义引导跨受试者脑电情绪识别框架

2024级硕士研究生陈浩在李景聪副教授指导下，研究成果《Semantically Guided Cross-Subject EEG Emotion Recognition with Pretrained Language Model》被录用。该成果简介如下：

（1）研究背景

基于脑电图（EEG）的情绪识别是构建下一代人机交互与情绪脑机接口（BCI）系统的关键技术之一。与面部表情、语音等行为信号不同，EEG信号源自大脑皮层活动，难以被主观掩盖或伪装，能够客观、真实地反映个体的内在情绪状态。近年来，深度学习模型已在被试内（subject-dependent）场景下取得显著成效。然而，实际部署中，系统往往需要面对新用户，跨被试（cross-subject）识别能力成为BCI走向实用化的关键瓶颈。

由于不同个体在生理结构、认知模式和心理特质上存在显著差异，EEG信号呈现出强烈的非平稳性和分布偏移，即"域偏移"问题。现有跨被试方法多依赖纯数据驱动的统计分布对齐，但在无约束的隐空间中强行对齐，容易扭曲情绪类别的内在决策边界，导致"过对齐"或"负迁移"。此外，传统方法在建模时忽视了情绪状态之间天然的语义关联，而本工作引入预训练语言模型构建结构化语义原型，从跨模态角度为特征对齐提供显式的几何指导，有效缓解了上述问题。

（2）技术方案与结果

本研究提出了语义引导的多源域适应框架（Semantically Guided Multi-Source Domain Adaptation，简称SGDA）。该框架跳出传统的纯数据驱动对齐思路，创新性地引入预训练语言模型（如CLIP文本编码器）从情绪文本标签中提取结构化语义原型，作为跨域特征对齐的全局锚点，将非平稳的EEG特征映射到统一的语义空间，显式增大类间决策边界，保留细粒度情绪判别信息。整体框架采用多源域适应架构，为每个源被试设计独立特征投影分支以避免源域混合带来的内部特征冲突，核心创新如下：

①语义引导的跨模态对齐：利用预训练语言模型生成情绪类别的文本嵌入作为固定语义原型，通过余弦相似度约束将EEG特征与对应语义锚点对齐，使跨域特征在语义空间中获得明确的几何参照，有效缓解纯数据驱动对齐带来的边界模糊问题；

②自适应分布感知融合策略：在推理阶段，根据目标样本与各源域中心的距离动态聚合多源知识，有效抑制被试特异性噪声干扰，避免负迁移。

图1 SGDA框架总览

实验在SEED、SEED-IV、SEED-V、DEAP和DREAMER五个公开基准数据集上进行了严格的跨被试和跨会话评估。结果表明，SGDA在多种评估协议下取得了总体最优性能。在SEED数据集上，被试依赖（Protocol I）准确率达92.56%，跨session（Protocol II）准确率达95.39%，跨被试全session（Protocol III）准确率达89.62%，显著优于现有主流方法。在更具挑战性的SEED-IV（四分类）和SEED-V（五分类）细粒度情绪识别任务上，SGDA同样取得了领先结果，准确率分别达81.90%和80.20%。消融实验进一步验证了语义对齐模块的关键作用：移除语义对齐后，SEED-IV上的准确率从81.90%骤降至68.68%，证明了语言先验对缓解EEG跨被试偏移的有效性。

此外，可视化分析揭示了SGDA更深层的特性。t-SNE可视化表明，SGDA成功地将来自不同被试的EEG特征在语义空间中按情绪类别清晰聚类，且类间边界分明。扩展实验中使用细粒度情绪描述（通过大语言模型生成的多句情绪描述替换简单情绪文本标签）作为原型时，EEG特征的拓扑结构能够自然地继承其层级关系——消极情绪类别聚为一类、与积极情绪明显分离。这一结果验证了本方法的扩展性：目标语义空间的几何结构可以直接引导跨域对齐后的EEG特征拓扑，使其符合人类的心理直觉。

图2 SEED-V数据集特征分布的t-SNE可视化

（3）总结与展望

本研究提出了语义引导的多源域适应框架SGDA，通过将预训练语言模型的结构化语义知识引入EEG情绪识别，为跨被试领域偏移问题提供了全新的解决思路。该方法不仅在多个公开基准上取得了总体最优性能，还通过可视化分析揭示了语义原型对特征空间拓扑的引导作用，并展现出与人类心理直觉一致的层级化结构，具备良好的扩展性。未来将探索连续维度的情绪语义空间以及轻量化动态融合机制，进一步推动情绪脑机接口的实用化进程。

3. 面向指令式图像编辑的双层信用分配强化学习框架DARS

2024级硕士研究生曹昊翔在王超群副教授指导下，研究成果《DARS: Dual-Level Credit Assignment RL with Structured Reasoning for Instruction-Based Image Editing》被录用。该成果简介如下：

（1）研究背景

指令式图像编辑旨在根据自然语言指令对图像进行精准修改，同时保持非目标区域和整体视觉一致性。当前许多方法采用“规划器-渲染器”两阶段架构：视觉语言模型先理解指令并生成编辑计划，扩散模型再执行计划。这一架构提升了复杂编辑任务的可控性，却带来了关键的信用分配难题：当最终图像效果不佳时，单一结果奖励无法判断问题主要来自编辑计划还是图像渲染，也无法进一步定位计划内部究竟是哪一部分需要修正。

现有强化学习方法通常只优化其中一个模块，或使用同一奖励均匀更新两个模块，难以针对不同样本的失败原因进行有侧重的学习。尤其在涉及空间、逻辑、物理和常识推理的复杂编辑中，模糊的反馈会显著降低联合优化效率。

图1 DARS双层信用分配问题示意图

（2）技术方案与结果

针对上述问题，本研究提出双层信用分配强化学习框架DARS（Dual-Level Credit Assignment RL with Structured Reasoning）。该框架从跨模块和规划器内部两个层面，将最终图像反馈转化为更精细、可执行的训练信号，主要包含以下创新：

①跨模块软路由与自适应课程学习：针对同一输入采样多个编辑计划，并为每个计划生成多个渲染结果；通过分解计划之间与同一计划内部的奖励波动，估计规划器和渲染器各自更需要优化的程度，并以软权重动态分配更新重点。同时，依据平均奖励估计样本难度，使模型由易到难学习复杂编辑任务。

②规划器内部的结构化信用分配：将自由形式的编辑推理组织为“修改内容（Modify）”“保留内容（Preserve）”“整体目标（Overall）”和“执行提示（Tips）”四个语义字段，并结合前缀门控奖励与词元级优势重加权，使模型能够优先修正上游关键错误，将稀疏的结果反馈准确传递到具体计划字段。

图2 DARS总体框架

实验在KRIS-Bench、RISE