2024-12-25 伟德国际1946源于英国
伟德国际1946源于英国在人工智能前沿领域取得新进展
近期,国际人工智能顶级学术会议——第39届人工智能年会(The 39th Annual AAAI Conference on Artificial Intelligence, AAAI 2025)论文录用结果公布,伟德国际1946源于英国共有4篇论文被该会议录用,均为第一单位完成。
AAAI由国际人工智能促进协会(Association for the Advancement of Artificial Intelligence, AAAI)主办,是人工智能领域历史最悠久、内容覆盖最广的国际顶级会议之一,也是中国计算机学会(CCF)推荐的A类国际学术会议。本次AAAI 大会共收到12957篇投稿,经过严格评审,最终录用3032篇,录用率23.4%。AAAI 2025 大会将于2025年2月27日至3月4日在费城举办。所录用论文充分体现了伟德国际1946源于英国在人工智能前沿领域的科研潜力与实践能力,以及在创新型人才培养方面的显著成效。
Multi-attribute Multi-grained Adaptation of Pre-trained Language Models for Text Understanding from Bayesian Perspective
样本差异性建模旨在捕捉训练样本中非独立同分布特征定制化地增强深度模型在下游任务中的性能。现有的模型主要侧重于领域内特征和领域间特征,缺乏系统性的建模方法。该研究基于贝叶斯理论提出了多属性多粒度下的样本差异性建模方法。首先,利用贝叶斯推理分析数据样本在粗粒度和细粒度下的联系;其次,引入贝叶斯网络来建模样本的异构性;最后,搭建参数高效微调模块使M2A能够有效、高效地适应预训练模型的增长和应用场景的扩展。在两类基准上的实验表明,该方法能够通过集成多属性、多粒度角度来消除文本样本在推理时的不确定性,有效提升了建模性能和效率。
Sample-aware Adaptive Structured Pruning for Large Language Models
现有的结构化剪枝方法中配准数据的选择是随机的,重要度估计指标是固定的,导致剪枝模型的性能下降。该研究提出了一种基于样本感知的大型语言模型自适应结构化剪枝框架。其核心在于针对不同样本可采取不同剪枝策略,如随机选择的校准数据和固定的重要性估计指标,以解决现有方法的局限性,优化和压缩大模型。该研究构建了一个结构化的修剪解决方案空间,并使用贝叶斯优化来自适应地识别最佳校准数据和重要性估计指标,以有效地去除冗余参数。实验结果表明,所提出方法在不同的大模型和剪枝率要求下优于传统方法。
Data-Free Black-Box Federated Learning via Zeroth-Order Gradient Estimation
无数据联邦学习可在服务器端训练一个生成器来直接合成特定任务的数据样本以进行知识迁移。然而,生成器的更新规则需要客户端共享其本地模型进行白盒访问,这极大地削弱了基于蒸馏的联邦学习所带来的优势。同时结合基于蒸馏和无数据联邦学习优势,该研究通过零阶梯度估计探索一种无数据的黑盒联邦学习框架,其对生成器的训练目标进行重构以兼顾合成数据的保真度、可迁移性、多样性和分布均衡性,并以黑盒优化的方式估计客户端本地模型的梯度以完成生成器的训练,无需借助任何辅助数据或共享模型参数。在大规模图像分类数据集和网络架构上进行的实验表明所提出的方法在处理数据异构性、模型异构性、通信效率和隐私保护方面的优越性。
Vision-aware Multimodal Prompt Tuning for Uploadable Multi-source Few-shot Domain Adaptation
传统的多源少样本自适应存在低资源场景下边缘设备负载过高的问题。考虑到CLIP具有天生的语言监督优势,利用具有即插即用特性的提示能够高效地迁移CLIP,该研究探究可上传的多源少样本领域适应方案。其属于一种去中心化的边缘学习,仅需提供少量的被标注的源域样本,而大部分源域数据是无需标注的。基于此,该研究提出了一个视觉感知的多模态提示调优框架,其中视觉提示指导领域特定的文本提示,以保持语义判别性并感知领域信息。在多个多模态数据集上的实验结果表明,所提出的方法优于以往的提示学习方法。
伟德国际1946源于英国近年来在人工智能领域持续发力,通过人工智能学科和数智服务产业学院建设,为伟德BETVLCTOR体育官网人工智能学科建设和人才培养注入新的活力。本次录用的论文,主要关注大模型个性化学习与微调、结构化剪枝及小样本多模态提示学习等多个前沿研究方向,充分展现了伟德BETVLCTOR体育官网在人工智能领域的科研实力、创新能力。未来,伟德国际1946源于英国将继续致力于人工智能领域的研究与创新,力争取得更大突破,提升伟德BETVLCTOR体育官网在国际人工智能领域的知名度与影响力。