智能系统学报

下一代深度学习的思考与若干问题

焦李成 — 2023年01月05 00:00

基于深度强化学习的动态装配算法

2023年01月05 00:00

针对动态装配环境中存在的复杂、动态的噪声扰动，提出一种基于深度强化学习的动态装配算法。将一段时间内的接触力作为状态，通过长短时记忆网络进行运动特征提取；定义序列贴现因子，对之前时刻的分奖励进行加权得到当前时刻的奖励值；模型输出的动作为笛卡尔空间位移，使用逆运动学调整机器人到达期望位置。与此同时，提出一种对带有资格迹的时序差分算法改进的神经网络参数更新方法，可缩短模型训练时间。在实验部分，首先在圆孔–轴的简单环境中进行预训练，随后在真实场景下继续训练。实验证明提出的方法可以很好地适应动态装配任务中柔性、动态的装配环境。

面向不完整多视图聚类的深度互信息最大化方法

张智慧, 杨燕, 张熠玲 — 2023年01月05 00:00

多视图聚类是无监督学习领域研究热点之一，近年来涌现出许多优秀的多视图聚类工作，但其中大多数方法均假设各视图是完整的，然而真实场景下数据收集过程极容易发生缺失，造成部分视图不完整。同时，很多方法采取传统机器学习方法（即浅层模型）对数据进行特征学习，这导致模型难以挖掘高维数据内的复杂信息。针对以上问题，本文提出一种面向不完整多视图聚类的深度互信息最大化方法。首先利用深度自编码器挖掘各视图深层次的隐含特征，并通过最大化潜在表示间的互信息来学习各视图间的一致性知识。然后，对于不完整视图中的缺失数据，利用多视图的公共潜在表示进行补全。此外，本文采用一种自步学习策略对网络进行微调，从易到难地学习数据集中的样本，得到更加宜于聚类的特征表示。最后，在多个真实数据集上进行实验，验证了本文方法的有效性。

基于深度强化学习的节能工艺路线发现方法

2023年01月05 00:00

由于传统基于固定加工环境的工艺路线制定规则，无法快速响应加工环境的动态变化制定节能工艺路线。因此提出了基于深度Q网络(deep Q network，DQN)的节能工艺路线发现方法。基于马尔可夫决策过程，定义状态向量、动作空间、奖励函数，建立节能工艺路线模型，并将加工环境动态变化的节能工艺路线规划问题，转化为DQN智能体决策问题，利用决策经验的可复用性和可扩展性，进行求解，同时为了提高DQN的收敛速度和解的质量，提出了基于S函数探索机制和加权经验池，并使用了双Q网络。仿真结果表明，相比较改进前，改进后的算法在动态加工环境中能够更快更好地发现节能工艺路线；与遗传算法、模拟退火算法以及粒子群算法相比，改进后的算法不仅能够以最快地速度发现节能工艺路线，而且能得到相同甚至更高精度的解。

关键点图对比图像分类方法

2023年01月05 00:00

深度学习是目前图像分类的主流方法之一，其重视感受野内的局部信息，却忽略了类别的先验拓扑结构信息。本文提出了一种新的图像分类方法，即Key-D-Graph，这是基于关键点的图对比网络方法，在识别图像类别时可以显式地考虑拓扑先验结构。具体地，图像分类需要2个步骤，第一步是基于关键点构建图像的图表达，即采用深度学习方法识别图像中目标类别的可能关键点，并采用关键点坐标生成图像的拓扑图表达；第二步基于关键点的图像图表达建立图对比网络，以估计待识别图与目标类别之间的结构差异，实现类别判断，该步骤利用了物体的拓扑先验结构信息，实现了基于图像全局结构信息的物体识别。特别的，Key-D-Graph的中间输出结果为类别关键点，具有语义可解释性，便于在实际应用中对算法逐步分析调试。实验结果表明，提出的方法可在效率和精度上超过主流方法，且通过消融实验分析验证了拓扑结构在分类中的作用机制和有效性。

结合局部标记序关系的弱监督标记分布学习

秦天, 滕齐发, 贾修一 — 2023年01月05 00:00

标记分布学习（label distribution learning，LDL）是一种用于解决标记多义性的新颖学习范式。现有的LDL方法大多基于完整数据信息进行设计，然而由于高昂的标注成本以及标注人员水平的局限性，很难获取到完整标注数据信息，且会导致传统LDL算法性能的下降。为此，本文提出了一种新型的结合局部序标记关系的弱监督标记分布学习算法，通过维持尚未缺失标记之间的相对关系，并利用标记相关性来恢复缺失的标记，在数据标注不完整的情况下提升算法性能。在14个数据集上进行了大量的实验来验证算法的有效性。

采用离群点检测技术的混合型数据聚类初始化方法

杨志勇, 江峰, 于旭, 杜军威 — 2023年01月05 00:00

近年来，混合型数据的聚类问题受到广泛关注。作为处理混合型数据的一种有效方法，K-prototype聚类算法在初始化聚类中心时通常采用随机选取的策略，然而这种策略在很多实际应用中难以保证聚类结果的质量。针对上述问题，采用基于离群点检测的策略来为K-prototype算法选择初始中心，并提出一种新的混合型数据聚类初始化算法(initialization of K-prototype clustering based on outlier detection and density, IKP-ODD)。给定一个候选对象，IKP-ODD通过计算其距离离群因子、加权密度以及与已有初始中心之间的加权距离来判断候选对象是否是一个初始中心。IKP-ODD通过采用距离离群因子和加权密度，防止选择离群点作为初始中心。在计算对象的加权密度以及对象之间的加权距离时，采用邻域粗糙集中的粒度邻域熵来计算每一个属性的重要性，并根据属性重要性的大小为不同属性赋予不同的权重，有效地反映不同属性之间的差异性。在多个UCI数据集上的实验表明，相对于现有的初始化方法，IKP-ODD能够更好地解决K-prototype聚类的初始化问题。

自监督对比特征学习的多模态乳腺超声诊断

丁维昌, 施俊, 王骏 — 2023年01月05 00:00

超声图像的乳腺癌自动诊断具有重要的临床价值。然而，由于缺乏大量人工标注数据，构建高精度的自动诊断方法极具挑战。近年来，自监督对比学习在利用无标签自然图像产生具有辨别性和高度泛化性的特征方面展现出巨大潜力。然而，采用自然图像构建正负样本的方法在乳腺超声领域并不适用。为此，本文引入超声弹性图像(elastography ultrasound, EUS)，利用超声图像的多模态特性，提出一种融合多模态信息的自监督对比学习方法。该方法采用同一病人的多模态超声图像构造正样本；采用不同病人的多模态超声图像构建负样本；基于模态一致性、旋转不变性和样本分离性来构建对比学习的目标学习准则。通过在嵌入空间中学习两种模态的统一特征表示，从而将EUS信息融入模型，提高了模型在下游B型超声分类任务中的表现。实验结果表明本文提出的方法能够在无标签的情况下充分挖掘多模态乳腺超声图像中的高阶语义特征，有效提高乳腺癌的诊断正确率。

基于输出误差模型优化的甲板运动预报算法研究

王鑫琦, 朱齐丹 — 2023年01月05 00:00

本文提出了一种适用于多种复杂海况的大型舰船甲板运动预报方法，目的在于提高算法对不同海域复杂海况的适用性，以及对甲板运动模型的辨识精度与预报精度。该方法通过将量测数据的时间滞后处理引入输出误差模型来描述甲板运动的动力学模型，引入定阶准则确定了模型最优阶数数对。在此基础上应用了辅助模型递推最小二乘算法进行系统参数辨识并估计输出误差模型中的状态变量。实验结果表明，本文所提出的预报方法在系统参数辨识阶段可以将递推最小二乘算法的辨识精度提高5.13%，并且在预报阶段可以有效地将甲板运动的幅值与相位预测精度提高3.17%。该方法在复杂海况下具备良好的预测性能，适用于大型舰船甲板运动预报。

改进YOLOv5s的遥感图像目标检测

2023年01月05 00:00

针对遥感图像中感兴趣目标特征不明显、背景信息复杂、小目标居多导致的目标检测精度较低的问题，本文提出了一种改进YOLOv5s的遥感图像目标检测算法（Swin-YOLOv5s）。首先，在骨干特征提取网络的卷积块中加入轻量级通道注意力结构，抑制无关信息的干扰；其次，在多尺度特征融合的基础上进行跨尺度连接和上下文信息加权操作来加强待检测目标的特征提取，将融合后的特征图组成新的特征金字塔；最后，在特征融合的过程中引入Swin Transformer网络结构和坐标注意力机制，进一步增强小目标的语义信息和全局感知能力。将本文提出的算法在DOTA数据集和RSOD数据集上进行消融实验,结果表明,本文提出的算法能够明显提高遥感图像目标检测的平均准确率。

求解多目标点路径规划问题的离散头脑风暴算法

陈强, 马健, 杨蘩 — 2023年01月05 00:00

为保证移动机器人以最短路径遍历多目标点，该文提出一种基于离散头脑风暴的多目标点路径规划算法。首先，考虑障碍物对路径规划的影响，将目标点间的最短避障距离作为评判依据，提高规划路径合理性。其次，针对传统离散头脑风暴算法在解决组合类优化问题时提前陷入局部最优的问题，提出一种启发式自适应路径优化策略，通过设计与迭代次数相关的适应度选择函数以及改进启发式交叉算子，增加路径多样性和提高算法收敛速度。基于栅格法建立地图模型，在不同环境地图中选取多个目标进行对比仿真，验证所提算法的有效性以及对不同环境的适应性。

融合动态反向学习的阿奎拉鹰与哈里斯鹰混合优化算法

2023年01月05 00:00

阿奎拉鹰优化算法(Aquila optimizer, AO)和哈里斯鹰优化算法(Harris hawks optimization, HHO)是近年提出的优化算法。AO算法全局寻优能力强，但收敛精度低，容易陷入局部最优，而HHO算法具有较强的局部开发能力，但存在全局探索能力弱，收敛速度慢的缺陷。针对原始算法存在的局限性，本文将两种算法混合并引入动态反向学习策略，提出一种融合动态反向学习的阿奎拉鹰与哈里斯鹰混合优化算法。首先，在初始化阶段引入动态反向学习策略提升混合算法初始化性能与收敛速度。此外，混合算法分别保留了AO的探索机制与HHO的开发机制，提高算法的寻优能力。仿真实验采用23个基准测试函数和2个工程设计问题测试混合算法优化性能，并对比了几种经典反向学习策略，结果表明引入动态反向学习的混合算法收敛性能更佳，能够有效求解工程设计问题。

逆模型下的高效声源定位算法研究

赵达达, 齐小刚, 冯海林 — 2023年01月05 00:00

与波束形成算法相比，广义互相关逆模型宽带声源定位算法提供了空间的高分辨率，但需要更高的计算量。为了提升广义互相关逆模型算法的计算效率，并尽可能保留其分辨率优势，本文提出了一种高效的声源定位算法。该算法首先去除麦克风阵列输出功率较小的网格点来压缩计算网格，其次，在几何因素条件下利用基于密度的聚类进一步压缩网格，最后仅用保留下的点进行计算，从而大大降低了计算规模。真实数据实验证明，本文所提算法能有效提升广义互相关逆模型算法的计算效率。

系统多功能状态表达式构建及其置信度研究

2023年01月05 00:00

为研究具有多功能的系统功能状态表达式及状态评价结果的置信度，提出一种基于集对分析和量子态叠加的系统功能状态表示方法。首先论述了系统功能状态置信度；其次研究了系统单功能状态表示，使用集对分析联系数构建表达式确定分量系数，随后利用量子态叠加构建系统单功能状态表达式；最后构建了系统多功能状态表达式，从而确定系统多功能状态的量子叠加态概率幅，其平方即为该状态的系统功能状态评价结果的置信度。通过实例对所提方法进行了应用，说明了计算流程和作用。研究可提供系统多功能状态置信度的计算方法。

面向鲁棒口语理解的声学组块混淆语言模型微调算法

李荣军, 郭秀焱, 杨静远 — 2023年01月05 00:00

利用预训练语言模型（pre-trained language models，PLM）提取句子的特征表示，在处理下游书面文本的自然语言理解的任务中已经取得了显著的效果。但是，当将其应用于口语语言理解（spoken language understanding，SLU）任务时，由于前端语音识别（automatic speech recognition，ASR）的错误，会导致SLU精度的下降。因此，本文研究如何增强PLM提高SLU模型对ASR错误的鲁棒性。具体来讲，通过比较ASR识别结果和人工转录结果之间的差异，识别出连读和删除的文本组块，通过设置新的预训练任务微调PLM，使发音相近的文本组块产生类似的特征嵌入表示，以达到减轻ASR错误对PLM影响的目的。通过在3个基准数据集上的实验表明，所提出的方法相比之前的方法，精度有较大提升，验证方法的有效性。

基于四元数门控图神经网络的脚本事件预测

2023年01月05 00:00

脚本事件预测需要考虑两类信息来源：事件间的关联与事件内的交互。针对于事件间的关联，采用门控图神经网络对其进行建模。而对于事件内的交互，采用四元数对事件进行表征，接着通过四元数的哈密顿乘积来捕捉事件4个组成部分之间的交互。提出结合四元数和门控图神经网络来学习事件表示，它既考虑了外部事件图的交互作用，又考虑了事件内部的依赖关系。得到事件表示后，利用注意机制学习上下文事件表示和每个候选上下文表示的相对权值。然后通过权重计算上下文事件表示的和，再计算其与候选事件表示的欧氏距离。最后选择距离最小的候选事件作为正确的候选事件。在纽约时报语库上进行了实验，结果表明，通过多项选择叙事完形填空评价，本文的模型优于现有的基线模型

融合人类认知模式的自主发育网络及其在手势识别的应用

2023年01月05 00:00

自主发育算法在智能机器人等领域有着广阔的应用前景，考虑到现有方法的局限性，本文提出了一种融合人类认知模式的自主发育神经网络，并将该方法应用于手势识别任务中。通过动态改变神经元预响应值计算过程中的人为指导部分来模拟人类的学习方式，提出了基于动态 k值的top-k 竞争机制，并模拟人脑对知识的接收和记忆功能实现优胜神经元突触权重的更新，最后基于神经元认知能力反馈进行突触重调整。对比实验结果表明，与原有方法相比，经该文改进后的自主发育网络在手势识别任务中具有更好的学习效果和更高的识别率。

融合实体描述与路径信息的知识图谱表示学习模型

2023年01月05 00:00

知识图谱表示学习方法是将知识图谱中的实体和关系通过特定规则表示成一个多维向量的过程。现有表示学习方法多用于解决单跳知识图谱问答任务，其多跳推理能力无法满足实际需求，为提升多跳推理能力，提出一种融合实体描述与路径信息的知识图谱表示学习模型。首先通过预训练语言模型RoBERTa得到融合实体描述的实体、关系表示学习向量；其次利用OPTransE将知识图谱转化成融入有序关系路径信息的向量。最后构建总能量函数，将针对实体描述和路径信息的向量进行融合。通过实验分析与对比该模型在链路预测任务上与主流知识图谱表示学习模型的性能，验证了该模型的可行性与有效性。

概念驱动的小样本判别特征学习方法

2023年01月05 00:00

小样本学习旨在让模型能够在仅有少量标记数据的新类中进行分类。基于度量学习的方法是小样本学习的一种有效方法，该类方法利用有标签的支持集样本构建类表示，再基于查询样本和类表示的相似性进行分类。因此，如何构建判别性更强的类表示是这类方法的关键所在。多数工作在构建类表示时，忽略了类概念相关信息的挖掘，这样容易引入样本中类别无关信息，从而降低类表示的判别性。为此本文提出一种概念驱动的小样本判别特征学习方法。该方法首先利用类别的语义信息来指导模型挖掘样本中类概念相关信息，进而构建更具判别性的类表示。其次，设计了随机掩码混合机制增加样本的多样性和识别难度，进一步提升类表示的质量。最后对处于决策边界附近的查询样本赋予更大的权重，引导模型关注难样本，从而更好地进行类表示学习。大量实验的结果表明本文提出的方法能够有效提升小样本分类任务的准确率，并且在多个数据集上优于当前先进的算法。

基于广义自适应多粒度的多源信息融合研究

2023年01月05 00:00

多粒度粗糙集模型是一种有效的信息融合策略。利用该策略能从多个角度将多源信息进行融合，并转化成一致的信息表示。现有的大多数多粒度信息融合方法对每个知识粒度都采用相同的阈值，然而，众所周知，不同的信息源的来源和噪声都不尽相同，其对应的知识粒度的阈值也应不同。为此，首先在广义多粒度粗糙集中引入单参数决策理论粗糙集，提出了广义自适应多粒度粗糙集模型。然后，利用经典的融合策略设计了4种广义多粒度模型，所有模型都可以通过一个参数补偿系数$ \zeta $来自适应地获得知识粒度对应的阈值对，并讨论了这些模型的相关性质。最后，通过实验结果证明，所提模型在实际应用中灵活性更高，决策更为合理。

基于Transformer与技术词信息的知识产权实体识别方法

2023年01月05 00:00

专利文本中包含了大量实体信息，通过命名实体识别可以从中抽取包含关键信息的知识产权实体信息，帮助研究人员更快了解专利内容。现有的命名实体提取方法难以充分利用专业词汇变化带来的词层面的语义信息。本文提出基于Transformer和技术词信息的知识产权实体提取方法，结合BERT语言方法提供精准的字向量表示，并在字向量生成过程中，加入利用字向量经迭代膨胀卷积网络提取的技术词信息，提高对知识产权实体的表征能力。最后使用引入相对位置编码的Transformer编码器，从字向量序列中学习文本的深层语义信息，并实现实体标签预测。在公开数据集和标注的专利数据集的实验结果表明，该方法提升了实体识别的准确性。

面向大规模特征选择的自监督数据驱动粒子群优化算法

黎建宇, 詹志辉 — 2023年01月05 00:00

大规模特征选择问题的求解通常面临两大挑战：一是真实标签不足，难以引导算法进行特征选择；二是搜索空间规模大，难以搜索到满意的高质量解。为此，提出了新型的面向大规模特征选择的自监督数据驱动粒子群优化算法。第一，提出了自监督数据驱动特征选择的新型算法框架，可不依赖于真实标签进行特征选择。第二，提出了基于离散区域编码的搜索策略，帮助算法在大规模搜索空间中找到更优解。第三，基于上述的框架和方法，提出了自监督数据驱动粒子群优化算法，实现对问题的求解。在大规模特征数据集上的实验结果显示，提出的算法与主流有监督算法表现相当，并比前沿无监督算法具有更高的特征选择效率。

场景图谱驱动目标搜索的多智能体强化学习

2023年01月05 00:00

针对强化学习在视觉语义导航任务中准确率低，导航效率不高，容错率太差，且部分只适用于单智能体等问题，提出一种基于场景先验的多智能体目标搜索算法。该算法利用强化学习，将单智能体系统拓展到多智能体系统上将场景图谱作为先验知识辅助智能体团队进行视觉探索，利用集中式训练分布式探索的多智能体强化学习的方法以大幅度提升智能体团队的准确率和工作效率。通过在AI2THOR中进行训练测试，并与其他算法进行对比证明此方法无论在目标搜索的准确率还是效率上都优先于其他算法。