机器学习交叉融合创新
基于视频数据的深度预测学习（以下简称“深度预测学习”）属于深度学习、计算机视觉和强化学习的交叉融合研究方向，是气象预报、自动驾驶、机器人视觉控制等场景下智能预测与决策系统的关键组成部分，在近年来成为机器学习的热点研究领域.深度预测学习遵从自监督学习范式，从无标签的视频数据中挖掘自身的监督信息，学习其潜在的时空模式表达.本文对基于深度学习的视频预测现有研究成果进行了详细综述.首先，归纳了深度预测学习的研究范畴和交叉应用领域.其次，总结了视频预测研究中常用的数据集和评价指标.而后，从基于观测空间的视频预测、基于状态空间的视频预测、有模型的视觉决策三个角度，分类对比了当前主流的深度预测学习模型.最后，本文分析了深度预测学习领域的热点问题，并对研究趋势进行了展望.
由于域偏移的存在，多源图像舰船目标检测任务面临着不同源传感器带来的图像风格差异难题.另外，为特定数据源训练特定的检测模型会消耗大量的计算资源，严重限制了其在军民用领域的工程应用.因此，设计一个通用网络以有效检测来自不同源遥感数据的舰船目标成了当下的研究热点.针对该需求，本文提出了一种基于不变特征的通用舰船目标检测方法，通过充分利用多源数据之间的共享知识实现通用遥感目标的网络检测.本方法由2部分组成：图像级的风格转换网络和特征级的域自适应网络.具体地，前者采用风格转换网络生成接近真实分布的伪多源图像，拉近多源数据之间的分布，在图像层面上学习多源数据的不变特征；为学习特征层面上多源数据的不变特征，后者通过适应网络对多源特征进行信息解耦，通过域注意力网络的自适应权重分配实现特征重组.本文在NWPU VHR-10，SSDD，HRSC和SAR-Ship-Dataset数据集上进行实验验证，结果表明：所提方法通过不变特征之间的信息互补，缓解了域偏移问题，可有效检测多源遥感数据.本文方法在上述多源数据集上的平均mAP为90.8%，相比现有主流舰船目标检测方法可以提高1.4%~10.6%.
异常检测对电力行业的发展有着重要的影响，如何根据大规模电力数据进行异常检测是重要的研究热点.目前，大多数研究通过聚类或神经网络进行异常检测. 但是这些方法忽略了时序数据之间潜在的关联关系及某些特点的重要信息，没有充分挖掘出数据的潜在价值. 因此，提出了一种基于图注意力和Transformer的异常检测模型. 该模型首先根据数据中台中获取的电力数据（主要包括用户ID、电能表ID、用户类型、电流、电压、功率等数据）构建一个异构信息网络；然后，为了减少模型参数和避免出现过拟合的现象，在图卷积网络（Graph Convolutional Network，GCN）模型的基础上，引入非负矩阵分解（Non-Negative Matrix Factorization，NNMF）的方法来进行相似性学习；最后采用图注意力网络（Graph Attention Network，GAT）和Transformer共同捕获数据间的相互关联关系，从而提高检测精度. 以中国某地区的电力数据为基础进行验证， 实验结果表明所提出的方法可以有效进行异常检测.
哈希作为一种有效的数据表征技术，已经在应对爆炸式增长的多媒体数据中扮演了重要的角色.它由于低存储和高效率的优势，在多媒体检索领域受到了越来越多的关注.目前多模态哈希学习方法在多媒体检索任务中得到了较好的研究和发展.然而，多数的方法通过编码特征的内积重构成对相似度来保持原始数据的结构信息，但是带来较复杂的优化问题.此外一些模型缺乏判别性使得检索性能的提升受到限制.为了克服上述问题，本文提出一种新型的多模态融合哈希方法，在类别信息的监督下利用Hadamard矩阵为数据生成目标编码，通过松弛严格的二值约束增大类间的间隔，同时采用图嵌入的方式促进类内的紧凑性.本文提出的方法既保证了模型具有很好的判别能力也简化了优化过程.在3个公开数据集上的实验结果表明，本文提出的方法在多媒体数据检索中是非常有效的，平均性能上相比最优的对比方法提高了8.47%.
随着感知计算以及传感器集成技术的发展，使用各种传感设备实时捕捉的手势运动数据，为人机交互提供了新的驱动力，并被广泛地应用于智能家居、远程医疗、虚拟现实等领域.由于手势动作具有时序性与空间连接性，因此在手势识别中需要考虑手势空间连接关系和手势长距离依赖特性.然而现有的手势识别方法忽略了上述两种特性，导致识别精度不高.本文提出了基于时空图神经网络的手势识别算法，该方法从传感器空间分布角度出发，基于传感器的空间位置信息，借助图神经网络（Graph Neural Networks，GNN）对手势数据之间的空间关联性进行表征，并引入门控循环单元（Gated Recurrent Unit，GRU）解决手势的时序性和长距离依赖问题，增强手势识别性能.在多种数据集上的实验结果证明本文方法可行且有效.
云检测是卫星遥感数据预处理中至关重要的工作.本文将多层感知机和辐射传输模型相结合，利用可见光和近红外波段反射率信息从卫星影像中识别出云像元.该方法利用SBDART辐射传输模型，模拟获得了各种复杂陆地地表的反射率值数据集，为多层感知机提供训练样本.随后，用训练好的多层感知机模型区分FY-3D卫星MERSI II影像中的云像元和非云像元，利用CALIPSO垂直特性掩膜产品（Vertical Feature Mask，VFM）逐像元进行验证，并与MODIS云掩膜产品（MYD35）进行横向对比.结果表明，以VFM数据集为标准的情况下，多层感知机识别云的总正确率为76.25%，其中在夏季和低纬度地区效果最好，如赤道附近地表识别的准确率可达到91.74%，而在城市、农田和裸地等复杂地表类型条件下的云检测识别正确率分别为83.37%、84.52%和73.11%，分别高于MYD35产品的83.25%、83.31%和72.66%.为了进一步验证多层感知机结合辐射传输模型云检测方法的有效性，将辐射传输模型模拟得到的训练样本分别用于k-最近邻、朴素贝叶斯以及随机森林算法，并与本文多层感知机算法进行对比.结果表明，将多层感知机和辐射传输模型相结合具有更高的正确率.
药物推荐的目标是依据病人的电子医疗记录生成药物处方，为医生提供临床决策支持.提取电子医疗记录中蕴含的时序模式以及上下文信息，是成功推荐药物的关键.以往研究忽略了病人之间医疗记录数据量存在差异，无法根据不同病人自身情况，调整数据读取过程中的关注重点以及数据读取迭代次数.针对上述问题，本文提出一种选择性覆盖度机制与自适应记忆神经网络读取结合的药物推荐模型.模型使用记忆神经网络存储病人健康状况对应的时序模式编码结果，利用覆盖度机制进行迭代读取过程中的数据过滤与注意力权重调整.同时模型依据病人自身情况，自适应决定记忆神经网络读取次数.基于真实临床数据的实验结果显示，本模型能够自适应地提取电子医疗记录中的重要数据，构建有效的病人健康状况表示向量，进而完成药物推荐.
动态重构是一种有效的综合模块化航空电子系统故障容错方法.重构蓝图定义了系统故障环境下的应用迁移与资源重配置方案，是以最小代价重构恢复系统功能的关键.在复杂多级关联故障模式下，如何快速自动生成有效重构蓝图是其难点.针对该问题，本文提出一种基于序贯博弈多智能体强化学习的综合模块化航空电子系统重构方法.该方法引入序贯博弈模型，将因受故障影响而需要迁移重构的应用软件定义为博弈中的智能体，根据应用软件优先级确定序贯博弈的顺序.针对序贯博弈过程中多智能体间竞争与合作的问题，算法使用强化学习中的策略梯度，通过控制与环境交互中的动作选择概率来优化重构效果.应用基于有偏估计的策略梯度蒙特卡洛树搜索算法更新博弈策略，解决了传统策略梯度算法震荡难收敛、计算耗时长问题.实验结果表明，与差分进化、Q学习等方法相比，所提算法的优化性能和稳定性均具有显著优势.
机器学习交叉融合创新
