摘要:由于多智能体所处环境动态变化,并且单个智能体的决策也会影响其他智能体,这使得单智能体深度强化学习算法难以在多智能体环境中保持稳定. 为了适应多智能体环境,本文利用集中训练和分散执行框架Cen‑tralized Training with Decentralized Execution(CTDE),对单智能体深度强化学习算法Soft Actor‑Critic(SAC)进行了改进,引入智能体通信机制,构建Multi‑Agent Soft Actor‑Critic(MASAC)算法. MASAC中智能体共享观察信息和历史经验,有效减少了环境不稳定性对算法造成的影响.最后,本文在协同以及协同竞争混合的任务中,对MASAC算法性能进行了实验分析,结果表明MASAC相对于SAC在多智能体环境中具有更好的稳定性.
摘要:为实现确知频率信号在强噪声环境下的有效提取,本文在零空间追踪(Null Space Pursuit, NSP)方法的基础上,通过增加已知频率的先验信息约束,提出了一种基于频率确知信号约束的微弱信号提取方法.该方法继承了零空间追踪方法的优良属性,通过将确定的频率作为先验信息约束,可以实现其微弱信号相位和幅度的有效提取,仿真实验证明最多可实现高达30dB信噪比的提升;特别适合相对低信噪比环境下(信噪比小于-5dB)的微弱信号提取.该方法提供了常规的微弱确知信号的检测/提取方法之外的一种新的选择.
摘要:地图匹配是许多位置服务与轨迹挖掘应用的基础.随着定位技术和位置服务应用的发展,地图匹配研究不断演进,从早期基于高采样率GPS(Global Position System)的实时匹配,到近期基于低采样率GPS轨迹的离线匹配、再到当前非GPS定位数据或高精度地图匹配。迄今已有许多地图匹配算法相继提出,但鲜有研究对这些算法进行全面总结.为此,对近十年提出的地图匹配算法进行调研,归纳出地图匹配算法的统一框架及常用时空特征.从模型或实现技术角度分类发现:现有算法大都采用HMM(Hidden Markov Model)模型,其次是最大权重模型;深度学习技术近期开始用于地图匹配,将是未来高精度地图匹配研究的趋势.
关键词:地图匹配;路网数据;轨迹数据;HMM;CRF(Conditional Random Fields);路径推断
摘要:稀疏表示研究信号简洁表示与重构的本质问题,能够更好地揭示、分辨和提取信号中所蕴含的信息特征,在水声信号处理的许多应用方面都显示了巨大的优势和潜力.本文综述了水声信号处理中的稀疏表示理论及有关应用问题.首先介绍了稀疏表示模型和典型的稀疏分解算法;然后,研究了自适应过完备字典设计、离网格处理等稀疏表示的关键问题;接着,探索了稀疏表示理论在水下信号处理中的一些重要应用,包括高分辨波达方向(Direction Of Arrival, DOA)估计、水下体目标微多普勒特征提取、运动目标角度-多普勒声成像、水声信号压缩感知与重构;最后,指出稀疏表示理论在水声信号处理中的发展趋势.进行了必要的计算机仿真,提取了水下目标时、频、空域多维度信息特征,并实现了两类典型通信信号的有效压缩和精确重构.