Abstract:

Abstract:

随着大语言模型的广泛应用，针对大语言模型的评估工作变得至关重要。除了大语言模型在下游任务上的表现情况需要评估外，其存在的一些潜在风险更需要评估，例如大语言模型可能违背人类的价值观并且被恶意输入诱导引发安全问题等。本文通过分析传统软件、深度学习模型与大模型的共性与差异，借鉴传统软件测评和深度学习模型评估的指标体系，从大语言模型功能评估、性能评估、对齐评估和安全性评估几个维度对现有工作进行总结，并对大模型的评测基准进行介绍。最后依据现有研究与潜在的机遇和挑战，对大语言模型评估技术方向和发展前景进行了展望。

Abstract:

随着 ChatGPT 等基于大模型的产品展现出强大的通用性能，学术界和工业界正积极探索如何将这些模型适配到特定行业和应用场景中，即进行垂直领域大模型的定制化。然而，现有的通用大模型可能无法完全适配特定领域数据的格式，或不足以捕捉该领域的独特需求。因此，本文旨在探讨垂直领域大模型定制化的方法论，包括大模型的定义和类别、通用架构的描述、大模型有效性背后的理论基础，以及几种可行的垂直领域大模型构建方法，期望通过这些内容为相关领域的研究者和从业者在垂直领域大模型定制化方面提供指导和参考。

Abstract:

思维链（Chain of thought， CoT）提示使大语言模型能够按照具体推理步骤处理复杂的任务，让大语言模型在常识推理、数学逻辑推理和可解释性等方面表现出更强的能力。然而，CoT方法的主要缺点在于其对庞大语言模型的依赖，这些模型通常拥有数百亿的参数，在大规模部署方面面临挑战。为此，本文提出一种基于思维链的大模型知识蒸馏方法，主要目标在于充分利用大型语言模型的思维推理能力，通过知识蒸馏技术，引导小模型解决复杂任务。以大型模型为教师模型，小型模型为学生模型，通过获取教师模型的推理数据来微调学生模型。通过更改数据生成方式、基于聚类的问答示例采样、示例启发式纠错以及答案的自适应生成等一系列精心设计的方法，使教师模型的生成过程更高效，生成的推理数据质量更高、数量更多，从而更好地微调学生模型，使其获得强大的推理能力，实现高效的知识蒸馏。这一研究框架旨在建立一个有效的知识传递机制，使得大模型的深度思考能够有效指导小模型，为解决复杂任务提供更为智能且高效的解决方案。通过这种方式，希望能够克服大模型部署的挑战，并促进语言模型在现实世界中的应用和进步。

Abstract:

针对指挥员应对重大突发情况时的处置决策难题，提出一种基于大模型的联动处置多智能代理协同框架。该框架通过智能代理角色生成、多层级蒙特卡洛树与交互式提示学习等策略，优化群体决策效率与动作规划，同时引入分层机制与工作流管理理念，通过强化学习奖励函数共享提升协同效率，设计显式与隐式通信模式确保节点状态一致。实验表明，该框架在多种场景下表现优异，与传统任务分配手段相比，大大提高了面对突发事件时的反应速度和处置效率。

Abstract:

微调后的大语言模型（Large language models， LLMs）在多任务中表现出色，但集中式训练存在用户隐私泄漏的风险。联邦学习（Federated learning， FL）通过本地训练避免了数据共享，但LLMs庞大的参数量对资源受限的设备和通信带宽构成挑战，导致在边缘网络中部署困难。结合分割学习（Split learning， SL），联邦分割学习可以有效解决这一问题。基于模型深层权重的影响更为显著，以及对部分层的训练准确率略低于整体模型训练的发现，本文按照Transformer层对模型进行分割，同时引入低秩适应（Low-rank adaption， LoRA）进一步降低资源开销和提升安全性。因此，在设备端，仅对最后几层进行低秩适应和训练，然后上传至服务器进行聚合。为了降低开销并保证模型性能，本文提出了基于联邦分割学习与LoRA的RoBERTa预训练模型微调方法。通过联合优化边缘设备的计算频率和模型微调的秩，在资源受限的情况下最大化秩，提高模型的准确率。仿真结果显示，仅训练LLMs最后3层的情况下，在一定范围内（1~32）增加秩的取值可以提高模型的准确率。同时，增大模型每轮的容忍时延和设备的能量阈值可以进一步提升模型的准确率。

Abstract:

智能化指挥是新型指挥控制理论研究的重要方向，大模型是智能交互、任务规划和辅助决策等智能化指挥能力实现的重要支撑。本文兼顾理论与实践，梳理大模型军事能力需求，设计面向智能化指挥的大模型应用框架，提出“艾武大模型+”的系统架构、信息流程和协同架构，梳理工程实现的关键技术，以智能化指挥实证案例及选型分析验证“艾武大模型+”系统在多模态交互和特定任务军语理解的能力优势，拓展有/无人平台的末端协同和指令控制，为重大国防军事专项、智能化指挥研究与落地应用提供参考。

Abstract:

现存的插补方法大致分为基于统计的插补法和基于深度学习的插补法。基于统计的插补法只能捕捉线性时间关系，导致无法精准建模时间序列的非线性关系；基于深度学习的插补法往往没有考虑到不同时间序列之间的相关性。针对现有方法的问题，本文提出了联合张量补全与循环神经网络的时间序列插补法。首先，将多元时间序列建模成张量，通过张量的低秩补全捕获不同时间序列之间的关系。其次，提出了一个基于时间的动态权重，将张量插补结果和循环神经网络的预测结果进行融合，避免因为连续缺失导致的预测误差累积。最后，在多个真实的时间序列数据集上对所提方法进行了实验评估，结果显示该模型优于已有相关模型，且基于插补后的时间序列可以提升时间序列预测效果。

Abstract:

人脸图像盲修复是从未知退化中恢复出高质量的人脸图像，其不适定性往往会造成修复出的图像出现局部纹理缺失或面部成分不匹配的结果，为此提出基于特征融合与嵌入的人脸图像盲修复算法。通过提取退化输入的面部先验特征，采用多头交叉注意力进行特征交互融合和全局上下文建模，将面部先验嵌入预训练生成网络的潜在空间中，并基于损失函数进行优化，修复因退化而丢失或损坏的局部纹理，实现真实性与忠实度之间的平衡。数值实验在3个真实退化图像数据集上进行，本文方法在客观指标和主观质量上都优于现有方法，最后的消融实验验证了退化人脸图像盲修复算法的有效性。

Abstract:

针对一些直觉模糊相似关系使直觉模糊集中对象间的相似度过于集中或者相异度过高，导致不合理的分类结果的问题，以及在构造直觉模糊相似关系时，对象间的相似度和相异度容易受到不重要属性条件信息影响的问题，本文在直觉模糊集和可能性理论基础上，提出一种基于直觉模糊相似关系的三支决策模型。首先，给出可能性测度和必要性测度的定义，结合Hausdorff度量，构造一种距离公式，并证明其性质，定义了直觉模糊集中对象间的相似度和相异度，构造了新的直觉模糊相似关系；然后定义了直觉模糊相似关系下的（λ₁，λ₂）-截集及其直觉模糊（λ₁，λ₂）-截集下的相似类，并进一步求出目标集的正域、负域和边界域；最后通过UCI数据集和实例验证了该模型的合理性和有效性。

Abstract:

随着对高维多目标优化问题的深入研究，带有不规则Pareto前沿的高维多目标优化问题因其复杂的Pareto前沿分布，给现有方法的求解带来了挑战。针对上述问题，提出一种基于增强生长型神经气的高维多目标进化算法，该算法综合生长型神经气网络的学习特性与二元质量指标的优化特性来增强种群在不规则Pareto前沿的收敛压力。首先，设计了一种增强的生长型神经气网络，该网络利用Pareto最优前沿的拓扑信息指导种群向Pareto最优前沿方向收敛。然后，提出了一种联合度量指标以配合Pareto支配信息来综合评价个体的收敛性。最后，提出一种基于自适应参考点的环境选择增强种群在高维目标空间的多样性。为验证所提算法的性能，在DTLZ和WFG基准问题集中的44个不规则高维多目标优化问题与5种先进的高维多目标进化算法进行对比实验。实验结果表明，所提出的基于增强生长型神经气的高维多目标进化算法的整体性能优于对比算法。

Abstract:

最大输出信噪比（Signal-to-noise ratio， SNR）准则下，广义特征值（Generalized eigenvalue， GEV）波束形成存在复系数难以控制的问题，在复杂的声学环境中容易导致输出信号严重失真。针对复系数估计问题，本文提出一种基于最小均方误差（Minimum mean square error， MMSE）的复系数估计方法，并通过引入语音失真权重因子（Speech distortion weight， SDW），调节降噪效果和语音失真之间的权重关系，进而提出了基于SDW-MMSE的广义特征值稳健波束形成方法。通过最大似然法估计目标信号和噪音信号的功率谱，进而求解主广义特征向量。进一步基于SDW-MMSE估计复系数，将复系数与主广义特征向量相结合，从而得到基于SDW-MMSE的广义特征值稳健波束形成滤波向量。仿真实验结果表明，本文提出的波束形成方法可有效消除相干噪声和非相干噪声，具有输出信噪比高、语音失真少等稳健性能。

Abstract:

随着深度学习快速发展，模型的参数量和计算复杂度爆炸式增长，在移动终端上部署面临挑战，模型剪枝成为深度学习模型落地应用的关键。目前，基于正则化的剪枝方法通常采用L2正则化并结合基于数量级的重要性标准，是一种经验性的方法，缺乏理论依据，精度难以保证。受Proximal梯度方法求解稀疏优化问题的启发，本文提出一种能够在深度神经网络上直接产生稀疏解的Prox-NAG优化方法，并设计了与之配套的迭代剪枝算法。该方法基于L1正则化，利用Nesterov动量求解优化问题，克服了原有正则化剪枝方法对L2正则化和数量级标准的依赖，是稀疏优化从传统机器学习向深度学习的自然推广。在CIFAR10数据集上对ResNet系列模型进行剪枝实验，实验结果证明Prox-NAG剪枝算法较原有剪枝算法性能有所提升。

Abstract:

传统对话理解模型依赖对话历史识别用户意图，由于缺乏丰富的知识信息，对生僻或特有内容的理解能力欠佳。通过隐式编码将知识加入模型的方法将知识注入与模型训练高度绑定，难以适应知识库的更新迭代，也会导致知识噪声，引入无关知识破坏原有语义。为解决上述问题，本文提出一种显式知识注入的多任务学习对话理解模型。将知识以自然语言形式插入到对话文本中，即插即用，满足知识源动态发展的需要；通过对话理解的主任务，关联知识识别的辅助任务，进行多任务学习，减少知识噪声。实验结果表明，与现有方法相比，本文提出的模型在意图识别和语义槽填充任务上的宏F₁值分别提升了4.87%和2.09%。

Abstract:

轨迹重建是针对低采样轨迹数据进行轨迹补充还原的一类轨迹数据处理研究。为了提高轨迹重建的准确性，一些工作通过引入Seq2Seq等深度学习模型来提升轨迹重建的效率与精度，但由于现有工作忽略了轨迹间的长距离依赖问题，导致轨迹还原中还存在准确率不高等问题。本文提出一种基于Transformer的轨迹重建模型ZTrajRec（Zero-based trajectory recovery），通过Transformer编码器捕获轨迹间的长距离依赖，注意力机制用于当前轨迹和历史轨迹相似性查询来进行轨迹在路网上的重建。实验结果表明，在真实北京出租车数据集上，ZTrajRec比基准模型最好效果在召回率上提升3%～4%。本文最后对重建结果进行了可视化分析以展示其合理性。

Abstract:

为了解决小样本学习存在特征信息提取不足、难以准确地捕获局部明显特征信息的问题，提出了一种融合类增强与多尺度自适应的小样本学习方法。首先在特征的层面上对图像进行类增强，通过将特征图的每次激活与其邻域相关联来编码丰富的语义结构，使提取后的类内特征明显，更利于当前的分类任务。其次通过多尺度特征生成来提取不同尺度上图像特征的低层表示。最后对每个尺度上的语义相关矩阵进行权重分配与相似元素最大化计算查询图像与各支持集类别图像之间的语义相似度，多尺度信息进行融合后，对目标图像进行分类。在5-way 1-shot和5-way 5-shot设置中，该方法在miniImageNet数据集上的均值平均精度（mean Average precision，mAP）分别为56.83%和75.76%，在常用细粒度图像数据集Stanford Cars和CUB-200-2011分类基准上分别达到了79.33%和93.92%、66.33%和85.78%，均优于现有方法的最好结果。

Abstract:

为识别相关极端言论，提出了一种融合多特征和表情情感词典的性别对立言论识别方法。首先，使用BERT（Bidirectional encoder representation from transformer）提取输入文本的字符特征，并使用Word2Vec提取输入文本中五笔、郑码以及拼音3个方面的特征；然后，将这4个方面的特征进行融合，再输入到Bi-GRU（Bi-directional gated recurrent unit）网络中学习更深层次的语义信息；最后，通过全连接层加SoftMax函数计算出情感极性概率，并融合表情情感词典判别输入文本是否为性别对立言论。通过在自行收集的中文性别对立数据集上进行实验，与未加入特征和表情情感词典的方法相比，在F₁值上有5.19%的提升。同时，在公开中文情感分析数据集Weibo_senti_100k上进行验证，证明了本方法的泛化性。

Abstract:

结构脑网络（Structural brain network， SC）和功能脑网络（Functional brain network， FC）能从不同角度反映癫痫对大脑结构信息的改变。目前，融合两类脑网络信息进行癫痫的辅助诊断已成为领域内的重要研究之一。然而，常见的融合模型仅在单一粒度上融合两类脑网络信息，忽略了脑网络的多粒度属性。本文提出一种基于多模态多粒度融合网络（Multi-modal multi-grained fusion network，MMFN）的癫痫识别方法，从全局和局部两个粒度对多模态脑网络特征进行融合，充分利用两类脑网络信息。局部粒度上，设计了连接边特征融合和节点特征融合，用以重构两类脑网络的连接边层和节点层的特征图，使两个模态交互式地学习特征；全局粒度上，设计了多模态分解双线性池化模块，学习两类脑网络的联合表示。实验结果表明，相比主流方法，所提方法可以显著提高对癫痫识别的准确率，辅助医生进行癫痫诊断。

Abstract:

心算是生活中常使用到的技能，涉及到多种引起大脑活动变化认知加工环节，对于心算的脑电（Electroencephalogram，EEG）研究有助于提高对认知任务的研究水平。本文提出了一种全局图振幅排列熵（Amplitude permutation entropy for global graph，APEGG）应用于脑电心算研究，以弥补传统图排列熵（Permutation entropy for graph，PEG）无法全面反映脑网络节点周边邻居节点变化的缺陷，克服了脑电信号幅值不敏感的问题。首先采用相位锁定值构建了EEG脑网络，分析多导联脑电信号之间的同步性和相关性，然后计算了不同频段下脑网络的全局图振幅排列熵，最后运用支持向量机（Support vector machine，SVM）进行分类。使用脑电心算公开数据集进行仿真，分析了不同频段的心算状态与静息状态的熵值散点图，两种状态的熵值散点图表现出较大差异。心算状态与静息状态分类结果与其他算法比较表现出更好的效果。

Abstract:

在人类活动识别的应用环境中，从原始传感器数据中提取更加有效的特征仍具有挑战性。针对该问题，利用离散小波变换（Discrete wavelet transform， DWT）和变分模式分解（Variational mode decomposition，VMD）的混合信号分解技术提取原始信号中的显著特征向量。在UCI-HAR数据集与SCUT-NAA数据集上，利用多种机器学习分类算法，例如K近邻、随机森林、LightGBM和XGBoost，对DWT-VMD混合信号分解算法的有效性进行了实验。实验结果表明，与未使用混合信号分解技术相比，使用该技术后识别准确率均有所提高，其中UCI-HAR数据集分类准确率达到98.91%，与未加入分解算法相比提高了1.79%；SCUT-NAA数据集分类准确率达到95.52%，提高了3.2%。在人体活动识别中，利用DWT-VMD混合信号分解技术，能够提取原始信号中更有效的特征，提高识别准确率，具有一定的实用性。

Abstract:

提出了一种基于拉依达准则-相关系数-卷积神经网络（Pauta criterion-correlation coefficient-convolutional neural networks，P-C-CNN）的时间序列融合定位算法。P-C-CNN方法整合了不同节点以及不同时间序列的数据点，利用时间和空间数据的相互关联性，提高了室内定位的精度和可靠性。首先，该方法使用拉依达准则-相关系数（Pauta criterion-correlation coefficient， P-C）算法对到达角度（Angle of arrival， AOA）-接收信号强度（Received signal strength， RSS）数据的异常值进行剔除，提高了训练数据的质量。其次，算法对数据进行随机间隔选取，从而缩短模型训练时间，同时较好地模拟在线定位阶段数据选取的不确定性，减少模型对训练数据的过度拟合。再次，传统单帧信息训练方法由于噪声混杂无法稳定提取信息特征，所提算法在连续采集的时间序列数据中，融合随机选取固定长度的多帧AOA-RSS数据，然后利用卷积神经网络（Convolutional neural networks， CNN）进行特征提取，避免了单帧信号定位中误差波动较大的问题。最后，通过大量实际测试，验证了所提方法的有效性。实验结果表明，在典型室内环境中，与仅采用RSS数据或者AOA信息的指纹定位算法相比，本文算法的分类准确率由91.6%提高到了96.4%，定位精度从1.3 m提高到了0.3 m；与传统基于模型的AOA-RSS联合定位相比，本文算法能较好解决实测中多径效应等干扰因素的影响，定位精度从1.1 m提高到了0.3 m。

Abstract:

针对Paillier算法应用于室内指纹定位隐私保护时，计算开销大而影响定位实时性的问题，本文提出了一种移动对象室内指纹定位中的隐私保护算法，解决Paillier加密算法实时性不足的问题，同时实现移动对象的轨迹匿名并有效提高定位性能。考虑到参与定位的信号接入点（Access point，AP）与参考点（Reference point，RP）的数量是影响加密算法时间开销的主要因素，算法将对象的轨迹定位分成连续位置定位与非连续位置定位。连续位置定位利用前后定位请求的信息减少参与加密运算的AP与RP数量，而非连续位置定位用户利用粗定位减少算法涉及的AP与RP数量，进而提高定位效率；并提供一种主成分分析法（Principal component analysis，PCA）的可选方案，进一步提高定位效率。实际环境中的定位实验结果表明，所提算法在连续位置定位与非连续位置定位中，用户端单次定位所需时间均可控制在1 s，且连续定位中定位精度提高了约20%，非连续位置定位中采取的隐私保护措施对定位精度基本无影响。整个定位过程实现了移动对象的轨迹保护，有效提高了定位算法的整体性能。