2024年5月22日下午16点,二四六玄机文字图第四十三期研究生学术论坛在崇真楼南楼A4030成功举办。本次论坛由2021级研究生黄子键、皮乔森、陈世旭、2022级研究生黄志南主讲,学院研究生会主办,学院杨华利老师出席了该论坛。
黄子键同学分享的主题为“多项选择问答任务中基于[Mask]的数据增强”。为了克服训练样本可用性所带来的限制,他探索了在PLM自监督训练过程中常用的掩码语言模型(MLM)中利用[Mask]令牌的潜力,提出了一种简单但有效的方法,称为基于[Mask]的数据增强(MDA)。该方法通过在背景段落中注入[Mask]令牌来创建原始数据的掩码版本。此外,引入了一个自评估器来调节掩码生成过程,旨在尽量减少由论据噪声引起的负面影响。使用各种基准MCQA数据集对所提出的方法进行了实证验证。实验结果表明,与现有最先进方法相比,本方法显著提高了性能。
黄志南同学分享的主题为“ADPA-PCB: Enhancing PCB Defect Detection Neural Networks with Adaptive Activate Conv and PCBSAdd”。他针对现有的缺陷检测方法在实现准确性和速度之间的平衡方面遇到的挑战,提出了一种新的缺陷检测方法,纳入更广泛的缺陷类型来增加公开可用的PCB图像数据集。这种增强有助于更好地模拟真实世界的缺陷检测场景。改进提出了Adaptive Activate Conv和PCBSAdd模块,以增强模型学习与PCB缺陷相关的特征的能力。使用扩展的PCB数据集进行了广泛的实验,结果显示了出色的性能,检测精度显著提高了2.1%。
皮乔森同学分享的主题为“基于教师助理蒸馏的轻量级安卓恶意软件分类方法”。为解决安卓恶意样本庞大、深度学习检测模型参数庞大且对计算资源需求高的难题,他针对教师与学生模型间知识传递的不足的缺点,提出了一种创新的轻量级安卓恶意软件检测方法。该方法基于教师-助教-学生知识蒸馏,使用ResNeSt50作为教师模型,实现了模型的有效压缩,同时确保了高准确性的恶意软件检测。进一步地,在教师模型上融合分离注意力机制,加强了模型在深层次挖掘恶意软件图像特征的能力。在Drebin和CICMalDroid 2020数据集上的实验结果证明了该方法在降低模型复杂性的同时,保持了出色的准确率,模型参数减少了95%,准确率较传统蒸馏方法提高了0.63%。
陈世旭同学分享的主题为“PTLVD:Program Slicing and Transformer-Based Line-Level Vulnerability Detection System”。他提出了一种基于深度学习的细粒度软件漏洞检测系统,在提高软件漏洞检测性能的同时,还可以得到引起软件漏洞的具有代码行的信息。具体来说,他提出了一种基于程序切片和Transformer的软件漏洞检测方法:VDPT,使用程序切片来提取基于变量的代码小工具,并利用Transformer模型学习特征。VDPT在预处理中进行代码的标准化,使用改进的基于删除的算法生成代码小工具,并用CodeBERT对代码小工具进行编码。他还提出了一种名为IGS的漏洞行定位方法,该方法综合了可解性方法积分梯度和显著性,对训练好VDPT进行解释,通过计算其输入中每个部分对于预测结果的决策贡献值,进而判断每行代码对于预测结果为漏洞的决策贡献值来找出引起软件漏洞原因的具体代码行。