for my ai lab, if it's available for you ,please give me a star
此外,这里提供了人工智能引论(吴飞)的扫描版,仅供自己用,侵权删
如果实验或者图书对你有用,帮我点个star叭~
这是HNU计科拔尖班人工智能实验的任务说明,可以详细了解实验说明
该实验是基于iemocap
数据集进行文本和音频单模态和多模态的研究
关于每个实验给出了示例代码程序,需要完善并且优化模型的性能
三个实验的具体内容分别在lab2
,lab3
,lab4
每个实验文件夹下都有best_Model
,保存了我最终得到的实验模型,其中hwx.py
文件是最终模型运行文件,hwx_report
文件是整个实验的说明,hwx_result.csv
保存了实验的最终结果,便于最终在test集上验证模型效果。
文件夹下的其他文件是在找到最优模型过程中尝试的模型
实验整体难度不大,关键在于如何找到提升模型性能的方法。
在实验过程中我进行了多种尝试,提升模型性能最好的方法是在数据预处理
部分,这是模型性能良好的基础,也正如老师课上所解释的garbage in,garbage out,有了好的数据,并且进行合理的数据预处理,才能确保可以尽可能地实现模型的性能优化。
当然模型的选择和架构的优化也是模型性能良好的关键,在实验中,我尝试了多种模型优化方法,最终取得了不错的效果。
当然还有很多其他的想法尚未实现,可以在后续深入研究,比如类似图片-文字对比学习的clip,实现将音频-文本对比学习,我看到有人已经实现了audioclip,相信只要有足够的数据,通过该方法也可以创建情感大模型,实现更好的分类预测效果。 也可以将音频和文本在更多维度上进行特征融合,比如可以使用残差,从而让两种模态信息更好地融合。