Skip to content

xzxg001/ailab

Repository files navigation

ailab

for my ai lab, if it's available for you ,please give me a star

此外,这里提供了人工智能引论(吴飞)的扫描版,仅供自己用,侵权删

如果实验或者图书对你有用,帮我点个star叭~

实验说明

这是HNU计科拔尖班人工智能实验的任务说明,可以详细了解实验说明

该实验是基于iemocap数据集进行文本和音频单模态和多模态的研究

关于每个实验给出了示例代码程序,需要完善并且优化模型的性能

lab2模板 lab3模板 lab4模板

实验成果

三个实验的具体内容分别在lab2lab3lab4

每个实验文件夹下都有best_Model,保存了我最终得到的实验模型,其中hwx.py文件是最终模型运行文件,hwx_report文件是整个实验的说明,hwx_result.csv保存了实验的最终结果,便于最终在test集上验证模型效果。

文件夹下的其他文件是在找到最优模型过程中尝试的模型

实验总结

实验整体难度不大,关键在于如何找到提升模型性能的方法。 在实验过程中我进行了多种尝试,提升模型性能最好的方法是在数据预处理部分,这是模型性能良好的基础,也正如老师课上所解释的garbage in,garbage out,有了好的数据,并且进行合理的数据预处理,才能确保可以尽可能地实现模型的性能优化。 当然模型的选择和架构的优化也是模型性能良好的关键,在实验中,我尝试了多种模型优化方法,最终取得了不错的效果。

当然还有很多其他的想法尚未实现,可以在后续深入研究,比如类似图片-文字对比学习的clip,实现将音频-文本对比学习,我看到有人已经实现了audioclip,相信只要有足够的数据,通过该方法也可以创建情感大模型,实现更好的分类预测效果。 也可以将音频和文本在更多维度上进行特征融合,比如可以使用残差,从而让两种模态信息更好地融合。

Releases

No releases published

Packages

No packages published