Survey of Music Emotion Recognition

doi:10.3778/j.issn.1002-8331.2108-0538

Abstract

Abstract: Music is an important carrier to express emotion, and music emotion recognition is widely used in various fields. In the current research on music emotion, there are many problems such as the scarcity of music emotion datasets, the difficulty of emotion quantification, the limited accuracy of emotion recognition, etc. How to use artificial intelligence method in the effective and high-quality identification of music emotion trend has become the hot spot and difficulty of current research. This paper summarizes the present research status of music emotion recognition from music emotion datasets, music emotion model, music emotion classification method three aspects to comb, enumerates the current publicly available datasets and carries on the brief summary, comprehensively evaluates the common music emotion model, summarizes different classification methods according to different modals. Finally, the current problems and future research work in this field are summarized to provide ideas for further research.

Key words: music emotion recognition, music emotion model, music emotion classification, music emotion dataset

摘要： 音乐是表达情感的重要载体，音乐情感识别广泛应用于各个领域。当前音乐情感研究中，存在音乐情感数据集稀缺、情感量化难度大、情感识别精准度有限等诸多问题，如何借助人工智能方法对音乐的情感趋向进行有效的、高质量的识别成为当前研究的热点与难点。总结目前音乐情感识别的研究现状，从音乐情感数据集、音乐情感模型、音乐情感分类方法三方面进行梳理，列举当前可使用的公开数据集并对其进行简要概括，综合评判常见的音乐情感模型，针对不同模态总结不同的分类方法。最后对该领域当前问题及今后研究工作进行归纳概括，为后续进一步的研究提供思路。

关键词: 音乐情感识别, 音乐情感模型, 音乐情感分类, 音乐情感数据集

KANG Jian, WANG Hailong, SU Guibin, LIU Lin. Survey of Music Emotion Recognition[J]. Computer Engineering and Applications, 2022, 58(4): 64-72.

康健, 王海龙, 苏贵斌, 柳林. 音乐情感识别研究综述[J]. 计算机工程与应用, 2022, 58(4): 64-72.

References

[1] KIM Y E，SCHMIDT E M，MIGNECO R，et al.State of the art report：music emotion recognition：a state of the art review[C]//Proceedings of the 11th International Society for Music Information Retrieval Conference，Utrecht，Aug 9-13，2010.
[2] 韩文静，李海峰，阮华斌，等.语音情感识别研究进展综述[J].软件学报，2014，25（1）：37-50.
HAN W J，LI H F，RUAN H B，et al.Review of speech sentiment recognition[J].Journal of Software，2014，25（1）：37-50.
[3] 邓永莉，吕愿愿，刘明亮，等.基于中高层特征的音乐情感识别模型[J].计算机工程与设计，2017，38（4）：1029-1034.
DENG Y L，LU Y Y，LIU M L，et al.Music emotion recognition model based on mid-level features[J].Computer Engineering and Design，2017，38（4）：1029-1034.
[4] 李子晋，于帅，肖畅，等.CCMusic：用于MIR研究的中国音乐数据库建设[J].复旦学报（自然科学版），2019，58（3）：351-357.
LI Z J，YU S，XIAO C，et al.CCMusic：construction of Chinese music database for MIR research[J].Journal of Fudan University（Natural Science），2019，58（3）：351-357.
[5] TURNBULL D，BARRINGTON L，TORRES D，et al.Semantic annotation and retrieval of music and sound effects[J].IEEE Transactions on Audio，Speech，and Language Processing，2008，16（2）：467-476.
[6] SOLEYMANI M，CARO M N，SCHMIDT E M，et al.1000 songs for emotional analysis of music[C]//Proceedings of the 2nd ACM International Workshop on Crowdsourcing for Multimedia，2013.
[7] CHEN Y A，YANG Y H，WANG J C，et al.The AMG1608 dataset for music emotion recognition[C]//2015 IEEE International Conference on Acoustics，Speech and Signal Processing，2015.
[8] KOELSTRA S.DEAP：a database for emotion analysis using physiological signals[J].IEEE Transactions on Affective Computing，2012，3（1）：18-31.
[9] DOWNIE S J.The music information retrieval evaluation exchange（2005—2007）：a window into music information retrieval research[J].Acoustical Science & Technology，2008，29（4）：247-255.
[10] The 2007 MIREX audio mood classification task：lessons learned[C]//9th International Conference on Music Information Retrieval，Philadelphia，Sep 14-18，2008.
[11] SOLEYMANI M，CARO M N，SCHMIDT E M，et al.1000 songs for emotional analysis of music[C]//2013 ACM International Workshop on Crowdsourcing for Multimedia，2013.
[12] BOGDANOV D，WON M.The MTG-Jamendo dataset for automatic music tagging[C]//Machine Learning for Music Discovery Workshop，International Conference on Machine Learning，2019.
[13] GREGORY A H，VARNEY N.Cross-cultural comparisons in the affective response to music[J].Psychology of Music，1996，24（1）：47-52.
[14] 斯蒂芬·戴维斯.音乐的意义与表现[M].宋瑾，柯杨，译.长沙：湖南文艺出版社，2007.
DAVIS S.The meaning and expression of music[M].Changsha：Hunan Literature and Art Publishing House，2007.
[15] 曲浥尘.基于内容的个人音乐情感分析模型[D].上海：上海交通大学，2013.
QU Y C.Content-based personal music sentiment analysis model[D].Shanghai：Shanghai Jiao Tong University，2013.
[16] HEVNER K.Experimental studies of the elements of expression in music[J].The American Journal of Psychology，1936，48（2）：246-268.
[17] THAYER R E.The biopsychology of mood and arousal[M].Oxford：Oxford University Press，1989.
[18] TELLEGEN A，WATSON D，CLARK L A.On the dimensional and hierarchical structure of affect[J].Psychological Science，1999，10（4）.
[19] RUSSELL J A.A circumplex model of affect[J].Journal of Personality and Social Psychology，1980，39（6）：1161-1178.
[20] 陈晓鸥，杨德顺.音乐情感识别研究进展[J].复旦学报（自然科学版），2017，56（2）：136-148.
CHEN X O，YANG D S.Research progress in music emotion recognition[J].Journal of Fudan University（Natural Science），2017，56（2）：136-148.
[21] FARNSWORTH P R.A study of the Hevner adjective list[J].The Journal of Aesthetics and Art Criticism，1954，12（1）：97-103.
[22] SCHUBERT E.Update of the Hevner adjective checklist[J].Perceptual and Motor Skills，2003，96：1117-1122.
[23] 刘涛.音乐情感认知模型与交互技术研究[D].杭州：浙江大学，2006.
LIU T.Research on cognitive model and interactive technology of music emotion[D].Hangzhou：Zhejiang University，2006.
[24] 蒋盛益，阳垚，廖静欣.中文音乐情感词典构建及情感分类方法研究[J].计算机工程与应用，2014，50（24）：118-121.
JIANG S Y，YANG Y，LIAO J X.Chinese music sentiment dictionary construction and sentiment classification method research[J].Computer Engineering and Applications，2014，50（24）：118-121.
[25] 王洁，朱贝贝.面向中文歌词的音乐情感分类方法[J].计算机系统应用，2019，28（8）：24-29.
WANG J，ZHU B B.Music emotion classification method for Chinese lyrics[J].Application of Computer Systems，2019，28（8）：24-29.
[26] 胡洋.基于DBN和SVM的非遗民乐情感分类研究[D].西安：西北大学，2019.
HU Y.Research on music emotion classification of non-survivors based on DBN and SVM[D].Xi’an：Northwest University，2019.
[27] 王小凤，耿国华，李鹏，等.一个基于相关反馈的神经网络音乐情感分类器构建算法[J].西北大学学报（自然科学版），2012，42（1）：30-35.
WANG X F，GENG G H，LI P，et al.A music emotion classifier construction algorithm of neural network based on relevant feedback[J].Journal of Northwest University（Natural Science Edition），2012，42（1）：30-35.
[28] 李吉，黄微，郭苏琳，等.网络口碑舆情情感强度测度模型研究——基于PAD三维情感模型[J].情报学报，2019，38（3）：277-285.
LI J，HUANG W，GUO S L，et al.Research on the sentiment intensity measurement model of online word-of-mouth public opinion based on the PAD model[J].Journal of the China Society for Scientific and Technical Information，2019，38（3）：277-285.
[29] 李洪伟，李海峰，马琳.基于动态脑网络的长时音乐情感研究[J].复旦学报（自然科学版），2020，59（3）：330-337.
LI H W，LI H F，MA L.Research on long-term musical emotion based on dynamic brain network[J].Journal of Fudan University（Natural Science Edition），2020，59（3）：330-337.
[30] 李伟，李子晋，高永伟.理解数字音乐——音乐信息检索技术综述[J].复旦学报（自然科学版），2018，57（3）：271-313.
LI W，LI Z J，GAO Y Y.Understanding digital music—a review of music information retrieval technology[J].Journal of Fudan University（Natural Science），2018，57（3）：271-313.
[31] 纪正飚，王吉林，赵力.基于模糊[K]近邻的语音情感识别[J].微电子学与计算机，2015，32（3）：59-62.
JI Z B，WANG J L，ZHAO L.Speech emotion recognition based on fuzzy [K]-nearest neighbor[J].Microelectronics & Computer，2015，32（3）：59-62.
[32] 曹智贤.基于机器学习的音乐情感识别方法研究[D].长沙：湖南大学，2018.
CAO Z X.Research on music emotion recognition method based on machine learning[D].Changsha：Hunan University，2018.
[33] 陈维华.基于支持向量机（SVM）的音乐情感分类[J].软件工程，2016，19（12）：20-23.
CHEN W H.Music emotion classification based on support vector machine（SVM）[J].Software Engineering，2016，19（12）：20-23.
[34] 魏华珍，赵姝，陈洁，等.特征组合的中文音乐情感识别研究[J].安徽大学学报（自然科学版），2014，38（6）：30-36.
WEI H Z，ZHAO S，CHEN J，et al.Music emotion recognition of different features combinations based on SVM[J].Journal of Anhui University（Natural Science Edition），2014，38（6）：30-36.
[35] 王秀，谢志成，张栋.一种基于特征差异度和SVM投票机制的数字音乐语音情感识别算法[J].福州大学学报（自然科学版），2015，43（4）：460-465.
WANG X，XIE Z C，ZHANG D.An emotional recognition algorithm for digital music speech based on feature difference and SVM voting mechanism[J].Journal of Fuzhou University（Natural Science Edition），2015，43（4）：460-465.
[36] DOWNIE S J.The music information retrieval evaluation exchange（2005—2007）：a window into music information retrieval research[J].Acoustical Science & Technology，2008，29（4）：247-255.
[37] 陶凯云.基于音频和歌词的音乐情感分类研究[D].南京：南京邮电大学，2015.
TAO K Y.Research on music emotion classification based on audio and lyrics[D].Nanjing：Nanjing University of Posts and Telecommunications，2015.
[38] 张飞弦，张伟，谢湘.基于GMM的流行音乐情感识别研究[C]//第十届全国人机语音通讯学术会议论文摘要集，2009：6.
ZHANG F X，ZHANG W，XIE X.Research on pop music emotion recognition based on GMM[C]//10th National Conference on Man-Machine Voice Communication，2009：6.
[39] 齐昕彤.基于双高斯混合模型的音乐情感识别及检索的研究与应用[D].天津：天津师范大学，2016.
QI X T.Research and application of music emotion recognition and retrieval based on double Gaussian mixture model[D].Tianjin：Tianjin Normal University，2016.
[40] CHOI K，FAZEKAS G，SANDLER M.Automatic tagging using deep convolutional neural networks[C]//International Society of Music Information Retrieval Conference，2016.
[41] SIGTIA S，DIXON S.Improved music feature learning with deep neural networks[C]//2014 IEEE International Conference on Acoustics，Speech and Signal Processing，2014.
[42] 陈长风.基于CNN-LSTM的歌曲音频情感分类[J].通信技术，2019，52（5）：1114-1118.
CHEN C F.Song audio sentiment classification based on CNN-LSTM[J].Communications Technology，2019，52（5）：1114-1118.
[43] TANG H，CHEN N.Combining CNN and broad learning for music classification[J].IEICE Transactions on Information and Systems，2020，E103.
[44] HIZLISOY S，YILDIRIM S，TUFEKCI Z.Music emotion recognition using convolutional long short term memory deep neural networks[J].Engineering Science and Technology，2021，24（3）：760-767.
[45] CHEN R H，XU Z L，ZHANG Z X，et al.Content based music emotion analysis and recognition[C]//2006 International Workshop on Computer Music and Audio Technology，2006：68-75.
[46] XIA Y Q，WANG L L，WONG K F.Sentiment vector space model for lyric-based song sentiment classification[J].International Journal of Computer Processing of Languages，2008，21（4）：309-330.
[47] CHEN R H.Emotion analysis and recognition based on music content[C]//2006 International Workshop on Computer Music and Audio Technology，Taiwan，China，2006.
[48] YANG D，LEE W S.Music emotion identification from lyrics[C]//IEEE International Symposium on Multimedia，2009.
[49] 杜常辉.基于深度学习的歌词文本配图[D].哈尔滨：哈尔滨工业大学，2020.
DU C H.Lyrics text illustration based on deep learning[D].Harbin：Harbin Institute of Technology，2020.
[50] 陈坤，韩立新.基于音频与歌词的音乐情感分类研究[J].电子测量技术，2018，41（22）：15-20.
CHEN K，HAN L X.Research on music emotion classification based on audio and lyrics[J].Electronic Measurement Technology，2018，41（22）：15-20.
[51] MORENCY L P，MIHALCEA R，DOSHI P.Towards multimodal sentiment analysis：harvesting opinions from the web[C]//Proceedings of the 13th International Conference on Multimodal Interfaces，Alicante，Nov 14-18，2011.
[52] SIMPSON A J，ROMA G，PLUMBLEY M D.Deep Karaoke：extracting vocals from musical mixtures using a convolutional deep neural network[C]//Proceedings of the 12th International Conference on Latent Variable Analysis and Signal Separation，Liberec.Cham：Springer International Publishing，2015：429-436.
[53] 陈炜亮.音频文本混合的歌曲深度情感识别[D].合肥：合肥工业大学，2017.
CHEN W L.Song deep emotion recognition based on audio text mixture[D].Hefei：Hefei University of Technology，2017.