基于多模态信息融合的新闻独白镜头检测

doi:10.3778/j.issn.1002-8331.2009.25.053

计算机工程与应用 ›› 2009, Vol. 45 ›› Issue (25): 173-175.DOI: 10.3778/j.issn.1002-8331.2009.25.053

• 图形、图像、模式识别 • 上一篇下一篇

基于多模态信息融合的新闻独白镜头检测

冀中，苏育挺，杨益铮

天津大学电子信息工程学院，天津 300072

收稿日期:2008-05-27 修回日期:2008-08-18 出版日期:2009-09-01 发布日期:2009-09-01
通讯作者: 冀中

News video monologue shot detection based on multimodality information

JI Zhong，SU Yu-ting，YANG Yi-zheng

School of Electronic and Information Engineering，Tianjin University，Tianjin 300072，China

Received:2008-05-27 Revised:2008-08-18 Online:2009-09-01 Published:2009-09-01
Contact: JI Zhong

摘要/Abstract

摘要： 新闻视频中的独白镜头具有较大的信息量，在视频检索和挖掘中具有较高的应用价值。提出了一种融合音频、视频、时域以及上下文信息等多模态特征进行独白场景检测的方法。首先利用规则移除广告和“其他”镜头，然后应用聚类的方法检测主持人镜头，最后应用条件随机场（CRFs）模型标记独白和记者镜头。该方法无需额外的信息，具有较好的普适性，实验取得了较好的性能。

关键词: 独白镜头检测, 新闻视频, 视频检索, 多模态, 条件随机场

Abstract: Monologue shots are informative and valuable in the application of news video retrieval and mining.Multimodality information，such as audio，visual，temporal and contextual features is employed to detect them.Commercial and other shots are first removed by rules，and then anchorperson shots are detected by clustering method.At last monologue and reporter shots are labeled.The experimental results achieve better performance without external knowledge.

Key words: monologue shot detection, news video, video retrieval, multimodality, conditional random fields

中图分类号:

TP391

冀中，苏育挺，杨益铮. 基于多模态信息融合的新闻独白镜头检测[J]. 计算机工程与应用, 2009, 45(25): 173-175.

JI Zhong，SU Yu-ting，YANG Yi-zheng. News video monologue shot detection based on multimodality information[J]. Computer Engineering and Applications, 2009, 45(25): 173-175.

[1]	陆莉霞，邹俊忠，郭玉成，张见，王蓓. 多模态融合的膝关节损伤预测[J]. 计算机工程与应用, 2021, 57(9): 225-232.
[2]	徐建国，刘泳慧，刘梦凡. 基于BILSTM-CRF的高校政策语义角色标注研究[J]. 计算机工程与应用, 2021, 57(6): 207-211.
[3]	王传昱，李为相，陈震环. 基于语音和视频图像的多模态情感识别研究[J]. 计算机工程与应用, 2021, 57(23): 163-170.
[4]	任泽裕，王振超，柯尊旺，李哲，吾守尔·斯拉木. 多模态数据融合综述[J]. 计算机工程与应用, 2021, 57(18): 49-64.
[5]	秦博宇，郝晓燕，刘永芳. 基于SVM和CRF双层模型的FrameNet框架消歧[J]. 计算机工程与应用, 2021, 57(18): 255-262.
[6]	郭艳芬，崔喆，杨智鹏，彭静，胡金蓉. 基于深度学习的医学图像配准技术研究进展[J]. 计算机工程与应用, 2021, 57(15): 1-8.
[7]	黄宏展，蒙祖强. 基于双向注意力机制的多模态情感分类方法[J]. 计算机工程与应用, 2021, 57(11): 119-127.
[8]	田梓函，李欣. 基于BERT-CRF模型的中文事件检测方法研究[J]. 计算机工程与应用, 2021, 57(11): 135-139.
[9]	汪瀛寰，薛婵，包先雨，吴共庆. 触发词与属性值对联合抽取方法研究[J]. 计算机工程与应用, 2020, 56(9): 168-174.
[10]	李博，康晓东，张华丽，王亚鸽，陈亚媛，白放. 采用Transformer-CRF的中文电子病历命名实体识别[J]. 计算机工程与应用, 2020, 56(5): 153-159.
[11]	李松，周亚同，池越，何静飞，张世立. 高斯过程混合模型应用于网络流量预测研究[J]. 计算机工程与应用, 2020, 56(5): 186-193.
[12]	刘小安，彭涛. 基于卷积神经网络的中文景点识别研究[J]. 计算机工程与应用, 2020, 56(4): 140-145.
[13]	孙影影，贾振堂，朱昊宇. 多模态深度学习综述[J]. 计算机工程与应用, 2020, 56(21): 1-10.
[14]	项前，唐继婷，吴建国. 多级上采样融合的强监督RGBD显著性目标检测[J]. 计算机工程与应用, 2020, 56(19): 182-188.
[15]	曾安，王烈基，潘丹，黄殷. 基于FCN和互信息的医学图像配准技术研究[J]. 计算机工程与应用, 2020, 56(18): 202-208.

基于多模态信息融合的新闻独白镜头检测

News video monologue shot detection based on multimodality information

PDF

可视化

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 15

编辑推荐

Metrics