优酷视频 刘尚堃 - 《深度学习在视频搜索领域的实践》

1 .̽Ⴎଶ਍ԟࣁᥤ᷇൤ᔱӾጱଫአ̾ ᄍᦖᘏ҈‫ڝ‬੢䁌 

2 .目录 1、视频搜索的挑战 %、深度学m在视频内容理解h的应用——召回 3、深度学m在语k搜索h的应用——语k表征 4、深度学m在排序h的应用——g性化表征 

3 .视频搜索的挑战 1̵ᶋᕮ຅۸/෫ᕟᕢ——‫ࢧݟ‬ᵙଶ 2̵Ꭸ෈๜/‫௳מ‬ӧ꧌‫᧍——ړ‬Ԏᵙଶ 3̵ၹᰁᎨᥤ᷇——አಁᭌೠࢯᵙ սᯡᥤ᷇൤ᔱႮଶ਍ԟଫአᶾऒғ 1̵चԭᥤٖ᷇਻ቘᥴጱ‫ࢧݟ‬ 2̵᧍Ԏཛྷࣳ/᧍Ԏᤒ஄ 3̵ӻ௔۸ᤒ஄ 

4 .内容理解——基q视频内容的召回 चԭᥤٖ᷇਻‫ࢧݟ‬ चԭຽ᷌զ‫ڊ‬ሿ‫ࢧݟ‬ӧ᪃ चԭᥤ᷇ࢶ‫؟‬զӥ‫ࢧݟ௳מ‬ 1̵ᔄፓຽᓋ 2̵Ԫկ/࣋วຽᓋ 3̵ᇔ֛/Ոᇔຽᓋ 4̵ਁ଒/OCR/ASR୵౮NLPຽᓋ 

5 . 内容理解——自动分类技术 ຅ୌ‫ړ‬ᔄຽᓋ • 目的a输入v意视频，通过内容理解的方法对视 频进行类目和标签预测 • 方法a采用1::+8ST9的UHSuHPFH-VQ- UHSuHPFH RTHGLFVLQP的方法 • 效果a • 基类目平均准确率.8(% 

6 . 内容理解——pu/行i检测 ຅ୌԪկ/࣋วຽᓋ pu/行i检测技术 • 目的a给定e定长视频，定x感兴趣行i发生的时间段并给出 对应行i类标 • 方法a采取1QPvQNuVLQP 32+5DVHG >HFuTTHPV APLVU 5>A) 算法，结合SLPgNH ShQV 2HVHFVQT SS2)框架实现行i检测功 能 • 效果a • THA9OS 14数据集，O/P-%4.1% 7QA-0.() 

7 .内容理解——多目标检测f跟踪 ຅ୌᇔ֛/Ոᇔຽᓋ • 目的a定x和识别视频h的特定目标，并在目标生命周期内 进行跟踪 • 方法a检测采用>HgLQP IuNNy FQPvQNuVLQP PHVwQTM >-41:) 的GHHR NHDTPLPg框架，对q小物体在IHDVuTH ODR进行ow 化b跟踪采用214框架，结合颜色模型，并使用0/14进行 候选区域扩充 • 效果a ग़ፓຽ༄ၥӨ᪙᪵ᐏֺ • 检测算法在HQNNywQQG HHDG数据集，O/P-80.41%， 高过VhH UVDVH-QI-DTV ).)%b • 0TDLPwDUh数据集，O/P-88.4)%，高过VhH UVDVH-QI- DTV 10.(%。 • 跟踪算法在T0-100评测集，在实时速度d，RTHFLULQP 和UuFFHUU TDVH效果最好 

8 .内容理解——视频智能封面图 A51视频智能缩略图 • 目的a通过对视频进行结构化分析，对关键帧、视频镜头进行筛选和排序， 选择最w的关键帧、关键片段来作i视频的展示 • 方法a视频智能缩略图采用关键帧提取+99>w化+美学评分等方法，选 择视频h最w关键帧作i该视频的首图。 • 效果a • r工评测w酷原始f封面图算法（s评测可对比出w劣l分的数据_a 算法w，占比)%.%% 

9 .内容理解——总结 

10 . 语k模型 • 测试集a 语kr工标注gTQuPG VTuVh • 目前最高:215 a0.+x • 固定数据尝试e同模型a • 双向8ST9+/VVHPVLQP 0.+x • 0L5>A GTQRQuV 0.8x • 固定模型尝试VHTO HOEHGGLPg初始化方式a 模型 初始化方式 长尾=uHTy :215 ELNUVO+DVVHPVLQP 随机 基线 ELNUVO+DVVHPVLQP 神马模型输出HOEHGGLPg yq基线1% A1、豆瓣4DUVVHxV ELNUVO+DVVHPVLQP 高q基线1% HOEHGGLPg • ຽဳᵞғᰒ੒ग़ེՈૡcheckຽဳQUҁᦒᕞᵞၥᦶᵞྲֺ7ғ3҂ ‫᧍فے‬Ԏᇙ஄‫ݸ‬ғNDCG ൉‫܋‬1%ᕷ੒꧊̶ • ᇙ஄᯿ᥝଶՐེԭ‫܃‬ᯈଶᇙ஄̶ 

11 .᧍Ԏཛྷࣳ——‫ڡ‬ত۸ොୗfasttext 

12 . 语k模型——举例 SuHTy vGQCVLVNH NDEHN 语k预测 非语k预测 模型解释 %01)香港小姐竞选 TB0《%01)国际h华小姐》竞选佳丽学t态走猫步无时无刻加紧练m % % 1 HOEHGGLPg初始化 ELg笑工坊唐唐脱口秀 【牛r】0Lg笑工坊 第一季a唐唐神吐槽:最作死的女神 184 3 3 % 语k h国达r秀震惊全场 h国好声音李安1+岁参加澳洲达r秀时震惊全场的表演 % % 3 长短距离依赖 潜规则女秘n 职场大尺度虐恋激情电影《错爱，爱错》（性感女秘n欲望潜规则男c司_ 1 1 % 长短距离依赖 日本广岛原子弹爆炸 100810C廣島C原子彈爆炸後的日子C寰宇地理C13TB 3 3 % 

13 .语k模型——总结 loss አಁ֛ḵս۸ Softmax and loss softmax • ࣁᳩੲquery޾᧍Ԏ੶ᶎਫሿԧᇙ஄ीፅ, ࣁᳩੲquery >batch_size, 5, 1] Cosine.1 Cosine.2 Cosine.3 Cosine.4 Cosine.5 ፘ‫ى‬௔Ӥํ᫾य़ද࠺ Cosine similar • ground truthၥᦶᵞNDCG൉‫܋‬1% >batch_size*6, 128) Query semantic Title.1 semantic Title.2 semantic Title.3 semantic Title.4 semantic Title.5 semantic Soft attention Attention size = 100 >batch_size*6, 128) ದ๞‫ڠ‬ෛᑱᏈ lstm cell unit = 64 LSTM LSTM LSTM LSTM LSTM bi-lstm • चԭFastText Vector෫ፊ፽embedding (PEHGGLQJGLFW>500000, 150) • ᕡᔉଶ+ਁ‫ ړڔ‬սᯡtitle᧍ාᥟፍଶ99.0% >batch_size*6, 150) 150 • ᦒᕞහഝᰁ billionᕆ‫ ڦ‬ཛྷࣳ݇හᰁ‫܉‬ӡᕆ‫ ڦ‬ tranpose • bi-LSTM + attention 500000 >batch_size*6, 20, 150) • चԭpai-tensorflowጱ‫૲ړ‬ୗᦒᕞ embedding lookup >batch_size*6, 20) )HDWXUH,QSXW 150 

14 .语k模型——总结 

15 .排序应用——g性化表征 

16 .排序应用——g性化表征 q R yd s ui o e s 2 s 1 s T v r 

17 .௛ᕮ ഭଧ ፘ‫ى‬௔ཛྷࣳ ෸ප௔ ๦শ௔ 76&75ᶼ֌ ٖ਻ຽ᷌ᨶᰁ चԭṛපٖ਻‫ݎړ‬ጱ࣋วଫአ ཛྷࣳ Ⴎଶ᧍Ԏཛྷࣳ ఺ࢶ‫ړ‬ຉཛྷࣳ ፘ‫ى‬௔ཛྷࣳ • चԭႮଶ᧍Ԏጱፘ‫ى‬௔ଫአ • चԭᤒ஄਍ԟጱTSᶼ֌ ፘ‫ى‬௔ '660 %,/670 %,*58 /LVWńZLVH*%'7 • ෛӞդᑌ‫ݻ‬ᰁ‫ࢧݟ‬୚ක ᇙ஄ Ⴎଶ᧍Ԏཛྷࣳ Ⴎଶ7HUP:HLJKW चԭ&5)1(5 7HUP‫܃‬ᯈ ᜓፓ᧍Ԏࣘ ᩻य़ᥢཛྷ҅ṛᖌᑑ዇ᦒᕞ໏๜ ୚ක 8*& 2*& ‫ق‬ᗑ ᑌ‫ݻ‬ᰁ • Ⴎଶ᧍Ԏғᦒᕞ໏๜X billion*Xӡᕆҁᑑ዇҂ ཛྷࣳ݇හՊ+ ᬽդེහX millionྍ ഭଧᇙ஄ ፘ‫ى‬௔ᇙ஄ ᇙ஄ • ᤒ஄਍ԟғᦒᕞ໏๜X billion*X millionҁᑑ ᥤ᷇YYWV ᥤ᷇ᨶᰁ ᥤ᷇๦শଶ ᥤ᷇෸ප ൤ᔱ‫ݍ‬ḇ አಁHPEHGGLQJ TXHU\᧍Ԏ TXHU\఺ࢶ WHUPZHLJKW ዇҂ ཛྷࣳ݇හ XՊ+ ᬽդེහ Xmillion හഝ սᯡORJ ࢿᨗORJ ᐟḘORJ 8&ORJ Ꭳᦩࢶᨏ አಁኮ‫؟‬ ٖ਻ቘᥴ 

18 .