随着深度学习在工业界的大规模应用,搜索算法领域迎来了全新的技术革命,在视频领域的技术变革更加明显。和电商的搜索不同,在电商领域具备天然的结构化类目体系和标签体系,视频搜索领域仅仅依靠文本理解远远不够,这给深度学习在视频内容理解、NLP、语义模型、内容分发提供了更为宽广的实践空间。本次分享将结合实际应用介绍优酷视频搜索算法利用深度学习解决语义模型、内容理解、数据分发方面的深入思考和实践经验。

注脚

展开查看详情

1.̽Ⴎଶ਍ԟࣁᥤ᷇൤ᔱӾጱଫአ̾ ᄍᦖᘏ҈‫ڝ‬੢䁌

2.目录 1、视频搜索的挑战 %、深度学m在视频内容理解h的应用——召回 3、深度学m在语k搜索h的应用——语k表征 4、深度学m在排序h的应用——g性化表征

3.视频搜索的挑战 1̵ᶋᕮ຅۸/෫ᕟᕢ——‫ࢧݟ‬ᵙଶ 2̵Ꭸ෈๜/‫௳מ‬ӧ꧌‫᧍——ړ‬Ԏᵙଶ 3̵ၹᰁᎨᥤ᷇——አಁᭌೠࢯᵙ սᯡᥤ᷇൤ᔱႮଶ਍ԟଫአᶾऒғ 1̵चԭᥤٖ᷇਻ቘᥴጱ‫ࢧݟ‬ 2̵᧍Ԏཛྷࣳ/᧍Ԏᤒ஄ 3̵ӻ௔۸ᤒ஄

4.内容理解——基q视频内容的召回 चԭᥤٖ᷇਻‫ࢧݟ‬ चԭຽ᷌զ‫ڊ‬ሿ‫ࢧݟ‬ӧ᪃ चԭᥤ᷇ࢶ‫؟‬զӥ‫ࢧݟ௳מ‬ 1̵ᔄፓຽᓋ 2̵Ԫկ/࣋วຽᓋ 3̵ᇔ֛/Ոᇔຽᓋ 4̵ਁ଒/OCR/ASR୵౮NLPຽᓋ

5. 内容理解——自动分类技术 ຅ୌ‫ړ‬ᔄຽᓋ • 目的a输入v意视频,通过内容理解的方法对视 频进行类目和标签预测 • 方法a采用1::+8ST9的UHSuHPFH-VQ- UHSuHPFH RTHGLFVLQP的方法 • 效果a • 基类目平均准确率.8(%

6. 内容理解——pu/行i检测 ຅ୌԪկ/࣋วຽᓋ pu/行i检测技术 • 目的a给定e定长视频,定x感兴趣行i发生的时间段并给出 对应行i类标 • 方法a采取1QPvQNuVLQP 32+5DVHG >HFuTTHPV APLVU 5>A) 算法,结合SLPgNH ShQV 2HVHFVQT SS2)框架实现行i检测功 能 • 效果a • THA9OS 14数据集,O/P-%4.1% 7QA-0.()

7.内容理解——多目标检测f跟踪 ຅ୌᇔ֛/Ոᇔຽᓋ • 目的a定x和识别视频h的特定目标,并在目标生命周期内 进行跟踪 • 方法a检测采用>HgLQP IuNNy FQPvQNuVLQP PHVwQTM >-41:) 的GHHR NHDTPLPg框架,对q小物体在IHDVuTH ODR进行ow 化b跟踪采用214框架,结合颜色模型,并使用0/14进行 候选区域扩充 • 效果a ग़ፓຽ༄ၥӨ᪙᪵ᐏֺ • 检测算法在HQNNywQQG HHDG数据集,O/P-80.41%, 高过VhH UVDVH-QI-DTV ).)%b • 0TDLPwDUh数据集,O/P-88.4)%,高过VhH UVDVH-QI- DTV 10.(%。 • 跟踪算法在T0-100评测集,在实时速度d,RTHFLULQP 和UuFFHUU TDVH效果最好

8.内容理解——视频智能封面图 A51视频智能缩略图 • 目的a通过对视频进行结构化分析,对关键帧、视频镜头进行筛选和排序, 选择最w的关键帧、关键片段来作i视频的展示 • 方法a视频智能缩略图采用关键帧提取+99>w化+美学评分等方法,选 择视频h最w关键帧作i该视频的首图。 • 效果a • r工评测w酷原始f封面图算法(s评测可对比出w劣l分的数据_a 算法w,占比)%.%%

9.内容理解——总结

10. 语k模型 • 测试集a 语kr工标注gTQuPG VTuVh • 目前最高:215 a0.+x • 固定数据尝试e同模型a • 双向8ST9+/VVHPVLQP 0.+x • 0L5>A GTQRQuV 0.8x • 固定模型尝试VHTO HOEHGGLPg初始化方式a 模型 初始化方式 长尾=uHTy :215 ELNUVO+DVVHPVLQP 随机 基线 ELNUVO+DVVHPVLQP 神马模型输出HOEHGGLPg yq基线1% A1、豆瓣4DUVVHxV ELNUVO+DVVHPVLQP 高q基线1% HOEHGGLPg • ຽဳᵞғᰒ੒ग़ེՈૡcheckຽဳQUҁᦒᕞᵞၥᦶᵞྲֺ7ғ3҂ ‫᧍فے‬Ԏᇙ஄‫ݸ‬ғNDCG ൉‫܋‬1%ᕷ੒꧊̶ • ᇙ஄᯿ᥝଶՐེԭ‫܃‬ᯈଶᇙ஄̶

11.᧍Ԏཛྷࣳ——‫ڡ‬ত۸ොୗfasttext

12. 语k模型——举例 SuHTy vGQCVLVNH NDEHN 语k预测 非语k预测 模型解释 %01)香港小姐竞选 TB0《%01)国际h华小姐》竞选佳丽学t态走猫步无时无刻加紧练m % % 1 HOEHGGLPg初始化 ELg笑工坊唐唐脱口秀 【牛r】0Lg笑工坊 第一季a唐唐神吐槽:最作死的女神 184 3 3 % 语k h国达r秀震惊全场 h国好声音李安1+岁参加澳洲达r秀时震惊全场的表演 % % 3 长短距离依赖 潜规则女秘n 职场大尺度虐恋激情电影《错爱,爱错》(性感女秘n欲望潜规则男c司_ 1 1 % 长短距离依赖 日本广岛原子弹爆炸 100810C廣島C原子彈爆炸後的日子C寰宇地理C13TB 3 3 %

13.语k模型——总结 loss አಁ֛ḵս۸ Softmax and loss softmax • ࣁᳩੲquery޾᧍Ԏ੶ᶎਫሿԧᇙ஄ीፅ, ࣁᳩੲquery >batch_size, 5, 1] Cosine.1 Cosine.2 Cosine.3 Cosine.4 Cosine.5 ፘ‫ى‬௔Ӥํ᫾य़ද࠺ Cosine similar • ground truthၥᦶᵞNDCG൉‫܋‬1% >batch_size*6, 128) Query semantic Title.1 semantic Title.2 semantic Title.3 semantic Title.4 semantic Title.5 semantic Soft attention Attention size = 100 >batch_size*6, 128) ದ๞‫ڠ‬ෛᑱᏈ lstm cell unit = 64 LSTM LSTM LSTM LSTM LSTM bi-lstm • चԭFastText Vector෫ፊ፽embedding (PEHGGLQJGLFW>500000, 150) • ᕡᔉଶ+ਁ‫ ړڔ‬սᯡtitle᧍ාᥟፍଶ99.0% >batch_size*6, 150) 150 • ᦒᕞහഝᰁ billionᕆ‫ ڦ‬ཛྷࣳ݇හᰁ‫܉‬ӡᕆ‫ ڦ‬ tranpose • bi-LSTM + attention 500000 >batch_size*6, 20, 150) • चԭpai-tensorflowጱ‫૲ړ‬ୗᦒᕞ embedding lookup >batch_size*6, 20) )HDWXUH,QSXW 150

14.语k模型——总结

15.排序应用——g性化表征

16.排序应用——g性化表征 q R yd s ui o e s 2 s 1 s T v r

17.௛ᕮ ഭଧ ፘ‫ى‬௔ཛྷࣳ ෸ප௔ ๦শ௔ 76&75ᶼ֌ ٖ਻ຽ᷌ᨶᰁ चԭṛපٖ਻‫ݎړ‬ጱ࣋วଫአ ཛྷࣳ Ⴎଶ᧍Ԏཛྷࣳ ఺ࢶ‫ړ‬ຉཛྷࣳ ፘ‫ى‬௔ཛྷࣳ • चԭႮଶ᧍Ԏጱፘ‫ى‬௔ଫአ • चԭᤒ஄਍ԟጱTSᶼ֌ ፘ‫ى‬௔ '660 %,/670 %,*58 /LVWńZLVH*%'7 • ෛӞդᑌ‫ݻ‬ᰁ‫ࢧݟ‬୚ක ᇙ஄ Ⴎଶ᧍Ԏཛྷࣳ Ⴎଶ7HUP:HLJKW चԭ&5)1(5 7HUP‫܃‬ᯈ ᜓፓ᧍Ԏࣘ ᩻य़ᥢཛྷ҅ṛᖌᑑ዇ᦒᕞ໏๜ ୚ක 8*& 2*& ‫ق‬ᗑ ᑌ‫ݻ‬ᰁ • Ⴎଶ᧍Ԏғᦒᕞ໏๜X billion*Xӡᕆҁᑑ዇҂ ཛྷࣳ݇හՊ+ ᬽդེහX millionྍ ഭଧᇙ஄ ፘ‫ى‬௔ᇙ஄ ᇙ஄ • ᤒ஄਍ԟғᦒᕞ໏๜X billion*X millionҁᑑ ᥤ᷇YYWV ᥤ᷇ᨶᰁ ᥤ᷇๦শଶ ᥤ᷇෸ප ൤ᔱ‫ݍ‬ḇ አಁHPEHGGLQJ TXHU\᧍Ԏ TXHU\఺ࢶ WHUPZHLJKW ዇҂ ཛྷࣳ݇හ XՊ+ ᬽդེහ Xmillion හഝ սᯡORJ ࢿᨗORJ ᐟḘORJ 8&ORJ Ꭳᦩࢶᨏ አಁኮ‫؟‬ ٖ਻ቘᥴ

18.