来也-智能对话系统中的个性化

1 .ฬᚆ੒ᦾᔮᕹӾጱӻ௔۸ ᙲӞ૝ ๶Ԟᘶ‫ڠݳ‬তՈ&CTO 

2 .ӻՈᓌՕ ᙲӞ૝ • 2000-2007ғႴ܏य़਍๜Ꮧ • 2008-2011ғ਽ॗဩੰԵय़਍‫ܗ‬ॊ • 2011-2012ғՔภ፡ࠨᘶ‫ڠݳ‬তՈ • 2013-2015ғጯଶᩒႮຝ຅૵ • 2015ᛗՔғ๶Ԟᘶ‫ڠݳ‬তՈ&CTO 

3 .๶Ԟӫဳԭฬᚆ੒ᦾದ๞ ᦏྯӻՈ೜ํۗቘ ᶾ‫ض‬ጱմӱฬᚆۗቘ ‫م‬ጯӡአಁྋࣁֵአጱ੒ᦾୗࣁᕚӻՈۗቘ๐‫ۓ‬ ฬᚆ੒ᦾᥴ٬ොໜᩙᚆմӱ൉‫܋‬පሲ • ቘᥴ-Ի԰-ߎᧃ-ձ‫ۓ‬ਠ౮҅ਫሿԻฃᳮሾ • ٍํAIᚆ‫ێ‬ጱ๢࢏Ոଘ‫޾ݣ‬ฬᚆ੒ᦾᥴ٬ොໜ • ෭࣐ᵱ࿢տᦾහ᩻ጯӡ҅AIԻ԰‫ྲܛ‬98% • चԭय़හഝ೵യጱአಁኮ‫҅؟‬ਫሿӻ௔۸വគ • ੒ള᩻ᬦ150ӻ๐‫҅ࠟۓ‬෭ᑕAI‫ٵ‬Ꮯሲ99% • ᩻ᬦ95%ጱAI‫ٵ‬Ꮯሲ҅Ոපս۸60% • ԆۖԻ԰DAU݊ෛीአಁහᖌ೮ṛ᭛ᛔीᳩ • 2-3‫׭‬ጱᲀࠓ᫨۸ሲ൉‫܋‬ 

4 .ᭇ‫ݳ‬ฬᚆ੒ᦾᔮᕹጱ࣋ว 1̵ᛔᆐ੒ᦾฎࠔ 2̵አ੒ᦾ๢࢏Ո 3̵አ੒ᦾ๢࢏Ո ӞጱԻ԰ොୗ ๊դՈૡ ൉‫܋‬පሲ޾֛ḵ • ᫣᫹ • ࣁᕚਮ๐ • ฬᚆ០ᲀ • ฬᚆᶪᓟ • ฬᚆIVR • ฬᚆവគ • ‫ݢ‬ᑯಀᦡ॓ • ฬᚆक़޷ • ฬᚆӥ‫ܔ‬ 

5 .3ᐿӧ‫ݶ‬ጱ੒ᦾᔄࣳ • አಁ૶๕஑‫ک‬ᇙਧᳯ᷌ጱᒼໜ ᳯᒼࣳ੒ᦾ • ๢࢏Ոࢧ॔๶ᛔᇙਧᶾऒጱᎣᦩପ ՋԍฎՈૡฬᚆҘ • զ‫ٵ‬Ꮯሲԅᦧ֌೰ຽ • አಁ૶๕ਠ౮ᇙਧጱձ‫ۓ‬ ձ‫ࣳۓ‬੒ᦾ • ๢࢏Ո᭗ᬦग़᫪੒ᦾჿ᪃አಁᵱ࿢ ଆ౯ᦈୟ๢ᐥ • զᵱ࿢ਠ౮ሲԅᦧ֌೰ຽ • አಁဌํกᏟፓጱ ᳳᘱ • ๢࢏ՈԞဌํຽ‫ٵ‬ᒼໜ ౯অ෫ᘱࠡ • զፘ‫ى‬௔̵᪁‫ޱ‬௔ԅᦧ֌೰ຽ 

6 .चԭᎣᦩପጱฬᚆᳯᒼ Ꭳᦩପ ই֜౮ԅտާ տާํՋԍ๦ፅ ெԍັᧃᑌ‫ړ‬ ᎣᦩପኧᝑଗӻᎣᦩᅩᕟ౮҅ • ெԍဳٙտާ • տާํᇙ๦‫ހ‬ • ౯ํग़੝ᑌ‫ړ‬ ྯӻᎣᦩᅩ᮷۱‫ތ‬ᝑଗӻ᧍ • ౯మ౮ԅտާ • տާᚆଗՋԍ • ই֜ັ፡ᑌ‫ړ‬ Ԏፘ‫ݶ‬ጱᳯ᷌҅ᬯԶᳯ᷌‫ݢ‬ • տާெԍኩ᧗ • տާํࠨঅ॒ • ߺ᯾ᚆັᑌ‫ړ‬ զᤩ‫ݶ‬໏ጱᒼໜ๶ࢧᒼ̶ አಁᳯ᷌ ᳯᒼ๢࢏Ո ๢࢏Ոࢧᒼ ெԍ፡ᬮ‫ۃ‬ग़੝ᑌ‫ړ‬ ޸ӾᎣᦩᅩ“ই֜ັᧃᑌ‫”ړ‬ ᳯᒼ๢࢏Ոਖ਼አಁጱᳯ᷌‫܃‬ᯈ ‫ک‬ᎣᦩପӾ๋ፘᬪጱᎣᦩᅩӤ҅ አᧆᎣᦩᅩጱᒼໜࢧᒼአಁ̶ 

7 .चԭ‫ړ‬ᔄཛྷࣳጱᳯᒼᔮᕹ • च๜௏᪠ • ྯӻᎣᦩᅩฎӞӻ‫ړ‬ᔄ • ਖ਼ෆӻᎣᦩପ֢ԅᦒᕞහഝ Ꭳᦩପ • փᕹ๢࢏਍ԟཛྷࣳ ‫ړ‬ᔄ1 ‫ړ‬ᔄ2 ‫ړ‬ᔄ3 • TFIDF + LR • n-gram + Adaboost ᦒᕞ‫ړ‬ᔄ࢏ • ᐟᕪᗑᕶཛྷࣳ • LSTM አಁᳯ᷌ ‫ړ‬ᔄ࢏ ‫ړ‬ᔄᕮຎ • CNN • fastText 

8 .चԭ༄ᔱ޾ഭଧጱᳯᒼᔮᕹ • ༄ᔱ አಁᳯ᷌ • զᎣᦩପӾጱᳯ᷌ԅᔉଶୌᒈᔱ୚҅ྯӻ ᳯ᷌᮷੒ଫӞӻᎣᦩᅩ • ੒አಁᳯ᷌ᬰᤈ‫̵݄᦯ړ‬؊አ᦯̵‫ݶ‬Ԏ᦯ ಘ઀ᒵ඙֢ Ꭳᦩପ ༄ᔱ • ᬬࢧᎣᦩପӾᝑଗӻፘ‫ى‬௔๋ṛጱᳯ᷌੒ ଫጱᎣᦩᅩ ༄ᔱᕮຎ • ഭଧ • ᭗ᬦӞӻ᧍Ԏ‫܃‬ᯈཛྷࣳᦇᓒአಁᳯ᷌޾༄ ഭଧ ᔱᬬࢧᳯ᷌ጱ᧍Ԏፘ֒ଶ҅ᭌೠ᧍Ԏፘ֒ ଶ๋ṛጱᳯ᷌੒ଫጱᎣᦩᅩ ๋ᕣᕮຎ 

9 .चԭ‫ݻݙ‬ᰁጱ᧍Ԏ༄ᔱ Ꭳᦩପ Ꭳᦩᅩ1 Ꭳᦩᅩ2 ‫ݻݙ‬ᰁ ༄ᔱᕮຎ Ꭳᦩᅩ3 ‫ݻ‬ᰁ൤ᔱ ᖫᎱ࢏ ޸ӾᎣᦩᅩ“ই֜ັᧃᑌ‫”ړ‬ አಁᳯ᷌ ெԍ፡ᬮ‫ۃ‬ग़੝ᑌ‫ړ‬ 

10 .‫ݻݙ‬ᰁᖫᎱ࢏޾‫ݻ‬ᰁ൤ᔱ • ᭗ᬦຽဳහഝᦒᕞ‫ݻݙ‬ᰁᖫᎱ࢏ • ຽဳහഝԅ‫ݙ‬੒ғ᧍Ԏፘ‫ݶ‬ጱ‫ݙ‬੒̵᧍Ԏӧ‫ݶ‬ጱ‫ݙ‬੒ • ‫ݻݙ‬ᰁᖫᎱ࢏ጱᕮ຅ғBi-LSTM + max-pooling • ‫ݻ‬ᰁ൤ᔱֵአ Faiss [Conneau 2017] 

11 .ᳯᒼࣳ੒ᦾದ๞ੜᕮ • ᳯᒼጱ๜ᨶฎತ‫޾ک‬አಁᳯ᷌᧍Ԏ‫܃‬ᯈጱᎣᦩᅩ • चԭ‫ړ‬ᔄཛྷࣳጱᳯᒼᔮᕹපຎঅ҅֕ᵱᥝ᫾ग़ጱᦒᕞහഝ҅ Ӭ᯿ෛᦒᕞጱ౮๜᫾ṛ • चԭ༄ᔱ޾ഭଧጱᳯᒼᔮᕹᚆ᫾অጱୠᤑզӤᳯ᷌҅֕Ֆᆐ ਂࣁ༄ᔱ‫ࢧݟ‬ᳯ᷌ • चԭ‫ݻݙ‬ᰁጱ᧍Ԏ༄ᔱᚆਫሿࣁ‫ق‬ᰁහഝӤጱṛප൤ᔱ҅՗ ᘒᥴ٬փᕹ༄ᔱጱ‫ࢧݟ‬ᳯ᷌ • ਫᴬᔮᕹӾտ໑ഝٍ֛ఘ‫٭‬ᭌೠӧ‫ݶ‬ጱොໜ 

12 .3ᐿӧ‫ݶ‬ጱ੒ᦾᔄࣳ • አಁ૶๕஑‫ک‬ᇙਧᳯ᷌ጱᒼໜ ᳯᒼࣳ੒ᦾ • ๢࢏Ոࢧ॔๶ᛔᇙਧᶾऒጱᎣᦩପ ՋԍฎՈૡฬᚆҘ • զ‫ٵ‬Ꮯሲԅᦧ֌೰ຽ • አಁ૶๕ਠ౮ᇙਧጱձ‫ۓ‬ ձ‫ࣳۓ‬੒ᦾ • ๢࢏Ո᭗ᬦग़᫪੒ᦾჿ᪃አಁᵱ࿢ ଆ౯ᦈୟ๢ᐥ • զᵱ࿢ਠ౮ሲԅᦧ֌೰ຽ • አಁဌํกᏟፓጱ ᳳᘱ • ๢࢏ՈԞဌํຽ‫ٵ‬ᒼໜ ౯অ෫ᘱࠡ • զፘ‫ى‬௔̵᪁‫ޱ‬௔ԅᦧ֌೰ຽ 

13 .ձ‫ࣳۓ‬੒ᦾᔮᕹጱຝ຅ • Automatic speech recognition (ASR) • ਖ਼᧍ᶪ‫ݩמ‬᫨ԅ෈๜ • Natural language understanding (NLU) • ਖ਼෈๜ฉ੘౮ᕮ຅۸ጱ᧍Ԏᤒᐏ • Dialogue management (DM) • ᖌಷ੒ᦾᇫாଚ٬ਧᔮᕹ֢ۖ • Natural language generation (NLG) • ໑ഝᔮᕹ֢ۖኞ౮ᛔᆐ᧍᥺ • Text-to-speech synthesis (TTS) • चԭᛔᆐ᧍᥺ኞ౮᧍ᶪ‫ݩמ‬ᬌ‫ڊ‬ 

14 .ձ‫ࣳۓ‬੒ᦾᔮᕹӾጱ NLU ޾ DM User Input NLU User Dialog Act Dialog State User Dialog Act DM System Dialog Act 

15 .चԭํᴴᇫா๢ҁFinite State Machine҂ ጱ੒ᦾᓕቘ • ྯӞӻᇫா᮷੒ଫӞӻᔮᕹ֢ۖ • ᇫாԏᳵጱ᪡᫨զአಁ୮‫ڹ‬ᬌ‫ف‬ԅ๵կ • ᭗ᬦํᴴᇫா๢ਖ਼ (୮‫ڹ‬ᇫா, አಁᬌ‫ )ف‬ฉ੘‫ک‬ӥӞᇫா • ‫ݝ‬ᭇ‫ݳ‬ᇙਧጱ੒ᦾᔄࣳ • ᇫாॡग़෸ᵙզᖌಷ [Pilson 2014] 

16 .चԭ଄ҁFrame҂ጱ੒ᦾᓕቘ • Frame ฎབ֖ҁSlots҂ጱᵞ‫҅ݳ‬ਧԎᵱᥝአಁ൉‫׀‬Ջԍ‫௳מ‬ • ੒ᦾᇫாғߺԶབ֖૪ᤩऴ꧌ • ֢ۖᭌೠғӥӞྍᧆऴ꧌ߺӻབ֖ • ᵙզଫ੒॔๥ጱ࣋ว • ᗌ੝੶ེ 

17 .चԭᦇ‫ښ‬ҁAgenda҂ጱ੒ᦾᓕቘ • ੒ Frame ᬰᤈදᬰ҅ඪ೮໅ᇫጱ੶ེᕮ຅ • ໅Ӿጱᜓᅩᑍԅ handler҅አԭቘᥴଚ॒ቘአಁᬌ‫ف‬ • ՗ૢ‫̵ݦک‬Ⴎଶս‫ض‬᭭໅Ӿጱ handler • ໅ጱᕮ຅‫ۖݢ‬ா᧣ෆ҅ඪ೮ᦾ᷌‫ڔ‬ഘ̵ࢧᭅ̵ᭅ‫ڊ‬ [Rudnicky 1999] 

18 .चԭႮଶ୩۸਍ԟጱ੒ᦾᇫா᪙᪵ • ᭗ᬦᐟᕪᗑᕶਖ਼੒ᦾӤ෈ฉ੘‫ک‬ᔮᕹ֢ۖ҅෫ᵱดᐏਧԎ੒ᦾᇫா • ᗑᕶጱᬌ‫ف‬ฎNLUᕮຎ޾ӤӞྍᔮᕹ֢ۖ • ᗑᕶጱᬌ‫ڊ‬ฎӥӞྍᔮᕹ֢ۖጱ༷ሲ‫૲ړ‬ • ‫ݢ‬᭗ᬦํፊ፽਍ԟ౲୩۸਍ԟጱොဩᦒᕞ • ᵱᥝय़ᰁ፥ਫጱ̵ຽဳጱ੒ᦾහഝ [Williams 2016] 

19 .ձ‫ࣳۓ‬੒ᦾದ๞ੜᕮ • ձ‫ࣳۓ‬੒ᦾਖ਼አಁጱᬌ‫޾ف‬ᔮᕹጱᬌ‫ڊ‬᮷ฉ੘ԅ੒ᦾ֢ۖ • ᭗ᬦ੒ᦾᇫா๶ਫሿӤӥ෈ጱቘᥴ޾ᤒᐏ • ੒ᦾᓕቘཛྷࣘฎձ‫ࣳۓ‬੒ᦾጱय़ᚏ҅ਙ٬ਧᔮᕹ֢ۖଚᖌಷ ޾ๅෛ੒ᦾᇫா • փᕹጱ੒ᦾᓕቘොဩ۱ೡचԭ FSM̵Frame̵Agenda ጱ҅ ᭇአԭӧ‫ݶ‬ጱ࣋ว • चԭᕹᦇጱ੒ᦾᓕቘොဩๅ‫ے‬ᅎၚ҅֕ᵱᥝय़ᰁ፥ਫጱ̵ຽ ဳጱ੒ᦾහഝ๶ᦒᕞ 

20 .3ᐿӧ‫ݶ‬ጱ੒ᦾᔄࣳ • አಁ૶๕஑‫ک‬ᇙਧᳯ᷌ጱᒼໜ ᳯᒼࣳ੒ᦾ • ๢࢏Ոࢧ॔๶ᛔᇙਧᶾऒጱᎣᦩପ ՋԍฎՈૡฬᚆҘ • զ‫ٵ‬Ꮯሲԅᦧ֌೰ຽ • አಁ૶๕ਠ౮ᇙਧጱձ‫ۓ‬ ձ‫ࣳۓ‬੒ᦾ • ๢࢏Ո᭗ᬦग़᫪੒ᦾჿ᪃አಁᵱ࿢ ଆ౯ᦈୟ๢ᐥ • զᵱ࿢ਠ౮ሲԅᦧ֌೰ຽ • አಁဌํกᏟፓጱ ᳳᘱ • ๢࢏ՈԞဌํຽ‫ٵ‬ᒼໜ ౯অ෫ᘱࠡ • զፘ‫ى‬௔̵᪁‫ޱ‬௔ԅᦧ֌೰ຽ 

21 .༄ᔱୗጱᳳᘱ੒ᦾᔮᕹ [Zhou 2016] 

22 .ኞ౮ୗጱᳳᘱ੒ᦾᔮᕹ [Huang 2016] 

23 .ᳳᘱࣳ੒ᦾದ๞ੜᕮ • ᭗ଉզ๶ᛔ԰ᘶᗑጱय़ᰁ‫ݙ‬੒֢ԅᦒᕞහഝ • ํ༄ᔱୗ޾ኞ౮ୗӷय़ᔄොဩ • ༄ᔱୗጱොဩපຎ‫ݢ‬ഴ҅֕ᗌԓग़໏௔ • ኞ౮ୗጱොဩֵአๅᅎၚጱ໛ຝ҅‫ݢ‬զ੒ኞ౮ጱ੒ᦾᬰᤈๅ অጱഴ‫ګ‬ 

24 .ฬᚆ੒ᦾᔮᕹӾጱӻ௔۸ ๢࢏ՈᵱᥝํᕹӞ᫝ղં௔ ๢࢏Ոᵱᥝํӧ‫ݶ‬ጱఘఽ • አಁғ֦ग़य़ԧҘ • አಁғՔॠ፥‫ׯ‬ᵷ҅෱Ӥ • ๢࢏Ոғ౯ฎ90‫ݸ‬ ᇙ‫ڦ‬फ҅Ӥቔ᬴݈‫ک‬ԧ • አಁғ֦ฎߺଙጱҘ • ๢࢏Ոҁ‫ى‬ஞ҂ғဌԪဌ • ๢࢏Ոғ౯ฎ1985ଙጱ Ԫ҅‫ڦ‬නࣁஞӤ • አಁғҘҘҘ • ๢࢏Ոҁ࿈ీ҂ғ๋ᬪԻ ᭗፥ฎॡ૧ԧѺ 

25 .੒ᦾ๢࢏Ոጱӻ௔۸ - ఘᖃ • ๢࢏Ոጱࢧ॔ӧՐࣁٖ਻Ӥํፘ‫ى‬௔҅ࣁఘᖃӤԞᥝํӞᛘ௔ • ਖ਼ࢧ॔ጱఘᖃ‫ړ‬ԅӧ‫ݶ‬ᔄ֢ࣳ҅ԅᇙ஄ᬰᤈᦒᕞ • ኞ౮෸‫ݢ‬໑ഝӧ‫ݶ‬ఘᖃኞ౮ӧ‫॔ࢧݶ‬ [Zhou 2018] 

26 .੒ᦾ๢࢏Ոጱӻ௔۸ - ఘᖃ [Zhou 2018] 

27 .੒ᦾ๢࢏Ոጱӻ௔۸ - ᫝ղં௔ [Qian 2018] 

28 .੒ᦾ๢࢏Ոጱӻ௔۸ - ᫝ղં௔ • ๢࢏Ոጱ᫝ղં௔ࣁ੒ᦾᬦᑕӾᥝ‫כ‬೮Ӟᛘ • ন‫̵ݷ‬௔‫̵ڦ‬ଙἻ̵ᆽঅᒵᒵ • አProfile Detector‫ڣ‬ෙࢧ॔Ӿฎ‫ވ‬ᵱᥝ۱‫ތ‬᫝ղં௔ • ໑ഝ᫝ղં௔๶ኞ౮ࢧ॔ [Qian 2018] 

29 . ᥤ᷇ demo ෢჋ፓጱࣈ੒ᦾ๢࢏Ո • ᤈᑕ᪠ᕚ •ܿᳪ܎ॠጱᤈᑕ᪠ᕚ •࿢വគܿᳪ3‫ک‬7෭วᅩ჋ᕚ᪠ • Ի᭗‫ڊ‬ᤈ •‫ک‬ԯ࿜ᨁՋԍԻ᭗ොୗ๋ො‫׎‬ •݄ἩၵઍளꂊӤછጱᩇአҘ • วᅩᳯᒼ ᤈӱᙧว •݄෭‫ط‬ટ፡෭‫ڊ‬ᵱᥝԣᳪᐥ‫ހ‬ •៑ଢᜰࢮ୏න෸ᳵҘ • ᯌମ֘ਾ •ภӤ‫ܿک‬ᳪ๜ᒊ֘ߺ᯾ො‫׎‬ᒫ ԫॠ݄ἩၵઍҘ • ෢჋ᳯᒼ •ܿᳪวᅩᳪᐥํර૵ᦤսణ‫ހ‬ •Ἡၵઍ‫ݢ‬զᶂ០‫ހ‬Ҙ • ਊᜓॠ࿈޾ᑯᤏ •‫܈‬Ӟ์ܿᳪॠ࿈޾ᑯᤏ೰හҘ • ᗦᷣᨻᇔৈԔ •ܿᳪ୮ࣈುՋԍᅶҘ