Natural language generation through deep learning
Autor: Musat Bogdan-Adrian
Coordonator: Conf. dr. Lucian-Mircea Sasu
Universitatea Transilvania din Brasov, Facultatea de Matematica si Informatica
27 Aprilie 2017
Musat Bogdan-Adrian (UNITBV) Chatbot 27 Aprilie 2017 1 / 15
Descrierea problemei
Asistent conversational (Chatbot) open topic
Model generativ de predictie
Genereaza raspunsuri n mod dinamic
Poate retine contextul discutiei
Subiect activ de cercetare
Abordare a testului Turing
Musat Bogdan-Adrian (UNITBV) Chatbot 27 Aprilie 2017 2 / 15
Retrieval vs generative
Retrieval:
Folosesc o sursa de date cu raspunsuri predefinite de unde si aleg un
raspuns folosind o metoda de pattern matching
Aceste sisteme nu produc text nou
Nu retin contextul discutiei
Produc propozitii corecte gramatical
Musat Bogdan-Adrian (UNITBV) Chatbot 27 Aprilie 2017 3 / 15
Retrieval vs generative
Generative:
Nu se bazeaza pe raspunsuri predefinite
Pot retine contextul discutiei
Pot produce erori gramaticale
Subiect activ de cercetare
Musat Bogdan-Adrian (UNITBV) Chatbot 27 Aprilie 2017 4 / 15
Retele neurale
(a) Exemplu de retea neurala
Musat Bogdan-Adrian (UNITBV) Chatbot 27 Aprilie 2017 5 / 15
Retele neurale recurente
(b) Exemplu de retea neurala recurenta
Musat Bogdan-Adrian (UNITBV) Chatbot 27 Aprilie 2017 6 / 15
Sequence to sequence
(c) Arhitectura sequence to sequence1
1
Ilya Sutskever et al. Sequence to Sequence Learning with Neural Networks. 2014.
Musat Bogdan-Adrian (UNITBV) Chatbot 27 Aprilie 2017 7 / 15
Hierarchical recurrent encoder decoder
(d) Arhitectura hierarchical recurrent encoder decoder2
2
Iulian V. Serban et al. Building End-To-End Dialogue Systems Using Generative
Hierarchical Neural Network Models. 2016.
Musat Bogdan-Adrian (UNITBV) Chatbot 27 Aprilie 2017 8 / 15
Word2vec
(e) Dispunerea cuvintelor n spatiul 2D folosind
Word2vec
Musat Bogdan-Adrian (UNITBV) Chatbot 27 Aprilie 2017 9 / 15
Beam search
(f) Cautare folosind beam search
Musat Bogdan-Adrian (UNITBV) Chatbot 27 Aprilie 2017 10 / 15
Antrenare
Antrenare folosind date din subtitrari de filme3
Keras framework cu backend de Tensorflow
Antrenare exclusiva pe GPU (Nvidia Geforce GTX 1080Ti) folosind
CUDA
Hardware-ul folosit pentru antrenare a fost achizitionat cu ajutorul
Universitatii Transilvania din Brasov, care a finantat acest proiect
3
R. E. Banchs. Movie-DiC: A movie dialogue corpus for research and development.
2012.
Musat Bogdan-Adrian (UNITBV) Chatbot 27 Aprilie 2017 11 / 15
Aplicabilitate
Suport tehnic
Entertainment
Viitorul sistemelor AI ce utilizeaza procesare de limbaj natural
Musat Bogdan-Adrian (UNITBV) Chatbot 27 Aprilie 2017 12 / 15
Demo...
Musat Bogdan-Adrian (UNITBV) Chatbot 27 Aprilie 2017 13 / 15
Posibile dezvoltari
Reinforcement learning
Model de atentie
Antrenare pe date mai calitative
Musat Bogdan-Adrian (UNITBV) Chatbot 27 Aprilie 2017 14 / 15
Va multumesc pentru atentie!
Musat Bogdan-Adrian (UNITBV) Chatbot 27 Aprilie 2017 15 / 15