Citadel

dr. K.P. Truong (Khiet)

Universitair hoofddocent
EEMCS-CS-HMI
Citadel H235
k.p.truong@utwente.nl
+31534893683
Visitekaartje

Hoe mensen praten en elkaar begrijpen heeft mij altijd gefascineerd. De grote vraag voor mij is hoe we technologie kunnen ontwikkelen die gesproken taal begrijpt: hoe maken we automatische spraakherkenning intelligenter? Naast wat er gezegd wordt, zit er ook heel veel informatie in hoe iets gezegd wordt: aspecten van fysieke, emotionele, en mentale gesteldheid klinken door in de stem, bewust en onbewust. Mijn interesse gaat vooral uit naar het automatisch interpreteren van juist die impliciete informatie met als doel om bijvoorbeeld conversational agents (zoals Siri) gepaster te laten reageren op kinderen of ouderen, of om bijvoorbeeld apps te ontwikkelen die op afstand ondersteuning bieden aan mensen met depressie.

Na mijn studie Taalwetenschap (richting Taal en Spraaktechnologie) in Utrecht, ben ik bij TNO beland en heb ik daar automatische emotieherkenning in spraak onderzocht. Vervolgens ben ik naar Universiteit Twente, Human Media Interaction gegaan waar ik nu nog steeds werk aan de automatische analyse van nonverbale aspecten in spraak communicatie (o.a. lachen, backchanneling) in mens-mens, en mens-machine interactie. Naast het doen van onderzoek geef ik ook onderwijs over speech processing, affective computing, en interaction technology.

Expertises

  • Computer Science

    • Robot
    • Detection
    • Speech Emotion Recognition
    • Annotation

  • Psychology

    • Emotion
    • Humans
    • Behavior
    • Conversation

Organisaties

Mijn onderzoek richt zich vooral op het automatisch analyseren en interpreteren van nonverbale aspecten in spraak communicatie die iets zeggen over hoe het gesprek gaat, en wat iemands fysieke, socio-emotionele, en mentale gesteldheid is. Mijn doel is automatisch spraakherkenning intelligenter te maken. Ik heb o.a. gewerkt aan automatische detectie van lachen, automatische emotie herkenning in spraak, en het automatisch genereren van backchannels voor artificiele agents. Op dit moment begeleid ik een aantal PhD studenten die onderzoek doen naar multimodale emotie expressie bij ouderen, en responsible design voor kind-robot interactie. Ook begeleid ik master studenten in hun onderzoek naar technologie ten behoeve van kwetsbare mensen (bijvoorbeeld mensen met dementie, mensen met meervoudige beperkingen), en mens-robot interactie.

Je kunt meer lezen over mijn onderzoek hier https://www.utwente.nl/en/research/researchers/featured-scientists/truong/index/ en op mijn persoonlijke website http://khiettruong.space/

Publicaties

2024
A Conversational Robot for Children’s Access to a Cultural Heritage Multimedia ArchiveIn Advances in Information Retrieval: 46th European Conference on Information Retrieval, ECIR 2024, Glasgow, UK, March 24–28, 2024, Proceedings, Part V (pp. 144–151). Springer. Beelen, T., Ordelman, R., Truong, K. P., Evers, V. & Huibers, T.https://doi.org/10.1007/978-3-031-56069-9_11
2023
Automated speech audiometry: Can it work using open-source pre-trained Kaldi-NL automatic speech recognition?. ArXiv.org. Araiza-Illan, G., Meyer, L., Truong, K. P. & Baskent, D.https://doi.org/10.1177/23312165241229057Children’s Trust in Robots and the Information They ProvideIn CHI EA '23: Extended Abstracts of the 2023 CHI Conference on Human Factors in Computing Systems, Article 66 (pp. 1-7). ACM Publishing. Beelen, T. H. J., Velner, E., Truong, K. P., Ordelman, R. J. F., Huibers, T. W. C. & Evers, V.https://doi.org/10.1145/3544549.3585801Natural Language Processing Markers for Psychosis and Other Psychiatric Disorders: Emerging Themes and Research Agenda From a Cross-Linguistic Workshop, S86-S92. Corona Hernández, H., Corcoran, C., Achim, A. M., De Boer, J. N., Boerma, T., Brederoo, S. G., Cecchi, G. A., Ciampelli, S., Elvevåg, B., Fusaroli, R., Giordano, S., Hauglid, M., van Hessen, A., Hinzen, W., Homan, P., de Kloet, S. F., Koops, S., Kuperberg, G. R., Maheshwari, K., … Palaniyappan, L.https://doi.org/10.1093/schbul/sbac215Robot-Supported Information Search: Which Conversational Interaction Style do Children Prefer?In HRI '23: Companion of the 2023 ACM/IEEE International Conference on Human-Robot Interaction (pp. 466–470). ACM Publishing. Sharma, S., Beelen, T. & Truong, K. P.https://doi.org/10.1145/3568294.3580128Acoustic speech markers for schizophrenia-spectrum disorders: A diagnostic and symptom-recognition tool, 1302-1312. de Boer, J. N., Voppel, A. E., Brederoo, S. G., Schnack, H. G., Truong, K. P., Wijnen, F. N. K. & Sommer, I. E. C.https://doi.org/10.1017/S0033291721002804Effects of perceived gender on the perceived social function of laughterIn Proceedings of INTERSPEECH 2023 (pp. 1878-1882). International Speech Communication Association (ISCA). Arts, J. & Truong, K. P.https://doi.org/10.21437/Interspeech.2023-846Laughter in task-based settings: Whom we talk to affects how, when, and how often we laughIn Proceedings of INTERSPEECH 2023 (pp. 3622-3626). International Speech Communication Association (ISCA). Branco, C., Trancoso, I., Infante, P. & Truong, K. P.https://doi.org/10.21437/Interspeech.2023-1914Acoustic characteristics of depression in older adults’ speech: The role of covariatesIn Proceedings of INTERSPEECH 2023 (pp. 4159-4163). International Speech Communication Association (ISCA). Mijnders, C., Janse, E., Naarding, P. & Truong, K. P.https://doi.org/10.21437/Interspeech.2023-839
2022
A Child-Friendly Approach to Spoken Conversational SearchIn CIKM-WS 2022: Proceedings of the CIKM 2022 Workshops, Atlanta, USA, October 17-21, 2022. CEUR. Beelen, T. H. J., Truong, K. P., Ordelman, R. J. F., Velner, E., Evers, V. & Huibers, T. W. C.https://ceur-ws.org/Vol-3318/

Onderzoeksprofielen

Verbonden aan opleidingen

Vakken collegejaar 2023/2024

Vakken in het huidig collegejaar worden toegevoegd op het moment dat zij definitief zijn in het Osiris systeem. Daarom kan het zijn dat de lijst nog niet compleet is voor het gehele collegejaar.

Vakken collegejaar 2022/2023

Lopende projecten

Advancing technology for multimodal analysis of emotion expression in dementia

Multimodal analysis of emotional expression in spoken memories of older adults, lifestory books, reminiscence therapy

Children and AI: talking trust and responsible spoken search

CHATTERS

Responsible design in child-robot-media interaction, spoken interaction between child and conversational agent

4TU Humans & Technology: Smart Social Systems and Spaces for Living Well

Social signal processing and affective computing in speech

Voltooide projecten

EU-FP7 SQUIRREL (Clearing Clutter Bit by Bit)

Robot that helps children tidying up, social signal processing in child-robot interaction

COMMIT P3 SENSEI

Exercise intensity detection through voice, running app

EU-FP7 SSPNet (Social Signal Processing Network)

Automatic analysis of laughter, backchannel generation, speech synchrony

Scan de QR-code of
Download vCard