Citadel

dr. K.P. Truong (Khiet)

Universitair hoofddocent
EEMCS-CS-HMI
Citadel H235
k.p.truong@utwente.nl
+31534893683
Visitekaartje

Hoe mensen praten en elkaar begrijpen heeft mij altijd gefascineerd. De grote vraag voor mij is hoe we technologie kunnen ontwikkelen die gesproken taal begrijpt: hoe maken we automatische spraakherkenning intelligenter? Naast wat er gezegd wordt, zit er ook heel veel informatie in hoe iets gezegd wordt: aspecten van fysieke, emotionele, en mentale gesteldheid klinken door in de stem, bewust en onbewust. Mijn interesse gaat vooral uit naar het automatisch interpreteren van juist die impliciete informatie met als doel om bijvoorbeeld conversational agents (zoals Siri) gepaster te laten reageren op kinderen of ouderen, of om bijvoorbeeld apps te ontwikkelen die op afstand ondersteuning bieden aan mensen met depressie.

Na mijn studie Taalwetenschap (richting Taal en Spraaktechnologie) in Utrecht, ben ik bij TNO beland en heb ik daar automatische emotieherkenning in spraak onderzocht. Vervolgens ben ik naar Universiteit Twente, Human Media Interaction gegaan waar ik nu nog steeds werk aan de automatische analyse van nonverbale aspecten in spraak communicatie (o.a. lachen, backchanneling) in mens-mens, en mens-machine interactie. Naast het doen van onderzoek geef ik ook onderwijs over speech processing, affective computing, en interaction technology.

Expertises

  • Computer Science

    • Robot
    • Exploratory Study
    • Detection
    • Speech Emotion Recognition

  • Psychology

    • Emotion
    • Humans
    • Behavior
    • Conversation

Organisaties

Mijn onderzoek richt zich vooral op het automatisch analyseren en interpreteren van nonverbale aspecten in spraak communicatie die iets zeggen over hoe het gesprek gaat, en wat iemands fysieke, socio-emotionele, en mentale gesteldheid is. Mijn doel is automatisch spraakherkenning intelligenter te maken. Ik heb o.a. gewerkt aan automatische detectie van lachen, automatische emotie herkenning in spraak, en het automatisch genereren van backchannels voor artificiele agents. Op dit moment begeleid ik een aantal PhD studenten die onderzoek doen naar multimodale emotie expressie bij ouderen, en responsible design voor kind-robot interactie. Ook begeleid ik master studenten in hun onderzoek naar technologie ten behoeve van kwetsbare mensen (bijvoorbeeld mensen met dementie, mensen met meervoudige beperkingen), en mens-robot interactie.

Je kunt meer lezen over mijn onderzoek hier https://www.utwente.nl/en/research/researchers/featured-scientists/truong/index/ en op mijn persoonlijke website http://khiettruong.space/

Publicaties

2025

Benchmarking State-of-the-Art Automatic Speech Recognition systems for Dutch (2025)[Contribution to conference › Poster] 3rd Dutch Speech Tech Day. Bălan, D. A., Truong, K. P. & Ordelman, R. J. F.

2024

‘Uhm... Are you sure?’ An Exploratory Study of Trust Indicators in Robot-Directed Child Speech (2024)In Proceedings of the 24th ACM International Conference on Intelligent Virtual Agents, IVA 2024. Article 35. Association for Computing Machinery. Velner, E., Beelen, T., Schadenberg, B., Ordelman, R., Huibers, T., Truong, K. P. & Evers, V.https://doi.org/10.1145/3652988.3673933Automated Speech Audiometry: Can It Work Using Open-Source Pre-Trained Kaldi-NL Automatic Speech Recognition? (2024)Trends in hearing, 28. Araiza-Illan, G., Meyer, L., Truong, K. P. & Başkent, D.https://doi.org/10.1177/23312165241229057ICMI 2024 Chairs’ Welcome (2024)In 26th International Conference on Multimodal Interaction, ICMI 2024 (pp. III-V) (ACM International Conference Proceeding Series). ACM Publishing. Hung, H., Oertel, C., Soleymani, M., Chaspari, T., Dibeklioğlu, H., Shukla, J. & Truong, K.Benchmarking and Research Infrastructures: Evaluating Dutch Automatic Speech Recognition (2024)In CLARIN Annual Conference Proceedings (pp. 140-143). Bălan, D. A., Truong, K. P., van den Heuvel, H. & Ordelman, R. J. F.https://www.clarin.eu/sites/default/files/CLARIN2024_ConferenceProceedings_final.pdfDoes conversation lead to better searches?: Investigating single-shot and multi-turn spoken searches with children (2024)International Journal of Child-Computer Interaction, 41. Article 100668. Beelen, T., Ordelman, R., Truong, K. P., Evers, V. & Huibers, T.https://doi.org/10.1016/j.ijcci.2024.100668Evaluating the State-of-the-Art Automatic Speech Recognition systems for Dutch (2024)[Contribution to conference › Abstract] 34th Meeting of Computational Linguistics in The Netherlands, CLIN 2024. Bălan, D. A., Ordelman, R. J. F. & Truong, K. P.https://clin34.leidenuniv.nl/abstracts/evaluating-the-state-of-the-art-automatic-speech-recognition-systems-for-dutch/A Conversational Robot for Children’s Access to a Cultural Heritage Multimedia Archive (2024)In Advances in Information Retrieval: 46th European Conference on Information Retrieval, ECIR 2024, Glasgow, UK, March 24–28, 2024, Proceedings, Part V (pp. 144–151) (Lecture Notes in Computer Science; Vol. 14612). Springer. Beelen, T., Ordelman, R., Truong, K. P., Evers, V. & Huibers, T.https://doi.org/10.1007/978-3-031-56069-9_11

2023

Automated speech audiometry: Can it work using open-source pre-trained Kaldi-NL automatic speech recognition? (2023)[Working paper › Preprint]. ArXiv.org. Araiza-Illan, G., Meyer, L., Truong, K. P. & Baskent, D.https://doi.org/10.48550/arXiv.2312.12269Children’s Trust in Robots and the Information They Provide (2023)In CHI EA '23: Extended Abstracts of the 2023 CHI Conference on Human Factors in Computing Systems (pp. 1-7). Article 66. ACM Publishing. Beelen, T. H. J., Velner, E., Truong, K. P., Ordelman, R. J. F., Huibers, T. W. C. & Evers, V.https://doi.org/10.1145/3544549.3585801

Onderzoeksprofielen

Verbonden aan opleidingen

Vakken collegejaar 2024/2025

Vakken in het huidig collegejaar worden toegevoegd op het moment dat zij definitief zijn in het Osiris systeem. Daarom kan het zijn dat de lijst nog niet compleet is voor het gehele collegejaar.

Vakken collegejaar 2023/2024

Lopende projecten

Advancing technology for multimodal analysis of emotion expression in dementia

Multimodal analysis of emotional expression in spoken memories of older adults, lifestory books, reminiscence therapy

Children and AI: talking trust and responsible spoken search

CHATTERS

Responsible design in child-robot-media interaction, spoken interaction between child and conversational agent

4TU Humans & Technology: Smart Social Systems and Spaces for Living Well

Social signal processing and affective computing in speech

Voltooide projecten

EU-FP7 SQUIRREL (Clearing Clutter Bit by Bit)

Robot that helps children tidying up, social signal processing in child-robot interaction

COMMIT P3 SENSEI

Exercise intensity detection through voice, running app

EU-FP7 SSPNet (Social Signal Processing Network)

Automatic analysis of laughter, backchannel generation, speech synchrony

Scan de QR-code of
Download vCard