پژوهشگران دانشگاه هاران ترکیه به بررسی امکان استفاده از موسیقی و سیگنال های مغزی برای طبقه بندی مدارهای هیجانی مغز بر اساس QEEG در انسان پرداختند.

روش پژوهش:

در این پژوهش آزمایشی 5 مرد و 4 زن ترک بین 20 تا 25 سال داوطلب شرکت شدند. ضبط نوار مغزی از طریق هدست EMOTIV EPOC+ با 12 کانال در سیستم 10-20 و نرخ نمونه 128 صورت گرفت. هر ضبط QEEG 5 دقیقه طول کشید. امواج مورد تحلیل شامل باند آلفا و باند بتا بودند.

موسیقی به کار رفته شامل 16 قطعه صوتی با کیفیت MP3 320 بودند. هر یک از آهنگ ها به مدت 30 ثانیه برای داوطلب پخش شدند. بین اجرای هر آهنگ و آهنگ بعدی، 30 ثانیه سکوت بود. ژانرهای به کار رفته شامل هنر ترکی، فولک ترکی، پاپ ترکی، و جاز ترکی بود. برای هر ژانر 4 قطعه در نظر گرفته شد. از داوطلبان خواسته شد بعد از اجرای هر آهنگ نظر خود در مورد هیجانی که آن آهنگ برایشان تداعی می کند را در قالب احساس خشم، شادی، ناراحتی یا آرامش بیان کنند.

تحلیل داده ها توسط سیستم های هوش مصنوعی و شبکه های عصبی یادگیری عمیق صورت پذیرفت

یافته ها:

  1. سیستم های یادگیری عمیق از پیش آموزش دیده به خوبی قادر به تفکیک سیگنال های مغزی در مورد هیجانات مختلف هستند.
  2. آموزش دادن سیستم های یادگیری عمیق، کمک شایانی به بهبود قدرت شناسایی الگوهای سیگنال مغزی هیجانی می نماید.
  3. در پردازش امواج مغزی هیجانات، سیستم های یادگیری عمیق VGGNet 16 نسبت به AlexNet تا حد 7% توان پیش بینی و تفکیک دقیقتری دارند.

راهبردهای کارکردی:

  • با استفاده از ترکیب نوار مغزی (QEEG) با سیستم های هوش مصنوعی و یادگیری عمیق، به شکلی سریع، ارزان و قابل اعتماد می توان مدارهای هیجانی مغزی را شناسایی نمود.
  • استفاده از ترکیب QEEG و هوش مصنوعی، می تواند به عنوان ابزاری مطلوب جهت ایجاد Z-Score (خط پایه) الگوهای هیجانی در حالت‌های مختلف به کار رود.
  • استفاده از موسیقی به عنوان محرک توان مطلوبی در بر انگیختن هیجانات در پژوهش‌های نوروساینس عاطفی دارد.

A new approach to recognition of human emotions using brain signals and music stimuli

Abstract

It is widely accepted that the music can create and evoke a wide variety of emotions in the listener. However, music is an audio signal consisting of a wide variety of complex components that vary according to time and frequency.

Also, the feeling of music is subjective and may differ depending on the age, culture, profession and other reasons of the person, so everyone from a music may not feel the same feeling. It is not very easy to know immediately which emotions will be triggered by a piece of music in a given individual.

Human emotion recognition using brain signals is an active research topic in many areas, and Electroencephalography (EEG) signal is widely used in emotion recognition.

Method

Many EEG-based emotion recognition methods in the literature use a lot of extracted features that lead to complexity. In this study, the problem of proper recognition of human emotions while listening to music are addressed. In line with this problem, an EEG-based emotion recognition model is developed, and a new emotion recognition method based on deep learning is proposed.

Different types of music pieces are played to the participants and the electrical waves formed in the brain are used to recognize happy, sad, relax and angry mood states. Participants are asked to listen to music from different genres in a noiseless environment.

Results

For the classification of emotions, EEG signals are primarily taken from different channels and spectrograms of these resulting signals are extracted. Spectrograms are given as inputs to pre-trained AlexNet and VGG16 deep network models and the transfer learning process is implemented.

Conclusion

The best classification result is obtained with VGG16. According to the results, it is observed that the presented method performed well.

Keywords

Human emotion recognition, EEG, Deep learning, Transfer learning, AlexNet, VGG16.