ニュース

Mar 18, 2024

マルチスペクトル顔ビデオを使用した経皮心血管の時空間的顔パターンによる感情状態の分類

Scientific Reports volume 12、記事番号: 11188 (2022) この記事を引用する 1829 アクセス数 1 引用数 18 Altmetric Metrics 詳細 この記事に対する著者の訂正は 2022 年 8 月 19 日に公開されました

Scientific Reports volume 12、記事番号: 11188 (2022) この記事を引用

1829 アクセス

1 引用

18 オルトメトリック

メトリクスの詳細

この記事に対する著者の訂正は 2022 年 8 月 19 日に公開されました

この記事は更新されました

私たちは、マルチスペクトル顔ビデオを使用した遠隔感情状態評価の新しい方法について説明し、さまざまな感情状態に関連する独自の経皮、心臓血管、および時空間の顔のパターンに関する発見を紹介します。 この方法は、典型的な顔の表情に依存せず、さまざまな波長感度 (可視スペクトル、近赤外線、および長波赤外線) を利用して、人間の顔全体に空間的および時間的に分布する自律神経系活動の相関関係を測定します (例: 血流、ヘモグロビン濃度、温度）。 私たちは、3 台のカメラが複数の波長で顔のビデオを録画しながら、110 人の参加者が感情を引き出す 150 の短いビデオを視聴し、感情的な経験を報告するという実験を実施しました。 マルチスペクトル ビデオからの時空間マルチスペクトル特徴は、参加者の感情状態 (つまり、面白さ、嫌悪感、恐怖、性的興奮、または無感情) を分類できる機械学習モデルへの入力として使用され、満足のいく結果 (平均 ROC AUC スコア0.75)、感情状態ごとに顔の出現を検査できる特徴重要度分析を提供します。 さまざまな感情状態に関連するさまざまな時空間パターンに関する発見と、感情検出に対する既存のアプローチに対する現在の方法のさまざまな利点について説明します。

感情は人間の経験と機能の中心であり、そのため基礎心理学研究、臨床実践、および応用環境で主な関心を集めています。 感情には主に主観的で容易に観察できない側面が含まれるため、これらの主観的な側面を客観的で信頼できる方法で測定することには大きな課題があります。

近年、正確な感情認識技術の開発を目指して多くの研究が行われています。 感情検出研究の主な目標は、人々の感情体験を遠隔で（つまり、fMRI や脳波計 [EEG] などの接触ベースの機器に依存せずに）測定する試みに焦点を当てています。 感情状態を分類すると称する現在のテクノロジーのほとんどは、参加者の主観的な感情状態を推定するのではなく、実際には明白な表情を測定します1、2、3。 顔の表情は、既知の外観と、さまざまな感情の表情間に大きな空間的違いがあるため、アルゴリズムを使用して検出および分類するのが比較的簡単です。 実際、このアプローチに基づく方法では、通常、式の認識において 90% 以上の成功率が得られます 1、2。 目に見える表情は、多くの場合、個人の感情状態に関する有益な情報を提供します。 しかし、心理学の多くの研究は、顔の表情は主にコミュニケーションの目的で機能することを示しています。顔の表情は、人々の内面の状態を反映するものではなく、伝えたいことを表しています3。

これを考慮して、ステレオタイプの顔の表情に依存しない遠隔感情認識方法を開発するためのいくつかの試みが行われてきた。 そのような合図の 1 つは、微表情として知られる微妙な急速かつ自発的な顔の筋肉の動きであり、これは数十ミリ秒から数百ミリ秒の範囲の短い持続時間を特徴とします4,5。 目に見える表情の場合と同様、微表情は感情検出に有用な情報を提供する可能性があります。 ただし、微表情が参加者の実際の感情状態をどの程度診断できるかについて信頼できる証拠はありません6。

感情認識の別のアプローチには、個人の主観的な感情状態に関連することが知られている自律神経系 (ANS) の活動を測定することが含まれます。 しかし、感情に関連した生理学的変化を検出するための最新の方法 (例、光電脈波検査 [PPG]8、EEG9、10、血圧、皮膚コンダクタンス、心電図 [ECG]11) は、直接接触 (つまり、個人を測定装置に接続する) を必要とします。 。