多模态手环生理信号和行为数据-案例介绍

多模态手环生理信号与计算套件：

一款用于群体情绪状态监测与分析的科研产品。

支持多种生理信号和行为数据的同步采集，支持自动、手动标记实验过程中的特定事件。

实验结束后数据将自动同步到云端，科研人员可下载原始数据和特征数据，并进行情绪状态、心理压力、疲劳水平、认知负荷等心理状态的分析与评估。

产品构成：

高生态效度——贴合自然场景，数据采集成本低，评估客观高效，研究结果具有更高生态效度。

1、通过生理反应同步表现评估师生情绪一致性

本研究以真实的课堂为场景，探索了依据生理指标评估人际情绪一致性的新方式。

课前，研究人员为教师与学生佩戴便携式手环，用于收集他们在上课过程中的脉搏和皮肤电阻数据；采用“跟读"范式，教师在课堂上朗诵诗歌，每读完一句，学生们模仿教师的情感进行跟读；课后，请师生对其主观情绪体验做出评价。

研究结果发现，师生之间的共同情绪，以及他们对彼此的情感感知，可以通过他们生理反应的同步性来体现。

2、多模态数据分析老年人对居住环境的压力感受

本研究依据老年人在户外散步时的多种生理信号评估压力，结合实时位置与环境信息，探讨街道环境对老年人活动的影响。

研究者邀请10名65岁以上的老人散步，第一次散步佩戴智能手环，实时记录皮肤电导反应与脉搏特征、位置、环境数据；第二次散步不戴手环，需要老人在散步时说出压力感受；使用多模态数据创建模型、生成压力热点图。

研究者创建的模型对老人在真实场景中压力状态及程度的识别准确率分别为 98.13% 和 98.25%；借助热点图可找出阻碍老人活动的地点、环境设施。

3、抑郁症长期追踪项目“心花计划"

国内针对抑郁症的追踪研究，涵盖抑郁症患者和亚临床抑郁状态两个群体。

借助可穿戴设备与智能硬件，建立反刍思维、自发思维、脉搏、皮肤电、运动水平、睡眠质量、手机交互行为和脑功能影像学的多维度指标体系，建立抑郁症早期识别与预警系统。

开展移空疗法、音乐治疗等多种形式的心理干预技术研究，形成可操作化的抑郁症预防方案，提出用于验证心理干预效果的过程化、个性化评价方法。

4、驾驶过程中驾驶员心理压力识别研究

本研究提出了一种在真实驾驶过程中对驾驶员心理压力进行分类识别的算法模型。

本研究采用 MIT-BIH 数据集，通过可穿戴设备收集了 17 名驾驶员在实际驾驶过程中的心电、皮肤电阻、心率、肌电等多种生理数据。

研究人员对这些生理数据进行了预处理、特征提取等一系列规范化处理后，对结果进行了统计检验。结果表明，驾驶员在驾驶过程中的压力水平分成三个等级时，各个压力等级之间存在显著差异；众多生理特征中，从驾驶员脚部采集的皮肤电阻特征区分驾驶员压力的准确率最高。

5、使用可穿戴式传感器检测射箭运动员心率与呼吸率

本研究提出一项新型智能纺织品（ 使用柔性材料制作的传感器 ），通过呼吸与心跳引起的胸壁偏移测量运动员在射箭期间的呼吸频率与心率。

研究者首先邀请 9 名参与者，穿戴智能纺织品、佩戴脉搏波传感器，在其进行模拟射箭和静态呼吸时采集呼吸率与心率，使用脉搏波传感器数据验证智能纺织品采集数据的准确性。随后邀请 2 名专业运动员在 5 分钟内完成 6 次射击，同时使用智能纺织品记录其呼吸频率与心率。

结果表明，使用该传感器检测呼吸频率，误差小于 1.97%，检测心率，误差小于 5.74%；通过呼吸频率和心率可有效识别运动员的射箭动作。

6、急性心理应激适应性训练与训练效果评估研究

本研究通过虚拟现实技术，搭建能够有效诱发个体高应激反应的VR场景，研究个体在应激适应训练期间的生理心理反应。

研究者邀请 44 名健康的男性大学生与 12 名男性飞行学员，要求他们佩戴VR装置，在虚拟高空场景中完成多个工作记忆任务。使用手环记录其实时心率，并收集唾液皮质醇和主观体验报告(压力水平、积极/消极情绪)，以评估应激对其执行功能的影响。

结果表明，本研究创建的方法可有效诱发两组参与者的急性应激反应，适应性训练可显著降低应激对工作记忆绩效的影响。

7、使用多模态数据评估智能手机终端玩家的参与度

本研究设计了基于实时生理与行为特征评估玩家游戏参与度的多模态信号采集系统，包含生理信号传感器、智能手机传感器、深度摄像头。

研究者邀请 64 名玩家使用手机玩三类游戏(运动类、竞速类、益智类)，并实时记录玩家的脉搏波、皮肤电阻、触屏动作、头部位置等信息。该系统将实时数据分到多个预定处理窗口，对各窗口进行特征提取和分类，最后聚合多个窗口的分类结果输出最终的游戏沉浸感(低、中、高)。

研究创建的模型评估个体玩家参与度的平均准确性达85%，评估不同类型游戏参与度的平均准确性达77%。

8、使用生理与行为表现预测团队一致性

本研究设计了群体击鼓任务，用于探究行为与生理信号的同步性对团队一致性、团队表现的影响。

参与者被分成51个组，每组3人，跟随听到的节奏击鼓。一半小组听到的节奏固定，可预测击鼓时机，组内成员行为同步性较高；另一半小组听到的节奏持续变化，行为同步性较低。期间持续采集参与者的心电活动，击鼓结束后记录参与者对行为同步性的主观评价。

同步击鼓任务可提升团队成员生理信号同步性，表现出相近的心跳间隔；同步的生理信号与行为可以预测个体对团队凝聚力的主观感受。

9、探索消防员在模拟火灾环境中的生理反应和安全性

本研究在不同的热环境中，研究不同消防人员训练的生理负担，以检查每消防员和消防教官在不同火灾环境中的核心温度和心率反应。

研究包括24名消防员和10名消防教官，实时记录核心温度，心率数据，在三种不同的模拟火灾环境中参加了训练，这些训练通常用于模拟住宅结构的消防训练。

研究发现尽管环境条件存在很大差异，但训练环境中消防员的峰值核心温度、心率在统计学上没有差异。尽管核心温度峰值相似，但与消防员相比，消防教官的心率明显减弱，表明教官的工作量较少或压力较小。