一种自闭症儿童语言评测方法、设备及介质

本发明涉及语言评测，特别涉及一种自闭症儿童语言评测方法、设备及介质。

背景技术：

1、自闭症谱系障碍（autism spectrum disorder，asd）是一种广泛影响社会交往、沟通能力及行为的神经发育障碍。自闭症儿童在社交情感互动、非言语交流行为以及关系的建立与维持方面存在持续性的显著缺陷，很大程度上影响了他们的社交和学习能力，这使得有效的语言评估和早期干预尤为重要。

2、随着计算机技术的发展，越来越多的研究尝试将语音识别、自然语言处理等技术应用于自闭症儿童的语言评估中，其利用语音识别和文本分析技术，对儿童的语言发育进行评估并提供个性化的干预建议。然而，现有系统的个性化设计仍显不足，尤其是在处理复杂的社交互动和非语言交流方面，系统的表现往往不尽如人意，导致对自闭症儿童语言的评测效果不佳。

技术实现思路

1、本发明的目的在于提供一种自闭症儿童语言评测方法、设备及介质，可以提升自闭症儿童语言的评测效果。

2、为解决上述技术问题，本发明的实例提供了一种自闭症儿童语言评测方法，包括以下步骤：

3、获取在与自闭症儿童进行互动时，自闭症儿童的多模态反应数据，所述多模态反应数据包括语言数据、视觉数据和行为数据；

4、从语言数据中提取音高、音调、音强以及发音持续时间，并提取其中的词汇、句子结构和语义信息，从视觉数据中提取视觉关注点、眼动轨迹和面部表情，从行为数据中提取肢体动作、头部运动和注视行为，以获得自闭症儿童的多模态反应特征；

5、根据自闭症儿童的多模态反应特征，生成符合自闭症儿童当前语言能力的互动任务，以通过生成的互动任务与自闭症儿童继续进行互动；

6、获取与自闭症儿童进行多轮迭代互动过程中，自闭症儿童的所有语言数据，作为综合语言数据，并通过综合语言数据对自闭症儿童的语言能力进行评测。

7、在一些可选实施例中，所述通过综合语言数据对自闭症儿童的语言能力进行评测，包括：

8、根据综合语言数据中的音高的平均值、音高的变化幅度以及音高的稳定程度，评测自闭症儿童的声调控制能力和声调变化能力；

9、根据综合语言数据中音调的频率波动情况，评测自闭症儿童是否能够在不同情绪下以及不同表达内容中保持稳定的音调控制；

10、通过综合语言数据中音强的变化情况以及在不同句子和词汇中音强的分布情况，评测自闭症儿童在表达时的声音控制能力；

11、通过综合语言数据中每个句子或词汇的发音持续时间，评测自闭症儿童的发音流畅度和节奏感；

12、根据综合语言数据中自闭症儿童使用的词汇的正确率，评测自闭症儿童的词汇储备能力和词汇应用能力；

13、根据综合语言数据中自闭症儿童使用的句子结构的复杂度，评测自闭症儿童的语言组织能力和语法掌握水平；

14、通过综合语言数据中自闭症儿童对互动任务的回应内容与预设的标准回应内容之间的语义相似度，评测自闭症儿童是否能够在表达中准确传达自身意图。

15、在一些可选的实施例中，所述通过综合语言数据对自闭症儿童的语言能力进行评测，包括：

16、根据综合语言数据中自闭症儿童对每个互动任务的回应内容与对应预设的标准回应内容，确定自闭症儿童正确回应互动任务数占总互动任务数的比例，以评测自闭症儿童在面对新词汇或新句式时语言表达的准确程度；

17、通过综合语言数据中自闭症儿童在回应互动任务时的平均反应时间，评测自闭症儿童在语言理解和表达上的反应速度；

18、根据综合语言数据中自闭症儿童在互动过程中使用的词汇，确定自闭症儿童正确使用新词汇的数量占总新词汇数量的比例，以评测自闭症儿童学习新词汇的效率；

19、根据综合语言数据中自闭症儿童在互动过程中使用的句子结构，确定自闭症儿童正确使用新句子结构的数量，以评测自闭症儿童学习新句子结构的能力；

20、根据综合语言数据中自闭症儿童对互动任务的回应内容与预设的标准回应内容，确定自闭症儿童在错误回应互动任务后，成功纠正错误数占总错误数的比例，以评测自闭症儿童应对错误的能力。

21、在一些可选的实施例中，在所述通过综合语言数据对自闭症儿童的语言能力进行评测之后，还包括：

22、获取在与自闭症儿童持续互动的过程中，自闭症儿童的所有视觉数据，作为综合视觉数据；

23、通过综合视觉数据中视觉关注点的变化频率、持续时间以及眼动轨迹，评测自闭症儿童在互动过程中的注意力集中程度；

24、通过综合视觉数据中面部表情变化的频率、强度和持续时间，评测自闭症儿童在互动过程中的情感状态。

25、在一些可选的实施例中，在所述通过综合语言数据对自闭症儿童的语言能力进行评测之后，还包括：

26、获取在与自闭症儿童持续互动的过程中，自闭症儿童的所有行为数据，作为综合行为数据；

27、通过综合行为数据中自闭症儿童在情境相同的互动任务中的肢体动作、头部运动和注视行为，评测自闭症儿童在相同情境下的行为稳定性与专注度。

28、在一些可选的实施例中，所述获取在与自闭症儿童进行互动时，自闭症儿童的多模态反应数据，包括：

29、通过虚拟人物在虚拟场景中与自闭症儿童进行互动，并获取自闭症儿童在互动过程中的多模态反应数据。

30、在一些可选的实施例中，所述根据自闭症儿童的多模态反应特征，生成符合自闭症儿童当前语言能力的个性化互动任务，包括：

31、将自闭症儿童的多模态反应特征转换为符合大模型输入格式的提示词，所述提示词包括多模态反应特征的特征描述、内容摘要和上下文信息；

32、通过大模型生成符合自闭症儿童当前语言能力的个性化互动任务。

33、在一些可选的实施例中，所述多模态反应数据还包括脑电图和功能性磁共振成像。

34、本发明的实施例还提供了一种计算机设备，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器中存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述自闭症儿童语言评测方法。

35、本发明的实施例还提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现上述自闭症儿童语言评测方法。

36、本发明所提供的自闭症儿童语言评测方法，至少具有以下有益效果：

37、本发明是通过与自闭症儿童进行互动时，自闭症儿童的语言数据来进行自闭症儿童语言的评测，并且在自闭症儿童进行互动时，互动所基于的互动任务是基于自闭症儿童的多模态反应数据（包含语言数据、视觉数据和行为数据）不断改变的，如在情感检测到儿童出现焦虑时，生成安抚性语言，或在检测到注意力下降时，切换到更具吸引力的话题，可以确保互动任务既具有挑战性又在儿童的能力范围内，在此情况下，通过与自闭症儿童进行互动时，自闭症儿童的语言数据来进行自闭症儿童语言的评测，可以得到更加准确的评测结果。

38、而评测具体依据的是与自闭症儿童进行多轮迭代互动过程中，自闭症儿童的所有语言数据（即综合语言数据），该数据不仅可以体现自闭症儿童的语言能力，还描述了自闭症儿童在不断互动中的语言学习过程，从而体现了自闭症儿童的语言学习能力，有助于提升自闭症儿童语言的评测效果。