I 一种语音识别方法及其相关设备与流程 1.本技术涉及人工智能技术领域,尤其涉及一种语音识别方法及其相关设备。 背景技术: 2.随着语音识别技术的进展,语音识别技术的应用场景越来越广泛。例如,语音识别技术可以 应用在语音输入法、语音助手、听见会议系统等等。 3.然而,因相关语音识别技术存在缺陷,使得基于该相关语音识别技术的语音识别过程具有较 差的实时性。 技术实现要素: 4.本技术实施例的主要目的在于供应一种语音识别方法及其相关设备,能够有效地提高语音识 别的实时性。 5.本技术实施例供应了一种语音识别方法,所述方法包括: 6.猎取当前语音段和所述当前语音段对应的参考语音;其中,所述参考语音的采集时间晚于所 述当前语音段的采集时间; 7.依据待用法状态数据和所述当前语音段对应的参考语音,对所述当前语音段进行编码处理, 得到所述当前语音段的语音编码和所述当前语音段的编码状态数据; II 8.对所述当前语音段的语音编码进行解码处理,得到所述当前语音段对应的语音文本,并利用 所述当前语音段的编码状态数据,更新所述待用法状态数据。 9.在一种可能的实施方式中,所述语音编码的确定过程,包括: 10.分别对所述当前语音段和所述当前语音段对应的参考语音进行特征提取,得到所述当前语 音段的语音特征和所述当前语音段对应的参考特征; 11.依据所述待用法状态数据,对所述当前语音段的语音特征进行正向编码,得到所述当前语 音段的正向编码结果; 12.依据所述当前语音段对应的参考特征,对所述当前语音段的语音特征进行反向编码,得到 所述当前语音段的反向编码结果; 13.将所述当前语音段的正向编码结果和所述当前语音段的反向编码结果进行拼接,得到所述 当前语音段的语音编码。 14.在一种可能的实施方式中,所述反向编码结果的确定过程,包括: 15.对所述当前语音段对应的参考特征进行反向编码,得到所述当前语音段对应的反向初始状 态数据; 16.依据所述当前语音段对应的反向初始状态数据,对所述当前语音段的语音特征进行反向编 码,得到所述当前语音段的反向编码结果。 17.在一种可能的实施方式中,所述依据所述当前语音段对应的参考特征,对所述当前语音段 的语音特征进行反向编码,得到所述当前语音段的反向编码结果,包括: 18.将所述当前语音段的语音特征和所述当前语音段对应的参考特征输入预先构建 的简洁回来单元sru网络,得到所述sru网络输出的所述当前语音段的反向编码结果。 19.在一种可能的实施方式中,所述编码状态数据的确定过程,包括: 20.对所述当前语音段进行特征提取,得到所述当前语音段的语音特征; 21.依据所述待用法状态数据,对所述当前语音段的语音特征进行正向编码,得到所述当前语 III 音段的编码状态数据。 22.在一种可能的实施方式中,若所述当前语音段和所述当前语音段对应的参考语音是依据预 设窗口尺寸进行采集的,且所述预设窗口参数包括识别窗口尺寸和参考窗口尺寸,则所述当前 语音段和所述当前语音段对应的参考语音的采集过程,包括: 23.依据所述识别窗口尺寸,采集当前语音段; 24.依据所述参考窗口尺寸和所述当前语音段的采集结束时间点,确定所述参考数据采集时间 段; 25.依据所述参考数据采集时间段,采集所述当前语音段对应的参考语音。 26.本技术实施例还供应了一种语音识别装置,包括: 27.语音猎取单元,用于猎取当前语音段和所述当前语音段对应的参考语音;其中,所述参考 语音的采集时间晚于所述当前语音段的采集时间; 28.语音编码单元,用于依据待用法状态数据和所述当前语音段对应的参考语音,对所述当前 语音段进行编码处理,得到所述当前语音段的语音编码和所述当前语音段的编码状态数据; 29.语音解码单元,用于对所述当前语音段的语音编码进行解码处理,得到所述当前语音段对 应的语音文本; 30.数据更新单元,用于利用所述当前语音段的编码状态数据,更新所述待用法状态数据。 31.本技术实施例还供应了一种设备,所述设备包括:处理器、存储器、系统总线.所述处理器以及所述存储器通过所述系统总线.所述存储器用于存储一个或多个程序,所述一个或多个程序包括命令,所述命令当被所述 处理器执行时使所述处理器执行本技术实施例供应的语音识别方法的任一实施方式。 34.本技术实施例还供应了一种计算机可读存储介质,所述计算机可读存储介质中存储有命令, 当所述命令在终端设备上运行时,使得所述终端设备执行本技术实施例供应的语音识别方法的 任一实施方式。 IV 35.本技术实施例还供应了一种计算机程序产品,所述计算机程序产品在终端设备上运行时, 使得所述终端设备执行本技术实施例供应的语音识别方法的任一实施方式。 36.基于上述技术方案,本技术具有星空体育登录入口 星空体育在线官网以下有益效果: 37.本技术供应的语音识别方法中,在猎取到当前语音段和该当前语音段对应的参考语音之后, 先依据待用法状态数据和该当前语音段对应的参考语音,对该当前语音段进行编码处理,得到 该当前语音段的语音编码和该当前语音段的编码状态数据;再对该当前语音段的语音编码进行 解码处理,得到该当前语音段对应的语音文本,并利用该当前语音段的编码状态数据,更新该 待用法状态数据,以便在下一轮语音识别过程中能够用法更新后的待用法状态数据进行编码处 理。 38.其中,因当前语音段用于表示由拾音设备从用户语音流中实时采集的语音数据,使得本技 术供应的语音识别方法能够针对实时采集的语音数据进行实时地语音识别,从而能够实现边进 行语音采集边进行语音识别的目的,如此能够有效地提高语音识别的实时性。 39.还因待用法状态数据能够精确地表征出当前语音段的历史语音信息,且该当前语音段 对应的参考语音能够精确地表示出当前语音段的将来语音信息,使得参考该待用法状态 数据和该参考语音(也就是,参考该当前语音段的上下文信息)确定的语音编码能够更精确 地表示出该当前语音段携带的语音信息,如此有利于提高语音识别精确性。 40.又因待用法状态数据是在历史语音识别过程(也就是,针对该当前语音段对应的历史语音进 行语音识别的过程)中已经计算过的,使得当前轮语音识别过程可以挺直用法待用法状态数据 即可,无需重新计算该待用法状态数据,如此能够有效地降低针对当前语音的语音识别耗时, 从而能够有效地提高针对当前语音的语音星空体育登录入口 星空体育在线官网识别效率,进而有利于提高语音识别的实时性。 附图解释 41.为了更清楚地解释本技术实施例或现有技术中的技术方案,下面将对实施例或现有技术描 述中所需要用法的附图作简洁地介绍,自不待言地,下面描述中的附图是本技术的一些实施例, V 对于本事域一般技术人员来讲,在不付出制造性劳动的前提下,还可以依据这些附图获得其他 的附图。 42.图1 为本技术实施例供应的一种语音识别方法的流程图; 43.图2 为本技术实施例供应的一种用户语音流的分段采集示意图; 44.图3 为本技术实施例供应的一种编码处理的示意图; 45.图4 为本技术实施例供应的一种语音识别装置的结构示意图。 具体实施方式 46.创造人针对语音识别的争辩中发觉,对于一些语音识别技术(如,基于双向长短记忆网络 (bidirectional long short termmemory,blstm)的语音识别方法等)来说,因这些语音识别技术 只能针对具有整句语音文本(如,今日天气如何)的语音数据进行语音识别,使得这些语音识别 技术只能等拾音设备采集完那些携带有整句语音文本的语音数据之后才能针对这些语音数据 进行语音识别,使得这些语音识别技术的语音识别耗时不仅包括针对语音数据进行语音识别处 理所消耗的处理时长,还包括采集具有整句语音文本的语音数据所消耗的等待时长,从而使得 这些语音识别技术的语音识别耗时较长,导致基于这些语音识别技术的语音识别过程的实时性 较差。 47.基于上述发觉,为了解决背景技术部分的技术问题,本技术实施例供应了一种语音识别方 法,该方法包括:猎取当前语音段和该当前语音段对应的参考语音;依据待用法状态数据和该 当前语音段对应的参考语音,对该当前语音段进行编码处理,得到该当前语音段的语音编码和 该当前语音段的编码状态数据;对该当前语音段的语音编码进行解码处理,得到该当前语音段 对应的语音文本,并利用该当前语音段的编码状态数据,更新该待用法状态数据。 48.可见,因当前语音段用于表示由拾音设备从用户语音流中实时采集的语音数据,使得本技 术供应的语音识别方法能够针对实时采集的语音数据进行实时地语音识别,从而能够实现边进 行语音采集边进行语音识别的目的,如此能够有效地避开因采集携带有整句语音文本的语音数 VI 据而产生的等待耗时,从而能够有效地提高语音识别的实时性。 49.还因待用法状态数据能够精确 地表征出当前语音段的历史语音信息,且该当前语音段 对应的参考语音能够精确 地表示出当前语音段的将来语音信息,使得参考该待用法状态 数据和该参考语音(也就是,参考该当前语音段的上下文信息)确定的语音编码能够更精确 地表示出该当前语音段携带的语音信息,如此有利于提高语音识别精确 性。另外,又因 待用法状态数据是在历史语音识别过程(也就是,针对该当前语音段对应的历史语音进行语音 识别的过程)中已经计算过的,使得当前轮语音识别过程可以挺直用法待用法状态数据即可, 无需重新计算该待用法状态数据,如此能够有效地降低针对当前语音的语音识别耗时,从而能 够有效地提高针对当前语音的语音识别效率,进而有利于提高语音识别的实时性。 50.另外,本技术实施例不限定语音识别方法的执行主体,例如,本技术实施例供应的语音识 别方法可以应用于终端设备或服务器等数据处理设备。其中,终端设备可以为智能手机、计算 机、个人数字助理(personal digital assitant,pda)或平板电脑等。服务器可以为独立服务器、 集群服务器或云服务器。 51.为使本技术实施例的目的、技术方案和优点更加清楚,下面将结合本技术实施例中的附图, 对本技术实施例中的技术方案进行清楚、完整地描述,明显,所描述的实施例是本技术一部分 实施例,而不是全部的实施例。基于本技术中的实施例,本事域一般技术人员在没有做出制造 性劳动前提下所获得的全部其他实施例,都属于本技术庇护的范围。 52.方法实施例 53.参见图1,该图为本技术实施例供应的一种语音识别方法的流程图。 54.本技术实施例供应的语音识别方法,包括s1 ‑ s4: 55.s1:猎取当前语音段和该当前语音段对应的参考语音。 VII 56.其中,当前语音段用于表示由拾音设备(如,麦克风等)从用户语音流(如,携带有“今日天气 如何”的用户语音流)中实时采集的语音数据(如,图2 所示的第一语音片段、其次语音片段、 …… 、第八语音片段)。另外,当前语音段可以包括n c 帧语音数据,且n c 为正整数。 57.当前语音段对应的参考语音用于表示针对当前语音段进行语音识别时所需参考的语音数据; 而且该参考语音的采集时间晚于该当前语音段的采集时间,以使该参考语音用于表示该当前语 音段的将来语音信息。也就是,当前语音段对应的参考语音可以包括该当前语音段对应的将来 语音段。例如,若当前语音段为图 2 中“第一语音片段”,则该当前语音段对应的参考语音可以 是图2 中“其次语音片段”。 58.另外,当前语音段对应的参考语音可以包括n r 帧语音数据。其中,n r 为正整数。需要解释的是,本技术实施例不限定n c 与n r 之间的大小关系。 59.此外,本技术实施例不限定拾音设备针对当前语音段及其对应的参考语音的采集过程,例 VIII 如,拾音设备可以依据预设窗口尺寸采集当前语音段和当前语音段对应的参考语音。 60.其中,预设窗口尺寸用于表示拾音设备从用户语音流中采集各种语音片段(如,当 前语音段、当前语音段对应的参考语音)时所需用法的采集窗口大小。 61.另外,本技术实施例不限定预设窗口尺寸,例如,预设窗口尺寸可以包括识别窗口尺寸和 参考窗口尺寸。其中,识别窗口尺寸用于表示拾音设备从用户语音流中实时采集需要进行语音 识别处理的语音片段时所需用法的采集窗口大小。参考窗口大小用于表示拾音设备从用户语音 流中采集作为参考信息的语音片段时所需用法的采集窗口大小。需要解释的是,本技术实施例 不限定识别窗口尺寸和参考窗口尺寸之间的大小关系,例如,识别窗口尺寸可以等于参考窗口 尺寸。 62.事实上,识别窗口尺寸能够把握拾音设备采集哪些需要进行语音识别处理的语音片段的等 待时长,而且参考窗口尺寸能够把握将来语音信息的信息量,使得该识别窗口尺寸以及该参考 窗口尺寸均能够影响语音识别过程中将来语音信息的处理耗时。基于此,为了更好地满足不同 应用场景的实时性需求,可以依据待用法应用场景的实时性需求,设定识别窗口尺寸以及参考 窗口尺寸。其中,待用法应用场景用于表示本技术实施例供应的语音识别方法的应用场景。 63.另外,本技术实施例不限定当前语音段及其对应的参考语音的采集过程,例如,在一种可 能的实施方式下,若预设窗口尺寸包括识别窗口尺寸和参考窗口尺寸,则该采集过程具体可以 包括步骤11 ‑ 步骤13: 64.步骤11:依据识别窗口尺寸,采集当前语音段。 65.本技术实施例中,对于拾音设备来说,该拾音设备可以先依据识别窗口尺寸,确定语音流 划分时长(如,图 2 中“d”);再依据该语音流划分时长对用户语音流进行实时地分段采集(如, 图 2 中“第一语音片段”)并实时地发送给“语音识别方法”的执行设备,以使该“语音识别方法”的 IX 执行设备能够针对其接收的语音片段进行实时地语音识别处理。 66.例如,2 所示,若识别窗口尺寸为 d,且用户在第 t 时刻开头说话,则该拾音设备在第 t+d 时刻采集到第一语音片段之后,马上将其发送给“语音识别方法”的执行设备,以使该“语音识别 方法”的执行设备能够针对该第一语音片段进行语音识别;该拾音设备在第t+2d 时刻采集到其 次语音片段之后,马上将其发送给“语音识别方法”的执行设备,以使该“语音识别方法”的执行 设备能够针对该其次语音片段进行语音识别; …… (以此类推);该拾音设备在第 t+8d 时刻采集到第八语音片段之后,马上将其发送给“语音识别 方法”的执行设备,以使该“语音识别方法”的执行设备能够针对该第八语音片段进行语音识别。 其中,d 为正整数。 67.步骤12:依据参考窗口尺寸和当前语音段的采集结束时间点,确定参考数据采集时间段。 68.其中,参考数据采集时间段是指拾音设备采集当前语音段的将来语音信息时所需依据的时 间段。另外,本技术实施例不限定参考数据采集时间段的确定方式,例如,若当前语音段的采 集时间段为[t start ,t end ],且参考窗口尺寸为d,则参考数据采集时间段可以是[t end ,t end +d]。其中,t start X 表示拾音设备采集当前语音段的开头时间点;t end 表示拾音设备采集当前语音段的采集结束时间点(也就是,当前语音段的采集结束时间点);d 为正整数。 [0069] 步骤13:依据参考数据采集时间段,采集当前语音段对应的参考语音。 [0070] 本技术实施例中,对于拾音设备来说,在猎取到参考数据采集时间段之后,该拾音设备可以依 据该参考数据采集时间段从用户语音流中进行语音数据采集,并将采集到的语 音数据作为当前语音段对应的参考语音。 [0071] 基于上述步骤 11 至步骤 13 的相关内容可知,拾音设备可以依据预设窗口尺寸从用户语音流 中实时地采集当前语音段及其对应的参考语音,并实时地将当前语音段及其对应的参考语音分 别发送给“语音识别方法”的执行设备,以使该“语音识别方法”的执行设备能够针对当前语音段 进行实时地语音识别处理。 [0072] 需要解释的是,本技术实施例不限定当前语音段及其对应的参考语音的发送时间,例如,为了 进一步提高语音识别效率,在拾音设备采集到当前语音段之后,该拾音设备可以马上将该当前 语音段发送给“语音识别方法”的执行设备,以使该“语音识别方法”的执行设备能够马上针对该 当前语音段进行相应处理(如,特征提取、正向编码等处理),如此能够充分地利用该当前语音 段对应的参考数据采集时间段(也就是,由拾音设备从用户语音流中采集该当前语音段对应的 参考语音的时间段),从而能够有效地提高语音识别效率。 [0073] XI 基于上述s1 的相关内容可知,对于一些实时性需求比较高的应用场景(如,语音输入法、语音 助手、听见会议系统等)来说,当用户开头说话时,拾音设备即可依据预设窗口尺寸对用户语 音流进行实时地分段采集并实时地发送给“语音识别方法”的执行设备,以使该“语音识别方法” 的执行设备能够针对其接收的语音片段进行实时地语音识别处理,如此能够实现边采集边语音 识别的目的,如此能够有效地避开采集携带有整句语音文本的语音数据的等待耗时,从而能够 有效地提高语音识别的实时性。 [0074] s2:依据待用法状态数据和当前语音段对应的参考语音,对该当前语音段进行编码处理,得到 该当前语音段的语音编码和该当前语音段的编码状态数据。 [0075] 待用法状态数据用于表示当前语音段的历史语音信息;而且,为了提高语音识别效率,待用法 状态数据可以依据上一轮语音识别过程中产生的编码状态数据进行确定。 [0076] 上一轮语音过程是指针对当前语音段的最近历史语音段进行语音识别的过程。其中,当前语音 段的最近历史语音段的采集时间早于该当前语音段,而且该最近历史语音段的采集结束时间点 与该当前语音段的采集开头时间点相邻。例如,若当前语音段为图 2 中“其次语音片段”,则该 当前语音段的最近历史语音段可以是图2 中“第一语音片段”。 [0077] 基于上述两段内容可知,对于第 j 轮语音识别过程来说,若 j=1,则在该第 j 轮语音识别过程 中进行编码处理时所用法的待用法状态数据可以预先设定;若 j≥2,则在该第 j 轮语音识别过 程中进行编码处理所用法的待用法状态数据可以依据在第j ‑ 1 轮语音识别过程中进行编码处理时所产生的编码状态数据确定。其中,第j 轮语音识别过程 XII 是指针对用户语音流中第j 个语音片段进行语音识别的过程;j 为正整数。 [0078] 当前语音段的语音编码用于表征该当前语音段携带的语音信息。 [0079] 当前语音段的编码状态数据是指在对该当前语音段进行编码处理时所产生的编码状态数据(如, 细胞状态数据和/或隐蔽层状态数据)。 [0080] 本技术实施例不限定 s2 中“编码处理”的实施方式(也就是,s2 的实施方式),例如,在一种可 能的实施方式中,为了提高编码效率,s2 具体可以包括s21 ‑ s25: [0081] s21:分别对当前语音段和该当前语音段对应的参考语音进行特征提取,得到该当前语音段的 语音特征和该当前语音段对应的参考特征。 [0082] 其中,当前语音段的语音特征是通过对当前语音段进行特征提取得到的,以使该语音特征用于 表示该当前语音段携带的语音信息。例如,若当前语音段包括第t start 帧语音 数据至第t start +n c XIII ‑ 1 帧语音数据,则该当前语音段的语音特征可以为 [0083] 当前语音段对应的参考特征是通过对该当前语音段对应的参考语音进行特征提取得到的,以使 该参考特征用于表示该参考语音携带的语音信息(也就是,该当前语音段的将来语音信息)。例 如,若当前语音段对应的参考语音第t start +n c 帧语音数据至第t start +n c +n r ‑ 1 帧语音数据,则当前语音段对应的参考特征可以为 [0084] 另外,本技术实施例不限定s21 中“特征提取”的实施方式,例如,可以接受现有的或者将来消 灭的任一种能够针对语音数据进行特征提取的方法(如,感知线性猜测系数(perceptual linear predictive,plp)特征提取方法、梅尔倒谱系数(mel frequency cepstrumcoefficient,mfcc)特征 提取方法、或filterbank 特征提取方法等)进行实施。 [0085] XIV 此外,本技术实施例不限定当前语音段的语音特征的猎取时间与该当前语音段对应的参考特征 的猎取时间之间的关系,例如,因当前语音段的采集时间早于其对应的参考语音的采集时间, 故为了提高语音识别效率,可以在拾音设备开头采集参考语音时,由“语音识别方法”的执行设 备开头针对已采集好的该当前语音段进行特征提取,以使该当前语音段的语音特征的猎取时间 早于该当前语音段对应的参考特征的猎取时间,如此能够有效地利用参考语音的采集时间段, 从而有利于提高语音识别效率。 [0086] s22:依据待用法状态数据,对当前语音段的语音特征进行正向编码,得到该当前语音段的正 向编码结果和该当前语音段的编码状态数据。 [0087] 其中,当前语音段的正向编码结果是指针对该当前语音段进行正向编码得到的编码结果。例如, 若利用正向编码网络针对该当前语音段进行正向编码时,则该当前语音段的正向编码结果可以 是指由该正向编码网络输出的隐蔽层状态数据。 [0088] 另外,s22 中“正向编码”是指依据一个语音特征序列的正方向排列挨次依次针对该语音特征序 列中各个语音特征进行编码的过程。例如,对于语音特征序列来说,可以针对该语音特征序列 中各个语音特征从前往后依次进行编码(也就是,依次针对往后依次进行编码(也就是,依次针 对进行编码)。 [0089] 此外,本技术实施例不限定s22 中“正向编码”的实施方式,可以接受现有的或者将来消灭的任 一种能够针对语音数据进行正向编码处理的实施方式进行实施(例如,可以接受lstm网络、或 者接受blstm中正向编码网络进行实施)。 [0090] XV 当前语音段的编码状态数据可以包括针对当前语音段进行正向编码时所产生的编码状态数据。 为了便于理解,下面结合示例进行解释。 [0091] 作为示例,若s22 中“正向编码”是依据lstm网络进行实施的,且当前语音段的语音特征为则该 当前语音段的编码状态数据可以包括针对该当前语音段进行正向编码时所产生的细胞状态数 据和/或针对该当前语音段进行正向编码时所产生的隐蔽层状态数据其中,表示lstm网络针对 当前语音段中第l+1 帧语音数据进行正向编码得到的细 胞状态;表示lstm网络针对当前语音段中第l+1帧语音数据进行正向编码得到的隐蔽层状态(也 就是,lstm网络的输出数据)。l 为非负整数,0≤l≤n c ‑ 1,n c 为正整数。 [0092] 本技术实施例不限定s22 中“待用法状态数据”在正向编码过程中所起作用,例如,在利用 lstm 网络针对当前语音段进行正向编码时,可以将该待用法状态数据作为该 lstm 网络的初始状态 数据(如,若待用法状态数据包括针对当前语音段的最近历史语音段中第n c 帧语音数据进行正向编码得到的细胞状态,则可以将该待用法状态数据作为该 lstm 网络的细 胞状态的初始化参数值),以便后续lstm网络能够基于该待用法状态数据对当前语音段进行正 向编码。 [0093] XVI 基于上述s22 的相关内容可知,在猎取到当前语音段的语音特征之后,可以参考待用法状态数 据对当前语音段的语音特征进行正向编码,得到该当前语音段的正向编码结果以及编码状态数 据,以便后续能够利用该正向编码结果确定该当前语音段的语音编码,并保存该当前语音段的 编码状态数据,以便在下一轮语音识别过程中用法,以使在下一轮语音识别过程中无需针对历 史语音数据进行编码处理,如此能够有效地降低语音识别的耗时,从而能够提高语音识别效率。 [0094] s23:依据当前语音段对应的参考特征,对该当前语音段的语音特征进行反向编码,得到该当 前语音段的反向编码结果。 [0095] 其中,当前语音段的反向编码结果是指针对该当前语音段进行反向编码得到的编码结果。例如, 若利用反向编码网络针对该当前语音段进行反向编码时,则该当前语音段的反向编码结果可以 是指由该反向编码网络输出的隐蔽层状态数据。 [0096] 另外,s22 中“反向编码”是指依据一个语音特征序列的反方向排列挨次依次针对该语音特征序
2024安徽省寿县《执业药师之西药学综合知识与技能》考试真题含答案(A卷)
湖南省双牌县整理《执业药师之西药学综合知识与技能》考试真题题库附答案(培优A卷)
山西省沁源县整理《执业药师之西药学综合知识与技能》考试必刷200题通关秘籍题库附答案(模拟题)
2024年贵州省云岩区《执业药师之西药学专业一》考试必刷200题【名师系列】
2024年浙江经贸职业技术学院高职单招职业技能测验历年参考题库(频考版)含答案解析
[张家口]2024年河北张家口赤城县事业单位招聘10人笔试历年参考题库附带答案详解