说明书
发明名称 : 基于神经网络模型的答案生成方法及相关设备
[0001]
本申请要求于2019年7月5日提交中国专利局、申请号为201910606471.X、发明名称为“基于神经网络模型的答案生成方法及相关设备”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
[0002]
本申请涉及人工智能技术领域，尤其涉及一种基于神经网络模型的答案生成方法及相关设备。
[0003]
普通面试程序复杂，基本上所有的企业单位对于人员的招聘，都是要从很多应聘者的简历中挑选出合格的简历，然后通过一系列的面试步骤对应聘者进行面试和考察，每一个面试步骤都要对面试方式和面试时间进行精心安排以减少对面试官或者应聘者的日常工作和生活的影响。因此大部分的面试过程都是繁杂并且耗时的，白白浪费了参与面试的相关人员的时间，浪费了企业的资源。
[0004]
发明人意识到目前，在面试过程中，对于面试者的答案是否符合预期答案无法得出准确的分析，通常采用人工分析的方式对面试者回答面试问题是否符合要求进行判断。这容易受到面试官主观情绪干扰而无法给出客观公正的评价。
[0006]
基于此，针对目前AI面试过程中无法对复杂问题得到正确答案分布情况的问题，提供一种基于神经网络模型的答案生成方法及相关设备。
[0007]
本申请提供了一种基于神经网络模型的答案生成方法，包括如下步骤：
[0008]
获取提问语句，将所述提问语句进行词向量转换，提取词向量转换后的提问语句中问题词的词向量，获取所述问题词在所述提问语句中的位置信息，拼接所述位置信息和所述问题词的词向量后得到位置词向量；将所述问题词的词向量和所述位置词向量依次入参到预设的词向量嵌入模型后，得到嵌入词向量和样本词向量；将所述样本词向量与所述嵌入词向量一同入参到记忆神经模型进行运算后，得到初始答案；以所述初始答案和所述位置词向量作为参数构建初始答案模型，以所述初始答案作为关联项，串接数个所述初始答案模型后得到最终答案模型，根据所述最终答案模型的输出结果，确定所述提问语句的备选答案分布范围。
[0009]
本申请提供了一种基于神经网络模型的答案生成装置，包括如下模块：
[0010]
语句分析模块，设置为获取提问语句，将所述提问语句进行词向量转换，提取词向量转换后的提问语句中问题词的词向量，获取所述问题词在所述提问语句中的位置信息，拼接所述位置信息和所述问题词的词向量后得到位置词向量；
[0011]
嵌入生成模块，设置为将所述问题词的词向量和所述位置词向量依次入参到预设的词向量嵌入模型后，得到嵌入词向量和样本词向量；
[0012]
初始答案模块，设置为将所述样本词向量与所述嵌入词向量一同入参到记忆神经模型进行运算后，得到初始答案；
[0013]
答案分布模块，设置为以所述初始答案和所述位置词向量作为参数构建初始答案模型，以所述初始答案作为关联项，串接数个所述初始答案模型后得到最终答案模型，根据所述最终答案模型的输出结果，确定所述提问语句的备选答案分布范围。
[0014]
一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行上述基于神经网络模型的答案生成方法的步骤。
[0015]
一种存储有计算机可读指令的存储介质，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行上述基于神经网络模型的答案生成方法的步骤。
[0016]
与现有机制相比，本申请通过采用多个初始答案串接的方式，并在词向量输入模型时引入问题词的位置信息，从而实现了对复杂面试问题逐级分析，准确的得到了复杂面试问题答案的分布范围。
[0017]
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本申请的限制。
[0018]
图1为本申请在一个实施例中的一种基于神经网络模型的答案生成方法的整体流程图；
[0019]
图2为本申请在一个实施例中的一种基于神经网络模型的答案生成方法中的语句分析过程示意图；
[0020]
图3为本申请在一个实施例中的一种基于神经网络模型的答案生成方法中 的嵌入生成过程示意图；
[0021]
图4为本申请在一个实施例中的一种基于神经网络模型的答案生成方法中的初始答案生成过程示意图；
[0022]
图5为本申请在一个实施例中的一种基于神经网络模型的答案生成方法中的答案分布生成过程示意图；
[0023]
图6为本申请在一个实施例中的一种基于神经网络模型的答案生成装置的结构图。
[0024]
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
[0025]
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。
[0026]
图1为本申请在一个实施例中的一种基于神经网络模型的答案生成方法的整体流程图，一种基于神经网络模型的答案生成方法，包括以下步骤：
[0027]
S1、获取提问语句，将所述提问语句进行词向量转换，提取词向量转换后的提问语句中问题词的词向量，获取所述问题词在所述提问语句中的位置信息，拼接所述位置信息和所述问题词的词向量后得到位置词向量；
[0028]
具体的，在对提问语句进行获取时，可以先设置一个语句预期长度，在这个预期长度内包含有至少一个完整的提问语句。然后根据这个预期长度将面试问题语段划分成数个预期提问语句，对预期提问语句进行问题词查询，若在预期提问语句中包含有一个问题词，则以预期面试问题长度作为实际提问语句的长度。若预期提问语句中不包含问题词，则向预期提问语句的两边进行语句扩展直到获得问题词。若预期提问语句中包含有两个或者以上的问题词，则根据问题词在所述预期提问语句中的问题，对预期提问语句进行再次拆分。其中，问题词可以为：“回答”、“为什么”等。
[0029]
在提取面试问题中的词向量时通常采用word2vec方法进行提取，Word2Vec可以将One-Hot Encoder转化为低维度的连续值，也就是稠密向量，并且其中意思相近的词将被映射到向量空间中相近的位置。
[0030]
S2、将所述问题词的词向量和所述位置词向量依次入参到预设的词向量嵌入模型后，得到嵌入词向量和样本词向量；
[0031]
具体的，词向量嵌入模型可以根据语料库中的所有词语的属性，根据属性可以生成词表，其中语料库收集汉语词典中的词语和网络流行用户后整理得到的。其中，属性包括词性分类和各个词性分类下的语料库中词语的分布情况，词语的分类可以分为“名词”、“动词”、“形容词”等。将问题词的词向量和位置词向量入参到嵌入模型后可以进行分类，得到嵌入词向量m和样本词向量u。
[0032]
S3、将所述样本词向量与所述嵌入词向量一同入参到记忆神经模型进行运算后，得到初始答案；
[0033]
具体的，在将嵌入词向量m和样本词向量u入参到记忆神经网络模型中前，先对两个向量进行做内积，然后再做一个Softmax相对概率计算后得到向量P，然后再将向量p入参到记忆神经网络模型中进行运算，运算过程可以是，将向量P和嵌入词向量m做外积得到向量o，同时将向量p与预设的参数矩阵W相乘后再使用sigmoid函数压缩到0-1的区间得到根据样本向量u自适应的转化系数T，参数矩阵w是根据回答结果的历史数据统计后得到的。最后输出的初始答案结果对应的向量表示为A＝T*o+(1-T)*u。
[0034]
S4、以所述初始答案和所述位置词向量作为参数构建初始答案模型，以所述初始答案作为关联项，串接数个所述初始答案模型后得到最终答案模型，根据所述最终答案模型的输出结果，确定所述提问语句的备选答案分布范围。
[0035]
具体的，在构建初始答案模型时，参数向量有嵌入词向量m和样本词向量u，其它的向量都是根据前述步骤计算后得到的，即只需输入嵌入向量m和样本向量u就可以得到初始答案结果A，然后根据m、u和A就可以得到初始答案模型的输入和输出。
[0036]
在串接数个所述初始答案模型是，以初始答案结果A作为下一个初始答案模型输入的u，即把前一个初始答案结果向量A作为后一个初始答案模型的输入向量u，然后再输入原嵌入词向量m，就可以进行再次运算得到次级答案。以此类推，串接数个初始答案模型就可以得到提问语句最终的答案向量，然后最 终的答案向量做Softmax相对概率计算后就可以得到备选答案范围分布情况。
[0037]
本实施例，通过采用多个初始答案串接的方式，并在词向量输入模型时引入问题词的位置信息，从而实现了对复杂面试问题逐级分析，从而准确的得到了复杂面试问题答案的分布范围。
[0038]
图2为本申请在一个实施例中的一种基于神经网络模型的答案生成方法中的语句分析过程示意图，如图所示，所述S1、获取提问语句，将所述提问语句进行词向量转换，提取词向量转换后的提问语句中问题词的词向量，获取所述问题词在所述提问语句中的位置信息，拼接所述位置信息和所述问题词的词向量后得到位置词向量，包括：
[0039]
S11、获取提问语句，去除所述提问语句中的停顿词，得到待编码语句；
[0040]
具体的，去停顿词，文中的“的”，“了”，“吗”，“我”等词在每个文本中出现，这些词对于区分文档的类别不会产生影响，因而要去掉它们。对于英文NLTK中有标准的stopwords库，很容易去掉停顿词，得到良好的效果。对于中文，由于没有标准的停顿词库，可以通过查找下载停顿词表，去掉停顿词。
[0041]
S12、将所述待编码语句进行独热编码，得到数个所述问题词的词向量；
[0042]
其中，独热编码又称为one-hot编码是机器学习中常用的一种常用的词向量编码方式。例如，假设有一个特征是我公司和其它公司，样本如下:
[0043]
Data＝[‘我公司’,40,50000],[‘其它公司’,22,13000]；
[0044]
编码后得到的向量为：Data＝[1,0,40,50000]，[0,1,22,13000]。也就是说，一个属性如果有N个可取值，它就可以扩充为N个属性，每个样本的这N个属性中，只能有一个为1，表示该样本的该属性属于这个类别，其余扩展属性都为0。
[0045]
S13、获取所述问题词在所述待编码语句中的位置编号，将所述位置编号写入所述问题词的词向量尾部后得到所述位置词向量。
[0046]
例如，问题词为“为什么”则以问题词中第一个文字作为问题词在问题语句中的位置，在“为什么选择我公司？”这个问题语句中，问题词的位置编号为：“1”，相应的位置词向量可以为Data＝[1,0,40,50000,1]。
[0047]
本实施例，通过引入位置词向量，从而实现了对于面试问题的追踪，从而便于对复杂面试问题进行解析。
[0048]
图3为本申请在一个实施例中的一种基于神经网络模型的答案生成方法中的嵌入生成过程示意图，如图所示，所述S2、将所述问题词的词向量和所述位置词向量依次入参到预设的词向量嵌入模型后，得到嵌入词向量和样本词向量，包括：
[0049]
S21、获取预设的基本词向量模板，根据所述基本词向量模板与所述问题词的词向量或所述位置词向量的对应关系，得到所述问题词的词向量或者所述位置词向量的目标函数值；
[0050]
具体的，基本词向量模板中有各个基本词的多维向量表示形式，将问题词的词向量或者位置词向量与基础词向量模板中的多维词向量均进行降维处理得到二维向量，在将二维位置词向量或者问题词的词向量与基础词向量模板中的二维词向量取内积，当内积为零时，得到所述问题词的词向量或所述位置词向量在基础词向量模板中对应的词向量。目标函数f(x)就是用设计变量来表示的所追求的目标形式，所以目标函数就是设计变量的函数，是一个标量。从工程意义讲，目标函数是系统的性能标准，比如，一个结构的最轻重量、最低造价、最合理形式；一件产品的最短生产时间、最小能量消耗；一个实验的最佳配方等等，建立目标函数的过程就是寻找设计变量与目标的关系的过程，目标函数和设计变量的关系可用曲线、曲面或超曲面表示。
[0051]
S22、将所述目标函数值入参到所述词向量嵌入模型后得到中间参数；
[0052]
具体的，在本实施例中，目标函数可以采用以下公式进行计算:
[0053]
文。再将目标函数值入参到词向量嵌入模型后，可以得到的中间参数为T*α，α为嵌入夹角，即词与词之间在坐标系上的夹角。
[0054]
S23、将所述中间参数与所述问题词的词向量乘积后得到所述嵌入词向量，将所述中间参数与所述位置词向量乘积后得到所述样本词向量。
[0055]
本实施例，通过引入基础词向量对问题词的词向量进行加工后得到样本词向量，从而便于对问题语句中的问题词语属性进行有效分析。
[0056]
图4为本申请在一个实施例中的一种基于神经网络模型的答案生成方法中的初始答案生成过程示意图，如图所示，所述S3、将所述样本词向量与所述嵌入词向量一同入参到记忆神经模型进行运算后，得到初始答案，包括：
[0057]
S31、将所述样本词向量和所述位置词向量进行运算后，得到待分析词向量；
[0058]
具体的，将所述样本词向量和所述位置词向量进行运算，运算可以是做内积运算，在进行内积运算前，需要将样本词向量和位置词向量进行降维处理，得到二维向量，然后再进行计算。
[0059]
S32、获取所述记忆神经模型中的概率分析函数，将所述待分析向量入参到所述概率分析函数进行运算，得到未修正的初始答案；
[0060]
具体的，概率分析函数主要是softmax函数，在对于待分析向量进行softmax函数计算时，需要将待分析词向量进行去矢量处理，即在进行softmax函数计算时，入参的自变量均为标量。
[0061]
S33、应用激活函数对所述未修正的初始答案进行压缩处理，得到修正后的初始答案。
[0062]
其中，激活函数可以是sigmoid函数，通过sigmoid函数将初始答案结果变成取值范围为0～1的答案。例如，未修正的初始答案对应的向量为[2,3,5]，则经过sigmoid函数压缩修正后得到的向量为[0.4,0.6,1]。
[0063]
本实施例，通过神经网络模型和激活函数等对面试问题进行有效分析，从而得到了准确的初始答案结果，便于在后续进行复杂问题答案分布情况的分析。
[0064]
图5为本申请在一个实施例中的一种基于神经网络模型的答案生成方法中的答案分布生成过程示意图，如图所示，所述S4、以所述初始答案和所述位置词向量作为参数构建初始答案模型，以所述初始答案作为关联项，串接数个所述初始答案模型后得到最终答案模型，根据所述最终答案模型的输出结果，确定所述提问语句的备选答案分布范围，包括：
[0065]
S41、汇总数个所述初始答案，计算各所述初始答案的置信度，提取置信度大于预设的置信度阈值的初始答案和对应的位置词向量，构建初始答案模型；
[0066]
其中，置信度计算公式为:N＝Z×2×(P×(1-P))/E
[0067]
Z为置信区间、n为初始结果数量、d为抽样误差范围、σ为标准差，一般取0.5。E为初始结果均值的标准差乘以z值，总误差p。
[0068]
S42、获取数个所述初始答案模型，以前一个所述初始答案模型输出的初始答案作为后一个所述初始答案模型的样本词向量，连接数个所述初始答案模型后得到所述最终答案模型；
[0069]
其中，对于初始答案模型的数量控制，可以在对每一次得到的答案结果进行答案概率分布分析，即可以预设一个答案分布的范围值，这个概率范围值可以采用正态分布的方式，然后将每一次得到的答案结果进行sigmoid函数和softmax函数就算得到概率分布情况，若概率分布情况小于正态分布图中预设概率值的分布范围，即停止串接运算。例如，正态分布图中，95％以上的概率分布宽度为“2”，若在进行一次初始答案模型运算后得到的95％以上的概率分布的宽度为“1.9”则停止进行下一次计算。
[0070]
S43、获取所述最终答案模型输出的最终答案结果，将所述最终答案结果进行分类概率运算后，得到所述提问语句对应的备选答案分布范围。
[0071]
其中，对于最终结果的分类运算可以采用神经网络模型中的投票机制，即 在神经网络模型中设置数个分类器对最终答案结果进行分类投票，然后根据投票结果得到所述提问语句对应的答案范围分布。
[0072]
本实施例，通过串接数个初始答案模型的方式，有效的解决了复杂面试问题无法准确得到答案分布情况的问题，从而有效对面试的面试情况做出有效的分析。
[0073]
在一个实施例中，所述获取预设的基本词向量模板，根据所述基本词向量模板与所述问题词的词向量或所述位置词向量的对应关系，得到所述问题词的词向量或者所述位置词向量的目标函数值，包括：
[0074]
将所述问题词的词向量或所述位置词向量进行降维后，得到二维问题词的词向量或者二维位置词向量；
[0075]
具体的，在降维过程中可以采用PCA降维的方式，PCA降维又称为主成分分析法，是最常用的线性降维方法，它的目标是通过某种线性投影，将高维的数据映射到低维的空间中表示，即把原先的n个特征用数目更少的m个特征取代，新特征是旧特征的线性组合。并期望在所投影的维度上数据的方差最大，尽量使新的m个特征互不相关。从旧特征到新特征的映射捕获数据中的固有变异性。以此使用较少的数据维度，同时保留住较多的原数据点的特性。
[0076]
获取预设的词向量模板，将所述二维问题词的词向量或者所述二维位置词向量转置后与所述预设的词向量模板中的标准词向量做内积计算，抽取出内积为0的标准词向量作为所述问题词的词向量或所述位置词向量对应的标准词向量；
[0077]
获取所述标准词向量和所述问题词的词向量或者所述位置词向量进行正则化处理得到正则化项，其中，正则化项的计算公式如下：
[0079]
将所述标准词向量作为参数入参到目标函数中进行得到初始目标函数值，计算公式如下：
[0080]
式子中，T标识目标函数，w
i表示标准词向量在语料库中的第i个单词，u
i表示标准词向量的特征值，C(w
i,u
i)表示w
i的上下文；
[0081]
应用所述正则化项对所述初始目标函数值进行修正，得到最终目标函数值。
[0082]
其中，修正的过程为将正则化项与目标函数值进行乘积计算，正则化项作 为修正向对目标函数值进行有效修正。
[0083]
本实施例，准确获得目标函数值，从而对于面试问题的的语义得到更加准确的分析。
[0084]
在一个实施例中，所述将所述样本词向量和所述位置词向量进行运算后，得到待分析词向量，包括：
[0085]
将所述样本词向量转置后与所述位置词向量做内积，得到待分析向量矩阵；其中，矩阵元素为样本词向量和位置词向量的乘积数值。
[0086]
计算所述待分析向量矩阵的特征值，将所述样本词向量和所述位置词向量做内积后与所述特征相乘，得到初始待分析词向量；
[0087]
其中，矩阵特征值不能为零，若矩阵特征值为零，则需要重新选定问题词在问题语句中的位置。例如：“为什么选择我公司”，原来问题词的为“1”，那么重新选定后为“2”。
[0088]
对所述初始待分析词向量进行误差修正后，得到最终待分析词向量。
[0089]
其中，误差修正可以采用Granger表述定理或者Engle-Granger两步法进行修正。
[0090]
本实施例，有效获得最终待分析词向量，从而增加了获得面试问题答案分布的准确度。
[0091]
在一个实施例中，提出了一种基于神经网络模型的答案生成装置，如图6所示，包括如下模块：
[0092]
语句分析模块，设置为获取提问语句，将所述提问语句进行词向量转换，提取词向量转换后的提问语句中问题词的词向量，获取所述问题词在所述提问语句中的位置信息，拼接所述位置信息和所述问题词的词向量后得到位置词向量；
[0093]
嵌入生成模块，设置为将所述问题词的词向量和所述位置词向量依次入参到预设的词向量嵌入模型后，得到嵌入词向量和样本词向量；
[0094]
初始答案模块，设置为将所述样本词向量与所述嵌入词向量一同入参到记忆神经模型进行运算后，得到初始答案；
[0095]
答案分布模块，设置为以所述初始答案和所述位置词向量作为参数构建初始答案模型，以所述初始答案作为关联项，串接数个所述初始答案模型后得到最终答案模型，根据所述最终答案模型的输出结果，确定所述提问语句的备选答案分布范围。
[0096]
在一个实施例中，所述语句分析模块，还设置为：
[0097]
获取提问语句，去除所述提问语句中的停顿词，得到待编码语句；将所述待编码语句进行独热编码，得到数个所述问题词的词向量；获取所述问题词在所述待编码语句中的位置编号，将所述位置编号写入所述问题词的词向量尾部后得到所述位置词向量。
[0098]
在一个实施例中，，所述嵌入生成模块，还设置为：
[0099]
获取预设的基本词向量模板，根据所述基本词向量模板与所述问题词的词向量或所述位置词向量的对应关系，得到所述问题词的词向量或者所述位置词向量的目标函数值；将所述目标函数值入参到所述词向量嵌入模型后得到中间参数；将所述中间参数与所述问题词的词向量乘积后得到所述嵌入词向量，将所述中间参数与所述位置词向量乘积后得到所述样本词向量。
[0100]
在一个实施例中，所述初始答案模块，还设置为：
[0101]
将所述样本词向量和所述位置词向量进行运算后，得到待分析词向量；获取所述记忆神经模型中的概率分析函数，将所述待分析向量入参到所述概率分析函数进行运算，得到未修正的初始答案；应用激活函数对所述未修正的初始答案进行压缩处理，得到修正后的初始答案。
[0102]
在一个实施例中，所述答案分布模块，还设置为：
[0103]
汇总数个所述初始答案，计算各所述初始答案的置信度，提取置信度大于预设的置信度阈值的初始答案和对应的位置词向量，构建初始答案模型；获取数个所述初始答案模型，以前一个所述初始答案模型输出的初始答案作为后一个所述初始答案模型的样本词向量，连接数个所述初始答案模型后得到所述最终答案模型；获取所述最终答案模型输出的最终答案结果，将所述最终答案结果进行分类概率运算后，得到所述提问语句对应的备选答案分布范围。
[0104]
一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行以下步骤：：。
[0105]
获取提问语句，将所述提问语句进行词向量转换，提取词向量转换后的提问语句中问题词的词向量，获取所述问题词在所述提问语句中的位置信息，拼接所述位置信息和所述问题词的词向量后得到位置词向量；将所述问题词的词向量和所述位置词向量依次入参到预设的词向量嵌入模型后，得到嵌入词向量和样本词向量；将所述样本词向量与所述嵌入词向量一同入参到记忆神经模型进行运算后，得到初始答案；以所述初始答案和所述位置词向量作为参数构建 初始答案模型，以所述初始答案作为关联项，串接数个所述初始答案模型后得到最终答案模型，根据所述最终答案模型的输出结果，确定所述提问语句的备选答案分布范围。
[0106]
本申请还提供了一种非易失性计算机可读存储介质，包括指令，当所述指令在计算机上运行时，使得计算机执行如下基于神经网络模型的答案生成方法的步骤：
[0107]
获取提问语句，将所述提问语句进行词向量转换，提取词向量转换后的提问语句中问题词的词向量，获取所述问题词在所述提问语句中的位置信息，拼接所述位置信息和所述问题词的词向量后得到位置词向量；将所述问题词的词向量和所述位置词向量依次入参到预设的词向量嵌入模型后，得到嵌入词向量和样本词向量；将所述样本词向量与所述嵌入词向量一同入参到记忆神经模型进行运算后，得到初始答案；以所述初始答案和所述位置词向量作为参数构建初始答案模型，以所述初始答案作为关联项，串接数个所述初始答案模型后得到最终答案模型，根据所述最终答案模型的输出结果，确定所述提问语句的备选答案分布范围。
[0108]
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
[0109]
以上所述实施例仅表达了本申请一些示例性实施例，其中描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
权利要求书
[权利要求 1]
一种基于神经网络模型的答案生成方法，其中，包括： 获取提问语句，将所述提问语句进行词向量转换，提取词向量转换后的提问语句中问题词的词向量，获取所述问题词在所述提问语句中的位置信息，拼接所述位置信息和所述问题词的词向量后得到位置词向量；将所述问题词的词向量和所述位置词向量依次入参到预设的词向量嵌入模型后，得到嵌入词向量和样本词向量；将所述样本词向量与所述嵌入词向量一同入参到记忆神经模型进行运算后，得到初始答案；以所述初始答案和所述位置词向量作为参数构建初始答案模型，以所述初始答案作为关联项，串接数个所述初始答案模型后得到最终答案模型，根据所述最终答案模型的输出结果，确定所述提问语句的备选答案分布范围。
[权利要求 2]
根据权利要求1所述的基于神经网络模型的答案生成的方法，其中，所述获取提问语句，将所述提问语句进行词向量转换，提取词向量转换后的提问语句中问题词的词向量，获取所述问题词在所述提问语句中的位置信息，拼接所述位置信息和所述问题词的词向量后得到位置词向量，包括： 获取提问语句，去除所述提问语句中的停顿词，得到待编码语句；将所述待编码语句进行独热编码，得到数个所述问题词的词向量；获取所述问题词在所述待编码语句中的位置编号，将所述位置编号写入所述问题词的词向量尾部后得到所述位置词向量。
[权利要求 3]
根据权利要求1所述的基于神经网络模型的答案生成的方法，其中，所述将所述问题词的词向量和所述位置词向量依次入参到预设的词向量嵌入模型后，得到嵌入词向量和样本词向量，包括： 获取预设的基本词向量模板，根据所述基本词向量模板与所述问题词的词向量或所述位置词向量的对应关系，得到所述问题词的词向量或者所述位置词向量的目标函数值；将所述目标函数值入参到所述词向量嵌入模型后得到中间参数；将所述中间参数与所述问题词的词向量乘积后得到所述嵌入词向量，将所述中间参数与所述位置词向量乘积后得到所述样本词向量。
[权利要求 4]
根据权利要求1所述的基于神经网络模型的答案生成的方法，其中，所述将所述样本词向量与所述嵌入词向量一同入参到记忆神经模型进行运算后，得到初始答案，包括： 将所述样本词向量和所述位置词向量进行运算后，得到待分析词向量；获取所述记忆神经模型中的概率分析函数，将所述待分析向量入参到所述概率分析函数进行运算，得到未修正的初始答案；应用激活函数对所述未修正的初始答案进行压缩处理，得到修正后的初始答案。
[权利要求 5]
根据权利要求1所述的基于神经网络模型的答案生成的方法，其中，所述以所述初始答案和所述位置词向量作为参数构建初始答案模型，以所述初始答案作为关联项，串接数个所述初始答案模型后得到最终答案模型，根据所述最终答案模型的输出结果，确定所述提问语句的备选答案分布范围，包括： 汇总数个所述初始答案，计算各所述初始答案的置信度，提取置信度大于预设的置信度阈值的初始答案和对应的位置词向量，构建初始答案模型；获取数个所述初始答案模型，以前一个所述初始答案模型输出的初始答案作为后一个所述初始答案模型的样本词向量，连接数个所述初始答案模型后得到所述最终答案模型；获取所述最终答案模型输出的最终答案结果，将所述最终答案结果进行分类概率运算后，得到所述提问语句对应的备选答案分布范围。
[权利要求 6]
根据权利要求3所述的基于神经网络模型的答案生成的方法，其中，所述获取预设的基本词向量模板，根据所述基本词向量模板与所述问题词的词向量或所述位置词向量的对应关系，得到所述问题词的词向量或者所述位置词向量的目标函数值，包括： 将所述问题词的词向量或所述位置词向量进行降维后，得到二维问题词的词向量或者二维位置词向量；获取预设的词向量模板，将所述二维问题词的词向量或者所述二维位置词向量转置后与所述预设的词向量模板中的标准词向量做内积计算，抽取出内积为0的标准词向量作为所述问题词的词向量或所述位置词向量对应的标准词向量；获取所述标准词向量和所述问题词的词向量或者所述位置词向量进行正则化处理得到正则化项，其中，正则化项的计算公式如下：
量作为参数入参到目标函数中进行得到初始目标函数值，计算公式如下：
式子中，T标识目标函数，w
i表示标准词向量在语料库中的第i个单词，u
i表示标准词向量的特征值，C(w
i,u
i)表示w
i的上下文；应用所述正则化项对所述初始目标函数值进行修正，得到最终目标函数值。
[权利要求 7]
根据权利要求4述的基于神经网络模型的答案生成的方法，其中，所述将所述样本词向量和所述位置词向量进行运算后，得到待分析词向量，包括： 将所述样本词向量转置后与所述位置词向量做内积，得到待分析向量矩阵；计算所述待分析向量矩阵的特征值，将所述样本词向量和所述位置词向量做内 积后与所述特征相乘，得到初始待分析词向量；对所述初始待分析词向量进行误差修正后，得到最终待分析词向量。
[权利要求 8]
一种基于神经网络模型的答案生成装置，其中，包括以下模块： 语句分析模块，设置为获取提问语句，将所述提问语句进行词向量转换，提取词向量转换后的提问语句中问题词的词向量，获取所述问题词在所述提问语句中的位置信息，拼接所述位置信息和所述问题词的词向量后得到位置词向量； 嵌入生成模块，设置为将所述问题词的词向量和所述位置词向量依次入参到预设的词向量嵌入模型后，得到嵌入词向量和样本词向量； 初始答案模块，设置为将所述样本词向量与所述嵌入词向量一同入参到记忆神经模型进行运算后，得到初始答案； 答案分布模块，设置为以所述初始答案和所述位置词向量作为参数构建初始答案模型，以所述初始答案作为关联项，串接数个所述初始答案模型后得到最终答案模型，根据所述最终答案模型的输出结果，确定所述提问语句的备选答案分布范围。
[权利要求 9]
根据权利要求8所述的基于神经网络模型的答案生成装置，其中，所述语句分析模块，还设置为： 获取提问语句，去除所述提问语句中的停顿词，得到待编码语句；将所述待编码语句进行独热编码，得到数个所述问题词的词向量；获取所述问题词在所述待编码语句中的位置编号，将所述位置编号写入所述问题词的词向量尾部后得到所述位置词向量。
[权利要求 10]
根据权利要求8所述的基于神经网络模型的答案生成装置，其中，所述嵌入生成模块，还设置为： 获取预设的基本词向量模板，根据所述基本词向量模板与所述问题词的词向量或所述位置词向量的对应关系，得到所述问题词的词向量或者所述位置词向量的目标函数值；将所述目标函数值入参到所述词向量嵌入模型后得到中间参数；将所述中间参数与所述问题词的词向量乘积后得到所述嵌入词向量，将所述中间参数与所述位置词向量乘积后得到所述样本词向量。
[权利要求 11]
根据权利要求8所述的基于神经网络模型的答案生成装置，其中，所述初始答案模块，还设置为： 将所述样本词向量和所述位置词向量进行运算后，得到待分析词向量；获取所述记忆神经模型中的概率分析函数，将所述待分析向量入参到所述概率分 析函数进行运算，得到未修正的初始答案；应用激活函数对所述未修正的初始答案进行压缩处理，得到修正后的初始答案。
[权利要求 12]
根据权利要求8所述的基于神经网络模型的答案生成装置，其中，所述答案分布模块，还设置为： 汇总数个所述初始答案，计算各所述初始答案的置信度，提取置信度大于预设的置信度阈值的初始答案和对应的位置词向量，构建初始答案模型；获取数个所述初始答案模型，以前一个所述初始答案模型输出的初始答案作为后一个所述初始答案模型的样本词向量，连接数个所述初始答案模型后得到所述最终答案模型；获取所述最终答案模型输出的最终答案结果，将所述最终答案结果进行分类概率运算后，得到所述提问语句对应的备选答案分布范围。
[权利要求 13]
根据权利要求10所述的基于神经网络模型的答案生成装置，其中，所述嵌入生成模块，还设置为： 将所述问题词的词向量或所述位置词向量进行降维后，得到二维问题词的词向量或者二维位置词向量；获取预设的词向量模板，将所述二维问题词的词向量或者所述二维位置词向量转置后与所述预设的词向量模板中的标准词向量做内积计算，抽取出内积为0的标准词向量作为所述问题词的词向量或所述位置词向量对应的标准词向量；获取所述标准词向量和所述问题词的词向量或者所述位置词向量进行正则化处理得到正则化项；将所述标准词向量作为参数入参到目标函数中进行得到初始目标函数值，应用所述正则化项对所述初始目标函数值进行修正，得到最终目标函数值。
[权利要求 14]
根据权利要求11所述的基于神经网络模型的答案生成装置，其中，所述初始答案模块，还设置为： 将所述样本词向量转置后与所述位置词向量做内积，得到待分析向量矩阵；计算所述待分析向量矩阵的特征值，将所述样本词向量和所述位置词向量做内积后与所述特征相乘，得到初始待分析词向量；对所述初始待分析词向量进行误差修正后，得到最终待分析词向量。
[权利要求 15]
一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行以下步骤： 获取提问语句，将所述提问语句进行词向量转换，提取词向量转换后的提问语句中问题词的词向量，获取所述问题词在所述提问语句中的位置信息，拼接所述位置信息和所述问题词的词向量后得到位置词向量；将所述问题词的词向量和所述位置词向量依次入参到预设的词向量嵌入模型后，得到嵌入词向量 和样本词向量；将所述样本词向量与所述嵌入词向量一同入参到记忆神经模型进行运算后，得到初始答案；以所述初始答案和所述位置词向量作为参数构建初始答案模型，以所述初始答案作为关联项，串接数个所述初始答案模型后得到最终答案模型，根据所述最终答案模型的输出结果，确定所述提问语句的备选答案分布范围。
[权利要求 16]
一种存储有计算机可读指令的存储介质，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行以下步骤： 获取提问语句，将所述提问语句进行词向量转换，提取词向量转换后的提问语句中问题词的词向量，获取所述问题词在所述提问语句中的位置信息，拼接所述位置信息和所述问题词的词向量后得到位置词向量；将所述问题词的词向量和所述位置词向量依次入参到预设的词向量嵌入模型后，得到嵌入词向量和样本词向量；将所述样本词向量与所述嵌入词向量一同入参到记忆神经模型进行运算后，得到初始答案；以所述初始答案和所述位置词向量作为参数构建初始答案模型，以所述初始答案作为关联项，串接数个所述初始答案模型后得到最终答案模型，根据所述最终答案模型的输出结果，确定所述提问语句的备选答案分布范围。
[权利要求 17]
根据权利要求16所述的一种存储有计算机可读指令的存储介质，其中，所述获取提问语句，将所述提问语句进行词向量转换，提取词向量转换后的提问语句中问题词的词向量，获取所述问题词在所述提问语句中的位置信息，拼接所述位置信息和所述问题词的词向量后得到位置词向量时，使得所述处理器执行以下步骤： 获取提问语句，去除所述提问语句中的停顿词，得到待编码语句；将所述待编码语句进行独热编码，得到数个所述问题词的词向量；获取所述问题词在所述待编码语句中的位置编号，将所述位置编号写入所述问题词的词向量尾部后得到所述位置词向量。
[权利要求 18]
根据权利要求16所述的一种存储有计算机可读指令的存储介质，其中，所述将所述问题词的词向量和所述位置词向量依次入参到预设的词向量嵌入模型后，得到嵌入词向量和样本词向量时，使得所述处理器执行以下步骤： 获取预设的基本词向量模板，根据所述基本词向量模板与所述问题词的词向量或所述位置词向量的对应关系，得到所述问题词的词向量或者所述位置词向量的目标函数值；将所述目标函数值入参到所述词向量嵌入模型后得到中间参数；将所述中间参数与所述问题词的词向量乘积后得到所述嵌入词向量，将所述中间参数与所述位置词向量乘积后得到所述样本词向量。
[权利要求 19]
根据权利要求16所述的一种存储有计算机可读指令的存储介质，其中，所述将所述样本词向量与所述嵌入词向量一同入参到记忆神经模型进行运算后，得到初始答案时，使得所述处理器执行以下步骤： 将所述样本词向量和所述位置词向量进行运算后，得到待分析词向量；获取所述记忆神经模型中的概率分析函数，将所述待分析向量入参到所述概率分析函数进行运算，得到未修正的初始答案；应用激活函数对所述未修正的初始答案进行压缩处理，得到修正后的初始答案。
[权利要求 20]
根据权利要求16所述的一种存储有计算机可读指令的存储介质，其中，所述以所述初始答案和所述位置词向量作为参数构建初始答案模型，以所述初始答案作为关联项，串接数个所述初始答案模型后得到最终答案模型，根据所述最终答案模型的输出结果，确定所述提问语句的备选答案分布范围时，使得所述处理器执行以下步骤： 汇总数个所述初始答案，计算各所述初始答案的置信度，提取置信度大于预设的置信度阈值的初始答案和对应的位置词向量，构建初始答案模型；获取数个所述初始答案模型，以前一个所述初始答案模型输出的初始答案作为后一个所述初始答案模型的样本词向量，连接数个所述初始答案模型后得到所述最终答案模型；获取所述最终答案模型输出的最终答案结果，将所述最终答案结果进行分类概率运算后，得到所述提问语句对应的备选答案分布范围。
附图