第129章 步步紧逼的追赶者(中)
哈雷·普来斯接着道：“总之，我觉得那个l文本摘要准确度衡量模型对于我们来说非常不利。
或许我们可以参照l的思路搞一个自己的衡量标准……”
埃克来尔·基尔卡加：“你说的这个问题我倒是也设想过。
可是参照l的构建标准的过程进行模型构建并不容易。
按照l的思路构建类似的标准的话。
首先我们需要运用语言模型来评估算法生成语言的流畅度，然后…
如果我们按照同样的步骤进行模型构建的话。
很可能会直接卡死在语言模型的构建上。
毕竟我们的语料库实在是太逊了……
我们以前合作的麻省理工学院nlp那边给出的报告
也证实了按l的思路构建语言模型不可行。”
哈雷·普来斯：“麻省理工学院那帮人认为不可行，未必就真的不可行。
他们很有可能是他们在逃避责任而已。
反正我觉得完全可以试着借鉴l的思路搞一个新的衡量标准。”
埃克来尔·基尔卡加：“你确定我们能够按照l的思路弄出一个新模型么？
你怎么保证我们弄出的模型不会跟他搞得那个一模一样？”
哈雷·普来斯：“不管怎么说，我们也需要走这条路。
如果我们连他衡量准确度的模型都不能复现出来。
我们怎么知道他在这套模型究竟有没有猫腻？”
哈雷·普来斯接着道：“以前我们的语料库或许很lw。
但现在我们采用的语料库没什么问题。
现在是加州大学伯克利分校的自然语言中心在和我们合作。
我们测试1验证算法时可是由10万个文本–摘要序列所组成的语料库作训练集的……”
埃克来尔·基尔卡加反驳道：“不不不，这远远不够！
想要达到l算法处理文本那种水平，我们起码需要百万级别文本摘要序列组成的语料库做训练集。
而这还只是冰山一角。
我们还需要构建一个104级别带人工打分标签的文本–摘要序列作为验证集。
以及一个103级别的个人工交叉打分一致的文本–摘要序列作为测试集。
否则我们的衡量模型很可能达不到l搞得那个模型那种置信度。”
哈雷·普来斯：“你的话确实有道理！
为了缩小边际误差最实际的方法就是增加样本数量。
百万级别文本摘要序列组成的语料库倒是好说。
这个相比于十万级别的语料库。
构建难度只是线性增加而已。
但是你确定我们要构建你说的那般庞大的带人工标记的验证集和测试集吗？
仅仅是带人工打分标签的文本–摘要序列验证集保守估计就需要我们花费近一个月的时间去搭建。
这还得是我们还其他语言学专业通力合作不产生嫌隙的情况下。
而涉及到103级别人工交叉打分一致的文本–摘要序列测试集更是难上加难。
推荐下，追书真的好用，这里下载大家去快可以试试吧。】
以前我们只构建过102级别的。
测试集的搭建每上涨一个数量级相应的构建难度可是指数级的往上增长。
先前我们为测试提取式摘要算法构建的那个150条文本交叉打分一致的测试集就用了将近两个月的时间。”
而且为什么我们还要引入人工因素？
这样的话不是相当于又回到以前开发那种带有主观色彩的准确度评判标准的老路上了吗？”
埃克来尔·基尔卡加：“这也正是我想表达的意思。
本来我也觉得不可能参照l的思路搞出新的衡量标准。
即便我们能按着l的技术路线走。
也会面临着过于庞大的工作量。”
听了埃克来尔·基尔卡加的话。
哈雷·普来斯很绝望：“也就是说仅仅是建立准确度衡量标准时的起步工作就会耗费我们大量的时间？
可是负责决策的那些高层根本不可能坐视我们在这个算法上浪费太多时间。
他们很可能会去直接谋求l的算法授权。
对于那些商业精英来说，技术什么的本来就是资本游戏的添头。
当他们获得l的新技术后我们估计会很惨……
我们究竟该怎么办呢？”
埃克来尔·基尔卡加：“谁知道呢？兴许我们该收拾收拾准备去y度了。”
哈雷·普来斯：“能去y度还不错呢，听说最近在筹建谷歌非洲研究中心了。
运气不好的话，估计我们要去非洲了。”
埃克来尔·基尔卡加：。
。
当然了这些话只是调侃而已。
好歹也是顶尖研究机构的科研人员。
埃克来尔·基尔卡加还不是那么容易就丧失斗志。
过了一会儿，埃克来尔·基尔卡加道：“倒也不完全是无计可施。
我觉得我们不要按照l的技术路线走。
这个l太狡猾！
他公开在外面的信息很可能是留下来误导我们的。
我们现在要做的是明确凭借我们自身归纳出的一些结论。”
埃克来尔·基尔卡加接着道：“按照以往我们的研究得到的规律。
神经网络的前一个输入和后一个输入是没有关系的。
没办法处理序列数据这种前后输入是有关联信息的数据。
而l在生成式摘要算法中提到的技术路线里面明确表示了要将文本信息通过向量来实现序列化标记之后再进一步处理。
在这种情况下，我觉得l所提出的算法里面应用的绝对不是一般的神经网络。
l在生成式摘要算法中应用的大概率是循环神经网络。
毕竟循环神经网路的结构非常适合用于处理序列信息。”
埃克来尔·基尔卡加的话让哈雷·普来斯眼前一亮，不过旋即新的疑惑也随之产生。
哈雷·普来斯问道：“循环神经网络不仅要输入当前序列的数据。
还要输入上一时刻循环神经网络隐藏层参数的信息。
这样才能很好地处理序列之间的关联信息。
可是给我的感觉是l算法中应用的那个神经网络虽然有循环神经网络的影子。
但是似乎又和传统的循环神经网络有些不一样啊？”
埃克来尔·基尔卡加滴咕道：“确实如此，一般的循环神经网络适合处理序列结构，但是却不擅长处理长序列结构……”
沉吟之际，埃克来尔·基尔卡加突然想到了什么，呼喊道：
“我知道了，一定是lt神经网络！”
哈雷·普来斯被埃克来尔·基尔卡加突然的呼喊吓了一跳。
不过埃克来尔·基尔卡加提到的lt神经网络却也让他眼前一亮。
或许我们可以参照l的思路搞一个自己的衡量标准……”
埃克来尔·基尔卡加：“你说的这个问题我倒是也设想过。
可是参照l的构建标准的过程进行模型构建并不容易。
按照l的思路构建类似的标准的话。
首先我们需要运用语言模型来评估算法生成语言的流畅度，然后…
如果我们按照同样的步骤进行模型构建的话。
很可能会直接卡死在语言模型的构建上。
毕竟我们的语料库实在是太逊了……
我们以前合作的麻省理工学院nlp那边给出的报告
也证实了按l的思路构建语言模型不可行。”
哈雷·普来斯：“麻省理工学院那帮人认为不可行，未必就真的不可行。
他们很有可能是他们在逃避责任而已。
反正我觉得完全可以试着借鉴l的思路搞一个新的衡量标准。”
埃克来尔·基尔卡加：“你确定我们能够按照l的思路弄出一个新模型么？
你怎么保证我们弄出的模型不会跟他搞得那个一模一样？”
哈雷·普来斯：“不管怎么说，我们也需要走这条路。
如果我们连他衡量准确度的模型都不能复现出来。
我们怎么知道他在这套模型究竟有没有猫腻？”
哈雷·普来斯接着道：“以前我们的语料库或许很lw。
但现在我们采用的语料库没什么问题。
现在是加州大学伯克利分校的自然语言中心在和我们合作。
我们测试1验证算法时可是由10万个文本–摘要序列所组成的语料库作训练集的……”
埃克来尔·基尔卡加反驳道：“不不不，这远远不够！
想要达到l算法处理文本那种水平，我们起码需要百万级别文本摘要序列组成的语料库做训练集。
而这还只是冰山一角。
我们还需要构建一个104级别带人工打分标签的文本–摘要序列作为验证集。
以及一个103级别的个人工交叉打分一致的文本–摘要序列作为测试集。
否则我们的衡量模型很可能达不到l搞得那个模型那种置信度。”
哈雷·普来斯：“你的话确实有道理！
为了缩小边际误差最实际的方法就是增加样本数量。
百万级别文本摘要序列组成的语料库倒是好说。
这个相比于十万级别的语料库。
构建难度只是线性增加而已。
但是你确定我们要构建你说的那般庞大的带人工标记的验证集和测试集吗？
仅仅是带人工打分标签的文本–摘要序列验证集保守估计就需要我们花费近一个月的时间去搭建。
这还得是我们还其他语言学专业通力合作不产生嫌隙的情况下。
而涉及到103级别人工交叉打分一致的文本–摘要序列测试集更是难上加难。
推荐下，追书真的好用，这里下载大家去快可以试试吧。】
以前我们只构建过102级别的。
测试集的搭建每上涨一个数量级相应的构建难度可是指数级的往上增长。
先前我们为测试提取式摘要算法构建的那个150条文本交叉打分一致的测试集就用了将近两个月的时间。”
而且为什么我们还要引入人工因素？
这样的话不是相当于又回到以前开发那种带有主观色彩的准确度评判标准的老路上了吗？”
埃克来尔·基尔卡加：“这也正是我想表达的意思。
本来我也觉得不可能参照l的思路搞出新的衡量标准。
即便我们能按着l的技术路线走。
也会面临着过于庞大的工作量。”
听了埃克来尔·基尔卡加的话。
哈雷·普来斯很绝望：“也就是说仅仅是建立准确度衡量标准时的起步工作就会耗费我们大量的时间？
可是负责决策的那些高层根本不可能坐视我们在这个算法上浪费太多时间。
他们很可能会去直接谋求l的算法授权。
对于那些商业精英来说，技术什么的本来就是资本游戏的添头。
当他们获得l的新技术后我们估计会很惨……
我们究竟该怎么办呢？”
埃克来尔·基尔卡加：“谁知道呢？兴许我们该收拾收拾准备去y度了。”
哈雷·普来斯：“能去y度还不错呢，听说最近在筹建谷歌非洲研究中心了。
运气不好的话，估计我们要去非洲了。”
埃克来尔·基尔卡加：。
。
当然了这些话只是调侃而已。
好歹也是顶尖研究机构的科研人员。
埃克来尔·基尔卡加还不是那么容易就丧失斗志。
过了一会儿，埃克来尔·基尔卡加道：“倒也不完全是无计可施。
我觉得我们不要按照l的技术路线走。
这个l太狡猾！
他公开在外面的信息很可能是留下来误导我们的。
我们现在要做的是明确凭借我们自身归纳出的一些结论。”
埃克来尔·基尔卡加接着道：“按照以往我们的研究得到的规律。
神经网络的前一个输入和后一个输入是没有关系的。
没办法处理序列数据这种前后输入是有关联信息的数据。
而l在生成式摘要算法中提到的技术路线里面明确表示了要将文本信息通过向量来实现序列化标记之后再进一步处理。
在这种情况下，我觉得l所提出的算法里面应用的绝对不是一般的神经网络。
l在生成式摘要算法中应用的大概率是循环神经网络。
毕竟循环神经网路的结构非常适合用于处理序列信息。”
埃克来尔·基尔卡加的话让哈雷·普来斯眼前一亮，不过旋即新的疑惑也随之产生。
哈雷·普来斯问道：“循环神经网络不仅要输入当前序列的数据。
还要输入上一时刻循环神经网络隐藏层参数的信息。
这样才能很好地处理序列之间的关联信息。
可是给我的感觉是l算法中应用的那个神经网络虽然有循环神经网络的影子。
但是似乎又和传统的循环神经网络有些不一样啊？”
埃克来尔·基尔卡加滴咕道：“确实如此，一般的循环神经网络适合处理序列结构，但是却不擅长处理长序列结构……”
沉吟之际，埃克来尔·基尔卡加突然想到了什么，呼喊道：
“我知道了，一定是lt神经网络！”
哈雷·普来斯被埃克来尔·基尔卡加突然的呼喊吓了一跳。
不过埃克来尔·基尔卡加提到的lt神经网络却也让他眼前一亮。