第170章 你渴望推开那扇门么(7)
遇到这种维度灾难，不降维的话高维数据是很难进行处理的。
p：……数学天赋点满的人高维也能硬上
作为数据去噪简化的一种方法，降维处理对处理大多数现代机器学习数据很有帮助。
通过降低数据的维度，理论上讲可以把这个复杂棘手的问题变得简单轻松。
机器学习领域中所谓的降维就是指采用某种映射方法。
将原高维空间中的数据点映射到低维度的空间中。
这么做是为了除去噪音同时保存所关注信息的低维度数据。
这样对研究人员理解原本的高维数据所隐含的结构和模式很有帮助。
原始的高维度数据通常包含了许多无关或冗余变量的观测值。
降维可以被看作是一种潜在特征提取的方法。
降维这种方法经常用于数据压缩、数据探索以及数据可视化。
话虽如此，但降维并不是像科幻书里描述的那般扔一个二向箔就完事了。
涉及到降维是一件极其麻烦的事情！
在选择降维方法的时候，人们不得不考虑很多因素。
首先要考虑输入数据的性质。
比如说，对于连续数据、分类数据、计数数据、距离数据，它们会需要用到不同的降维方法。
对数据的性质和分辨率的考虑是十分重要的。
如果不考虑输入数据的性质贸然进行降维的话虽然能够使得这些这些高维模型低维化。
极有可能使得原本离散的数据直接“湖”在一起。
这种情况比高维离散还要糟糕。
在应用正式的降维技术之前。
还要对高维数据进行适当的预处理。
毕竟不是所有的数据都是样本数据。
而有的时候进行预处理时。
最佳的预处理方式又是引入降维。
这就会陷入一个疯狂套娃的循环之中。
总而言之，对高维数据进行降维是一件超级麻烦的事情。
在实际进行处理时一般自然语言处理方向的研究人员一般都竭力避免出现高维爆炸的情况。
而不是等出现高维数据之后再进行低维处理。
高维数据的低维处理某种程度更像是一种迫不得已的异常麻烦的补救措施。
很多东西因为麻烦就足以让人说再见了。
繁复的过程意味着容易出错。
而美好的事物所呈现的形式应该是简洁的。
就像欧拉公式一般。
正因为如此，尹芙·卡莉觉得林灰这种天才想表达的意思绝对不是将高维数据降维成低维数据。
如果林灰想表达的意思不是对高维数据做手脚。
而是说对传统的向量空间模型做文章？
将高维向量空间模型转化为维度较低的空间向量模型？
这种思路倒是不错。
但这种尝试先前并不是没人做过。
很早之前就有人进行了尝试。
早在上世纪末期就有人提出了潜在语义分析模型。
潜在语义分析模型是基于空间向量模型v而提出的。
潜在语义分析模型其基本思想是在得到文本的空间向量表示后。
通过奇异值分解，将高维且稀疏的空间向量映射到低维的潜在语义空间当中。
在得到低维的文本向量和单词向量之后。
再用余弦相似度等度量方式来计算文本间的语义相似度。
潜在语义分析的本质思想就是通过降维来去除原始矩阵中的噪音，从而提高计算准确度。
虽然这种思路不错，但这种方法并没有普适性。
这是因为潜在语义分析模型在架构模型的过程中采用的奇异值分解。
这种做法使得计算复杂度增高，并且可移植性较差。
在这种方法提出来之后。
并不是没人尝试对这种方法进行过改进。
同样是上世纪末。
有研究人员提出了概率潜在语义分析模型。
这种模型是基于概率，而不是基于奇异值分解。
这种模型相比于潜在语义分析模型的主要差异是增加一个主题层。
而后使用期望最大化算法训练主题，并找到一个概率性的潜在主题模型。
以此用来预测文本空间向量中的观察数据。
在这种概率潜在语义分析模型中，多义词被归入不同的主题下，而同义词被归入同一主题下。
这样可以避免同义词和多义词对文本相似度计算的影响。
然而，概率潜在语义分析模型的参数随着文档数量的增加而线性增长。
很容易出现过拟合和泛化不良。
这种情况很大程度又是因为维度爆炸。
因为过拟合只在高维空间中预测相对少的参数和低维空间中预测多参数这两种情况下发生。
一个为了避免维度爆炸而提出的模型却出现了维度爆炸。
多少有点悲剧。
事实上，并不是只有上述两个模型提出来。
这之后还有很多研究团队都在从模型层面的做了不同程度的尝试。
但这些模型要么是南辕北辙，不利于降维。
要么是在降维的同时又带来了新的问题。
总之，这些模型都有各种行不通的地方。
尽管尹芙·卡莉相信林灰是个天才。
但尹芙·卡莉觉得林灰也很难在前人无数次尝试的情况下找到一种全新的能够规避维度爆炸的低维模型。
话说，，，版。】
尹芙·卡莉考虑了很久也没想通林灰究竟表达的是什么意思。
尹芙·卡莉把她刚才她的思考过程对林灰进行了阐述。
林灰听得很认真。
听完之后，林灰笑道：“你都想到了这么多种高维向低维转化的情形。
而且先前你也提到了机器识别文本时为了要机器识别自然语言往往将自然语言数值化。
而后为了将这些数值进行属性区分进一步进行了向量化。
既然你能明白这些，那你就应该知道涉及到自然语言处理方向的问题之所以很容易出现维度爆炸很大程度是因为原始数据就维度极高。
这种情况下我们为什么不直接从源头上解决问题对原始数据做些文章呢？”
听到林灰这话，尹芙·卡莉似乎灵魂深处被触动了一般。
尹芙·卡莉颤声道：“你的意思是说，直接对原始的高维数据进行低维化处理？
处理得到低维化数据之后，在架构模型进行语义文本相似度分析？”
p：……数学天赋点满的人高维也能硬上
作为数据去噪简化的一种方法，降维处理对处理大多数现代机器学习数据很有帮助。
通过降低数据的维度，理论上讲可以把这个复杂棘手的问题变得简单轻松。
机器学习领域中所谓的降维就是指采用某种映射方法。
将原高维空间中的数据点映射到低维度的空间中。
这么做是为了除去噪音同时保存所关注信息的低维度数据。
这样对研究人员理解原本的高维数据所隐含的结构和模式很有帮助。
原始的高维度数据通常包含了许多无关或冗余变量的观测值。
降维可以被看作是一种潜在特征提取的方法。
降维这种方法经常用于数据压缩、数据探索以及数据可视化。
话虽如此，但降维并不是像科幻书里描述的那般扔一个二向箔就完事了。
涉及到降维是一件极其麻烦的事情！
在选择降维方法的时候，人们不得不考虑很多因素。
首先要考虑输入数据的性质。
比如说，对于连续数据、分类数据、计数数据、距离数据，它们会需要用到不同的降维方法。
对数据的性质和分辨率的考虑是十分重要的。
如果不考虑输入数据的性质贸然进行降维的话虽然能够使得这些这些高维模型低维化。
极有可能使得原本离散的数据直接“湖”在一起。
这种情况比高维离散还要糟糕。
在应用正式的降维技术之前。
还要对高维数据进行适当的预处理。
毕竟不是所有的数据都是样本数据。
而有的时候进行预处理时。
最佳的预处理方式又是引入降维。
这就会陷入一个疯狂套娃的循环之中。
总而言之，对高维数据进行降维是一件超级麻烦的事情。
在实际进行处理时一般自然语言处理方向的研究人员一般都竭力避免出现高维爆炸的情况。
而不是等出现高维数据之后再进行低维处理。
高维数据的低维处理某种程度更像是一种迫不得已的异常麻烦的补救措施。
很多东西因为麻烦就足以让人说再见了。
繁复的过程意味着容易出错。
而美好的事物所呈现的形式应该是简洁的。
就像欧拉公式一般。
正因为如此，尹芙·卡莉觉得林灰这种天才想表达的意思绝对不是将高维数据降维成低维数据。
如果林灰想表达的意思不是对高维数据做手脚。
而是说对传统的向量空间模型做文章？
将高维向量空间模型转化为维度较低的空间向量模型？
这种思路倒是不错。
但这种尝试先前并不是没人做过。
很早之前就有人进行了尝试。
早在上世纪末期就有人提出了潜在语义分析模型。
潜在语义分析模型是基于空间向量模型v而提出的。
潜在语义分析模型其基本思想是在得到文本的空间向量表示后。
通过奇异值分解，将高维且稀疏的空间向量映射到低维的潜在语义空间当中。
在得到低维的文本向量和单词向量之后。
再用余弦相似度等度量方式来计算文本间的语义相似度。
潜在语义分析的本质思想就是通过降维来去除原始矩阵中的噪音，从而提高计算准确度。
虽然这种思路不错，但这种方法并没有普适性。
这是因为潜在语义分析模型在架构模型的过程中采用的奇异值分解。
这种做法使得计算复杂度增高，并且可移植性较差。
在这种方法提出来之后。
并不是没人尝试对这种方法进行过改进。
同样是上世纪末。
有研究人员提出了概率潜在语义分析模型。
这种模型是基于概率，而不是基于奇异值分解。
这种模型相比于潜在语义分析模型的主要差异是增加一个主题层。
而后使用期望最大化算法训练主题，并找到一个概率性的潜在主题模型。
以此用来预测文本空间向量中的观察数据。
在这种概率潜在语义分析模型中，多义词被归入不同的主题下，而同义词被归入同一主题下。
这样可以避免同义词和多义词对文本相似度计算的影响。
然而，概率潜在语义分析模型的参数随着文档数量的增加而线性增长。
很容易出现过拟合和泛化不良。
这种情况很大程度又是因为维度爆炸。
因为过拟合只在高维空间中预测相对少的参数和低维空间中预测多参数这两种情况下发生。
一个为了避免维度爆炸而提出的模型却出现了维度爆炸。
多少有点悲剧。
事实上，并不是只有上述两个模型提出来。
这之后还有很多研究团队都在从模型层面的做了不同程度的尝试。
但这些模型要么是南辕北辙，不利于降维。
要么是在降维的同时又带来了新的问题。
总之，这些模型都有各种行不通的地方。
尽管尹芙·卡莉相信林灰是个天才。
但尹芙·卡莉觉得林灰也很难在前人无数次尝试的情况下找到一种全新的能够规避维度爆炸的低维模型。
话说，，，版。】
尹芙·卡莉考虑了很久也没想通林灰究竟表达的是什么意思。
尹芙·卡莉把她刚才她的思考过程对林灰进行了阐述。
林灰听得很认真。
听完之后，林灰笑道：“你都想到了这么多种高维向低维转化的情形。
而且先前你也提到了机器识别文本时为了要机器识别自然语言往往将自然语言数值化。
而后为了将这些数值进行属性区分进一步进行了向量化。
既然你能明白这些，那你就应该知道涉及到自然语言处理方向的问题之所以很容易出现维度爆炸很大程度是因为原始数据就维度极高。
这种情况下我们为什么不直接从源头上解决问题对原始数据做些文章呢？”
听到林灰这话，尹芙·卡莉似乎灵魂深处被触动了一般。
尹芙·卡莉颤声道：“你的意思是说，直接对原始的高维数据进行低维化处理？
处理得到低维化数据之后，在架构模型进行语义文本相似度分析？”