握住科学钥匙 打开科学之门

首页 > 正文

必发88官网

2018-11-08 07:00  来源: 必发主页网

随着计算机的广泛使用和人工智能时代的来临,数据量也越来越庞大。如何处理这些数据?如何从数据中发现规律,提炼有价值的信息?这些都是非常重要的问题。为此,很多人开始从事这些问题的研究工作,他们被称为数据挖掘工程师。现在,让我们一起来探索数据挖掘中的奥妙。

举一个身边的例子。我们先观察某中学男生的身高数据,从中指出身高最高和最矮的同学,或者算出他们身高的平均值。之后,如果我们想要知道男生身高数据的分布情况,比如1.7米至1.75米之间,有多少人,占所有男生的比例是多少,我们应该怎么做?如图1所示,我们可以画出频率分布直方图,将身高最小值至最大值这一区间等分成若干组,每一组男生的人数和频率。然后,在平面直角坐标系中,用横坐标代表身高,纵坐标是每个小组的频率除以相应的组距,并绘制出相应的矩形,每个矩形的面积就是该小组的频率。

图 1

从身高的频率分布直方图中我们可以看到,数据大致呈现“中间高,两边低”的特点。在十六七岁的男生中,超过1.85米和低于1.5米的人数都非常少,而大部分人的身高均集中在1.6米至1.75米之间。因此,虽然每个人的身高具有随机性,但同一年龄同一性别的人群身高分布是有规律的。

这种规律性只在身高数据中体现,还是在自然界中普遍存在呢?英国生物学家法兰西斯·高尔顿做了一个实验。他在一块木板上画了一块等腰三角形,并在三角形区域内钉上n+1层钉子。第1层钉2个钉子,第2层钉3个钉子,下面每一层都比上一层增加一个钉子,上一层的每个钉子都在下一层两个钉子的中间位置。之后,在第n+1层的下面,放入n+2个球槽。

建成后,高尔顿从顶端逐个扔下小球,这些小球在下落过程中与众多钉子发生碰撞,每次碰撞都会使得小球随机向左或向右下落。随着小球个数的增加,掉入各个球槽内的小球的个数会越来越多,堆积的高度也会不断增加。最终,如图2所示,各球槽将呈现出“中间高,两边低”的分布,与我们的身高数据分布非常相似。

图 2

并且,如果进一步增加钉子的层数和小球个数,球槽中小球分布形成的曲线就会越来越光滑,最终趋向于图3“中间高,两边低”的“钟型”曲线,我们将这条曲线称为正态分布密度曲线,简称正态曲线。

图 3

我们通过观察这条曲线可以发现,正态曲线是单峰的,有一条对称轴。对称轴所在的位置正是数据的平均值,用字母μ表示,例如我们的平均身高等。对比图4中的两条正态曲线,我们可以看出虚线对应的平均值更大。

图 4

图5中两条正态曲线的平均值相同,但是形状不同,实线的正态曲线更加“矮胖”,而虚线的正态曲线更加“高瘦”,我们用另一个希腊字母σ(σ>0)来刻画这种“矮胖”或“高瘦”的程度。假设这两条曲线分别代表了两个班学生成绩的分布情况。两个班的平均成绩相差较小,但虚线对应的班级学生成绩更集中于平均成绩附近,它的σ小,而实线对应的班级学生成绩相对分散,它的σ大,可能出现两极分化的情况。所以,σ反映了数据的离散程度,它代表了数据的标准差。知道了μ和σ这两个参数,我们就能画出正态曲线。

图 5

我们也可以从另一个角度理解σ。正态曲线与直线χ=a,χ=b和x轴所围成的图像面积代表了数据在区间(a,b)所占的比例。假设工厂生产某种零件,要求孔径为10mm,但实际生产中会有误差。如果孔径的分布近似服从平均值为10mm,标准差为0.1mm的正态分布。那么如图7所示,孔径落在9.9到10.1这一范围的比例应该是0.683,这是数据分布的主体。孔径落在9.3到10.3这一范围的比例应该是0.997,落在该区间之外的机率非常小。如果出现比较多的产品超出了这一范围,那么我们可以怀疑生产过程出现了问题,这称为“3σ原则”。在生产过程中,我们可以应用这一原则进行产品质量检测。

图 6

图 7

图 7

图 7

正态分布在中是非常常用的分布,例如在医学上,可以应用正态分布估计人体的某些生理指标,比如白细胞数的正常值范围,白细胞数在正常人群中近似服从正态分布。我们可以制定一个上限和下限,比如95%的人在正常范围之内,而超出这一范围的人,我们就认为需要对其进行特殊关注。

本作品为“科普必发88官网-科学原理一点通”原创,转载时务请注明出处。

作者: 赵存宇   [责任编辑: 钟艳平]

相关稿件

正态分布