数据中的异常值，应该直接写入吗？

不少人曾问我：我的原始数据中的有精神状态最大值，是不是不该撤下？要回答这个问题，我们能够从精神状态最大值的概念来谈及。不太可能有的人觉得精神状态最大值很好理解，不就是“精神状态”的最大值吗？关键因素是，怎样才算精神状态呢？例：在10个原始数据中的（下图灰色点）或多或少加入红、绿、蓝色的3个点，它们都是精神状态最大值吗？精神状态最大值其实是一个比较广义的概念，它据估计包含了三种妥善处理方式：(1) 离群最大值（outliner）离群最大值是指从因变量y的角度来看仅指精神状态的最大值，如图中的的灰色点和红色点，相反y的均最大值较其它点更远。离群最大值上亦会使用学生化残差来断定。(2) 高杠杆最大值（high leverage）高杠杆最大值是指从连续性x的角度来看仅指精神状态的最大值，如图中的的蓝色点和红色点，在x轴上相反x的均最大值较远。高杠杆最大值上亦会使用杠杆最大值来断定。(3) 过关斩将不良影响最大值（influential observation）过关斩将不良影响最大值是指对假设不良影响相当大的最大值，意味着，如果撤下了该最大值，亦会所致假设起因相当大波动（如数值最大值扭转相当大）。过关斩将不良影响点上亦会使用COOK'D最大值、DFBETAS和DFFITS来断定。下图来得了有所不同精神状态最大值对假设匹配效果的不良影响。图中的灰色都只表示不含这3个精神状态最大值的匹配线，红色、灰色、蓝色虚线分别表示含红色点、灰色点、蓝色点时的匹配线。不难看出，含有红色点时，对假设匹配不良影响完全不大（与灰色都只完全意味着）；含有蓝色点时，匹配线被向下拉低，即回归数值远低于灰色都只；含有灰色点时，匹配线也被拉低。如果要断定的话，红色点虽然从x斜向和y斜向上都相反均最大值，但却不是过关斩将不良影响点；蓝色点和灰色点才是过关斩将不良影响点，因为反之亦然的任一点便可以所致数值起因相当大波动。我们现在已经知道了如何断定一个点是不是精神状态点，紧接着的问题就是，如果我推断出了精神状态点，不该怎么妥善处理？不少人习惯有趣粗暴的方法，即反之亦然撤下。这并不是比较好的事先，有时甚至亦会让你错过一些真正的规律性。当你推断出精神状态最大值后，一定要先避免出现是什么缘故所致的精神状态最大值，然后再进一步如何妥善处理。如果是仅指除此以外差错或实验室记录差错等，这很容易，立刻修改亦可。如果不是除此以外差错，而是无论如何普遍存在这样的精神状态最大值，这时必需根据有所不同妥善处理方式来分别对待。首先，如果这一精神状态最大值并不代表一种瞬时的，而是格外巧合的反常，或者说你并不愿研究课题这种巧合的反常，这时可以将其撤下。例如，你要研究课题身高与腹水的关系，但你的研究课题许多人中的恰好设为了杜兰特，这种情况下，可以将其撤下，先用其他人进行统计分析。因为这并不代表一种瞬时的反常，而且你不太可能也不愿研究课题类似于的情况。其次，如果精神状态最大值普遍存在且代表了一种真实普遍存在的反常，那就不能不用撤下。比如调查了100个村的胃癌出生率，不太可能无论如何有个别村庄的出生率差不多略低于其它村，这时就不能不用撤下，而是要把这些精神状态点设为，重新匹配假设，研究课题其规律性。例：某实验室检测了细菌培养菌群数目与一段时间的关系，试进行统计分析。很明显，下图中的的两个白点是精神状态点，可以让给定回归的数值起因剧烈波动。那这种情况下到底必需撤下这两个最大值呢？首先看一下这两个最大值到底实验误差，如果这两个最大值是精确的，那它很不太可能代表了一种真实情况。意味着，在短期内增长加速，但是到了一个关键因素一段时间点后（如30），种群数目就亦会剧增。此时如果你反之亦然撤下这两个点，就无法真正推断出这种规律性。所以我们可以设为这两个点，但是不能匹配给定回归，而是要根据其形状匹配非给定假设。如此处可以考虑对一段时间time进行指数变换，可以推断出变换后假设更能有效地匹配原始数据。