異常性指標剔除方法

Ⅰ 消除異常值的常用方法有哪些

在SPSS軟體里有2種不同的刪除方法，整條刪除和成對刪除。
當然，這種方法簡單易行，但缺點也很明顯，首先我們經常會遇到的情況是觀測值很少，這種刪除會造成樣本量不足，其次，直接刪除的觀測很多，也可能會改變變數的原有分布，從而造成統計模型不夠穩定。
（2）暫且保留，待結合整體模型綜合分析
通常我們觀測到的異常值，有時在對於整個模型而言，其異常性質並沒有觀測到的明顯，因此最好綜合分析一下，像回歸分析，我們經常利用殘差分布信息來判斷模型優劣，殘差有沒有超出經驗范圍（+3標准差），呈現什麼分布等，另外對於整個模型而言，會有一些指標像Mahalanobis、Cook's、協方差比率等可以提供某條觀測或整體的擬合信息，這些指標也會提示分析人員的異常值信息。如果對於整個模型而言，並不是很明顯時，建議保留。
（3）如果樣本量很小，可以考慮使用均值或其他統計量取代
這不失為一種折中的方法，大部分的參數方法是針對均值來建模的，用均值取代，實際上克服了丟失樣本的缺陷，但卻丟失了樣本「特色」，可以說是不大不小的錯誤。當然如果是時序數據，用於取代的統計量

Ⅱ 異常研究

（一）研究內容

通過異常特徵識別、異常查證和綜合分析，確定異常成因，分析地球化學異常在基礎地質、資源勘查以及農業、環境、生態等方面的應用意義，這是異常研究的基本目的。異常研究主要包括3方面內容：①異常基本屬性特徵的描述，包括異常真實性，異常元素種類、含量、組合、分布形態、面積、濃集中心、分帶、襯度，以及異常元素存在形態、活化遷移和聚積規律及其影響或控制因素，等等；②異常成因分析，確定異常為原生異常、地表次生異常還是人為污染異常，是異常研究的重要任務。異常成因分析主要根據異常基本特徵，如異常產出位置、物質組成，異常與地質背景、地貌景觀、環境污染源的空間關系等分析得於實現；③異常價值評價，地表環境中元素與化合物是自然環境的基本要素與「基因」組成，元素與化合物的分布特別是異常分布具有廣泛的多學科研究及多目標應用意義，是金屬礦產、油氣、地熱等礦產資源勘查，環境質量評價，農田施肥與合理種植及動植物與人體健康研究的基礎依據。

通過異常解剖與分析，深入認識掌握區域景觀環境條件下元素遷移轉化規律，特別是「岩-土-水、氣-植物/農產品-人、畜」系統中的元素遷移轉化規律，積累地球化學調查資料應用的方法依據和實踐經驗，從而促進調查資料在種植或養殖業、農產品安全性、環境質量評價與規劃、地方病以及基礎地質研究（沉積物源、沉積環境、表生景觀/土壤地球化學、地質構造）等多目標全方位應用。

（二）研究步驟

（1）確定背景范圍和異常限

採用前述的圖解法或統計學方法，確定背景值、標准差，進而確定背景范圍和異常限。

為更加密切地將地球化學異常研究與農業、環境、地質找礦等應用目標相結合，也可結合具體應用評價標准確定異常限。如：

環境類異常可參照相應的土壤、水體國家質量標准加以圈定，按照環境質量標准圈出的異常在一定程度上反映了環境質量異常區，包含著特定的生態環境意義。例如，超出《地下水環境質量標准》GB/T14848—93四類水標準的「異常」淺層地下水，就不能用於農業灌溉和工業用水。

當土壤中N、P、K、有機質等營養元素或有益組分低於《中國土壤普查技術標准》（湯茶琴等，2003）中缺乏臨界值時，對作物生長而言，這類「異常」意味著土壤養分的缺乏與不足。

通常採用《區域地球化學勘查規范》和《多目標區域地球化學調查規范》建議方案求取礦產資源類指標的異常下限，即以剔除離群值後的算術平均值加2倍標准離差作為異常下限。從概率統計學角度來看，據此圈出的異常相對於背景區，具有一定的找礦意義。

其他異常下限求取方法與礦產資源類指標的異常下限求取方法相同，即用剔除離群值後的算術平均值加2倍標准離差作為異常下限。

（2）繪制異常圖

根據異常限，以地球化學調查資料為依據，圈定異常范圍。可進一步對異常進行濃度分帶，確定其濃集中心。

結合地球化學異常在農業、環境、地質找礦等方面的應用目標，各類異常圈定時可考慮以下因素：

環境類異常研究區域以經濟發達、人口稠密、環境問題較為突出的地區為主，以環境嚴控指標（元素）作為研究重點。主要圈定具有一定規模（分布面積＞20km²）、強度與特徵明顯、具有環境研究和指示意義的異常。對分布面積小、含量偏低（接近異常下限值）、異常點分布分散、表層與深層土壤元素含量差別不顯著、特徵不明顯、環境指示研究意義不大的異常不再圈定。對含量顯著高於異常下限值，人類生活、生產活動產生環境污染明顯的高含量樣點作為孤高異常點處理。

農業營養及有益元素豐缺異常，以農業地質背景與土壤特徵為基礎，圈定分布面積較大（＞50km²）的具有區域研究意義的地球化學異常。

礦產資源類地球化學異常圈定原則：①圈定區域為基岩區或淺覆蓋區；②深層土壤同樣有異常顯示（有根）；③成礦地質條件較為有利，具有一定的找礦遠景與潛力。採用區域地球化學勘查方法圈定這類異常。

（3）異常屬性描述

描述各個異常的屬性特徵，包括異常元素種類、面積范圍、地理位置、水平分布形態、垂向延伸、濃度分帶、濃集中心、元素組合、異常襯度、極值、變異系數，以及產出地質背景、自然和人文環境等，並採用適當的分類方案進行異常排序、分類分級，按照一定的准則或程序進行異常編號，並按元素種類、異常面積與襯度、異常位置（從上到下，從左到右）登記在冊。

（三）異常研究

1.土壤異常的形成

異常圈定、編號登記之後，根據異常元素組合、異常空間分布、地質背景、景觀環境、工農業生產、污染源分布，初步判斷異常成因，評價異常的地質、生態、環境意義。由於土壤元素來源多樣，累積富集或淋失貧化影響因素眾多，分析異常成因時需考慮以下因素。

（1）地質背景與成土母質

盡管，成壤過程中元素經歷了活化、遷移、重分配的復雜過程，但地質背景條件、成土母質組成仍然是決定土壤地球化學特徵的最重要因素之一。成土母質來源不同、沉積類型及環境條件不同（沖積、洪積、湖沼相、海積等）對原始沉積物的礦物組成、元素含量以及理化特徵有重要影響，由地質背景條件、成土母質類型所引起的土壤異常，可稱為原生異常。

（2）表生地球化學作用

土壤是成土母質經歷長期復雜的物理、化學、生物等綜合作用的結果，元素經歷了活化遷移、淋失貧化、次生富集等作用過程，在土壤垂直方面上產生重分配，在水平方向上則可能形成次生異常。例如，近地表土層的粘土化作用、有機質富集作用、植物根系的吸收與枝葉殘落均有利於某些微量元素在表層土壤中的積聚富集。土壤類型及理化性質的空間分異，同樣可導致次生元素異常的產生，如鹼性土壤有利於元素淀積富集，紅壤化酸性土壤則有利於多種微量元素的淋失貧化。

（3）環境污染的成因

當今人類社會各種活動所產生的污染影響復雜多樣，包括金屬礦產的開采、運輸、冶煉、加工使地殼深部元素大量進入地表環境；煤炭、石油等化石燃料的大量開采利用，工業「三廢」，城鎮垃圾與污水排放，汽車尾氣等工業及交通運輸污染；固體廢棄物及城市垃圾農用、污水灌溉、大氣干濕沉降以及化肥、農葯、有機肥、污泥施用等農業生產污染。各種污染物經由大氣、水等各種介質，逐漸累積富集於土壤、地表沉積物。

工農業生產、居民生活、交通運輸等人類生產與生活活動構成了一系列的點狀、線性、面型污染源，污染所引起的異常形態、強度等特徵取決於污染程度、污染物遷移方式。不同類型污染物的元素組合不同，工業活動排放的污染元素參見表1-1。危害性較大的污染元素包括Hg、Gd、Pb、Cu、Zu、Cr、Ni、As、F、Mn、Ag、Tl、Sn、N、P、Se等。

土壤元素來源復雜多樣，實際研究時應充分考慮多種作用機制的影響，以系統、歷史、動態的觀點分析異常成因，預測土壤環境的變化趨勢。

2.異常成因的判別方法

（1）異常空間分布

異常空間分布與異常物源有著必然的空間關系，分析異常元素組成、地理分布、濃集中心等基本特徵，及其與地質環境背景、土壤理化性質、環境污染源的空間關系，有助於剖析異常成因，追蹤異常物質來源。

首先，原生異常在空間分布上與特定的地質背景、沉積環境條件具有空間相關關系，在物質組成上與原始沉積物組成比較接近。因此，綜合分析異常分布及物質組成與基岩地質、第四紀地質、水文地質、土壤環境、地形地貌、植被的關系，是正確區分異常屬性的基礎。

其次，地形地貌、地質、土壤、水文、氣候、景觀、植被等環境條件具有空間分異性，因而元素表生地球化學行為也存在空間分異性，作用方式與強度不同的富集或貧化作用可能產生地球化學異常。顯然，次生地球化學異常的判斷需要充分考慮影響元素表生行為的諸多景觀環境要素、土壤理化環境條件。

再者，人為污染引起的異常同樣與污染源存在著特定的空間關聯性。人為污染物類型包括氣、液、固，排放方式包括點、線（如河流）、面（如大氣擴散），因此，根據污染物遷移分散規律，就異常與污染源空間分布關系，可以初步推斷異常成因。分析廠礦、企業、居民點的類型、規模、分布，及其污染排放類型（有機污染物或無機元素）、污染物形態類型（氣、液、固）、排放量（年排放量）與異常物質組成、空間分布的關系，是異常成因分析的重要內容。

（2）異常元素組合特徵

異常成因及其物質來源不同，決定了異常元素組合特徵的不同。因此，研究異常元素組合特徵、空間分布，及其與地質背景、環境條件、污染源（廠礦企業、城鎮居民區、交通運輸、農業生產）的內在聯系，如異常元素組合及其與土壤有機碳、pH值、宏量元素的關系，為異常成因及異常源的推斷提供依據。

異常元素組合特徵對判別污染源具有重要指示作用。例如，德國柏林市土壤調查表明（Manfred Birke et al.，2000），Al、K、Na、Rb、Zr、Nb、Ti的分布及其富集主要與自然地質作用或成壤作用有關，反映了下伏地層組成特徵；工業區具有明顯的Cu-Zn-Pb-Hg-Sn-Ni污染組合；與其地質背景相比，工業區和商業區顯著富集Pb、Hg、Ca，電導率增強；城市區明顯富集與人類活動有關的Cd、Ni、Cu、Hg、Pb、Sn、Th、Tl元素；居民區、大量施用化肥與污泥的農業區則富集Cd、Cr、V、P。

（3）表層與深層土壤元素含量對比

表層與深層土壤受成壤改造作用的程度不同。深層土壤更大程度上反映了原始沉積物的組成；而表層土壤元素組成與含量受表生作用的影響較大；同時，人類活動對深層和表層土壤的影響程度也不同，活動性較弱的重金屬元素進入土壤後往往首先淀積富集於表層土壤。因此，對比表層和深層土壤元素分布及含量變化，有助於斷定異常成因。

在特定的地球化學景觀區，尤其是地形開闊平緩、沉積物源和沉積環境比較均一、植被類型相近的第四系沖洪積平原區，對於某個特定的元素而言，成壤過程中淋濾貧化或淀積富集程度基本相同，即表層與深層土壤中元素含量比值（富集系數）趨近常數，一些元素的大范圍表層弱富集很可能與表生作用有關。由於重金屬在土壤中的遷移能力一般較弱，特定層位的重金屬富集，大多同該層位形成的時代相關。人類歷史上采礦冶煉排放的重金屬大多保存於相應時代的沉積層中；而近代大氣沉降、污水灌溉、肥料農葯施用所帶入土壤的重金屬則大多聚積於表層土壤。

因此，綜合表層與深層土壤元素含量比值、不同層位異常空間分布、土壤理化性質（如質地、有機質、pH值等）等信息，可以初步推斷土壤異常的成因：屬於地質高背景（與成土母質有關）的原生異常，還是次生富集作用所形成的表生異常，或是人為污染疊加引起的污染異常。當局部地段土壤元素富集系數超出正常波動范圍，往往是人為污染的結果。同深層土壤異常相對比，可以排查成土母質或地質背景（礦化）對表層土壤異常的影響，判斷異常是否「有根」，從而區分污染異常與原生異常。

對比表層與深層土壤元素含量時，需要考慮元素表生行為（活動性大小）、土壤理化性質、污染作用的時間與強度等因素。如Swennen等對比利時和盧森堡河漫灘沉積物剖面研究發現，一些地區重金屬富集與沉積母質富含粘土有關，個別地區元素富集於深層土壤是由於表層土為低有機質砂質土，土壤元素由表層向深部淋溶所致。

3.異常研究

土壤沉積物、水、植物等地表環境介質中的元素來源於自然地質背景、表生地球化學作用以及人類活動污染等，並在特定環境條件下形成地球化學異常。根據元素的農業、環境、地熱、醫學及人體健康、找礦勘查、沉積環境指示意義，結合異常查證工作，可以開展農業、環境、地方病、礦勘資源潛力等各方面應用研究。

Ⅲ 剔除「異常值」的一般原則是啥

在處理實驗數據的時候，我們常常會遇到個別數據值偏離預期或大量統計數據值結果的情況，如果我們把這些數據值和正常數據值放在一起進行統計，可能會影響實驗結果的正確性，如果把這些數據值簡單地剔除，又可能忽略了重要的實驗信息。這里重要的問題是如何判斷異常值，然後將其剔除。判斷和剔除異常值是數據處理中的一項重要任務，目前的一些方法還不是十分完善，有待進一步研究和探索。異常值outlier：指樣本中的個別值，其數值明顯偏離它（或他們）所屬樣本的其餘觀測值,也稱異常數據，離群值。目前人們對異常值的判別與剔除主要採用物理判別法和統計判別法兩種方法。所謂物理判別法就是根據人們對客觀事物已有的認識，判別由於外界干擾、人為誤差等原因造成實測數據值偏離正常結果，在實驗過程中隨時判斷，隨時剔除。統計判別法是給定一個置信概率，並確定一個置信限，凡超過此限的誤差，就認為它不屬於隨機誤差范圍，將其視為異常值剔除。當物理識別不易判斷時，一般採用統計識別法。

Ⅳ spss 異常值剔除 用什麼方法

我常用一下方法：
1、可以通過「分析」下「描述統計「下「頻率」的」繪制「直方圖」，看圖發現頻數出現最少的值，就可能是異常值，但還要看距離其它情況的程度。

2、可通過「分析」下的「描述統計」下的「探索」下的「繪制」選項的「葉莖圖」，看個案偏離箱體邊緣（上端、下端）的距離是箱體的幾倍，「○」代表在1.5-3倍之間（離群點），「*」代表超過3倍（極端離群點）。

3、可以通過「分析」下「描述統計「下「描述」下的選項「將標准化存為變數Z」，選擇相應的變數，「確定」。將生成新變數，如果值超過2，肯定是異常值。

Ⅳ 異常數據剔除

Hough 變換擬合直線，不過這個是數字圖像處理裡面比較專業的知識。怕是...

我可以編寫程序，來幫你處理該問題，有興趣可以找我

補充： 我想知道LZ想做什麼，簡單方法是這樣做：

1。對於線性數列，求出所有相鄰兩樹差，得到一個新的數列，然後統計新數列的眾數（就是出現最多的那個）得到線性數列的公差。
2。然後假設第一個個數是非異常數字。
3。假設數據不斷加公差，看看絕大大多數是不是在原線性數列中，分情況：
4。若是 ： 則第一個數以及第一個數+公差與原數列相同的元素均為非異常數據，其他則為異常數據。
5。若不是：則第一個數為異常數列，在假設第2個非異常數據，返回到第3步。一直找到滿足條的的數。

注 ： 異常數據畢竟是少數，計算次數與線性數列內元素個數正相關。假設個數為n
最小計算次數；2*n
最大計算次數：n*(n-1)
理論平均： n*log(n)

在補充 ：

實驗數據其實一般用圖表，把所有元素對應點放在一張圖上，找直線，使最多點落在直線上，不在直線上的數據去掉就可以了

Ⅵ 留一法交叉驗證的詳細步驟和異常值剔除。

建議建立兩個指標，一個是平方和指標，一個是對應的MAXE指標，根據MAXE和平方指標來綜合考慮剔除異常值（加權法）。。。

Ⅶ 異常值處理

異常值處理的常用方法：直接將該條觀測刪除在SPSS軟體里有2種不同的刪除方法，整條刪除和成對刪除。

Gn——格拉布斯檢驗統計量：

確定檢出水平α，查表（見GB4883）得出對應n，α的格拉布斯檢驗臨界值G1-α(n)。

當Gn>G1-α(n),則判斷Xn為異常值，否則無異常值。

給出剔除水平α』的G1-α』(n),當當Gn>G1-α』(n)時,Xn為高度異常值，應剔除。

測區混凝土強度標准差：

取檢出水平α為5%，剔除水平α』為1%，按雙側情形檢驗，從附表中查得檢出水平α對應格拉布斯檢驗臨界值G0.975,剔除水平α』對應格拉布斯檢驗臨界值G0.995。

若Gn>Gn』，且Gn>G0.975，則判斷fn為異常值，否則，判斷無異常值；

若Gn>Gn』，且Gn>G0.995，則判斷fn為高度異常值，可考慮剔除；

若Gn』>Gn，且Gn』>G0.975，則判斷f1為異常值，否則，判斷無異常值；

若Gn』>Gn，且Gn』>G0.995，則判斷f1為高度異常值，可考慮剔除。

以上內容參考：網路-異常值

Ⅷ 方法剔除異常值，是不是需要循序反復進行多次

在回彈法檢測砼強度中，按批抽樣檢測的測區數量往往很多，這就不可避免出現較多的檢測異常值，怎樣判斷和處理這些異常值，對於提高檢測結果的准確性意義重大。格拉布斯檢驗法是土木工程中常用的一種檢驗異常值的方法，其應用於回彈法檢測砼強度，能有效提高按批抽樣檢測結果的准確性。