[轉(zhuǎn)] 曹祥:程序化交易中的過度擬合
近年來,程序化交易在國內(nèi)發(fā)展迅速,采用程序化作為交易手段的投資者越來越多,國內(nèi)對程序化交易的研究也越來越深入。開發(fā)一個優(yōu)秀的程序化交易系統(tǒng),走上穩(wěn)健獲利的投資道路,成為眾多交易者追求的目標。
從開發(fā)一個優(yōu)秀的程序化交易系統(tǒng),到使用該系統(tǒng)獲得一定的利潤是一個復(fù)雜的過程,在此過程中會遇到很多問題。比如,經(jīng)常有投資者在實際使用交易策略前,因為策略的歷史測試收益曲線圖平滑向上,對策略的盈利能力非常自信。而實盤之后,資金曲線卻拐頭向下,不盡人意。出現(xiàn)這種現(xiàn)象的一個重要原因是過度擬合。所謂過度擬合,指的是對于樣本數(shù)據(jù),描述的準確度很高,而對于樣本外數(shù)據(jù),描述的準確度卻很差。具體到程序化交易中,就是歷史行情效果很好,而在未來行情中卻失效。本文嘗試解釋造成過度擬合的原因,并提出避免過度擬合的幾種方法。
過度擬合產(chǎn)生的原因
程序化交易系統(tǒng)的設(shè)計過程包括兩個部分,這兩個部分都有可能造成過度擬合。交易系統(tǒng)設(shè)計的第一部分是形成一個完整的交易規(guī)則體系。形成交易規(guī)則一般有自上而下和自下而上兩種方法:自上而下的方法是基于對市場行情的長期觀察總結(jié)出來規(guī)律,再在規(guī)律的基礎(chǔ)之上形成數(shù)量化的交易策略,這一過程需要長時間交易經(jīng)驗的積累;自下而上的方法是從市場數(shù)據(jù)出發(fā),進行統(tǒng)計分析得出市場特征而形成的交易策略。程序化交易的出現(xiàn)以及電腦技術(shù)的發(fā)展,使得自下而上的方法得到廣泛采用,交易者可以將開發(fā)出來的交易系統(tǒng)用歷史數(shù)據(jù)進行快速測試統(tǒng)計,以觀察系統(tǒng)在歷史行情中的表現(xiàn),形成新交易系統(tǒng)的速度得到極大提升。在測試交易系統(tǒng)的過程中,往往會根據(jù)測試結(jié)果對交易規(guī)則進行重新訓(xùn)練形成新的交易規(guī)則,或者對這些規(guī)則進行組合,這樣產(chǎn)生的交易系統(tǒng)很容易是對市場數(shù)據(jù)的擬合。第二部分是將這些交易規(guī)則通過數(shù)量化的方法實現(xiàn)。在數(shù)量化實現(xiàn)交易系統(tǒng)的過程中,一般會采用參數(shù)來描述系統(tǒng)。設(shè)計者會通過增加參數(shù)個數(shù)和優(yōu)化這些參數(shù),尋找出最佳的交易系統(tǒng)。如果參數(shù)個數(shù)較多或過度優(yōu)化參數(shù),往往就會產(chǎn)生對歷史行情的完美過度擬合,而未來的績效卻大打折扣。
如何避免過度擬合
設(shè)計交易系統(tǒng)的目標是在未來實盤的行情中可以產(chǎn)生利潤,而不是為了追求一條漂亮的歷史測試曲線,過度擬合的交易系統(tǒng)是一個“美麗的陷阱”。如何逃離這個陷阱呢?我們認為可以從交易規(guī)則的形成和交易系統(tǒng)開發(fā)兩大方面著手。
現(xiàn)代數(shù)學對金融市場的數(shù)據(jù)分析表明,時間價格序列包括兩個部分:第一部分是確定項,可以從中找出一定的規(guī)律;第二部分是隨機項,沒有確定性的規(guī)律可言,出現(xiàn)某一現(xiàn)象只是概率性的。當我們從市場歷史行情中提取交易規(guī)則時,需要分析規(guī)則的邏輯性和規(guī)律性,交易規(guī)則需要能夠反映市場的規(guī)律性,具有一定的合理性。同時交易規(guī)則的數(shù)量不宜過多,過多的交易規(guī)則如同對一個事物的描述加上太多的定語,而非事物本質(zhì)的反映,如果事物的表象發(fā)生變化,描述就失效了,只有對事物本質(zhì)的描述才是事物本身的定義。交易規(guī)則同樣必須抓住市場的本質(zhì)??偠灾覀冃枰氖呛唵味行У慕灰紫到y(tǒng),系統(tǒng)越簡潔,生命力就越強,適應(yīng)的市場范圍越廣。
當交易者通過各種途徑形成交易規(guī)則后,在具體的交易系統(tǒng)設(shè)計過程中,需要注意如下問題:
第一,增加歷史測試數(shù)據(jù)樣本容量,避免交易次數(shù)過少。如果歷史測試數(shù)據(jù)量較少,雖然設(shè)計的系統(tǒng)在樣本內(nèi)效果良好,但是較短時間段的測試不具有說服力,系統(tǒng)未來的表現(xiàn)很難預(yù)期。而較少的交易次數(shù)往往是由于增加過多的交易規(guī)則限制,對虧損的交易進行了強過濾,是一種典型的過度擬合行為。
第二,在測試時,將測試的數(shù)據(jù)樣本分為樣本內(nèi)和樣本外,設(shè)計系統(tǒng)的時候采用樣本內(nèi)數(shù)據(jù),然后用樣本外數(shù)據(jù)測試得出的系統(tǒng),如果效果大大降低,那么這種系統(tǒng)極有可能是擬合的。
第三,核心參數(shù)不宜過多,參數(shù)過多的系統(tǒng)是一個多自由度系統(tǒng),在優(yōu)化多個參數(shù)之后總會得出一個漂亮的系統(tǒng),但這種系統(tǒng)的可靠性是令人懷疑的。
第四,在對系統(tǒng)的參數(shù)進行優(yōu)化時,我們需要對最優(yōu)參數(shù)附近的參數(shù)進行考察。如果附近參數(shù)系統(tǒng)的性能遠差于最優(yōu)參數(shù)的性能,那這個最優(yōu)參數(shù)有可能是一個過度擬和的結(jié)果,數(shù)學上稱為奇點解,是不穩(wěn)定的。如果市場的特征稍微發(fā)生變化,最優(yōu)參數(shù)可能會成為最差參數(shù)。
第五,將交易系統(tǒng)用于其他品種,觀察其效用。萬能的交易系統(tǒng)是少見的,但是在一個品種上表現(xiàn)優(yōu)秀的系統(tǒng),在別的品種上至少可以獲利。如果在別的品種上不能盈利,在使用該系統(tǒng)的過程中就應(yīng)該注意其有效性,即是否過度擬合某一品種的特殊行情。
- #1 | taohj20132013-09-05 20:37:07多久更改一次參數(shù),更改參數(shù)有哪些參考
您需要 [注冊] 或 [登陸] 后才能發(fā)表點評