[轉(zhuǎn)] 慎用過(guò)度擬合的程式化交易系統(tǒng)!
近年來(lái),程序化交易在國(guó)內(nèi)發(fā)展迅速,采用程序化作為交易手段的投資者越來(lái)越多,國(guó)內(nèi)對(duì)程序化交易的研究也越來(lái)越深入。開(kāi)發(fā)一個(gè)優(yōu)秀的程序化交易系統(tǒng),走上穩(wěn)健獲利的投資道路,成為眾多交易者追求的目標(biāo)。
從開(kāi)發(fā)一個(gè)優(yōu)秀的程序化交易系統(tǒng),到使用該系統(tǒng)獲得一定的利潤(rùn)是一個(gè)復(fù)雜的過(guò)程,在此過(guò)程中會(huì)遇到很多問(wèn)題。比如,經(jīng)常有投資者在實(shí)際使用交易策略前,因?yàn)椴呗缘臍v史測(cè)試收益曲線圖平滑向上,對(duì)策略的盈利能力非常自信。而實(shí)盤(pán)之后,資金曲線卻拐頭向下,不盡人意。出現(xiàn)這種現(xiàn)象的一個(gè)重要原因是過(guò)度擬合。所謂過(guò)度擬合,指的是對(duì)于樣本數(shù)據(jù),描述的準(zhǔn)確度很高,而對(duì)于樣本外數(shù)據(jù),描述的準(zhǔn)確度卻很差。具體到程序化交易中,就是歷史行情效果很好,而在未來(lái)行情中卻失效。下面嘗試解釋造成過(guò)度擬合的原因,并提出避免過(guò)度擬合的幾種方法。
過(guò)度擬合產(chǎn)生的原因
程序化交易系統(tǒng)的設(shè)計(jì)過(guò)程包括兩個(gè)部分,這兩個(gè)部分都有可能造成過(guò)度擬合。交易系統(tǒng)設(shè)計(jì)的第一部分是形成一個(gè)完整的交易規(guī)則體系。形成交易規(guī)則一般有自上而下和自下而上兩種方法:自上而下的方法是基于對(duì)市場(chǎng)行情的長(zhǎng)期觀察總結(jié)出來(lái)規(guī)律,再在規(guī)律的基礎(chǔ)之上形成數(shù)量化的交易策略,這一過(guò)程需要長(zhǎng)時(shí)間交易經(jīng)驗(yàn)的積累;自下而上的方法是從市場(chǎng)數(shù)據(jù)出發(fā),進(jìn)行統(tǒng)計(jì)分析得出市場(chǎng)特征而形成的交易策略。程序化交易的出現(xiàn)以及電腦技術(shù)的發(fā)展,使得自下而上的方法得到廣泛采用,交易者可以將開(kāi)發(fā)出來(lái)的交易系統(tǒng)用歷史數(shù)據(jù)進(jìn)行快速測(cè)試統(tǒng)計(jì),以觀察系統(tǒng)在歷史行情中的表現(xiàn),形成新交易系統(tǒng)的速度得到極大提升。在測(cè)試交易系統(tǒng)的過(guò)程中,往往會(huì)根據(jù)測(cè)試結(jié)果對(duì)交易規(guī)則進(jìn)行重新訓(xùn)練形成新的交易規(guī)則,或者對(duì)這些規(guī)則進(jìn)行組合,這樣產(chǎn)生的交易系統(tǒng)很容易是對(duì)市場(chǎng)數(shù)據(jù)的擬合。第二部分是將這些交易規(guī)則通過(guò)數(shù)量化的方法實(shí)現(xiàn)。在數(shù)量化實(shí)現(xiàn)交易系統(tǒng)的過(guò)程中,一般會(huì)采用參數(shù)來(lái)描述系統(tǒng)。設(shè)計(jì)者會(huì)通過(guò)增加參數(shù)個(gè)數(shù)和優(yōu)化這些參數(shù),尋找出最佳的交易系統(tǒng)。如果參數(shù)個(gè)數(shù)較多或過(guò)度優(yōu)化參數(shù),往往就會(huì)產(chǎn)生對(duì)歷史行情的完美過(guò)度擬合,而未來(lái)的績(jī)效卻大打折扣。
如何避免過(guò)度擬合
設(shè)計(jì)交易系統(tǒng)的目標(biāo)是在未來(lái)實(shí)盤(pán)的行情中可以產(chǎn)生利潤(rùn),而不是為了追求一條漂亮的歷史測(cè)試曲線,過(guò)度擬合的交易系統(tǒng)是一個(gè)“美麗的陷阱”。如何逃離這個(gè)陷阱呢?可以從交易規(guī)則的形成和交易系統(tǒng)開(kāi)發(fā)兩大方面著手。
現(xiàn)代數(shù)學(xué)對(duì)金融市場(chǎng)的數(shù)據(jù)分析表明,時(shí)間價(jià)格序列包括兩個(gè)部分:第一部分是確定項(xiàng),可以從中找出一定的規(guī)律;第二部分是隨機(jī)項(xiàng),沒(méi)有確定性的規(guī)律可言,出現(xiàn)某一現(xiàn)象只是概率性的。當(dāng)我們從市場(chǎng)歷史行情中提取交易規(guī)則時(shí),需要分析規(guī)則的邏輯性和規(guī)律性,交易規(guī)則需要能夠反映市場(chǎng)的規(guī)律性,具有一定的合理性。同時(shí)交易規(guī)則的數(shù)量不宜過(guò)多,過(guò)多的交易規(guī)則如同對(duì)一個(gè)事物的描述加上太多的定語(yǔ),而非事物本質(zhì)的反映,如果事物的表象發(fā)生變化,描述就失效了,只有對(duì)事物本質(zhì)的描述才是事物本身的定義。交易規(guī)則同樣必須抓住市場(chǎng)的本質(zhì)??偠灾覀冃枰氖呛?jiǎn)單而有效的交易系統(tǒng),系統(tǒng)越簡(jiǎn)潔,生命力就越強(qiáng),適應(yīng)的市場(chǎng)范圍越廣。
當(dāng)交易者通過(guò)各種途徑形成交易規(guī)則后,在具體的交易系統(tǒng)設(shè)計(jì)過(guò)程中,需要注意如下問(wèn)題:
第一,增加歷史測(cè)試數(shù)據(jù)樣本容量,避免交易次數(shù)過(guò)少。如果歷史測(cè)試數(shù)據(jù)量較少,雖然設(shè)計(jì)的系統(tǒng)在樣本內(nèi)效果良好,但是較短時(shí)間段的測(cè)試不具有說(shuō)服力,系統(tǒng)未來(lái)的表現(xiàn)很難預(yù)期。而較少的交易次數(shù)往往是由于增加過(guò)多的交易規(guī)則限制,對(duì)虧損的交易進(jìn)行了強(qiáng)過(guò)濾,是一種典型的過(guò)度擬合行為。
第二,在測(cè)試時(shí),將測(cè)試的數(shù)據(jù)樣本分為樣本內(nèi)和樣本外,設(shè)計(jì)系統(tǒng)的時(shí)候采用樣本內(nèi)數(shù)據(jù),然后用樣本外數(shù)據(jù)測(cè)試得出的系統(tǒng),如果效果大大降低,那么這種系統(tǒng)極有可能是擬合的。
第三,核心參數(shù)不宜過(guò)多,參數(shù)過(guò)多的系統(tǒng)是一個(gè)多自由度系統(tǒng),在優(yōu)化多個(gè)參數(shù)之后總會(huì)得出一個(gè)漂亮的系統(tǒng),但這種系統(tǒng)的可靠性是令人懷疑的。
第四,在對(duì)系統(tǒng)的參數(shù)進(jìn)行優(yōu)化時(shí),我們需要對(duì)最優(yōu)參數(shù)附近的參數(shù)進(jìn)行考察。如果附近參數(shù)系統(tǒng)的性能遠(yuǎn)差于最優(yōu)參數(shù)的性能,那這個(gè)最優(yōu)參數(shù)有可能是一個(gè)過(guò)度擬和的結(jié)果,數(shù)學(xué)上稱為奇點(diǎn)解,是不穩(wěn)定的。如果市場(chǎng)的特征稍微發(fā)生變化,最優(yōu)參數(shù)可能會(huì)成為最差參數(shù)。
第五,將交易系統(tǒng)用于其他品種,觀察其效用。萬(wàn)能的交易系統(tǒng)是少見(jiàn)的,但是在一個(gè)品種上表現(xiàn)優(yōu)秀的系統(tǒng),在別的品種上至少可以獲利。如果在別的品種上不能盈利,在使用該系統(tǒng)的過(guò)程中就應(yīng)該注意其有效性,即是否過(guò)度擬合某一品種的特殊行情。
您需要 [注冊(cè)] 或 [登陸] 后才能發(fā)表點(diǎn)評(píng)