基于支持向量机的金融时间序列预测.pdf
- 文档编号:3433195
- 上传时间:2023-05-05
- 格式:PDF
- 页数:6
- 大小:258KB
基于支持向量机的金融时间序列预测.pdf
《基于支持向量机的金融时间序列预测.pdf》由会员分享,可在线阅读,更多相关《基于支持向量机的金融时间序列预测.pdf(6页珍藏版)》请在冰点文库上搜索。
第14卷第2期2005年4月系统工程理论方法应用SYSTEMSENGINEERING-THEORYMETHODOLOGYAPPLICATIONSVol.14No.2Apr.2005文章编号:
1005-2542(2005)02-0176-06基于支持向量机的金融时间序列预测杨一文,杨朝军(上海交通大学安泰管理学院证券金融研究所,上海200052)【摘要】基于数据的机器学习就是由观测样本数据得出目前尚不能通过原理分析得到的规律,利用其对未来数据进行预测。
神经网络以其优越的函数逼近性能广泛用于建立时间序列过去与未来数据之间某种确定的映射关系,实现预测。
首先分析了以经验风险最小化为准则的神经网络的局限性,以及针对此提出的结构风险最小化准则的优点;其次引出支持向量机;最后利用支持向量机对上海证券综合指数序列趋势做较准确的多步预测。
关键词:
时间序列预测;支持向量机;证券市场中图分类号:
TP183;F830文献标识码:
AFinancialTimeSeriesForecastingBasedonSupportVectorMachineYANGYi-wen,YANGZhao-jun(SecurityInvestmentResearchInstitute,AntaiSchoolofManagementm,ShanghaiJiaotongUniv.,Shanghai200052,China)【Abstract】Oneofpurposesofdata-drivenmachinelearningistofindouttheregularities,whichcantbediscoveredwithprincipleanalysis,toforecastthefuturedata.Withexcellentabilityoffunctionapproxi-mation,neuralnetworksarewidelyusedtodevelopthemapbetweenbepastandthefuturedatatocarryoutthepredictions.First,weanalyzetheshortcomingsoftheneuralnetworksbasedontheruleofempiri-calriskminimization(ERM),andintroducetheruleofstructuralriskminimization(SRM)toovercometheshortcomingsofERM.Second,vectorsupportmachine(SVM),analgorithmimplementingSRM,isin-troduced.Finally,multi-steppredictionsofthetrendofShanghaiSecurityCompositeIndexareachievedwithacceptableaccuracy.Keywords:
timeseriesprediction;supportvectormachine;stockmarket收稿日期:
2004-07-13基金项目:
中国博士后科学研究基金(第34批,2003)作者简介:
杨一文(1962-),男,博士后。
主要从事金融数据挖掘等研究。
证券市场是现实生活中典型的复杂系统,之所以复杂,不仅是影响市场的因素众多,而且它们之间的相互作用是非线性和时变的。
系统内部这些相互作用的因素或状态变量之间的关系也许永远都是一个迷,即难以建立完整的描述市场的动力方程。
如果将股票价格序列看作系统的输出,那么可以缓解无法建立市场动力市场方程的遗憾。
因为作为系统的输出,价格序列毕竟是影响市场各种因素相互作用的结果,因此,价格序列必定载有关于系统状态变量的信息。
本文利用体现统计学理论思想的支持向量机实现金融时间序列的预测,即证券价格变动趋势的多步预测。
1概述xt是一金融时间序列,时间序列预测就是构造映射关系f:
RmRxt+S+P=f(xt+S+xt+S-1+xt+S-m+1)P1,m1为叙述方便,将上述映射关系表示成系统输出yi与系统状态或输入xi之间的关系,即yi=f(xi),yiR,xiRm。
Takens定理1保证,在一定条件下,对于任意时间延迟S与某些m2D+1(系统轨迹坐落在分型维为D的流型上),存在光滑映射f:
RmR。
神经网络为逼近这一非线性影射关系提供了很好的选择,如,对于多层感知机和径向基函数网络,如果给定足够多的神经元,可以对任意连续(光滑)函数以任意精度逼近2,3。
但是神经网络也存在严重的局限,如隐层节点数的确定、局部最优,尤其是网络的训练以训练误差最小为原则,极大限制了网络的推广能力。
具体说明如下,预测是基于y与x之间存在某种未知的依赖关系这一基本假设,即存在一个未知的联合概率分布P(x,y)。
基于机器学习的时间序列预测就是根据n个独立同分布的观测样本(x1,y1),(x2,y2),(xn,yn)在函数集S=f(x,w),w8中寻求一个最优函数f(x,w0),使预期的期望风险或实际风险R(w)=L(y,f(x,w)dP(x,v)
(1)最小。
其中,L(y,f(x,w)为用f(x,w)对y进行预测造成的损失。
然而,由于P(x,y)未知,仅仅利用样本信息无法直接计算期望风险的最小化。
因此,神经网络(包括传统优化方法)利用经验风险Remp(w)=1N6Ni=1L(yi-f(xi,w)=1N6Ni=1(yi-f(xi,w)2
(2)最小化来替代实际风险最小,即经验风险最小准则。
值得指出的是4,神经网络及其他传统优化方法利用经验风险Remp最小代替实际风险R最小仅是直观上的考虑,缺乏坚实的理论依据。
Remp(w)和R(w)都是w的函数,大数定理只能保证当样本数趋于无穷大时,Remp(w)只是在概率意义上趋近于R(w),并不能保证使Remp(w)最小的w*同时也使R(w)最小(最典型的情况就是神经网络的过学习问题),更不能保证Remp(w)的最小值与R(w)的最小值彼此接近。
另外,即使样本数足够大,可以用Remp(w)替代R(w),但仍无法保证在样本数有限时这种替代是有效的。
由于真实风险求解的困难性,人们多年来只能致力于解决经验风险最小化问题。
那么经验风险与期望风险之间究竟存在着怎样的关系呢?
这正是统计学习理论4所研究的问题。
如果损失函数L(y,f(x,w)为一般的有界非负实函数,即0L(y,f(x,w)B,则经验风险与实际风险之间至少以概率1-G满足如下关系:
R(w)Remp(w)+BE21+1+4Remp(w)BE=Remp(w)+5(n/h)(3)其中,E=A1h(ln(a2n/h)+1)-ln(G/4)n(4)0A14、0A22;5为置信范围,随样本数n增加而单调减少,随函数集S=f(x,w),w8的VC维h增加而单调增加。
对于一个特定问题,样本数n是固定的,因此应使函数的VC维h尽量小,但是具有较小VC维的网络结构相对简单,即隐节点数目不是“足够多”,使得网络的逼近函数能力下降,这就是为什么复杂网络(n/h较小)虽然具有很小的训练误差,但推广能力差(即过学习)的根本原因。
由式(3),经验风险最小并不一定意味着实际风险也最小。
统计学习理论4与神经网络之间的一个关键区别是决策算法的优化准则,后者采用经验风险最小化准则,实际上是训练误差最小化;而本文采用的基于统计学习理论的支持向量机则是最小化结构风险,在经验风险与置信范围两者间进行权衡,即式(3)左端最小化,最终降低真实风险,等价于推广误差最小。
支持向量机较传统方法具有小样本学习特性,全局最优和推广能力强等突出优点。
金融市场是一个非常复杂的非线性系统,价格变化的统计特性是非平稳的。
如果用传统的神经网络(多层感知机)预测证券价格的变动趋势,由于问题的复杂性,网络结构也要相应复杂一些,这势必要求较多的样本(以保持式(3)中h/n较小),否则容易导致过学习。
而样本越多,其间统计特性的变化越剧烈,反过来又造成网络学习的困难。
因此,采用具有小样本学习特性的算法是非常必要的。
2结构风险最小化准则由上一节的分析,必须使式(3)右端的经验风险和5同时最小才能达到实际风险最小化的目的。
在神经网络中,网络结构和训练算法一经选定,5也随之确定,然后最小化经验风险Remp。
只有在网络结构和算法复杂度合适的情况下,才能取得较好的结果。
但由于缺乏对5的了解,造成神经网络的使用者对技巧过分依赖。
Vapnik4提出了一种所谓结构风险最小化策略,通过选择合适的VC维使Remp和5同177第2期杨一文,等:
基于支持向量机的金融时间序列预测时最小化。
首先将函数集S=f(x,w),w8分解为如下形式的函数子集结构:
S1S2Skm,xRm,U(x)Rp,U(x)是输入空间Rm中的向量x在特征空间Rp中的像。
在特征空间Rp中沿用线性情况时的优化方法(式(10),即利用特征矢量U(xi)=U1(xi),U2(xi),Up(xi)Ti=1,2,n在高维空间Rp构造最优分类超平面。
因此将内积运算xx替换为U(x)U(x),得二次型优化问题:
maxW(A,A*)=-Ev6ni=1(A*i+Ai)+6ni=1yi(Ai-A*i)-178系统工程理论方法应用第14卷126ni,j=1(A*i-Ai)(A*j-aj)K(xi,xj)(13)s.t.6ni=1A*i=6ni=1Aii=1,2,n0A*iC;0AiC其中,K(xi,xj)是内积核,K(xi,xj)=U(xi)U(xj)=6pk=1Uk(xi)Uk(xj)i,j=1,2,n(14)解得最优超平面系数w*=6ni=1(A*i-Ai)U(xi)b*=1nsv6nsvi=1(yi-w*U(xi)+Evsign(A*i-Ai)A*i-Ai0(15)最终得回归函数ydi=w*U(xi)+b*=6nj=1(A*j-Aj)K(xj,xi)+b*f(xi)(16)实际上没有必要知道非线性变换U()的具体形式,当然也无须进行这种变换。
只要选择适当的内积核K(,),使其具有式(13)的展开形式即可。
泛函分析理论的Mercer定理5给出了函数具有式(14)展开形式的充要条件。
值得指出的是,虽然特征空间Rp的维数往往较高,但不必担心陷入所谓维数灾难。
因为在最优超平面的求解过程中只涉及内积运算,在变换空间中仍能利用原空间的向量计算内积,因此计算复杂度并无多少增加。
4上证综合指数序列的多步预测股票价格预测之所以困难,是因为不确定的内生、外生影响因素众多,从而导致价格的变化充满不确定性。
由于影响因素的不确定性,仅由历史价格提供的预测信息就显不足,完全依靠历史价格预测未来价格是困难的。
Takens定理1保证,在一定条件下,时间序列的过去值组成的矢量与未来值之间存在光滑影射。
就市场常识而言,这种光滑映射在股票价格序列中显然是不存在的。
一种解决方法是引入其他市场信息,如成交量、各种技术指标;一种是降低预测的要求。
前者没有一定的规律可循,多凭预测者的经验。
本文采用后一种方法,改价格序列预测为价格序列趋势预测。
一则预测相对容易;二则不失实际意义。
通过如下方法得到价格序列的趋势,首先对时间序列进行小波变换,然后将高频部分置零,再重构,得到趋势序列。
不严格地说,趋势序列中存在上文所述的光滑映射。
改变小波分解的级数,可调整趋势序列的光滑程度和原始序列的吻合程度。
之所以不采用常用的移动平均方法,是因为该方法不是零相位滤波,不可避免地有滞后现象。
窗口越宽,滞后越严重。
随机选择两段有代表性的行情说明本文方法的有效性。
实验12000年春节后,上海大盘大幅跳空高开,延续1999年底开始的上升趋势,展开一轮大牛市行情。
8月,市场创出历史新高2100点,随后进入调整期,最低调整至1900点左右,并于2000-11和2001-01先后触顶(2100点)回落,形成典型的M头,02-08(1930点)的一根大阴线较前一交易日下跌近50点。
若跌破前期低点(1900点),则头部形态确认;如果在1900点附近获得支撑,有可能继续进行箱体调整,甚至有望延续2000年初开始的牛市行情。
本实验预测2001-02-08以后20个交易日的上证综合指数的变化趋势,看是否在1900点附近获得支撑。
使用6阶Daubechies小波,经4级小波变换、置零、重构,得到趋势序列。
核函数采用径向基函数的形式K(x,y)=exp(x-y)22p21(17)实验中采用直接预测方法。
如n步预测,即预测今天以后第n天的行情。
训练中,利用截止今天以前的序列历史行情数据构造输入矢量xi,以及与之对应的一个n日后的行情输出yi,(xi,yi)组成一个训练对。
训练结束后,直接执行n步预测。
当n+1步预测时,训练数据对构造方式同上,但需重新训练。
训练区间:
1999-10-152001-02-08,预测区间:
2001-02-092001-03-08。
具体参数在表1中给出。
预测结果如图1所示,相当准确地预测了未来20d的行情趋势。
实验22001-02,市场在1900点处获得支撑,并于3月底一举突破前期高点2100点,沿续2000年初开始的牛市行情。
进入6月,指数已爬升至2240点的历史新高,但成交量却没有有效配合,而是逐渐萎缩。
6月中旬下调至2170点,下旬自2240点附近开始下跌,与4月底的调整低点2100点一起形成一个复合型头部。
如果跌破颈线2100点,则头部确认,牛市行情宣告结束;否则短时间内不能完179第2期杨一文,等:
基于支持向量机的金融时间序列预测图1实验1预测结果全确定行情的发展方向。
趋势序列获得方式同实验1,核函数相同。
预测方式为递归预测,训练中,利用截止今天以前的历史行情数据构造输入矢量xi,以及与之对应的一个1日后的行情输出yi,(xi,yi)组成一个训练对。
训练结束后,将一步预测的结果作为输入矢量的分量,预测下一步数值而无需重新训练,如此循环得到多步预测。
训练区间:
1999-12-072001-06-28,预测区间:
2001-06-292001-08-09。
具体参数在表1中给出。
预测结果如图2所示,比较准确地预测了未来30d的行情趋势。
表1具体参数实验1(20d)实验2(30d)输入维数m66输入延迟S3030支持向量数/输入矢量数/%22.7/150.5(15)29/205(14.15)核函数参数p111约束条件C8.5(平均)10损失函数参数E0.0238(平均)0.0035预测方式直接递归绝对误差(平均)0.00620.0830图2实验2预测结果5讨论本文在Takens定理1基础上,根据观测到的指数序列构造训练数据对(xi,yi),对支持向量机进行训练,估计映射关系f:
RmR,yiR,xiRm,使其能够对未知数据做出尽可能准确的预测。
为满足Takens定理的条件,通过简单的小波去噪方法得到上证综合指数序列的趋势序列。
虽然不是指数的精确预测,但不可否认,市场趋势的多步预测同样具有实际意义。
就本文所涉及的预测问题,直接预测和递归预测各有利弊,前者每增加一步预测须重新训练,但精度较高;后者无须重新训练,但精度相对要差一些。
递归预测在原理上优于直接预测,但实际情况应具体分析。
通过分析,证券市场具有分形结构7,因此,随着预测范围的逐步增加,可以将多步预测近似地视为较大尺度上的一步预测。
另一个明显的优点是,在分形结构的基础上,可以得到比较可靠的预测。
具体地,将训练数据截止至前一交易日(t-1),调整训练过程,使关于当前交易日t的预测误差最小,然后代入yt+1对应的输入矢量xt+1,得到预测值ydt+1。
递归预测存在的问题是,误差的累积效应随着预测范围的增加,误差也被迅速放大,非线性情况下尤为如此。
值得说明的是输入矢量x的构造问题,Takens定理1仅仅说明,满足一定条件下,理论上存在那样一个光滑映射,并未说明如何确定输入空间的维数m和时间延迟S,实际应用中需要对这两个参数进行估计6。
估计的结果为构造输入矢量提供一个参考,而在多步预测中,应根据具体情况做适当调整。
约束条件C与损失函数参数E对支持向量机的性能有很大影响,体现在支持矢量的选择与数目上。
Ev的作用是以yi为中心,建立一个直径为2Ev的管道,Ev相对更敏感,越小,支持向量越密集,反之,则稀疏;参数C的作用是调整函数集的复杂度和预测误差之间的取舍,可视为正则化参数的一种形式8,C越小,函数集VC维越高,反之越小。
这两个参数的选择只能在具体应用中反复摸索,不仅要求训练误差最小,而且要求支持向量数目占总输入向量的一个适当的比例。
比例过高,说明函数集可能过于复杂,即VC维较高,因而5较大,导致实际风险较大。
从预测结果看,实验1中,由于采用直接预测可以通过控制ydt的预测精度(因为yt已知),以保证一步预测ydt+1的预测精度,因此预测效果较好。
而实验2中,由于映射函数f的非线性特征,预测误差随预180系统工程理论方法应用第14卷测范围的增加放大速度较快,因而预测精度要差一些,但仍能抓住趋势的变化方向。
支持向量的数目在总输入矢量中所占的比重,直接影响最终结果。
而该比率又与所选择的训练区间以及输入向量的构造方法有关。
需进行多次实验,积累经验,只有在了解数据特性的基础上,才有望得到好的预测结果。
参考文献:
1TakensF.Onthenumericaldeterminationofthedi-mensionofanattractorA.In:
RandD,YoungLS.DynamicalSystemsandTurbulence,Warwick,1980,LectureNotesinMathematiceM,Springer-Verlag,1981.898:
316-381.2HartmanEJ,KowalskiJM.Layeredneuralnet-workswithGaussianhiddenunitsasuniversalapprox-imationsJ.NeuralComputation,1990,2
(1):
210-221.3KrenovichVYa.Arbitrarynonliearityissufficenttorepresentallfunctionsbyneuralnetworks:
AtheoremJ.NeuralNetworks,1991,4
(2):
381-389.4VapnikVN.统计学习理论的本质M.张学工译.北京:
清华大学出版社,2000.5CourantR,HilberD.MethodsofmathematicalphysicsM.NewYork:
WileyInter-Science,1970.6YiwenYang,GuizhongLiu,ZongpingZhang.Stockmarkettrendpredictionbasedonneuralnetworks,multiresolutionanalysisanddynamicalreconstructionA.ProcIEEE/IAFEIntConfonComputationalIn-telligenceforFinancialEngineering(CIFEr)C.NewYork,2000.155-157.7杨一文,刘贵忠.分形市场假说在沪深股票市场中的实证研究J.当代经济科学,2002,24
(1):
75-79.8HaykinS.Neuralnetworks:
Acomprehensivefoun-dationM.2nded.NewYork:
Prentice-HallInc,1999.下期发表论文摘要预报一种基于神经网络和决策树相结合的数据分类新方法倪春鹏,王正欧(天津大学系统工程研究所,天津300072)摘要:
提出了一种将神经网络和决策树相结合的数据分类新方法。
该方法首先依据属性重要性将属性进行排序,然后通过RBF神经网络进行属性裁减,最后生成决策树,并抽取出规则。
与传统的决策树分类方法相比,此方法可依据属性重要性直接生成最小决策树,避免了树的裁减过程,加快了决策树的生成效率,并进一步提高了规则的预测精度。
该法可适用于大规模及高维属性的数据分类问题。
中国基本养老保险基金缺口模型及其应用高建伟1,丁克诠2(1.华北电力大学工商管理学院,北京102206;2.中国科学院研究生院数学院,北京100039)摘要:
根据1997年国务院关于建立统一的企业职工基本养老保险制度的决定文件,利用生存年金理论得到测算我国基本养老保险基金缺口的精算模型。
利用该模型,针对我国目前发放养老金的实际运行机制,对影响基本养老保险基金缺口的因素进行风险排序及敏感性分析,得出影响养老保险基金缺口的主要因素,从而给出缩减基金缺口的合理化建议。
软计算信用分析方法比较梁,吴德胜(中国科学技术大学商学院,合肥230026)摘要:
研究信用分析中的软计算方法:
BP网络与自适应神经模糊推理。
并对软计算方法与DEA、TOPSIS的结合运用作了进一步探讨。
采用V-foldCross-validation技巧,利用样本公司实际指标数据对该模型的评分效果进行了实证研究。
181第2期杨一文,等:
基于支持向量机的金融时间序列预测
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 支持 向量 金融 时间 序列 预测