1、编译原理词法分析器语法分析课程设计报告书编译原理课 程 设 计院 系 信息科学与技术学院 专 业 软件工程 年 级 2011级 学 号 20112723 姓 名 林苾湲 西南交通大学信息科学与技术学院2013年 12月课程设计1 词法分析器 21.1 设计题目 21.2 设计容 21.3 设计目的 21.4 设计环境 21.5 需求分析 21.6 概要设计 21.7 详细设计 41.8 编程调试 51.9 测试 111.10 结束语 13课程设计2 赋值语句的解释程序设计 142.1 设计题目 142.2 设计容 142.3 设计目的 142.4 设计环境 142.5 需求分析 152.6 概
2、要设计 162.7 详细设计 162.8 编程调试 242.9 测试 242.10 结束语 25课程设计一 词法分析器设计一、设计题目 手工设计c语言的词法分析器（可以是c语言的子集）。二、设计容 处理c语言源程序，过滤掉无用符号，判断源程序中单词的合法性，并分解出正确的单词，以二元组形式存放在文件中。三、设计目的 了解高级语言单词的分类，了解状态图以及如何表示并识别单词规则，掌握状态图到识别程序的编程。四、设计环境该课程设计包括的硬件和软件条件如下：4.1.硬件（1）Intel Core Duo CPU P8700（2）存4G4.2.软件（1）Window 7 32位操作系统（2）Micro
3、soft Visual Studio c#开发平台4.3.编程语言 C#语言五、需求分析5.1.源程序的预处理：源程序中，存在许多编辑用的符号，他们对程序逻辑功能无任何影响。例如：回车，换行，多余空白符，注释行等。在词法分析之前，首先要先剔除掉这些符号，使得词法分析更为简单。5.2.单词符号的识别并判断单词的合法性：将每个单词符号进行不同类别的划分。单词符号可以划分成5中。 (1)标识符：用户自己定义的名字，常量名，变量名和过程名。(2)常数：各种类型的常数。(3) 保留字（关键字）：如if、else、while、int、float等。(4) 运算符：如+、-、*、=等。(5)界符：如逗号、分
4、号、括号等。5.3.将所有合法的单词符号转化为便于计算机处理的二元组形式：（单词分类号，单词自身值）；以图形化界面显示出来。5.4.可选择性地将结果保存到文件中。六、概要设计6.1数据类型6.1.1.单词的分类：本词法分析器演示的是C语言的一个子集，故字符集如下：(1)标识符：以字母开头的字母数字串。(2)整数或浮点型(3)保留字：auto, break, case, char, const, continue, default, do, double, else, enum, extern, float, for, goto, if, int, long, register, return,
5、 short, signed, sizeof, static, struct, switch, typedef, union, unsigned, void, volatile, while(4)运算符：+、-、*、/、%、=、!=、=、=、+、-、!、&、&、|；(5)界符： ( ) : ; “ # , 6.1.2.单词二元组：（单词分类号，单词自身值） 表6.1单词分类表单词分类号标识符1常数2保留字3界符4运算符5 6.2词法分析器的结构图6.1 词法分析器的结构 6.3部分单词的正规式与状态转换图图6.2部分单词的状态转换图 6.4功能模块表6.2 词法分析器的C#程序过程或函数功能表
6、过程或函数名简要功能说明GetTokens()分析源程序得到单个单词并大致区分其类型，并生成二元组GetInput( string get )输入源程序NoWs( string aCopy, int cp )去除源程序中的空格符GetTokenType最终确定标识符和保留字OutPut输出二元组到指定的.txt文件中GetResult输出二元组七、详细设计7.1总体流程图 图7.1程序总体流程图7.2主要分支选择算法介绍 7.2.1case0情况算法 图7.2 部分分支流程图八、编程调试8.1主要源代码/逻辑操作类与函数using System;using System.Collections
7、.Generic;using System.Text;using System.IO;namespace TokenAnalysis struct TokenNode public string type; public string token; class TokenAnalysis int cPosition = 0; int lPosition = 0; int ignorWs = 0; int recordWs = 1; FileInfo output; string source; string kwList = auto, break, case, char, const, co
8、ntinue, default, do, double, else,enum, extern, float, for, goto, if, int, long, register,return, short, signed, sizeof, static, struct, switch, typedef, union, unsigned, void, volatile, while,printf,scanf,end,main; int Error = -2; int Normal = -1; int statue = -1; bool isComment = false; List resul
9、tTokenNodes = new List(); public List GetTokens() TokenNode node2Add = new TokenNode(); int cp = 0;/current position int lp = 0;/last position string aCopy = source; int length = aCopy.Length; aCopy = aCopy.Trim(); while( cp aCopy.Length ) /ID or KeyWords node2Add = this.GetToken( ignorWs, aCopy, re
10、f cp, ref lp ); if( node2Add.type = cmtLeft ) isComment = true; if( node2Add.type = cmtRight ) isComment = false; if( !isComment & node2Add.type != cmtRight ) resultTokenNodes.Add( node2Add ); return resultTokenNodes; public TokenNode GetToken() if( cPosition source.Length ) TokenNode token = this.G
11、etToken( ignorWs, source, ref cPosition, ref lPosition ); return token; else TokenNode token = new TokenNode(); token.token = Error; return token; private TokenNode GetToken( int type, string aCopy, ref int cp, ref int lp ) TokenNode token = new TokenNode(); string tempToken; string tempType; if( ty
12、pe = ignorWs ) if( Char.IsLetter( aCopy cp ) ) cp+; while( cp aCopy.Length & ( Char.IsLetterOrDigit( aCopy cp ) | aCopy cp = _ ) ) cp+; tempToken = aCopy.Substring( lp, cp - lp ); tempType = 1 or 3; tempType = GetTokenType( tempToken, tempType ); token.token = tempToken; token.type = tempType; lp =
13、cp = NoWs( aCopy, cp ); /Num else if( Char.IsDigit( aCopy cp ) ) cp+; while( cp aCopy.Length & ( ( Char.IsDigit( aCopy cp ) ) | ( aCopy cp = . & Char.IsDigit( aCopy cp + 1 ) ) ) ) cp+; tempToken = aCopy.Substring( lp, cp - lp ); tempType = 2; token.token = tempToken; token.type = tempType; lp = cp =
14、 NoWs( aCopy, cp ); /Border else if( aCopy cp = ( | aCopy cp = ) | aCopy cp = | aCopy cp = | aCopy cp = | aCopy cp = | aCopy cp = , | aCopy cp = ; | aCopy cp = | aCopy cp = | aCopy cp = ) cp+; tempToken = aCopy.Substring( lp, cp - lp ); tempType = 4; token.token = tempToken; token.type = tempType; l
15、p = cp = NoWs( aCopy, cp ); /Operation and other else if( cp ) cp+; break; case *: cp = NoWs( aCopy, cp ); if( aCopy cp = = | aCopy cp = / ) cp+; break; case /: cp = NoWs( aCopy, cp ); if( aCopy cp = = | aCopy cp = * ) cp+; break; case =: cp = NoWs( aCopy, cp ); if( aCopy cp = = ) cp+; break; case :
16、 cp = NoWs( aCopy, cp ); if( aCopy cp = = ) cp+; break; case : cp = NoWs( aCopy, cp ); if( aCopy cp = = ) cp+; break; case !: cp = NoWs( aCopy, cp ); if( aCopy cp = = ) cp+; else statue = Error; break; case |: cp = NoWs( aCopy, cp ); if( aCopy cp = | ) cp+; else statue = Error; break; case &: cp = N
17、oWs( aCopy, cp ); if( aCopy cp = & ) cp+; else statue = Error; break; default: statue = Error; break; tempToken = aCopy.Substring( lp, cp - lp ); tempToken = tempToken.Replace( , ); tempType = 5; tempType = GetTokenType( tempToken, tempType ); token.token = tempToken; token.type = tempType; lp = cp
18、= NoWs( aCopy, cp ); return token; public void GetInput( string get ) /source = for( int i = 0; i length; i+ ) /* cmt */; source = get; private int NoWs( string aCopy, int cp ) if( cp aCopy.Length ) while( Char.IsWhiteSpace( aCopy cp ) ) cp+; return cp; private string GetTokenType( string tk2anls, s
19、tring iniType ) if( iniType = 1 or 3 ) foreach( string kw in kwList ) if( tk2anls = kw ) return 3; return 1; if( iniType = 5 ) if( tk2anls = /* ) return cmtLeft; if( tk2anls = */ ) return cmtRight; return iniType; return UnknownTpye; public void OutPut( string fileName ) FileInfo outFile = new FileI
20、nfo( fileName ); StreamWriter fw = outFile.AppendText(); foreach( TokenNode tkNode in resultTokenNodes ) string show = string.Format( 0,-251,-40, tkNode.token, tkNode.type ); System.Console.WriteLine( show ); fw.WriteLine( show ); fw.Close(); public void OutPut() FileInfo outFile = new FileInfo( res
21、ult.txt ); StreamWriter fw = outFile.AppendText(); foreach( TokenNode tkNode in resultTokenNodes ) string show = string.Format( 0,-251,-40, tkNode.token, tkNode.type ); System.Console.WriteLine( show ); fw.WriteLine( show ); fw.Close(); public List GetResult() List res = new List(); foreach( TokenNo
22、de tkNode in resultTokenNodes ) string show = string.Format( 0,-251,-40, tkNode.token, tkNode.type ); res.Add( show ); return res; /前台控制类与函数namespace TokenAnalysis_FormApp public partial class Form1 : Form public Form1() InitializeComponent(); private void btnAnalysis_Click(object sender, EventArgs
23、e) TokenAnalysis.TokenAnalysis ta = new TokenAnalysis.TokenAnalysis(); ta.GetInput(rtxtInput.Text); ta.GetTokens(); List res = ta.GetResult(); lstResult.Items.Clear(); lstResult.Items.AddRange(res.ToArray(); private void btnExit_Click(object sender, EventArgs e) Application.Exit(); private void 保存ST
24、oolStripButton_Click(object sender, EventArgs e) saveFileDialog1.Title = 保存分析结果; saveFileDialog1.Filter = 文本文件|*.txt; if( ( saveFileDialog1.ShowDialog() ) = DialogResult.OK ) if( saveFileDialog1.FileName != null ) FileInfo outFile = new FileInfo( saveFileDialog1.FileName ); StreamWriter fw = outFile
25、.AppendText(); foreach( string tkString in lstResult.Items ) fw.WriteLine( tkString ); fw.Close(); private void btnsave_Click(object sender, EventArgs e) saveFileDialog1.Title = 保存分析结果; saveFileDialog1.Filter = 文本文件|*.txt; if (saveFileDialog1.ShowDialog() = DialogResult.OK) if (saveFileDialog1.FileN
26、ame != null) FileInfo outFile = new FileInfo(saveFileDialog1.FileName); StreamWriter fw = outFile.AppendText(); foreach (string tkString in lstResult.Items) fw.WriteLine(tkString); fw.Close(); 8.2调试 调试过程中存在保存不了输出结果的问题。最后调试发现是由于绝对路径与相对路径的区分。最后上网搜索解决方法，通过调用C#中提供的文件保存接口来解决保存的问题九、测试1.运行的主界面图9.1 运行的主界面2.输入想要分析的c语言源程序图9.2 输入源程序3.点击分析的按钮，显示分析后的结果，以二元组形式展示。图9.3 分析结果4.点击保存按钮，弹出选择保存文件的路径和名称图9.4 保存过程5.保存后的.txt文档图9.5 保存后的文档十、结束语通过这次的课程设计，我学会了很多。让我学会了如何设计、编制并调试词法分析程序，加深对词法分析原理的理解；熟悉了构造词法分析器的手工方式的相关原理，也对状态图以及如何表示并识别单词规则有了更进一步的了解。并且在掌握状态图对识别程序的编程上有
