基于python的旅游信息爬取以及数据分析.docx

基于python的旅游信息爬取以及数据分析.docx

《基于python的旅游信息爬取以及数据分析.docx》由会员分享，可在线阅读，更多相关《基于python的旅游信息爬取以及数据分析.docx（36页珍藏版）》请在冰点文库上搜索。

基于python的旅游信息爬取以及数据分析

基于python的旅游信息爬取以及数据分析

TourisminformationcrawlinganddataanalysisbasedonPython

摘要

随着计算机网络技术的发展，近年来，新的编程语言层出不穷，python语言就是近些年来最为火爆的一门语言，python语言，相对于其他高级语言而言，python有着更加便捷实用的模块以及库，具有语法简单，语句清晰的特点，使得它在代码的编程中，变得更加简洁容易上手，另外，python应用特别广泛，作为是一门应用性广泛的语言，无论是游戏的开发，还是数据的爬取，再到网站的搭建，python都能轻松驾驭，其中，爬虫的应用，更加使得python这门语言为人所知。

作为网络搜索引擎的组成成分之一，爬虫能够有效的为我们搜索和爬取有用的信息，减少人工的操作，十分方便，在自己定义的条件下，采集得到某些网页的信息，比如房价、股票、招聘信息等，对于这些信息，我们可以对数据进行处理，从而得到我们所需要的信息。

本文通过python实现了一个马蜂窝旅游网站的爬虫信息搜集，并对马蜂窝网站中采集得到的数据进行分析处理，得到想要的数据。

关键词：

PythonHtml爬虫旅游马蜂窝

Abstract

Withthedevelopmentofcomputernetworktechnology,inrecentyears,newprogramminglanguageshaveemergedendlessly.Pythonisthemostpopularlanguageinrecentyears.Pythonhasmoreconvenientandpracticalmodulesandlibrariesthanotherhigh-levellanguages.,Hasthecharacteristicsofsimplesyntaxandclearstatements,whichmakesitmoreconciseandeasytouseintheprogrammingofcode.Inaddition,Pythonisparticularlywidelyusedasaversatilelanguage,fromwebsiteconstructiontodataprocessingtogadgets.Thedesignofsmallgamescanbedonebypython.Amongthem,theapplicationofreptilesmakespythonalanguagemoreknown.

Webcrawlerscannotonlycollectnetworkinformationforsearchengines,butalsoactasadirectionalinformationcollector.Undercertainconditions,theycancollectinformationaboutcertainwebpages,suchashouseprices,stocks,andrecruitmentinformation.Fortheseinformation,wecananalyzethedataProcessittogettheinformationweneed.

Thisarticleistoimplementacrawler'sinformationcollectionandanalyzethedatacollectedbypythontogetthedesireddata.

Keywords：

PythonHtmlreptiletourismMafenwo

第一章引言

1.1背景

随着近些年来网络的快速发展，网络进入了大信息时代，网络上的信息呈现爆炸式的飞涨，五花八门的信息显示，这使得人们在网络上寻找自己所需要的信息时，显得越来越困难，当然，一个问题的出现，必然有一个方法去对应，信息的剧增，与之对应的，便是搜索引擎的出现，比如google、XX等等，搜索引擎通过搜集网络上数以万计的不同类型的网页信息，并为其建立起索引，通过搜索引擎，即使网络上的信息种类繁多，我们还是能够通过关键词的搜索，搜索得出与之对应的信息的网页。

网络爬虫是一个自动化的程序，也是搜索引擎的组成部分之一，不同的搜索引擎，可以通过不同的搜索需求，选择合适的爬虫方法来搜集网络上的信息，传统网络爬虫主要从一个url开始，通过爬取目标网页的url，观察其组成结构特点，按照结构规律，构建新的url，不停的将新的url放入队列中，循环爬取，最后直到需求完成为止。

优秀、高效的爬虫程序，能够使人们网络上找到更加精准的信息。

本文通过python语言，实现了一个对于马蜂窝旅游网站的信息采集分析，通过对马蜂窝旅游城市的城市编号爬取，根据马蜂窝网站的网址规则，通过拼接得到马蜂窝旅游网站的城市url，根据获取得到的url，进入马蜂窝旅游城市页面，观察页面组成结构，通过标签定位，爬取我们所需要的页面信息，将其保存入本地文件，再对文件里面的数据进行数据处理，可视化分析，告诉你旅游去哪儿好。

1.2国内外研究情况

python作为搜索引擎技术组成部分之一，自九十年代初诞生了第一个网络爬虫以来，python技术已经经过了20多年的发展，经过这么多年的发展，python技术也趋于成熟，逐渐覆盖了网页开发、游戏开发、爬虫分析可视化、脚本开发等等专业领域,并通过其简单易懂、代码编写效率高的特点，成为目前最为火热的开发编程语言，也正是其应用广泛，上手容易，语法强大，代码可读性强的特点，受到了很多人的喜爱，让很多人爱不释手。

同时，由于不同的人对于数据爬取内容的差异，常常会产生不同的需求，因此爬虫主要可以分为以下两种：

1、通用爬虫：

通用爬虫其实很简单，它的作用就是将网络上的网页下载下来，保存到本地，其实就是生成一个副本，作为网页的备份。

所以通用搜索一般得到的都是网页，对于用户来说，网页的内容十之八九都是没用的，要的只是网页中的某些特定的信息。

所以就有了我们第二种爬虫方法。

2、聚焦爬虫：

聚焦爬虫是比通用爬虫更加复杂一点，它不同与通用爬虫，通用爬虫是将网页保存到本地，但是聚焦爬虫，它不会将整个网页爬取下来，它会筛选得到网页中我我们所需要的东西，而筛选的条件规则是由我们自己定义的，相比通用爬虫，聚焦爬虫它做的工作更多，但是得到的数据更加符合我们的要求，本文所实现的爬虫，就是通过聚焦爬虫所实现的。

第二章爬虫语言以及工具的介绍

2.1Python介绍

2.1.1Python语言的产生以及发展

Python是上世纪八十年代末开始由Guido开发，九十年代初发行的一门编程语言，其作者参与过ABC语言的开发，所以对ABC语言其中的弊端有所了解，认为ABC语言虽然语言优美，功能强大，但是却受限于它的非开发性，没有得到广泛的应用，因此想开发出一门新的语言，能够摒弃掉ABC语言的弊端，打破这个限制，正是如此，python就诞生了，python刚刚推出不久，就迅速得到了各行人士的青睐，经过多年以来的不断改善，python语言已经逐渐稳固它在编程语言中的地位。

根据从TIOBE网站上得到的数据，从2002年开始，python语言就趋于一个稳定上升的状态，呈线性增长，正是如此，python成为了近年来最受欢迎的编程语言之一。

图2.1.1计算机编程语言热门排行榜

2.1.2Python语言的特色

首先，Python是一门强大、灵活的语言，与C、C++、Java等语言相比较，python的语法简单优雅，往往不用通过很复杂的代码，就能实现强大的功能，例如Java需要100行代码才能实现的功能，python往往只需要一半或者更加少，大幅度降低了学习与使用的难度，很适合人们的学习。

其次，python是一门开源免费的语言，简单的来说，就是不花钱就能使用，我们可以直接下载安装运行，也能对其源码进行修改，十分便捷。

再次，效率极高，python被称为胶水语言，拥有强大的第三方库，人们往往只需要将库下载调用，在库的基础上进行开发，就可以实现很多复杂的功能，节省了不少时间，避免了重复造轮子的现象。

最后，python语言可移植性强，正是由于python的开源性，使得python拥有了良好的可移植性性能，让其可以被移植到其他的平台之下，例如我们所熟知的window系统，Linux系统，安卓系统和苹果系统等等。

总而言之，python是一门用途广泛，又容易上手的编程语言。

2.1.3Python语言的缺点

Python虽然拥有众多的优点，但是事物往往很难做到十全十美，编程语言也一样，python虽然简单优美，但是运行速度相比其他编程语言来说，却显得缓慢，对比C语言来说，C语言是先编译后运行的，编译的时候就已经将代码转化成了CPU所能执行的机器码，而python是解释性语言，因此它的代码在运行的过程中，需要先将代码编译成CPU所能理解的机器码，这个过程就需要耗费很多时间，导致了python的运行缓慢。

另外，由于python的开源性，导致了python代码无法加密，实际上，如果我们要发布一个python程序，其实就需要将我们所敲打的源码发布出去，这样别人就直接得到了你的源码，能够轻易的使用并修改你的源码，而C语言是先编译后运行的，它的发布是发布已经编译后的机器码，别人是很难逆推得到源码的，其实，基本所有的编译性语言，都不需要担心源码的泄露，而像python这种解释性的语言就比较难了，因此在保密度这一块，python还是略显劣势。

2.2URL介绍

2.2.1URL的定义

URL，通俗的来讲的话，URL其实就是网络地址，每一个URL，就代表着特定的资源在网络或者电脑上的位置，这个位置既可以是电脑的本地磁盘路径，也可以是局域网上的某个计算机，但是，总的来说，URL更多的是指网络上的网页站点。

而这里所说的特定的资源，可以是一个HTML界面、也可以是一张照片、一个文本、或者是一个文件等等。

2.2.2URL的解读

URL是由不同的组件组成的，就拿本文所要爬取的网站马蜂窝来说，马蜂窝的网站地址为：

（1）这是一个https协议的网站，它告诉了浏览器访问资源的时候，应当使用https协议，在目前，网络上使用的协议大多为HTTP或者https（加密）。

（2），是域名，指向你所要访问的资源的服务器端，这里也可以使用IP地址显示。

（3）mdd，这里表示的是访问资源在该服务器上的路径，但是有时这个路径会出错，最常见的问题就是该路径的资源已经被移走或者不存在，导致寻找失败。

2.3HTML介绍

2.3.1HTML的定义

HTML，是一种超文本链接标示语言，是网站搭建的基本骨架，简单的来说，HTML就是网页的载体，它主要由两部分组成，一个是head，另一个是body，head是描述浏览器的主要信息，body是用来装载网页界面的主体内容，网页上所看到的文字信息或者图案，都是存在body里面，在HTML界面中，存在着超级链接，所谓的超级链接，其实就是将URL地址放入了界面中，人们可以通过鼠标的点击，可以使浏览器对其进行解析，并能够快速便捷的跳转到URL指定的资源界面，正是如此便捷的操作，使得HTML受到了很多编程人士的喜爱，也是它成为应用广泛的原因之一。

2.3.2爬虫与HTML

本文之所以介绍HTML界面，其实是和我们爬虫的设计有一定的关联，在HTML中，为了方便的网页内容的处理，在HTML加入了标签这种东西，标签是由<>组成，其中分为起始标签和结束标签，结束标签在<>的基础上，加多一个/，即，而<>中的内容，则是根据自己所要编写的内容决定，例如我们想要定义一个标题，则需要这么写：