使用八爪鱼v7采集知乎发现话题信息.docx
- 文档编号:15564440
- 上传时间:2023-07-05
- 格式:DOCX
- 页数:12
- 大小:1.51MB
使用八爪鱼v7采集知乎发现话题信息.docx
《使用八爪鱼v7采集知乎发现话题信息.docx》由会员分享,可在线阅读,更多相关《使用八爪鱼v7采集知乎发现话题信息.docx(12页珍藏版)》请在冰点文库上搜索。
使用八爪鱼v7采集知乎发现话题信息
使用八爪鱼v7采集知乎发现话题的信息
本文介绍使用八爪鱼采集知乎-发现-话题为例
采集网站:
#signin
使用功能点:
●八爪鱼7.0教程——AJAX滚动教程
/ajgd_7.aspx?
t=1
●cookie登陆方法(7.0版本)
/cookie70.aspx?
t=1
相关采集教程:
新浪微博数据采集
豆瓣电影短评采集
搜狗微信文章采集
步骤1:
创建采集任务
1)进入主界面,选择“自定义模式”
使用八爪鱼v7采集知乎发现话题的信息图1
2)将要采集的网址复制粘贴到网站输入框中,点击“保存网址”
使用八爪鱼v7采集知乎发现话题的信息图2
步骤2:
登录知乎
1)系统自动打开网页,进入知乎登录页面。
系统默认停留在扫描二维码登录页面。
点击“使用密码登录”,选择“更多操作”
使用八爪鱼v7采集知乎发现话题的信息图3
2)选择“点击该元素”,进入“使用密码登录”页面
使用八爪鱼v7采集知乎发现话题的信息图4
3)依次点击账号和密码输入框,输入账号和密码(直接输入,可忽视操作提示框)
使用八爪鱼v7采集知乎发现话题的信息图5
4)点击“登录”按钮,选择“点击该按钮”
使用八爪鱼v7采集知乎发现话题的信息图6
5)在页面右上角,打开“流程”,以展现出“流程设计器”和“定制当前操作”两个板块。
系统会自动登录知乎。
再次选中“打开网页”步骤,打开“高级选项”,打开“缓存设置”,勾选“打开网页时使用指定Cookie”。
八爪鱼会记住这个cookie状态,下次打开这个页面的时候,就会以登陆之后的状态打开
使用八爪鱼v7采集知乎发现话题的信息图7
注意:
由于cookie是有生命周期的,这个周期多长时间取决于采集的网站。
如果cookie到期了,就需要再重新获取一次登陆之后的cookie。
另外,如果需要切换账号,可以勾选“打开浏览器前清理缓存”,然后再取消cookie,重新设置其他账号即可。
步骤3:
设置Ajax下拉加载
1)点击“发现”按钮,在操作提示框中,选择“点击该链接”
使用八爪鱼v7采集知乎发现话题的信息图8
2)系统自动挡进入“发现”栏目下的话题页面。
我们发现,下拉页面,会出现“加载中”的字样,等待约2秒,会有新的数据加载出来。
经过约40次下拉加载,页面达到最底部
使用八爪鱼v7采集知乎发现话题的信息图9
“点击元素”步骤涉及Ajax下拉加载。
打开“高级选项”,勾选“页面加载完成后向下滚动”,设置滚动次数为“40次”,每次间隔“2秒”,滚动方式为“直接滚动到底部”,最后点击“确定”
使用八爪鱼v7采集知乎发现话题的信息图10
注意,这里的滚动次数、间隔时间,需要针对网站进行设置,可根据相关功能点教程进行学习
步骤4:
创建列表循环
1)移动鼠标,选中页面里的第一条话题链接。
选中后,系统会自动识别页面里的其他相似链接。
在右侧操作提示框中,选择“选中全部”
使用八爪鱼v7采集知乎发现话题的信息图11
2)选择“采集以下链接地址”
使用八爪鱼v7采集知乎发现话题的信息图12
3)再次选中页面里的第一条话题链接,选择“采集该链接的文本”
使用八爪鱼v7采集知乎发现话题的信息图13
4)选择“启动本地采集”
使用八爪鱼v7采集知乎发现话题的信息图14
步骤5:
数据采集及导出
1)采集完成后,会跳出提示,选择“导出数据”。
选择“合适的导出方式”,将采集好的数据导出
使用八爪鱼v7采集知乎发现话题的信息图15
2)这里我们选择excel作为导出为格式,数据导出后如下图
使用八爪鱼v7采集知乎发现话题的信息图16
八爪鱼——70万用户选择的网页数据采集器。
1、操作简单,任何人都可以用:
无需技术背景,会上网就能采集。
完全可视化流程,点击鼠标完成操作,2分钟即可快速入门。
2、功能强大,任何网站都可以采:
对于点击、登陆、翻页、识别验证码、瀑布流、Ajax脚本异步加载数据的网页,均可经过简单设置进行采集。
3、云采集,关机也可以。
配置好采集任务后可关机,任务可在云端执行。
庞大云采集集群24*7不间断运行,不用担心IP被封,网络中断。
4、功能免费+增值服务,可按需选择。
免费版具备所有功能,能够满足用户的基本采集需求。
同时设置了一些增值服务(如私有云),满足高端付费企业用户的需要。
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 使用 八爪鱼 v7 采集 发现 话题 信息