网络爬虫需求分析
目录
1.引言 .................................................................................................................................................................... 2
1.1编写目的 ................................................................................................................................................. 2 1.2背景 ......................................................................................................................................................... 2 1.3定义 ......................................................................................................................................................... 3 1.4参考资料 ................................................................................................................................................. 3 2.任务概述 ............................................................................................................................................................ 3
2.1目标 ......................................................................................................................................................... 3 2.2用户的特点 ............................................................................................................................................. 4 2.3假定和约束 ............................................................................................................................................. 4 2.4假设与依据 ............................................................................................................................................. 4 3.需求规定 ............................................................................................................................................................ 4
3.1对功能的规定 ......................................................................................................................................... 4 精品文档
精品文档
3.1.1 使用库 ........................................................................................................................................ 4 3.2对性能的规定 ......................................................................................................................................... 5
3.2.1精度 ............................................................................................................................................. 5 3.2.2时间特性要求 ............................................................................................................................. 5 3.2.3灵活性 ......................................................................................................................................... 5 3.2.4安全性 ......................................................................................................................................... 6 3.2.5可维护性 ..................................................................................................................................... 6 3.3输入输出要求 ......................................................................................................................................... 6 3.4数据管理能力要求 ................................................................................................................................. 6 3.5故障处理要求 ......................................................................................................................................... 6 4.运行环境规定 .................................................................................................................................................... 6
4.1设备 ......................................................................................................................................................... 6 4.2支持软件 ................................................................................................................................................. 6 4.3接口 ......................................................................................................................................................... 6 4.4控制 ......................................................................................................................................................... 7 5.数据流图 ............................................................................................................................................................. 7 6.IPO图 .................................................................................................................................................................. 8 7.数据字典 ............................................................................................................................................................. 9
(1) 数据流词条的描述 .................................................................................................. 错误!未定义书签。 (2) 数据元素词条的描述 .............................................................................................. 错误!未定义书签。 (3) 数据文件词条的描述 .............................................................................................. 错误!未定义书签。 8.小说明 ................................................................................................................................................................. 9
1.引言
1.1编写目的
为开发人员、维护人员、客户之间提供共同的协议而创立基础，对该软件功能的实现作使命描述。 本说明书的预期读者为客户、业务或需求分析人员、测试人员、用户文档编写者、项目管理人员。
1.2背景
软件系统的名称：网络爬虫
精品文档
精品文档
1.3定义
网络爬虫 搜索引擎 Web URL 信息 互联网
1.4参考资料
《网络爬虫软件的研究与开发》 中图分类号：TP319 《软件导刊》 2011年5月 第10卷 第5期 《软件需求》 ---- （美） Karl E.Wiegers 著 陆丽娜 王忠民 王志敏 等译
2.任务概述
2.1目标
系统流程图
1. 客户端向服务器发送自己设定好的请求。 精品文档
精品文档
2. 通过http 将Web 服务器上协议站点的网页代码提取出来。 3. 根据一定的正则表达式提取出客户端所需要的信息。
4. 采用深度优先搜索从网页中某个链接出发,访问该链接的网页,并通过递归算法实现依次向下访问。
5. 采用广度优先搜索从网页中某个链接出发,访问该链接网页上的所有链接,访问完成后,再通过递归算法实现下一层的访问。
2.2用户的特点
使用本软件面向不同领域、不同背景的广大群众，可以根据自己制定的搜索主题来使用本软件。
2.3假定和约束
1.有CPU133、16兆内存配置的计算机就可运行本系统。 2.在管理方针、并行操作、安全与保密方面无约束。
2.4假设与依据
本软件在开发的过程中，分为技术实现与软件工程两大部分，两部分都有侧重点，若技术支持出现故障或疑难问题无法解决、程序开发出现偏差，会延误工程进度，影响工程的按期完工。若软件工程陈述出现问题，部分描述含混不清，则会影响系统的完整性与可继承性。在管理方面，如管理者没有预见性，对出向的问题无法采用可行的解决手段，都会影响开发模块之间的互动，从而影响工程的顺利开展，导致工程无法按期完工。
3.需求规定
3.1对功能的规定
3.1.1 使用库
3.1.1.1规格说明
精品文档
精品文档
3.1.1.2 引言
显示所调用的数据库。
3.1.1.3 输入
指定的库文件名。
3.1.1.4 加工
调用指定的数据库。
3.1.1.5 输出
显示所指定的数据库的库结构。
3.2对性能的规定 3.2.1精度
1.用户在设置爱好时进行精度提示，提交给服务器后进行精短校验。
2.在进行向数据库文件提取数据时，要求数据记录定位准确，在往数据库文件数组中添加数时，要求输入数准确。
3.2.2时间特性要求
a． 响应时间应在人的感觉和视觉事件范围内
b． 更新处理时间：随着本系统的版本升级，系统将相应的进行更新 c． 数据的转换和传送时间：1~2秒
3.2.3灵活性
当需求发生某些变化时，本系统操作方式、数据结构、运行环境基本不会发生变化，变化只是将对应的数据库文件内的记录改变，或将过滤条件改变即可。
精品文档
精品文档
3.2.4安全性
本软件大量的参数及文本内容全部放于汉语编程数据库中，所以参数不容易被错改、破
坏，万一参数受到破坏也不会影响源程序。
3.2.5可维护性
本软件利用数据库进行编程，系统结构由程序基本确定，大量的参数及文本内容全部放于汉语编程中。修改、更新数据只要在数据库进行修改添加，而不需要对系统结构进行修改，这样系统维护性、升级都十分方便。
3.3输入输出要求
用户应该输入一个合法的初始URL作为初始入口。
3.4数据管理能力要求
本系统采用sql server数据库对资源进行存储，其自带的空间自增长有效的解决了数据管理的问题。
3.5故障处理要求
当客户端多数用户同时使用，可能造成服务器负载过重，于是启用了多线程方法，同时限定最大线程数，防止服务器崩溃。
4.运行环境规定
4.1设备
本软件不需要特定的硬件或硬件接口进行支撑。486以上具备有java的运行环境jdk的 PC机均可运行此软件。运行时需要联机。
4.2支持软件
本系统采用java语言制作，支持win7/XP/Linux等操作系统，由java虚拟机编译，测试软件为My Eclipse;
4.3接口
客户端浏览器是搜索引擎和用户之间的接口。其首先获取用户搜索条件并加以分析，然后访问索引数据库进行匹配后获得检索结果，然后根据设定的相关度进行降幂排序处理后返回给用户。输出、输入的相对时间将由pc机本身处理速度来决定。对程序的维护，需进行必要的备份。
精品文档
精品文档
4.4控制
本软件通过客户端浏览器，用户设置自己的爱好，并通过http传给服务器，服务器接受信号执行响应操作。
5.数据流图
学生网络爬虫搜索方法学生网页信息网页第一层
学生搜索方法12验证有效学生搜索配置爬取网页网页信息性网页
第二层
精品文档
精品文档
学生1.21.12.22.1验证搜索方检查网页重验证URL有下载网页法有效性复性搜索配置效性网页信息网页正确搜索方法学生搜索方法6.IPO图
I1:搜索方法P1:验证搜索方法有效性O1/I2:正确的搜索方法P2:验证URL有效性O2/I3:正确的搜索配置P3:下载网页O3/I4:网页P4:检查重复网页并返回给客户端O4:网页信息
精品文档
网页第三层
精品文档
7.数据字典
1.搜索方法=搜索策略+抓取类型。
搜索策略 = “广度优先”|“深度优先”|“最好优先” 抓取类型 = 音频|视频|图片
2.网页信息 = 主题 + 内容 + 链接地址
3.搜索配置 = 搜索方法 + URL
4.下载网页 = 站内爬取 + 外链爬取
5.验证URL有效性 = 存在性 + 价值性
8.小说明
加工编号：1.1 加工名：设置搜索方法 输入流：自定义搜索方法表 输出流：完整的搜索方法表 加工逻辑：将自定义搜索方法表及系统默认选项参数加工成完整的搜索方法表 有关信息：当有选择输入时执行此加工，否则按默认执行
加工编号：1.2 加工名：对URL检查 输入流：搜索方法中的初始URL 输出流：正确的搜索配置 加工逻辑：通过检查URL的存在性和价值性来判断该URL是否可行
精品文档
精品文档
加工编号：2.1 加工名：下载网页 输入流：URL 输出流：网页 加工逻辑：根据完整的搜索方法表以初始URL或未搜索的URL入口在互联网上下载网页 有关信息：URL应保证有效性
加工编号2.2 加工名：除去相同的网页 输入流：网页 输出流：从互联网上下载的网页 加工逻辑：通过相似度计算来除去相似网页
精品文档
因篇幅问题不能全部显示，请点此查看更多更全内容