第１３卷第ｌ期 软件导刊 Ｖｌ０１．１３ＮＯ．１ ２Ｏｌ４年１月 Ｓｏｆｔｗａｒｅ Ｇｕｉｄｅ Ｊａｎ．２Ｏｌ４ 一种基于语义的Ｗｅｂ挖掘方法研究 李 伟，赵庆展，邓红涛 （石河子大学信息科学与技术学院，新疆石河子８３２００３） 摘 要：在已有的基于Ｄｏｍ—Ｔｒｅｅ的网页信息提取算法基础上，通过对Ｈｔｍｌ标签进行分类，逐个分析各Ｈｔｍｌ标签所 包含的结构信息，设计了一种自底向上的网页分块方法，并在此基础上，实现了文本相似度比较的网页主题内容信息 块识别算法，提高了主题内容信息块的识别精确度。 关键词：语义Ｗｅｂ；Ｗｅｂ挖掘；网页分块 中图分类号：ＴＰ３ＩＩ．５ 文献标识码：Ａ 文章编号：１６７２—７８００（２０１４）００１—００５４—０２ 表１ ＨＴＭＬ标签分类 ０ 引言 标签 定义 ”ＨＥＡＤ”， ”ＳＣＲＩＰＴ”． ” 网页块的根标签，在算法 面对互联网海量的信息，政府机关、企事业单位和研 根标签ＳＴＹＩ Ｅ”，”ｏＢＪＥＣＴ”，”ＦＩＥＩ Ｄ— 过程中一旦遇到这种标 Ｓ ＳＥＴ”．“ＦＲＡＭＥＳＥＴ”．”ＩＦ— 签，就可以直接将其加入 究机构都迫切希望获取与自身工作相关的有价值信息，如 ＲＡＭＥ” 网页块池 何方便快捷地获取这些信息就变得至关重要了。本文探 ”Ｄ１Ｖ”，”ＴＤ”，”ＴＡＢ１ Ｅ”，” 讨了一种网页分块方法，能识别出网页中的主题内容信息 标签ＦＴＯＲＭ ＇’＂ ＦＩＥＬＤＳＥＴ＂代表一个网页块，只不过 ，块，从而提取出有价值的主题内容。这种方法可以去除网 ＥＲ，Ｎ。ＦＲＡＭＥｓ”ｌｃＥＮ 有时其内部内容过少，需 — Ｎ０ＳＣＲＩＰＴ”，”ＰＲＥ”， ＢＯＤＹ”， 要跟其他节点合并成一个 页中的噪音，极大地方便后续数据挖掘与Ｗｅｂ分析。 ”ＨＴＭＩ ” 网页块 ”Ｐ”，”ＵＩ ”，”ＯＬ”，”ＤＩ ”．” １ 研究现状 排版标 ＤＩＲ”，”Ｉ 】”，“ＤＴ ．“ＢＩ ＯＣＫ— 签Ｉ ＱＵ（）ＴＥ”，”ＡＤＤＲＥＳＳ”，”ＢＲ”， 表达网页的布局效果，改 ”ＨＲ”，”Ｃ０Ｉ ”，”Ｃ０Ｉ ＧＲ０ＵＰ”， 变文字布局 语义信息主要包括网页中包含的ＨＴＭ１ 标签信息、 ”ＩＭＧ”，”ＭＥＮＵ”．”ＳＥＩ ＥＣＴ” ＨＴＭＩ ＤＯＭ树的结构信息、文字内容信息、超链接信息 ”Ａ”。”ＡＢＢＲ”，”ＡＣＲ（）ＮＹＭ”， 等，现有网页分块算法是在网页分块的过程中完成内容提 ”ＡＲＥＡ”。”Ｂ”，”ＢＡＳＥ”．” 取的 。Ｓｉｔｅ～Ｉ ｅｖｅｌ算法实现了分析一个网站或者网页集 ＢＡＳＥＦ０ＮＴ”，”ＢＤ（）”，ＢＩＧ”，” ＢＵＴＴＯＮ”， ”ＣＡＰＴ１０Ｎ”， ” 内部的所有网页，从中提取导航栏、广告等噪音信息。采 ＣＩＴＥ”，”Ｃ０ＤＥ”，”ＤＤ”，” 用正则表达式来改进Ｓｉｔｅ—Ｌｅｖｅｌ算法则增加了算法的召 ＤＥＩ ”， ”ＤＦＮ”， ”ＥＭ”， ” ＦＯＮＴ”，”Ｈ１”，”Ｈ２”，”Ｈ３”，” 回率 ］。Ｐａｇｅ—Ｉ ｅｖｅｌ算法能够适应各种不同网页结构的 效果标 Ｈ４”，”Ｈ５”，”Ｈ６”，”Ｉ”，”ＩＮＳ”， 表达网页样式标签，改变 内容抽取，算法通过提取一些网页节点来完成分块工 签Ｄ ”ＫＢＤ”，”Ｉ ＡＢＩ Ｅ”，”ＳＭＡＩ Ｉ ”， 效果 作 “ ，以上工作需要给出标准的网页分块 ］，其对不标准 ”ＳＴＲＩＫＥ”。”ＳＴＲ（）ＮＧ”。” ＳＵＢ”，”ＳＵＰ”，”Ｑ”，”Ｓ”，” 的分块效果不理想。 ＳＡＭＰ”，”ＳＰＡＮ”，”ＴＨＥＡＤ”， ”ＴＦｏＯＴ”，”ＴＥＸＴＡＲＥＡ”．” Ｕ”，”ＴＴ“，”ＶＡＲ”，”（）：ＳＭＡＲ ２语义挖掘算法 ＴＴＡＧＴＹＰＥ” ”ＦＲＡＭＥ”。”ＩＮＰＵＴ”，”ＩＳＩＮ— ２．１网页分块方法 ＤＥＸ”，”Ｉ ＥＧＥＮＤ”。”Ｉ ＩＮＫ”，” 在借鉴上述研究基础上，本文分析了Ｗ３Ｃ制定的 其它Ａ ＭＡＰ”，”ＭＥＴＡ”，”ＯＰＴ１０Ｎ”， ”０ＰＴＧＲ０ＵＰ”，”ＰＡＲＡＭ”，” 表现为属性标签 ＨＴＭＩ ４．Ｏｌ格式规范，将所有规范的Ｈｔｍｌ标签进行分 ＴＤ”，”ＴＨ”，”ＴＲ”。”ＴＢ（）ＤＹ”， 类，分类标签如表１所示。 ”ＴＩＴＩ Ｅ” 基金项目：国家科技支撑计划项目（２０１２ＢＡＨ２７Ｂ０３）；石河子大学自然科学与技术创新联合资助一般项目（ｚＲＫＸＹＢ—Ｉ—Ｈ２３） 作者简介：李伟（１９８０～）男，硕士，石河子大学信息科学与技术学院讲师，研究方向为Ｗｅｂ开发技术、计算机网络。 第１期 李伟，赵庆展，邓红涛：一种基于语义的Ｗｅｂ挖掘方法研究 ・５５・ 在明确了各ｈｔｍｌ标签的类别之后，利用ＤｏｍＴｒｅｅ中 各标签节点的类别信息和内部文字长度，以及其子标签节 点的类别信息，对ＤｏｍＴｒｅｅ自底向上遍历，在遍历的过程 中不断判断出新的网页块，并加入网页块池中，当遍历到 最上部的ｈｔｍｌ根节点时，算法结束，网页分块完毕。分块 方法的核心伪码如下： ＩＮＰＵＴ： 某单个网页构建的ＤｏｍＴｒｅｅ，定制标签节点列表 ＢＥＧＩＮ ①用ＤｏｍＴｒｅｅ的叶子节点，也就是文字节点建立一个当前 节点队列，开始自底向上遍历；②取当前节点队列的第一个节 点；③如果遇到Ｓ型节点，则立即将此节点加入网页块池；④如 果遇到Ｃ型节点，则立即将此节点加入网页块池；⑤如果遇到Ｂ 型节点，则判断该节点内部的文字长度是否已超过阂值，或者该 节点内部的Ｉ 型节点比例是否超过阈值，如果满足上述两个条 件之一，则将此节点加入网页块池；否则将其内部文字长度信息 和自身信息向父节点传递，然后将父节点加入当前节点队列，回 到②；⑥如果遇到Ｌ型节点，则将其内部文字长度信息和其自身 信息向父节点传递，然后将父节点加入当前节点队列，回到②； ⑦如果遇到Ｄ型或Ａ型节点，则将其内部文字长度信息向父节 点传递，然后将父节点加入当前节点队列，回到②；⑧当前节点 队列为空时，遍历结束，算法终止。 ＥＮＤ ２．２挖掘算法 采用基于规则和基于Ｂａｙｅｓ的语义分析相交的方法 判断每个网页块的类型，然后对它们求交集，只有两个方 法共同认定的主题内容块才能最终被认定。算法的伪码 阐述如下： 爬进 虫秘 ２．２．１ 基于文本相似度的方法 （１）首先，把所有网页块中，文本长度最大的那个网页 块判定为主题内容块。 （２）用其余网页块逐个与最大的网页块比较文本相似 度。文本相似度的计算如下：①将两个网页块分别切词， 去除停用词后，存储成ｔｏｋｅｎ流；②对两个ｔｏｋｅｎ流分别排 序；③对排序后的两个ｔｏｋｅｎ流计算ｔｏｋｅｎ的重复数；④ 用ｔｏｋｅｎ的重复数除以较小的ｔｏｋｅｎ流中的ｔ墓 ｏｋｅｎ个数， 得到两个网页块的文本相似度。 （３）若文本相似度大于一个阈值，则该网页块也判定 为主题内容块。 ２．２．２ 基于Ｂａｙｅｓ的方法 利用Ｂａｙｅｓ概率的计算公式，计算出每个网页块是不 是主题内容块的后验概率。若该后验概率大于０．５，则判 定该网页块为主题内容块，否则反之。 ２．２．３ 求交 两个方法共同判定的主题内容块即为最后认定的主 题内容块。 ３ 系统设计 语义挖掘的目的就是把对方网站上网页中的某块文 字或者图片等资源下载到自己的数据库或其它的存储形 式，这个过程需要的工作包括：下载网页配置、解析网页配 置、修正结果配置、数据输出配置。配置完毕后，把配置形 成任务（任务以ＸＭＩ 格式描述），发布到采集服务器群 组，采集爬虫按照任务的描述开始工作，最终把采集到的 结果存储到结果存储服务器。然后用户的信息处理系统 就可以到结果存储服务器上取到数据，作为自己的数据 源。系统设计流程如图１所示。 采集任务定制（Ｂ／Ｓ模式） （采集服务器１…ｎ）采集服务器管理进程 采集任务发布 叵 亘噩圊 Ｊ网页下载线程１ ｊ襄 堕堕塑 堡襄 堑堕 Ｊ网页下载线程 ｌ网页下载线程 数据抽取进程１｝ ｛数据抽取进程２ Ｊ ｛数据抽取进程ｎ 镖集结果数据／ 业务数据处理进程Ｉ Ｊ文本方式Ｉ （数据库方式 图１系统设计流程 ４ 结语 本文提出了一套基于语义的网页分块主题内容信息 提取算法，该算法详细剖析了所有符合Ｗ３Ｃ标准的Ｈｔｍｌ 标签的功能特性，将它们分为类，同时将原先树型架构的 网页语义块层次结构转换成为平行架构，各个语义块相互 独立开来，在此基础上研究主题内容信息提取，给出了提 取算法伪码，两个算法分别计算主题内容信息块，然后求 交，最后得到的信息块既能反映其文本的重要性，又能反 映其内部结构的重要性，防止了单个算法可能导致的偏 差，提高了网页主题内容信息提取的精度和召回率。 参考文献： ［１］ＲＵＰＥＳＨ Ｒ ＭＥＨＴＡ，ＡＭＩＴ ＭＡＤＡＡＮ．ｗｅｂ ｐａｇｅ ｓｅｃｔｉｏｎｉｎｇ ｎ— ｓｉｎｇ ｒｅｇｅｘ ｂａｓｅｄ ｔｅｍｐｌａｔｅ［Ｍ］．Ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ Ｗｏｒｌｄ Ｗｉｄｅ ｗｅｂ— ｃｏｎｆｅｒｅｎｃｅ，２００８． ［２］ ｓＡＮＤＩＰＤＥＢＮＡＴＨ，ＰＲＡｓＥＮＪＩＴ ＭＩＴＲＡ，ＮＩＲＭＡＩ ＰＡＩ ，ｅｔ ａ１． Ａｕｔｏｍａｔｉｃ ｉｄｅｎｔｉｆｉｃａｔｉｏｎ ｏｆ ｉｎｆｏｒｍａｔｉｖｅ ｓｅｃｔｉｏｎｓ ｏｆ ｗｅｂ—ｐａｇｅｓ［Ｍ］． ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｋｎｏｗｌｅｄｇｅ ａｎｄ Ｄａｔａ Ｅｎｇｉｎｅｅｒｉｎｇ，２００５． ［３］ＤＥＥＰＡＹＡＮ ｃＨＡＫＲＡＢＡＲＴＩ，ＲＡＶＩ ＫＵＭＡＲ，ＫＵＮＡＩ ＰＵＮＥＲＡ． Ｐａｇｅ—ｌｅｖｅｌ ｔｅｍｐｌａｔｅ ｄｅｔｅｃｔｉｏｎ ｖｉａ ｉｓｏｔｏｎｉｃ ｓｍｏｏｔｈｉｎｇ［Ｍ］．Ｉｎ Ｐｒｏ～ ｃｅｅｄｉｎｇｓ ｏｆ Ｗｏｒｌｄ Ｗｉｄｅ Ｗｅｂ ｃｏｎｆｅｒｅｎｃｅ。２００７． ［４］陈晓云，陈伟，王雷，等．基于分类规则树的频繁模式文本分类［Ｊ］． 软件学报，２００６，１７（５）：１０１７－１０２６． ［５］ 范众，郑诚，王清毅，等．用ｎａｉｖｅＢａｙｅｓ方法协调分类Ｗｅｂ网页［Ｊ３． 软件学报，２００１，１２（９）． ［６］ 杜兴勇，刘延平，王忠文．Ｄｉｊｋｓｔｒａ算法程序的优化与实现［Ｊ］．通化 师范学院学报，２００８，２９（１２）：１９． （责任编辑：杜能钢）
