Archive for 十二月, 2009

使用perl实现网页抓取，对网络蜘蛛的初步尝试。

环境

windows xp，IIS，perl 5.88，CMD

使用到的模块

use LWP::Simple; 用来得到网页
use HTML::HeadParser; 对部分进行解析，得到标题、编码、关键词等
use HTML::FormatText::WithLinks; 将html变成文本可读样式
use Encode qw/encode decode/; 解决不同网页的编码问题

需求

在CMD中调试，最后IIS中调用，解析结果要保存到数据库中，数据库中采用utf8编码，解析的网页为gb2312编码，所以理清编码特别重要。

关于编码首先应该弄清楚的概念

• Perl字符串是使用utf8编码的，也就是说读进perl的字符的编码格式都是utf8；
• 读取输入时，perl会自动将其转换为urf8，输出时的编码依据运行环境已经上下游环境。

乱码问题

脚本使用ANSI编码，只是数据库的内容使用decode，结果内容有个别字符乱码，是HTML::FormatText::WithLinks; 将html变成文本可读样式时出现问题。可以算是一个bug

解决方法

脚本实用utf8编码，得到的网页首先进行decode，再进行其他的处理，问题解决，但在cmd下调试的时候，会有“Wide character in print”警告信息，因为环境是gbk，输出urt8编码是会报警，使用encode(”euc-cn”, $value)，对输出进行转义，可以解决这个问题，而网上说的加 use encoding “utf-8″; 不能解决这个问题。

其他需要注意的问题

• 调用匹配的内容再去匹配其他内容时，注意对该内容的元字符进行转义；
• 入库的内容也要进行转义；

遗留问题：IIS对perl的支持，配置没有问题，增加了对.pl、.cgi的定义，测试时发现在IE下正常，在firefox下弹出保存文件的对话框，但是以前的.pl正常。估计于haed的输出有关系，还有待于进一步的测试。

encode、decode函数说明

encode函数是用来编码Perl字符串的。它将Perl字符串中的字符用指定的编码格式编码，最终转化为字节流的形式，因此和Perl处理环境之外的事物打交道经常需要它。

其格式很简单：

$octets = encode(ENCODING, $string [, CHECK])

$string：　　Perl字符串

encoding：　是给定的编码方式

$octets:　　是编码之后的字节流

check:　　　表示转换时如何处理畸变字符（也就是Perl认不出来的字符）。一般不需使用

decode函数则是用来解码字节流的。它按照你给出的编码格式解释给定的字节流，将其转化为使用utf8编码的Perl字符串，一般来说从终端或者文件取得的文本数据都应该用decode转换为Perl字符串的形式。它的格式为：

$string = decode(ENCODING, $octets [, CHECK])
$string、ENCODING、$octets和CHECK的含义同上。

明白如何使用该函数的例子：

use Encode;
$dat="测试文本";
$str=decode("gb2312",$dat);
@chars=split //,$str;
foreach $char (@chars) {
print encode("gb2312",$char),"\n";
}

perl自带的函数远不及php多，但功能确实很强大，实现起来也只有几行代码。

perl中的目录操作函数有：
1。mkdir 函数
调用语法：mkdir (dirname, permisions)
dirname：将要创建的目录名，可以为字符串或表达式。
permisions：八进制数，指定目录的访问权限。其值和意义如下：

权限值 权限
4000 运行时设置用户 ID
2000 运行时设置组 ID
1000 粘贴位
0400 拥有者读权限
0200 拥有者写权限
0100 拥有者执行权限
0040 组读权限
0020 组写权限
0010 组执行权限
0004 所有人读权限
0002 所有人写权限
0001 所有人执行权限

2。chdir 函数
调用语法：chdir (dirname)

3。opendir 函数
调用语法：opendir (dirvar, dirname)
dirvar：目录句柄，与文件句柄类似
dirname：目录名，可为字符串或表达式
调用成功返回真，否则返回假

4。closedir 函数
调用语法：closedir (mydir)

5。readdir 函数
调用语法：readdir (mydir)

6。telldir 函数
调用语法：location = telldir (mydir)
返回当前所在目录

7。seekdir 函数
调用语法：seekdir (mydir, location)
location必须为telldir 函数返回的值

8。rewinddir 函数
调用语法：rewinddir (mydir)

9。rmdir 函数
调用语法：rmdir (dirname)

程序代码：
#!/usr/bin/perl

sub listdir { my @arr, $j = 0;
for($i=0;$i<=$#_;$i++) {
if(-d $_[$i]) {
if(opendir($handle, $_[$i])) {
while($dir = readdir($handle)) {
if(!($dir =~ m/^\.$/) and !($dir =~ m/^(\.\.)$/)) {
print "$dir";
if(-d $_[$i]."\\$dir") {
$arr[$j++] = $_[$i]."\\$dir";
print "\t[DIR]"
}
print "\n";
}
}
closedir($handle);
}
}
}
if($j>0) {
listdir (@arr);
}
}
listdir “D:\\download”;