CoolFace
Datasetpublic

banned-historical-archives/wenhuibao_disk

文汇报光盘1938-1999 光盘收录了1938年-1999年所有文章共计1231692篇。13张光盘中包括扫描的图像和文本数据, setup.iso为安装程序（内含文本数据库），1-12文件夹为原来1-12号光碟。html.7z为爬虫爬取的文章html页面的压缩包。 光盘使用说明 安装程序需要在windows98 简体中文版中打开 进入系统后，插入setup.iso，安装时根据提示插入1-5号光盘；其他光盘在读取插图时使用。 (建议使用VirtualBox虚拟机) 启动爬虫 安装ie6 在安装目录的html/cgi-bin/oneart.htm的""后插入 <SCRIPT language=JavaScript> var a =function() { if (document.readyState !="complete") return; var x = new ActiveXObject("Microsoft.XMLHTTP"); var content… See the full description on the dataset page: https://huggingface.co/datasets/banned-historical-archives/wenhuibao_disk.

sourceHugging Faceupdated 1y agoView on Hugging Face
1likes731downloads
Dataset Card

文汇报光盘1938-1999

光盘收录了1938年-1999年所有文章共计1231692篇。13张光盘中包括扫描的图像和文本数据, setup.iso为安装程序（内含文本数据库），1-12文件夹为原来1-12号光碟。html.7z为爬虫爬取的文章html页面的压缩包。

光盘使用说明

安装程序需要在windows98 简体中文版中打开 进入系统后，插入setup.iso，安装时根据提示插入1-5号光盘；其他光盘在读取插图时使用。 (建议使用VirtualBox虚拟机)

启动爬虫

  1. 1.安装ie6
  2. 2.在安装目录的html/cgi-bin/oneart.htm的"</STYLE>"后插入

<SCRIPT language=JavaScript>
var a =function() {
	if (document.readyState !="complete") return;
	var x = new ActiveXObject("Microsoft.XMLHTTP");
	var content = document.documentElement.outerHTML;
	x.open("post","http://192.168.1.205:3000/upload", true); // 换成server的ip地址
	x.onreadystatechange=function() {
		if(x.readyState==4&&x.status==200){
			if (x.responseText.indexOf("goto:")==0) {
				location.replace(x.responseText.substring(5))
			}
		}
	};
	x.setRequestHeader("Content-Type", "application/x-www-form-urlencoded");
	x.send("document="+encodeURIComponent(content) +"&location="+encodeURIComponent(location.href));
};
document.onreadystatechange = a;
setInterval(a, 5000); // 确保使用快照恢复虚拟机后自动运行
</SCRIPT>
  1. 1.服务端使用nodejs 运行本目录的whb.js
  2. 2.虚拟机中打开任意一篇文章，此时应该可以发现页面正在自动跳转。缩小窗口提高爬虫效率。
  3. 3.为虚拟机创建快照（因为程序有bug，运行一段时间会崩溃，需要定时恢复快照）
  4. 4.设置定时任务使虚拟机自动恢复和启动, 在任意位置创建restart_vm.sh

VM_NAME1="98 Clone"
VM_NAME2="98 Clone2"
VM_NAME3="98 Clone3"
VM_NAME4="98 Clone4"

SNAPSHOT_UUID1="ad86b38f-f761-4f7d-b020-b2ace1871e33"
SNAPSHOT_UUID2="c8657e84-6134-4d26-a2da-dc83d4e0ab5b"
SNAPSHOT_UUID3="8cc82fbb-4611-4f09-a24d-988ccc00903d"
SNAPSHOT_UUID4="2afcec64-7397-4515-abea-79ba1e5626b8"

VBoxManage controlvm "$VM_NAME1" poweroff
#VBoxManage controlvm "$VM_NAME2" poweroff
#VBoxManage controlvm "$VM_NAME3" poweroff
#VBoxManage controlvm "$VM_NAME4" poweroff
sleep 5
VBoxManage snapshot "$VM_NAME1" restore "$SNAPSHOT_UUID1"
#VBoxManage snapshot "$VM_NAME2" restore "$SNAPSHOT_UUID2"
#VBoxManage snapshot "$VM_NAME3" restore "$SNAPSHOT_UUID3"
#VBoxManage snapshot "$VM_NAME4" restore "$SNAPSHOT_UUID4"
VBoxManage startvm "$VM_NAME1" --type headless &
sleep 3
#VBoxManage startvm "$VM_NAME2" --type headless &
#sleep 3
#VBoxManage startvm "$VM_NAME3" --type headless &
#sleep 3
#VBoxManage startvm "$VM_NAME4" --type headless &
  • —设置定时任务 crontab -e 
*/15 * * * * /home/restart_vm.sh
  • —根据实际情况，可启动多个虚拟机为爬虫加速（需要修改whb.js的next函数）

补充材料

https://huggingface.co/datasets/banned-historical-archives/wenhuibao

banned-historical-archives/wenhuibao_disk · CoolFace