FetchUpdate(网站更新抓取并上传ftp工具)

博客的hosts以前需要手动更新,实在难以忍受。于是想着写个自动更新的工具,实现如下需求:

利用提供的地址,下载 imouto提供的hosts文件(7z格式),解压缩,并对解压出的文本文档进行简单的处理,然后通过ftp上传到自己博客上去。

这个工具也可以修改下,然后用来做一个广义的网站内容更新抓取并上传

项目地址:

https://github.com/Findxiaoxun/FetchUpdate

版本更新:

v0.1 获取网页并抓取时间信息模块完成

v0.2  文件下载类完成,

v0.2 文件解压出错,时间戳对比出错

v0.3 文件解压缩成功

v0.4  ftp上传模块成功

v0.5 测试通过

 

计划:

使用多线程来运行监测,定期抓取网页内容

 

v0.8 利用imouto提供的github的文本文件路径,去掉了7zip的解压功能,打包出来的文件大小从7m减到了200KB

v1.0 利用linux的cron服务实现了定时运行的功能

v1.1 利用java mail项目实现了更新成功就给管理员发送一封邮件通知

文章版权归 FindHao 所有丨本站默认采用CC-BY-NC-SA 4.0协议进行授权|
转载必须包含本声明,并以超链接形式注明作者 FindHao 和本文原始地址:
https://www.findhao.net/easycoding/853

你可能喜欢:(相似内容推荐和广告都使用了谷歌的推荐系统,需要对本站取消广告屏蔽才能显示。感谢点击↓广告支持博主~)

Find

新浪微博(FindSpace博客)QQ群:不安分的Coder(375670127) 不安分的Coder

1 条回复

  1. DIYgod说道:

    要不要这么吊_(´ཀ`」 ∠)_

发表评论

电子邮件地址不会被公开。 必填项已用*标注

*