欢迎光临
我们一直在努力

安装docker和docker-compose、配置Huginn

1、安装docker和docker-compose

apt -y update
apt -y install curl
curl -sSL https://get.docker.com/ | sh
systemctl start docker
systemctl enable docker
curl -L https://github.com/docker/compose/releases/download/1.27.4/docker-compose-`uname -s`-`uname -m` -o /usr/local/bin/docker-compose
chmod +x /usr/local/bin/docker-compose

2、新建目录、Huginn配置

mkdir -p /opt/huginn && cd /opt/huginn && nano docker-compose.yml

3、启动

docker-compose up -d

打开 IP:3000 端口可以访问到WEB界面,默认的管理员账号:admin密码:password
进去首先把管理员的邮箱和密码修改一下,邮箱是用来接收通知的:

-A INPUT -p tcp -s 127.0.0.1/24 --dport 3000 -j ACCEPT
-A INPUT -p tcp --dport 3000 -j DROP

只允许本地访问3000端口

Keep Event 表示保留该 Event 的时间长度,Huginn 会保留数据一段时间用来校验,这个参数可以定义过期时间
keep event这里我选择的是false,意思是不生成过滤之后的事件,直接传递message的内容给下一个agent。如果你希望对过滤后余下的信息进一步利用,比如再次过滤之类,可以选择true以保留事件。
Keep events – 事件保存的时长, 我们最终要生成 rss, 如果 event 过期了, rss feed 也将不会出现这条记录. 由于我们 nas 监听 rss 的时间间隔很短, 所以这个时间并不需要特别长, 一般 1 天足矣, 我设置了 3 天.
Keep events 指定 Event 的保存时长,对于网页抓取 Agent 的话保存的 Events 可以帮助它检测网页是否更新。如果后面会配置去重 Agent 的话这里就不必设置很长的时间。

Keep events可以定义获得Events后保留的时间,过期后自动会删除之前的Events。每次爬取后,获得新的数据才作为一个event,否则不会触发一个新的event,可以说在一定程度上起到了去重的作用。(当然如果还有重复的话,可以后面再加一个De-duplication Agent)
如果数据量过大的话最好不要设成Forever。但是要确保在下一个 Agent 能够在 Event 过期之前获取到数据。

Keep events:表示事件保留的时间;比如我们从豆瓣上获取到所有上映的电影,每一部电影信息都是一个 event,Huginn会把这些 event 保留在本地,你可以通过这个参数来设置这些 events 在本地保留多少时间,超过这个时间,Huginn会把数据清除。我们这里设置1小时(为什么只设置为1小时,下面我们会再讨论)。
注意:这里 keep_event 设置了90天,因为一旦经过我们这个 agent 去重后,events 假设保留1小时,那下一天我再去获取所有上映的电影并高分过滤后,因为昨天的数据(events)已经被清空了,所以就没办法做比较去重了,所以会导致重复数据。所以这里保存时间应该要>=电影上映的时长,所以这里设置为90天,即3个月左右。

Keep events设置为Forever,既永远让这个任务生效

未经允许不得转载:ViewSea » 安装docker和docker-compose、配置Huginn

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址