MHN开源蜜罐项目学习笔记(一)HPFEEDS协议

Hpfeeds和蜜罐是一对好搭档,想要完全掌握一个分布式蜜罐的信息传递,就来了解Hpfeeds协议吧!

hpfeeds协议是什么?

feeds,供稿,原始数据。

hpfeeds是一个轻量级的验证发布-订阅协议(authenticated publish-subscribe protocol)。

轻量级好理解,就是代码量相对较少,功能相对不复杂。那什么是发布-订阅协议呢?订阅发布协议定义了一种一对多的依赖关系,让多个订阅者对象同时监听某一个主题对象。这个主题对象在自身状态变化时,会通知所有订阅者对象,使它们能够自动更新自己的状态。它是为了解决这样一种情况的发生,一个对象的改变需要同时改变其他对象,而且它不知道具体有多少对象需要改变。我的理解,这就类似于发传单,目标发送通知,没有指定特定的对象,通知会自动传播,观察者自己决定是否需要看传单,发送者对于传单是否被看一无所知。

详细的发布订阅者介绍可以戳这里:

https://msdn.microsoft.com/en-us/library/ff649664.aspx

线路协议组成如下:

首先是消息头:有两个参数,消息总长和消息类型

消息类型有以下几种:

error (0): errormessage
info (1): server name, nonce
auth (2): client id, sha1(nonce+authkey)
publish (3): client id, channelname, payload
subscribe (4): client id, channelname

数字代表消息类型,而冒号后面的内容则代表后续的消息字段

比如说当消息类型为3,publish时,后面的字段就会有四个:

client id的长度
client id
channelname的长度
channelname
payload

一个完整的消息如下:

length | opcode | next | identifier | next | channelname|payload
----------------------------------------------------------------
85       3        9       b4aa2@hp1   9      mwcapture      137941a3d8589f6728924c08561070bceb5d72b8,http://1.2.3.4/calc.exe

消息有了,整个消息的认证过程就是以下的几个步骤:

  • 服务器为每一个连接生成一个标志
  • 客户端发送id 和 标志+authkey组成的sha1
  • 服务器检查id和sha1
  • 服务器检查数据类型,是要发布还是要订阅

最终实现服务器、发布者、订阅者之间的解耦,彼此之间完全独立,互不干扰。

为什么要用hpfeeds协议

首先,正如以上所说的,整个协议实现了三方的功能独立。使用这种方式降低了应用与业务逻辑之间的耦合,统一一个对外的发布接口,只需要关心监听的类型,不关心监听的具体处理人。只管发,不管到不到。很方便的建立一种一对多的依赖关系。

在当一个对象的改变需要同时改变其他对象,而且它不知道具体有多少对象需要改变时,就可以使用订阅发布模式。

hpfeeds协议希望能够实现一个单一的连线形式,使得每一个人都可以在任何时间以任何语言去订阅发布数据,不同的数据以通道来划分,由通道的使用者来决定数据结构形式。而通道的验证通过authkey来完成,它由两部分组成,ident和secret,相当于身份和密码。密码在hash后和每一个临时连接标志一起发送给服务器,这样保证不会被窃听,所以它可以运行在SSL、TLS下。

优点

  • 1.降低耦合。发布者对于接收者的数量,身份,接收的数据类型一无所知。
  • 2.安全性高。只有消息订阅者之间的单线信息交互,不存在其他程序的信息交换。
  • 3.测试方便。

缺点

性能降低,订阅要进行管理

如何操作

正常安装使用hpfeeds的步骤如下:

git clone https://github.com/rep/hpfeeds/
cd hpfeeds
python setup.py build
python setup.py install

安装成功后,会出现下面几个文件夹。

  • appsuport:hpfeeds支持的一些蜜罐的应用程序
  • broker:服务器功能程序集,包括增加用户,服务器运行,查看所有用户信息等
  • build:一些编译环境
  • cli:用户程序
  • example:例程
  • lib:支持库

使用时先打开broker,运行其中的add_user.py添加用户信息:

根据提示信息,我们添加用户test,密码123456,拥有发布频道1,2,无订阅频道

再添加用户custom,密码123456,拥有订阅频道1,2,无发布频道

现在使用dump_users.py查看刚才创建的用户

如图所示,这里应经可以查看到刚才我们新建的用户了。

接下来,我们打开服务器feedbroker.py

再开启一个新的进程运行cli文件夹里的用户程序hpfeeds-client

先开启订阅者custom,使用1频道

此时,服务器端显示用户登录成功

我们再打开一个新的进程,以发布者test,使用1频道发布“helloworld”

我们可以看到发布者一旦发布完消息后,立即退出进程,并不确认消息是否收到

这时,服务器显示test登录成功

于此同时,订阅者custom成功接收到消息

到此,一次完整的发送、接收消息的流程就走完了。

通过这一过程,我们发现,频道与用户分离,发送和订阅者身份平等,只需订阅者实时监听,发送者可以即时发送即时撤出。

这里是对于hpfeeds协议的简单介绍,下一部分我会从代码的角度进一步分析该协议,并适当对于协议功能进行添加。

------ 本文结束 ------

© 2017 蜜罐技术研究小组 All Rights Reserved. 本站总访问量
Theme by hiero