基于内容的垃圾邮件识别 --- 帮助文档

docker pull mailutils/antispam

本系统应该只是邮件反垃圾系统的一个模块,不可能也不应该过滤全部邮件

如下类别的邮件不应该使用本系统(的垃圾判定)

• 退信
• 知名可信域名的来信, 如 银行,电商,招聘,服务,平台,公共事业等等

应优先使用其他手段过滤垃圾邮件

• 黑白名单, rbl, spf, dmarc, 关键字等

• 25062: libmilter 服务(postfix), 配置 /home/spam/etc/service/milter.cf
• 25063: 垃圾邮件识别服务, 配置 /home/spam/etc/service/spamd.cf
• 25065: 文档转文本服务, 配置 /home/spam/etc/service/document_text.cf

如果不使用 "文档转文本服务", 可以删除 document_text.cf

如果不使用 "垃圾邮件识别服务", 可以删除 milter.cf, spamd.cf

如果不使用 "libmilter 服务", 可以删除 milter.cf

/home/spam/etc/service/spamd.cf

spam_license =

# 每个进程最多分配内存限制
max-memory = 4G

server-command = /home/spam/bin/spamd

# 服务端口
server-service = 0:25063
# server-service = 127.0.0.1:25063
# server-service = /home/spam/run/spamd.socket

# 进程退出前, 等待多少秒; 0 立即退出
server-stop-on-softstop-after = 10

# 处理多少邮件后, 进程退出; 0 不限制
server-service-max-use = 1000000

# 一个邮件最多处理多少秒, 超时后, 进程退出
server-request-max-run-time = 10

# 日志, syslog 模式
server-log = syslog,mail
# 日志, 输出到标准出错输出
# server-log = 

# 并发进程数
server-proc-count = 3

# 每进程并发线程数
spam_concurrency_limit = 10

# 特征库文件, bayes方法可以可以是多个, svm方法只能有一个
#spam_db = ./db/const.db,./db/const2.db,./db/const9.db
spam_db = /home/spam/db/spam.db

# touch ./run/reloaddb_event_file, 会导致spamd重新加载特征库
# spam_reloaddb_event_file = ./run/reloaddb_event_file

# 其他目标的统计识别(和 spam_db 类似), 支持自定义多个目标
# spam_db_for_testone = ./db/testone111.db
# spam_db_for_xxx = ./db/xxx123.db

# 关键字匹配模块, 支持自定义多个目标
# spam_keyword_for_something = ./db/chengren_keyword,./db/gggg_kd
# spam_keyword_for_antoher = ./db/zhengzhi_keyword

# 是否获取邮件及其附件的解析结果
spam_mail_parser_info = no

# 是否获取系统判定的其他结论
spam_mail_conclusion_info = no

#
# 下面是附件文档处理配置
#

document_text_antispam_mode = 1

# 启用 fork 运行不稳定的模块
document_text_robust_enable = yes

# 资源大小限制, 超过这个限制则不处理
document_text_resource_size_limit = 100M

# 除了 txt, 这些格式的文件作为文本处理, 逗号分割
# document_text_extra_text_formats = js,css,cpp

# 处理资源个数限制
document_text_resource_count_limit = 1024

# 深度限制
document_text_depth_limit = 3

# 处理文档个数限制
document_text_office_convert_count_limit = 12

# 缓存目录, 空表示禁用缓存, 目前只缓存图片处理结果
document_text_cache_pathname = /home/spam/cache_dir_image/

# 一个 pdf, 处理时间限制
document_text_pdf_time_limit = 3

# 一个图片, 处理时间限制
document_text_image_time_limit = 3

# 一个图片, 大小限制
document_text_image_size_limit = 10M

# 一个图片, 限制 (width + height)
document_text_image_width_height_sum_limit = 20000

# 是否启用图片文字识别(OCR), 请注意: 图片文字识别速度很慢
document_text_ocr_enable = no

# 一个图片, OCR处理时间限制(秒)
document_text_ocr_time_limit = 3

# OCR文件个数限制
document_text_ocr_file_count_limit = 3

# OCR文字数量限制
document_text_ocr_char_count_limit = 500

# OCR太慢, 图片宽度限制
document_text_ocr_width_limit = 3000

# OCR太慢, 按高分片处理, 最多分多少片
document_text_ocr_height_slice_limit = 3

# OCR太慢, 分片后, 每片处理的高度为
document_text_ocr_height_per_slice = 100

# document_text_tesseract_lang = chi_sim
# document_text_tesseract_psm = 6
# document_text_tesseract_config_TESSERACT_CONFIG_NAME = TESSERACT_CONFIG_VALUE

# 是否启用图片二维码识别(QRCODE)
document_text_qrcode_enable = yes

# 二维码识别有的时候会有点慢, 限制 (width + height)
document_text_qrcode_width_height_sum_limit = 10000

# QRCODE文件个数限制
document_text_qrcode_file_count_limit = 12

/home/spam/etc/service/milter.cf

# 注释掉这个配置, 则禁用此服务
server-command = /home/spam/bin/milter

# 服务地址
server-service = 0:25062

# 并发进程数
# 每进程线程数不限
server-proc-count = 3

server-stop-on-softstop-after = 100

# 日志, syslog 模式
server-log = syslog,mail
# 日志, 输出到标准出错输出
# server-log = 

# 把反垃圾的结果(得分)追加到指定邮件头
# 空表示不追加邮件头
spam_append_header = X-zz-spam

# spamd服务器的端口地址 
spamd_server = 0:25063

# milter 临时目录
milter_queue_path = /home/spam/milter_queue/

POSTFIX

在 main.cf 增加配置, 注意修改为合适的 ip 地址

smtpd_milters = inet:127.0.0.1:25062

或者, 在 master.cf 中合适的 smtpd 服务下添加

 -o smtpd_milters=inet:127.0.0.1:25062

SENDMAIL

修改配置文件 sendmail.mc. 增加配置行

INPUT_MAIL_FILTER(`zspam_milter', `S=inet:25062@127.0.0.1')

建议

不推荐通过本服务(libmilter协议)使用 spamd 服务

建议直接使用spamd服务

• spamd的协议非常简单, 见 spamd 通信协议
• spamd的返回信息可以非常多(这些信息有助于反垃圾), 本服务只能处理一部分
• libmilter协议,会有磁盘读写
• libmilter协议,一个smtp连接,会同步启动一个线程

1, 客户端 连接(2种方法):
    1) socket 文件 ./var/socket/spamd
    2) 端口 0:25063                                   ### 默认配置

2, 客户端 输入(2种方法):
    1) score[一个空格]邮件文件路径\r\n                ### 请注意, 服务在docker内运行
    2) score[一个空格]{邮件数据长度}\r\n邮件数据\r\n

3, 服务端 返回(3个情况):
    1) OK[一个空格]得分\r\n
    2) OK[一个空格]得分 {额外数据(JSON)的长度}\r\nJSON数据\r\n
    3) ERR[一个空格]error_msg\r\n

4, 客户端 继续(2种):
    1)关闭连接
    2)回到 2

日志

所有的日志输出默认都是 SYSLOG, MAIL

本镜像系统没有提供日志服务, 见docker的参数 -v /dev/log:/dev/log

启动容器(服务)

docker run --name container_name -d -p 25062:25062 -p 25063:25063 -p 25065:25065 -v /dev/log:/dev/log image_name

启动容器, 但不想启动服务

docker run --name container_name image_name /bin/sleep 36500d

不重启容器, 重新加载特征库

docker exec -it container_name /home/spam/bin/master.sh reload

镜像内操作系统

本镜像基于操作系统: debian 11.6

docker exec -it container_name /bin/zy_spamc --help

本文提到的zy_spamc命令都是在容器内执行, 需要注意路径的问题

大部分情况需要修改参数, 风格为:

zy_spamc [ -config config_file [ -config config_file ] ] [ -some_key some_value [ -some_key1 some_value1 ] ] \
    do_something do_something_arg1 ... \
    [ -config config_file [ -config config_file ] ] [ -some_key some_value [  -some_key1 some_value1 ] ]

# 作为一个命令, 配置文件spamd.cf中的配置项都可以作为参数使用

# 如果参数中出现(可以多组) -config somepath.cf, 那么会立即加载配置文件somepath.cf

# 遵循规则: 后加载的配置项覆盖先加载的配置项

# 遵循规则: 命令行上的配置项覆盖配置文件中的配置项

命令 /home/spam/bin/test_spamd.sh 用于在线测试 spamd 服务

可以在容器外执行

# docker cp container_name:/home/spam/bin/test_spamd.sh /somepath/
./test_spamd.sh [ 127.0.0.1:25063 ] eml_file [ eml_file1 [ ... ] ] [ eml_dir [ ...] ]

服务配置

关键字匹配模块, 支持自定义多个目标

支持配置多个"关键字文件"

在 spamd.cf 中配置

# spam_keyword_for_something = var/spamdb/chengren_keyword,var/spamdb/gggg_kd
# spam_keyword_for_antoher = var/spamdb/zhengzhi_keyword
# spam_keyword_for_testone = var/spamdb/testone

服务结论

结论在服务返回的 JSON 中, 形如:

{
    "keyword": [
        {"for":"something","part":"TEXT","word":"匹配的关键字"},
        {"for":"antoher","part":"SUBJECT","word":"匹配的关键字"},
        {"for":"testone","part":"SUBJECT","word":"匹配的关键字"}
    ]
}

如果没有配置, 或所有的关键都不存在, 则 JSON 中可能没有 "keyword" 属性

关键字文件内容(例子)

### 是文本
关键字第一个
 关键字第二个忽略行首尾空格
第三个   关键 字
### 行首为三个连续的 # 符号, 则忽略
### 忽略空行
### 不支持任何转义

编译

如果关键字文件有10万行以上,建议先编译再使用

zy_spamc keyword_compile 第一个关键字文件 [ 第二个 [ 第三个 ... ] ] 目标文件

命令行测试, 本地

zy_spamc keyword 关键字文件1,关键字文件2[, ...] 邮件或邮件目录

服务配置

在spamd.cf 中配置

是否获取系统判定的其他结论

spam_mail_conclusion_info = yes

服务结论

结论在服务返回的 JSON 中, 形如:

{
	"conclusion": [
		"TO_MAIL_IN_TO_NAME",
		"MIME_ONLY_HTML",
		"HTML_TABLE_WORD_TD_COUNT:120",
		"SUBJECT_ONE_TOKEN",
		"HEADER_NO_MAILER_USER_AGENT"
	]
}

结论列表

服务配置

是否获取邮件及其附件的解析结果

spam_mail_parser_info = yes

服务结论

结论在服务返回的 JSON 中, 形如:

{
    "parser": {
        "subject_utf8":"行政部收",
        "from":{"address":xxx@xxx.com","name_utf8":"xxx"},
        "to":[
            {"address":xxx@xxx.com","name_utf8":"xxx"},
            {"address":xxx2@xxx.com","name_utf8":"xxx2"}
        ],
        "text_mime":[
            {
                "charset":"utf-8",
                "content":"文本<\/html>",
                "encoding":"quoted-printable",
                "readable_content":"去除html标签后的可读可显示的文本",
                "size":3147,
                "type":"text\/html",
                "urls":["html中的网址","网址2"]
            }
        ],
        "attachment_mime":[
            {
                "charset":"",
                "doc_data":{这里的结构相当复杂, 见 http://linuxmail.cn/document_text/help.html },
                "encoding":"base64",
                "size":7756,
                "type":"application\/octet-stream",
                "name_utf8":"可读的附件名"
            }
        ]
    }
}

zy_spamc 工具, bayes 方法的使用

score, 测试信件得分 离线

获得邮件a.eml, b.eml, 和 eml_path1下所有文件(假设都是邮件) 的得分

zy_spamc bayes score ./a.db,./b.db,./c.db a.eml b.eml emlpath1
zy_spamc bayes score ./a.db a.eml b.eml emlpath1

score, 测试信件得分 在线

获得邮件a.eml, b.eml, 和 eml_path1下所有邮件 的得分

zy_spamc bayes score 0:25063 a.eml b.eml emlpath1

ham, 训练正常信件 离线

训练a.eml, b.eml, c.eml, eml_path1, eml_path2 下所有的邮件为正常邮件

zy_spamc bayes ham ./train.db a.eml b.eml eml_path1
zy_spamc bayes ham ./train.db c.eml eml_path2

提示, train.db 可以不存在, 程序会自动创建

提示, train.db是bdb格式, 不能用const格式

spam, 训练垃圾邮件 离线

训练x.eml, y.eml, z.eml, eml_path8, eml_path9 下所有的邮件为垃圾邮件

zy_spamc bayes spam ./train.db x.eml z.eml eml_path9
zy_spamc bayes spam ./train.db y.eml
zy_spamc bayes spam ./train.db eml_path8

merge_db, 合并数据库 离线

合并a.db, b.db, c.db 到 train.db

zy_spamc bayes merge_db a.db train.db
zy_spamc bayes merge_db b.db train.db
zy_spamc bayes merge_db c.db train.db

convert_db, 数据库格式转换 离线

把train.db 转换为const.db

const.db是系统自带的只读数据库格式(速度快)

zy_spamc bayes convert_db train.db const.db

clear_db 数据库格式转换 离线

同 convert_db, 且清理意义不大的 token

zy_spamc bayes clear_db train.db const.db

score, 测试信件得分

获得邮件a.eml, b.eml, 和 eml_path1下所有邮件 的得分

./bin/zy_spamc svm score ./svm.db a.eml b.eml emlpath1

score, 测试信件得分 在线

获得邮件a.eml, b.eml, 和 eml_path1下所有邮件的得分

./bin/zy_spamc svm score 0:25063 a.eml b.eml emlpath1

ham, 训练正常信件

训练a.eml, b.eml, c.eml, eml_path1, eml_path2 下所有的邮件为正常邮件

./bin/zy_spamc svm ham ./flat.txt a.eml b.eml eml_path1

./bin/zy_spamc svm ham ./flat.txt c.eml eml_path2

提示, flat.txt 可以不存在, 程序会自动创建

spam, 训练垃圾邮件

训练x.eml, y.eml, z.eml, eml_path8, eml_path9 下所有的邮件为垃圾邮件

./bin/zy_spamc svm spam ./flat.txt x.eml z.eml eml_path9
./bin/zy_spamc svm spam ./flat.txt y.eml
./bin/zy_spamc svm spam ./flat.txt eml_path8

model 编译为 SVM 模型

把 flat.txt 编译为SVM模型, 存为 svm.db, 且清理意义不大的 token

./bin/zy_spamc svm model flat.txt svm.db

邮件文件路径

形如: /opt/mail/storage/some1.eml

系统假设: 客户端提供的任何文件都是邮件且可读

邮件文件目录

形如: /opt/mail/storage/

系统假设: 此目录下, 所有的(递归)文件都是邮件且可读

形如 0.700268

介于0.000000 ~ 1.000000 之间

越接近 1.0, 是垃圾邮件的可能性越大

根据作者实际经验,大于0.7的可以判定垃圾邮件,小于0.4为可以判定正常邮件

SVM 模式下, 得分只有两个值 0.000000 和 1.000000