[Feature] add for new

This commit is contained in:
binbin.hou
2020-01-07 19:18:46 +08:00
parent a85152061e
commit 68008c0bf8
27 changed files with 184085 additions and 188740 deletions

View File

@@ -1,4 +1,12 @@
# 包含
# 转换
## 拼音
首字母
## 繁简体
## 名称翻转
## stop-word
# filter

View File

@@ -0,0 +1,19 @@
package com.github.houbb.sensitive.word.api;
import java.util.List;
/**
* 数据词接口
* @author binbin.hou
* @since 0.0.1
*/
public interface IWordData {
/**
* 获取对应的敏感词
* @return 结果
* @since 0.0.1
*/
List<String> getWordData();
}

View File

@@ -1,7 +1,11 @@
package com.github.houbb.sensitive.word.bs;
import com.github.houbb.heaven.support.instance.impl.Instances;
import com.github.houbb.heaven.util.guava.Guavas;
import com.github.houbb.heaven.util.lang.StringUtil;
import com.github.houbb.heaven.util.util.CollectionUtil;
import com.github.houbb.sensitive.word.api.IWordData;
import com.github.houbb.sensitive.word.support.data.SensitiveWordData;
import java.util.List;
@@ -26,6 +30,12 @@ public class SensitiveWordBs {
*/
private volatile String target;
/**
* 敏感数据信息
* @since 0.0.1
*/
private IWordData sensitiveWordData = Instances.singleton(SensitiveWordData.class);
/**
* 新建验证实例
* @param string 字符串
@@ -76,6 +86,11 @@ public class SensitiveWordBs {
* @since 0.0.1
*/
public List<String> findAll() {
if(StringUtil.isEmpty(target)) {
return Guavas.newArrayList();
}
// 分词
return null;
}
@@ -86,7 +101,7 @@ public class SensitiveWordBs {
* @return 过滤后的结果
* @since 0.0.1
*/
public String filter() {
private String filter() {
return filter(StringUtil.EMPTY);
}
@@ -96,7 +111,7 @@ public class SensitiveWordBs {
* @return 过滤后的结果
* @since 0.0.1
*/
public String filter(final String filter) {
private String filter(final String filter) {
return "";
}

View File

@@ -0,0 +1,27 @@
package com.github.houbb.sensitive.word.exception;
/**
* @author binbin.hou
* @since 0.0.1
*/
public class SensitiveWordException extends RuntimeException {
public SensitiveWordException() {
}
public SensitiveWordException(String message) {
super(message);
}
public SensitiveWordException(String message, Throwable cause) {
super(message, cause);
}
public SensitiveWordException(Throwable cause) {
super(cause);
}
public SensitiveWordException(String message, Throwable cause, boolean enableSuppression, boolean writableStackTrace) {
super(message, cause, enableSuppression, writableStackTrace);
}
}

View File

@@ -0,0 +1,34 @@
package com.github.houbb.sensitive.word.support.data;
import com.github.houbb.heaven.annotation.ThreadSafe;
import com.github.houbb.sensitive.word.api.IWordData;
import com.github.houbb.sensitive.word.util.StreamUtils;
import java.util.ArrayList;
import java.util.List;
/**
* 数据加载使用单例的模式,只需要加载一次即可。
* @author binbin.hou
* @since 0.0.1
*/
@ThreadSafe
public class SensitiveWordData implements IWordData {
/**
* 默认的内置行
* @since 0.0.1
*/
private static List<String> defaultLines;
static {
defaultLines = new ArrayList<>(183837);
defaultLines = StreamUtils.readAllLines("/dict.txt");
}
@Override
public List<String> getWordData() {
return defaultLines;
}
}

View File

@@ -0,0 +1 @@
package com.github.houbb.sensitive.word.support;

View File

@@ -0,0 +1,72 @@
package com.github.houbb.sensitive.word.util;
import com.github.houbb.heaven.annotation.CommonEager;
import com.github.houbb.heaven.constant.CharsetConst;
import com.github.houbb.heaven.util.lang.StringUtil;
import com.github.houbb.sensitive.word.exception.SensitiveWordException;
import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStream;
import java.io.InputStreamReader;
import java.nio.charset.Charset;
import java.util.*;
/**
* 流工具类
* @author binbin.hou
* @since 0.0.1
*/
@CommonEager
public final class StreamUtils {
private StreamUtils(){}
/**
* 构建数据集合
*
* 后期考虑:是否允许用户自定义字典?
* 目前不支持这些操作。后期如果需要,再把这些限制放开。
* @param path 文件路径
* @return 返回数据集合
* @since 0.0.1
*/
public static List<String> readAllLines(final String path) {
return readAllLines(path, CharsetConst.UTF8, true);
}
/**
* 构建数据集合
*
* 后期考虑:是否允许用户自定义字典?
* 目前不支持这些操作。后期如果需要,再把这些限制放开。
* @param path 文件路径
* @param charset 文件编码
* @param ignoreEmpty 是否忽略空白行
* @return 返回数据集合
* @since 0.0.1
*/
public static List<String> readAllLines(final String path,
final String charset,
final boolean ignoreEmpty) {
try {
List<String> lines = new ArrayList<>();
InputStream is = StreamUtils.class.getResourceAsStream(path);
BufferedReader e = new BufferedReader(new InputStreamReader(is,
Charset.forName(charset)));
while (e.ready()) {
String entry = e.readLine();
if (StringUtil.isEmpty(entry)
&& ignoreEmpty) {
continue;
}
lines.add(entry);
}
return lines;
} catch (IOException e) {
throw new SensitiveWordException("dict init failed!", e);
}
}
}

View File

@@ -0,0 +1,6 @@
/**
* 工具类
* 后期都移动到 heaven 模块。
* @since 0.0.1
*/
package com.github.houbb.sensitive.word.util;

File diff suppressed because it is too large Load Diff

File diff suppressed because it is too large Load Diff

View File

@@ -1,114 +0,0 @@
!
"
#
$
%
&
'
(
)
*
+
,
-
--
.
..
...
......
...................
./
/
//
0
1
2
3
4
5
6
7
8
9
:
://
::
;
<
=
>
>>
?
@
A
Lex
[
\
]
^
_
`
exp
sub
sup
{
|
}
~
~~~~
·
×
×××
Δ
Ψ
γ
μ
φ
В
——
———
……
…………………………………………………③
′∈
∪φ∈
──
 

View File

@@ -1,101 +0,0 @@
KC短信
KC嘉年华
短信
短信:广告
短信广告
短信平台
短信群发
小灵通
短信群发器
小6灵通
短信商务广告
段录定
无界浏览
无界浏览器
无界
无网界
无网界浏览
无帮国
KC提示
KC网站
电信
UP8新势力
动5感地带
白皮书
UP新势力
移3动
移动
移动公司
移动集团
移民
易达网络卡
安魂网
罢工
罢课
铃声下载
纽崔莱七折
手机复制
手机铃声
手机铃声下载
手机游戏
神7州行
网关
神通加持法
全1球通
如6意通
清仓
灵动卡
超市
答案卫星接收机
打折机票
高薪养廉
考后付款
佳静安定片
航班
航空
航空母舰
航空售票
航天
号码百事通
考前发放
成本价
诚信通手机商城
大2众卡
辅导
高利贷
联 通 贵宾 卡
联4通
黑庄
黑马
黑手党
黑车
联通
联通贵宾卡
联通商务通
联总
联总这声传单
联总之声传单
高息贷款
高干子弟
恭喜你的号码
恭喜您的号码
高干子女
各个银行全称
各种发票
高官
高官互调
高官子女
复式
喝一送一
卡号
监听王
传:单
传单
旦科
当官靠后台
党校安插亲信
传九促三
客户端非法字符
刻章
大麻树脂
大麻油

View File

@@ -1,877 +0,0 @@
陈宝生
程凯
程铁军
程真
陈炳德
陈炳基
陈车
陈川平
陈存根
戴秉国
戴海静
戴相龙
陈德铭
陈国令
董贵山
董万才
懂文华
陈冀平
冯东海
冯敏刚
冯寿淼
冯素英
陈际瓦
陈建国
陈军
陈奎元
陈雷
傅成玉
傅申奇
傅志寰
傅怡彬
贾安
贾庆林
贾廷安
贾育台
贾治邦
希拉克
希特勒
傅雯娟
符贵
符强
符跃兰
陈良宇
陈蒙
陈敏尔
陈破空
陈润儿
陈水扁
陈文清
邓楠
迪里夏提
陈希
颜射
阎明复
焉荣竹
严家其
严家祺
陈希同
陈小同
陈新权
陈宣良
陈训秋
陈一谘
丁关根
丁元
丁子霖
陈元
陈政高
陈至
李 洪 志
李安东
李斌
李长才
李长春
李长江
李成玉
李崇禧
李从军
李大师
李登辉
李法泉
李刚
李海峰
李汉柏
李鸿忠
李洪峰
李洪宽
李洪志
李宏志
李宏治
李红痔
李继耐
李纪恒
李建国
于大海
于浩成
于起龙
于幼军
李金城
李金章
李景田
李康
李克
李克强
李兰菊
李老师
李立国
李禄
徐邦秦
徐斌
徐才厚
徐粉林
徐光春
徐建国
徐敬业
徐匡迪
徐乐江
徐绍史
徐守
徐水良
徐天亮
徐一天
许达哲
许家屯
许其亮
许云昭
肖爱玲
肖钢
肖捷
肖强
肖亚庆
李录
李买富
李鹏
李契克
李荣融
李瑞环
李少民
李盛霖
李世明
李适时
李淑娴
李铁映
李旺阳
李文斌
李熙
李希
李向东
李小朋
李小鹏
李小雪
李学举
李学勇
李延芝
李毅中
李玉赋
李玉妹
李源潮
李月鸟
李月月鸟
余欣荣
余英时
余远辉
俞杰
俞正声
李兆焯
李志绥
李总理
李总统
李幛喆
李岚清
列宁
列确
林保华
林彪
林长盛
林军
廖锡龙
林明月
林慎立
廖晖
林树森
林业局
林幼芳
凌锋
林左鸣
林樵清
令狐安
刘宾深
刘宾雁
刘成军
刘春良
刘冬冬
刘刚
刘国凯
刘华清
刘慧
刘家义
刘建华
刘京
刘俊国
刘凯中
刘明康
刘鹏
刘奇葆
刘千石
刘青
刘山青
刘石泉
刘士贤
刘士贤司马晋
刘伟
刘伟平
刘文胜
刘文瑜
刘晓波
刘晓江
刘晓凯
刘晓竹
刘晓榕
刘学普
刘亚洲
刘延东
刘永川
刘永治
刘玉浦
刘玉亭
刘源
刘粤军
刘云山
刘振来
刘振起
刘振亚
刘志军
刘淇
陈至立
陈子明
陈总统
陈左宁
邓昌友
邓可人
邓天生
邓笑贫
阿拉法特
蔡崇国
蔡继华
蔡挺
蔡武
蔡振华
艾斯海提·克里木拜
安立敏
巴赫
巴特尔
巴音
朝鲁
白志健
白春礼
范长龙
范印华
万晓东
汪梦飞
汪洋
汪岷
王宝森
王炳章
王策
王超华
王传平
王丹
王东明
王辅臣
王刚
王冠中
王光亚
王国生
王涵万
周强
周生贤
周天法
周旋
周英
周永康
朱保成
朱成虎
朱丹
朱德
朱嘉明
朱金基
朱琳
朱明国
朱溶剂
朱容基
朱维群
朱之鑫
朱总理
朱镕基
王和民
王鸿举
王洪章
王沪
王沪宁
王华庆
王华元
王家瑞
王建军
王建平
王金山
王进东
王军涛
王俊莲
王乐泉
王莉莉
王立英
王力雄
王明方
王荣
王儒林
王瑞林
王润生
王若望
王三运
王胜俊
王寿祥
王太华
王通智
王万宾
王为璐
王维民
王伟
王伟光
王希哲
王喜斌
王侠
王宪魁
王晓初
王新宪
王秀丽
王旭东
王学军
王冶坪
王毅
王勇
王玉普
王兆国
王正福
王正伟
王志刚
王忠民
王岐山
方励之
方舟子
曹长青
郭伯雄
郭庚茂
章虹
章沁生
张宝顺
张博涵
张伯笠
张成寅
张春贤
张德江
张钢
张高丽
张耕
张国清
张海阳
张宏堡
张惠新
张基
张纪南
张健
张建平
张杰
张军
张开双腿
张连珍
张林
张平
张庆黎
张庆伟
张汝成
张仕波
张铁健
张万年
张伟国
张文岳
张先玲
吴爱
吴百益
吴邦国
吴定富
吴方城
吴官正
吴宏达
吴弘达
吴仁华
吴胜利
吴双战
吴新雄
吴学灿
吴学璨
吴仪
吴玉良
吴镇南
吴毓萍
武吉海
吾尔开希
张晓刚
张晓平
张小平
张轩
张研农
张阳
张裔炯
张毅
张又侠
张玉台
张云川
张昭富
张志清
张中伟
张左己
张岱梨
何德普
何峰
何家栋
何平
何清涟
何勇
郭金龙
黄局
黄康生
晴宜
黄菊
黄树贤
黄献中
黄翔
黄兴国
黄作兴
黄慈萍
黄殿中
魏凤和
魏家福
魏京生
魏礼群
魏新生
尉健行
袁纯清
袁贵仁
袁家军
袁荣祥
卫留成
卫生部
温家宝
赵爱明
赵海青
赵洪祝
赵克石
赵乐际
赵南
赵品潞
赵铁锤
赵宪庚
赵晓微
郑义
郑源
郑中
温加饱
温元凯
温云松
邢元敏
邢铮
黄华华
黄祸
黄建国
黄晶
郭罗基
郭平
郭声琨
郭树清
郭岩华
郭炎炎
郭永平
曹刚川
杨崇汇
杨传升
杨传堂
杨刚
杨怀安
杨焕宁
杨建利
杨建亭
杨洁篪
杨晶
杨利民
杨利伟
杨士秋
杨松
杨巍
杨衍银
杨元元
杨月清
杨周
姚月谦
姚增科
耶和华
叶冬松
叶剑英
叶青纯
曹建明
曹康泰
曹清
白恩培
薄熙来
白景富
白军
白立忱
白立朴
白梦
鲍戈
鲍彤
杜导斌
谢长廷
谢和平
谢小庆
谢旭人
谢选骏
谢中之
辛灏年
杜恒岩
杜鹃
费良勇
杜青林
杜学芳
杜宇新
杜智富
贝领
本.拉登
不来提不都热西提
柴玲
梁保华
柳斌杰
楼继伟
邱学强
齐墨
仁吉旺姆
仁青加
卢越刚
马大维
莫伟强
申维辰
任亚平
蔣彥永
舒晓琴
盛华仁
努尔白克力
彭枫
彭清华
欧泽高
宋xx
司马晋
司马义·铁力瓦尔地
水扁
史莲喜
石宗源
石大华
司马璐
司徒华
宋爱荣
宋楚瑜
宋平
宋平一句话
宋书元
宋秀岩
宋育英
宋祖英
苏家屯
苏荣
苏绍智
田成平
田力普
田修思
童世平
童屹
童增
铁凝
苏士亮
苏树林
苏晓康
孙宝树
孙春兰
孙大发
孙建国
孙金龙
孙思敬
孙晓群
孙政才
孙忠同
汤光中
汤涛
唐柏桥
唐家璇
唐捷
陶驷驹
潘国平
钦本立
普京
尚福林
尚勇
邵家健
穆斯林
秦光荣
乔石
秦晋
秦银河
邵明立
邵琪伟
沈德咏
沈浩波
沈素琍
沈彤
沈跃跃
潘云鹤
孟建柱
孟令伟
孟学农
聂卫国
祁建
钱达
钱国梁
钱其琛
钱运录
马会
马凯
马克思
罗保铭
罗干
毛一鲜
毛泽东
毛泽东123
毛泽东2
毛贼东
梅克保
罗礼诗
罗清泉
罗正富
罗志军
骆惠宁
骆琳
马良骏
马强
马三家
马时敏
马晓天
马英九
马志鹏
马飚
马馼
卢展工
路甬祥
鹿心社
陆兵
陆浩
陆委会
吕京花
吕秀莲
吕祖善
梁光烈
梁擎墩
常万全
克林顿
雷春美
东突厥斯坦伊斯兰
迟浩田
克劳塞维茨
迟万春
仇保兴
康日新
康涛杰
黎安友
黎阳平
拉丹
拉登
拉姆斯菲尔德
高瞻
葛振峰
金道铭
金日成
金书波
金尧如
金振吉
华过锋
胡春华
胡绩伟
胡江
胡平
华惠棋
华建敏
华莱士
金正日
金壮龙
靖志远
高自联
高莺莺
高强
高文谦
焦国标
焦焕成
蒋峰
蒋洁敏
蒋经国
蒋文兰
蒋彦永
高武生
付申奇
连胜德
贺邦靖
关卓中
贺国强
干以胜
简鸿章
回良玉
江罗
冠希
江绵恒
江棋生
江青
恩格斯
刘伯承
陈毅
贺龙
聂荣臻
徐向前
罗荣桓
叶剑英
李大钊
陈独秀
孙中山
孙文
孙逸仙
邓小平
陈云
江泽民
李鹏
朱镕基
李瑞环
尉健行
李岚清
胡锦涛
罗干
温家宝
吴邦国
曾庆红
贾庆林
黄菊
吴官正
李长春
吴仪
回良玉
曾培炎
周永康
曹刚川
唐家璇
华建敏
陈至立
陈良宇
张德江
张立昌
俞正声
王乐泉
刘云山
王刚
王兆国
刘淇
贺国强
郭伯雄
胡耀邦
李登辉
连战
陈水扁
宋楚瑜
吕秀莲
郁慕明
蒋介石
蒋中正
蒋经国
马英九
习近平
李克强
吴帮国
无帮国
无邦国
无帮过
瘟家宝
假庆林
甲庆林
假青林
离长春
习远平
袭近平
李磕墙
贺过墙
和锅枪
粥永康
轴永康
肘永康
周健康
粥健康
周小康
布什
布莱尔
小泉
纯一郎
萨马兰奇
安南
阿拉法特
普京
默克尔
克林顿
里根
尼克松
林肯
杜鲁门
赫鲁晓夫
列宁
斯大林
马克思
恩格斯
金正日
金日成
萨达姆
胡志明
西哈努克
希拉克
撒切尔
阿罗约
曼德拉
卡斯特罗
富兰克林
华盛顿
艾森豪威尔
拿破仑
亚历山大
路易
拉姆斯菲尔德
劳拉
鲍威尔
奥巴马
本拉登
奥马尔
柴玲
达赖喇嘛
江青
张春桥
姚文元
王洪文
东条英机
希特勒
墨索里尼
冈村秀树
冈村宁次
高丽朴
赵紫阳
王丹
沃尔开西
李洪志
李大师
赖昌星
马加爵
班禅
额尔德尼
山本五十六
阿扁
宋祖英
小泉纯一郎
徐光春

View File

@@ -1,264 +0,0 @@
常劲
本田
鲍筒
拨打
伴游
QQ宠物
本公司2
世纪中国基金会
610洗脑班
帮穷人
2004年公共服务奖
2006年十句最真实的谎言
001工程
分家在
大红赤龙七头十角
第一批下海经商的人富
俄罗斯
周年庆
苗圩
明斯克号
清纯
穷 人
穷人
屈万祥
善恶有报
汕尾
生态区
生肖
盛雪
盛雪辛灏年
师傅
师父
石戈
食捻屎
使馆
驶你老母
驶你母
试卷
试题答案
圣战
权柄
全哲洙
瘸腿帮
群体灭绝
燃烧辅助工具
热比娅
热线
忍无可忍
明心
水去车仑
斯诺
四级答案
四联航空
透视镜
透视眼镜
万能钥匙
万润南
网管
网上赚钱
网特
网通
网赚队伍
往事并不如烟
威而柔
威海
素人
宿命论
隧道
檀鑫
名山县
体健貌端
天鹅之旅
名师
慕歌
木犀地
穆罕默德
倪育贤
年福纯
潜在用户
抢粮记
龙虎豹
瞒报
毛片
绿色环保手机
绿色雨
龙虎豹宋书元
龙卷风
领取
长期
城堡
担保
吹喇叭
歌德
歌功颂德
高丽棒子
蛤蟆
个人崇拜
看中国
凯旋
口蹄疫
来京上访
蓝光
蓝丝带
举行
均价
靖国神社
警察
静坐
揭批书
接班
结欠
结帐
戒严
刀林荫
登辉
登天梯
翟渠
翟小衡
点金
东突
东突厥斯坦
东土耳其斯坦
多维
二码
二乙基酰胺
二注
发~票
发财诗
发改委
分众
封从德
疯狂掠夺大陆股民
凤凰
佛展千手法
戈扬
鸽派
工力
工自联
共黨
古怪歌
管理员
哈批
114
1258
1259
12590
12593
1 0 1 5 9
10000
10010
10086
10159
13423205670
13725516608
13875448369
15112886328
189
6-4tianwang
64
68170802
6a6.net
7.31
7.310
89-64cdjp
8945212
23条
259o
381929279
3P
4-Jun
AV
BJ
CBD
CCTV
CDMA
DICK
Dick
FLG
FOCUSC
FUCK
Fuck
GAMEMASTER
GCD
GameMaster
IP17908
KEY_TEXT
NMD
QQb
SM
Soccer01.com
TMD
UltraSurf
bignews
Bitch
boxun
Chinaliberal
chinamz
Chinesenewsnet
cnd
Creaders
dafa
Dajiyuan
df'd
Dfdz
die
dpp
Freechina
freedom
Freenet
fuck
fuck your mother
hongzhi
hrichina
huanet
hypermart.net
incest
jiangdongriji
l2590803027
lihongzhi
ma
making
minghui
minghuinews
nacb
na?ve
nmis
paper64
peacehall
piao
playboy
renminbao
renmingbao
rfa
safeweb
sex
shit
simple
svdc
taip
tibetalk
triangle
triangleboy
txwq.net
unixbox
ustibet
voa
voachinese
wangce
wstaiji
www
xinsheng
yuming
yy通讯录
zhengjian
zhengjianwang
zhenshanren
zhuanfalu
zhuanfalun
八九
八老

View File

@@ -1,126 +0,0 @@
兼职
招聘
网络
QQ
招聘
有意者
到货
本店
代购
扣扣
客服
微店
兼职
兼值
淘宝
小姐
妓女
包夜
3P
LY
JS
狼友
技师
推油
胸推
BT
毒龙
口爆
兼职
楼凤
足交
口暴
口交
全套
SM
桑拿
吞精
咪咪
婊子
乳方
操逼
全职
性伴侣
网购
网络工作
代理
专业代理
帮忙点一下
帮忙点下
请点击进入
详情请进入
私人侦探
私家侦探
针孔摄象
调查婚外情
信用卡提现
无抵押贷款
广告代理
原音铃声
借腹生子
找个妈妈
找个爸爸
代孕妈妈
代生孩子
代开发票
腾讯客服电话
销售热线
免费订购热线
低价出售
款到发货
回复可见
连锁加盟
加盟连锁
免费二级域名
免费使用
免费索取
蚁力神
婴儿汤
售肾
刻章办
买小车
套牌车
玛雅网
电脑传讯
视频来源
下载速度
高清在线
全集在线
在线播放
txt下载
六位qq
6位qq
位的qq
个qb
送qb
用刀横向切腹
完全自杀手册
四海帮
足球投注
地下钱庄
中国复兴党
阿波罗网
曾道人
六合彩
改卷内幕
替考试
隐形耳机
出售答案
考中答案
答an
da案
资金周转
救市
股市圈钱
崩盘
资金短缺
证监会
质押贷款
小额贷款
周小川
刘明康
尚福林
孔丹
售ID
售号
售软件

View File

@@ -1,92 +0,0 @@
114
CBD
板楼
别墅
车库
城堡
成本价
酬宾
大降价
地产
度假区
二期
发售
房产
房地产
房峰辉
房间
房型
房源
房展
房折
风水宝地
公馆
公寓
购房
豪宅
号码百事通
喝一送一
衡阳万通房产
户型
花园
街铺
精装
景观住宅
均价
开发
开盘
看房
两限房
楼盘
娄义
买二送一
买房
买一送一
卖车
卖房
面积
名宅
票据
平米
抢购
求:购
求购
全户型
认购
三期
商铺
商圈
商业楼
生态区
首付
售楼
特等奖
特惠房
特价
特卖会
投注
旺铺
威海
现房
小户
小旺铺
写字楼
洋房
样板房
样板间
样板间
一码
一平
一期
一切证件
一梯两户
一折起
优惠
折上折
周年庆
住宅
装修
准现房
租房
租售

File diff suppressed because it is too large Load Diff

View File

@@ -1,151 +0,0 @@
东方红时空
风水宝地
舆论
舆论反制
风雨神州
自杀手册
自杀指南
自已的故事
自由
自由民主论坛
自由网
自由写作奖
自制手枪
自主择业
宗教压迫
先天健康法
阻止中华人民共和国统
昨日重现
咨询
咨讯
风雨神州论坛
东方时空
独立台湾会
访问链接
飞扬论坛
独立中文笔会
东南西北论谈
真相
真象
侦探设备
争鸣论坛
正帮通信公司
正见
正邪大决战
正义党论坛
北京之春民主论坛
北美讲坛
倒陈运动的最大受益人
反封锁技术
反腐败论坛
地下刊物
恶搞晚会
北美讲坛
北美论坛
地铁十号线塌方
逊克农场26队
春夏论坛
邓颖超日记
国研新闻邮件
国色天香网
春夏之交
春夏自由论坛
亚洲周刊
亚洲自由之声
博讯
邓小平和他的儿子
政坛两黑马
政坛明日之星
中國當局
中朝
中电信
中俄边界
中俄边界新约
中俄密约
致胡书记的公开信
指点江山论坛
北美自由论坛
参加者回忆录
大纪元新闻网
九-评
九.评
九、评
九—评
九成
九成新
九码
九评
新观察论坛
新华举报
新华内情
新华社
新华通论坛
大众真人真事
大家论坛
新唐人
新唐人电视台
新闻办
新闻封锁
新语丝
印尼伊斯兰祈祷团
北大三角
地论坛
9.635
9评
中华人民实话实说
杂志
E周刊
安装卫星电视
代表大会
论坛
南大论坛
南大自由论坛
强硬发言
南华早报
你说我说论坛
木子论坛
两会报道
两会新闻
轻舟快讯
热站政论网
时代论坛
时事参考
时事论坛
万维读者论坛
统独论坛
特讯
世界经济导报
世界通
超常科学
传说的胡曾联手是一种假象
大纪元
港澳办
跨世纪的良心犯
告全国股民同胞书
华岳
华岳时事论坛
华夏文摘快递
华语世界论坛
和平请愿书
华人媒体
华通时事论坛
华夏文摘
广 闻
广电局
广东五元集团
广告
广闻
红潮谎言录
告全体网民书
告中国人民解放军广大官兵书
港料
大史记
联总之声
集会
集体上访
讲事实
要说法
霍英东临终遗言
大史纪
高校群体事件
传中共中央关于18大的人事安排意见

Binary file not shown.

View File

@@ -1,66 +0,0 @@
安眠酮
代血浆
普萘洛尔
呋塞米
西布曲明
testosterone
胰岛素样生长因子
促红细胞生成素
地西泮
尼可刹米
甲睾酮
adrenaline
erythropoietin
地奈德
莫达非尼
氯噻嗪
苯巴比妥
促性腺激素
泼尼松
麻黄草
雄烯二醇
地塞米松
tamoxifen
strychnine
androst
新型毒品
杜冷丁
兴奋剂
mdma
海洛因
海luo因
heroin
diamorphine
diacetylmorphine
鸦片
阿芙蓉
咖啡因
cocain
三唑仑
美沙酮
麻古
k粉
凯他敏
ketamine
冰毒
苯丙胺
cannabis
大麻
爱他死
氯胺酮
benzodiazepines
甲基安非他明
安非他命
吗啡
morphine
摇头丸
迷药
乖乖粉
narcotic
麻醉药
精神药品
生鸦片
鸦片
K粉
摇头玩
摇头丸

File diff suppressed because it is too large Load Diff

File diff suppressed because it is too large Load Diff

View File

@@ -1,157 +0,0 @@
Bitch
bt
cao
FUCK
Fuck
fuck
kao
NMD
NND
sb
shit
SHIT
SUCK
Suck
tmd
TMD
tnnd
K他命
白痴
笨蛋
变态
婊子
操她妈
操妳妈
操你
操你妈
操他妈
草你
册那
侧那
测拿
蠢猪
荡妇
发骚
废物
干她妈
干妳
干妳娘
干你
干你妈
干你妈B
干你妈b
干你妈逼
干你娘
干他妈
狗娘养的
贱货
贱人
烂人
老母
老土
妈比
妈的
马的
妳老母的
妳娘的
你妈逼
破鞋
仆街
去她妈
去妳的
去妳妈
去你的
去你妈
去死
去他妈
日你
赛她娘
赛妳娘
赛你娘
赛他娘
骚货
傻B
傻比
傻子
上妳
上你
神经病
屎妳娘
屎你娘
他妈的
王八蛋
我操
我日
乡巴佬
猪猡
马勒戈壁
妳妈的
妳马的
伱妈
你爸
你大爷
你二大爷
你老母
你老味
你姥
你姥姥的
你妈
你妈的
你娘
你爷爷的
鸟GM
鸟Gm
鸟gM
鸟gm
鸟你
牛比
日GM
日Gm
日gM
日gm
日X妈
日本RING
日本鬼子
日你娘
日他娘
塞白
塞你爸
塞你公
塞你老母
塞你老师
塞你母
塞你娘
傻屄
傻吊
傻卵
煞逼
食捻屎
食屎
驶你爸
驶你公
驶你老母
驶你老师
驶你母
驶你娘
他爹
他妈
他马的
他母亲
他祖宗
死gd
死GD
死gm
死GM
死全家
曰GM
曰Gm
曰gM
曰gm
曰你
我操你
我妳老爸
杂种
装屄
操你八辈祖宗
马拉戈壁
去你妈的

View File

@@ -1,209 +0,0 @@
大法
大法弟子
dpp大法
fa lun
falu
发抡
发抡功
洗脑
下法轮
发轮
发伦
发伦功
发仑
发沦
发纶
发论
发论功
发论公
发正念
发囵
发愣
发瞟
罚抡
罚伦
罚仑
罚沦
罚纶
罚囵
筏抡
筏轮
筏伦
筏仑
筏沦
筏纶
筏论
筏囵
伐抡
伐轮
伐伦
伐仑
伐沦
伐论
伐囵
乏抡
乏轮
乏伦
乏仑
乏沦
乏纶
乏论
乏囵
阀抡
阀伦
阀仑
阀沦
阀纶
阀论
阀囵
法 轮 功
法*功
法.轮.功
法L功
法lun功
法功
法会
法抡
法抡功
法轮
法轮大法
法轮佛法
法轮功
法伦
法仑
法沦
法纶
法论
法十轮十功
法西斯
法院
法正
法谪
法谪功
法輪
法囵
法愣
珐.輪功
珐抡
珐轮
珐伦
珐仑
珐沦
五不
五不争鸣论坛
五出三进
五套功法
邝锦文
垡抡
垡轮
垡伦
垡仑
垡沦
垡纶
垡论
垡囵
茳澤民
荭志
闳志
闵维方
氵去
氵去车仑工力
转法轮
砝抡
砝轮
砝伦
砝仑
砝沦
砝纶
真、善、忍
真理教
真善美
真善忍
砝论
砝囵
泓志
屙民
珐纶
珐论
珐囵
falun
Falundafa
fa轮
Flg
弟子
地下教会
炼功
梦网洪志
轮大
抡功
轮功
伦功
摩门教
三水法轮
三唑仑
天皇
天怒
天葬
车臣
达赖
功法
讲法
基督
基督教
护法
回教
教徒
功友
大师
达赖喇嘛
虹志
鸿志
洪传
贯通两极法
光祖
洪吟
洪哲胜
洪志
宏法
观世音
宏志
弘志
古兰经
红志
车库
车仑
经文
转法轮
自焚
法轮功
法轮大法
释迦牟尼
阿弥陀佛
多维
河殇
穆罕默德
耶和华
耶稣
伊斯兰
真主安拉
白莲教
天主教
基督教
东正教
大法
法轮
真理教
走向圆满
黄大仙
跳大神
神汉
神婆
大卫教
阎王
黑白无常
牛头马面
实际神
东方闪电
全能神
宗教
耶苏

View File

@@ -1,9 +1,8 @@
package com.github.houbb.sensitive.word;
package com.github.houbb.sensitive.word.data;
import com.github.houbb.heaven.support.filter.IFilter;
import com.github.houbb.heaven.util.io.FileUtil;
import com.github.houbb.heaven.util.lang.StringUtil;
import com.github.houbb.heaven.util.util.CharsetUtil;
import com.github.houbb.heaven.util.util.CollectionUtil;
import com.github.houbb.sensitive.word.util.CharsetUtils;
import org.junit.Ignore;
@@ -13,10 +12,11 @@ import java.util.Collections;
import java.util.List;
/**
* 数据初始化
* @author binbin.hou
* @since 1.0.0
* @since 0.0.1
*/
public class SplitTest {
public class DataInitTest {
@Test
@Ignore
@@ -41,6 +41,12 @@ public class SplitTest {
FileUtil.write(target, trimLines);
}
/**
* 获取对应文件的独一无二内容
* @param name 名称
* @return 结果
* @since 0.0.1
*/
private List<String> distinctLines(final String name) {
final String dir = "D:\\github\\sensitive-word\\src\\main\\resources\\";
final String path = dir + name;
@@ -49,6 +55,7 @@ public class SplitTest {
}
@Test
@Ignore
public void stopWordTest() {
final String source = "D:\\github\\sensitive-word\\src\\main\\resources\\stopword.txt";
final String target = "D:\\github\\sensitive-word\\src\\main\\resources\\stopword_chars.txt";
@@ -65,4 +72,34 @@ public class SplitTest {
FileUtil.write(target, resultList);
}
@Test
@Ignore
public void dictAllInOneTest() {
final List<String> allLines = distinctLines("dict.txt");
allLines.addAll(distinctLines("不正当竞争.txt"));
allLines.addAll(distinctLines("人名.txt"));
allLines.addAll(distinctLines("其他.txt"));
allLines.addAll(distinctLines("广告.txt"));
allLines.addAll(distinctLines("房产.txt"));
allLines.addAll(distinctLines("政治类.txt"));
allLines.addAll(distinctLines("新闻实事.txt"));
allLines.addAll(distinctLines("暴力.txt"));
allLines.addAll(distinctLines("毒品.txt"));
allLines.addAll(distinctLines("网址.txt"));
allLines.addAll(distinctLines("色情类.txt"));
allLines.addAll(distinctLines("辱骂.txt"));
allLines.addAll(distinctLines("邪教.txt"));
List<String> disctinct = CollectionUtil
.distinct(CollectionUtil.trimCollection(allLines));
Collections.sort(disctinct);
final String target = "D:\\github\\sensitive-word\\src\\main\\resources\\dict.txt";
FileUtil.write(target, disctinct);
}
}

View File

@@ -0,0 +1,22 @@
package com.github.houbb.sensitive.word.util;
import org.junit.Assert;
import org.junit.Test;
import java.util.List;
/**
* @author binbin.hou
* @since 0.0.1
*/
public class StreamUtilsTest {
@Test
public void sizeTest() {
final String dictPath = "/dict.txt";
List<String> stringList = StreamUtils.readAllLines(dictPath);
Assert.assertEquals(183837, stringList.size());
}
}