diff --git a/pom.xml b/pom.xml
index ed07ea9..16e21a2 100644
--- a/pom.xml
+++ b/pom.xml
@@ -25,7 +25,7 @@
1.7
- 0.1.67
+ 0.1.68-SNAPSHOT
4.12
@@ -41,6 +41,18 @@
${heaven.version}
+
+ com.github.houbb
+ opencc4j
+ 1.2.0
+ true
+
+
+ com.github.houbb
+ heaven
+
+
+
@@ -63,6 +75,11 @@
heaven
+
+ com.github.houbb
+ opencc4j
+
+
junit
diff --git a/src/main/resources/dict.txt b/src/main/resources/dict.txt
index 5a344e9..396261e 100644
Binary files a/src/main/resources/dict.txt and b/src/main/resources/dict.txt differ
diff --git a/src/main/resources/stopword.txt b/src/main/resources/stopword.txt
deleted file mode 100644
index b69387c..0000000
--- a/src/main/resources/stopword.txt
+++ /dev/null
@@ -1,2047 +0,0 @@
- ━
- │
- ┃
- ┄
- ┅
- ┆
- ┇
- ┈
- ┉
- ┊
- ┋
- ┌
- ┍
- ┎
- ┏
- ┐
- ┑
- ┒
- ┓
- └
- ┕
- ┖
- ┗
- ┘
- ┙
- ┚
- ┛
- ├
- ┝
- ┞
- ┟
- ┠
- ┡
- ┢
- ┣
- ┤
- ┥
- ┦
- ┧
- ┨
- ┩
- ┪
- ┫
- ┬
- ┭
- ┮
- ┯
- ┰
- ┱
- ┲
- ┳
- ┴
- ┵
- ┶
- ┷
- ┸
- ┹
- ┺
- ┻
- ┼
- ┽
- ┾
- ┿
- ╀
- ╁
- ╂
- ╃
- ╄
- ╅
- ╆
- ╇
- ╈
- ╉
- ╊
- ╋
- !
- "
- #
- $
- %
- &
- '
- (
- )
- *
- +
- ,
- -
- =
- .
- ./
- /
- //
- :
- ://
- ::
- ;
- <
- =
- >
- >>
- ?
- @
- [
- \
- ]
- ^
- _
- `
- exp
- sub
- sup
- {
- |
- }
- ~
- ·
- ×
- Δ
- Ψ
- γ
- μ
- φ
- В
- —
- ‘
- ’
- ’‘
- “
- ”
- …
- ′∈
- ℃
- Ⅲ
- ↑
- →
- ∪φ∈
- ≈
- ──
- ■
- ▲
- 、
- 。
- 〈
- 〉
- 《
- 》
- 」
- 『
- 』
- 【
- 】
- 〔
- 〕
-!
-"
-#
-$
-%
-&
-'
-(
-)
-*
-+
-,
--
---
-.
-..
-...
-......
-...................
-./
-.一
-.数
-.日
-/
-//
-0
-1
-2
-3
-4
-5
-6
-7
-8
-9
-:
-://
-::
-;
-<
-=
->
->>
-?
-@
-A
-Lex
-[
-\
-]
-^
-_
-`
-exp
-sub
-sup
-|
-}
-~
-~~~~
-·
-×
-×××
-Δ
-Ψ
-γ
-μ
-φ
-φ.
-В
-—
-——
-———
-‘
-’
-’‘
-“
-”
-”,
-…
-……
-…………………………………………………③
-′∈
-′|
-℃
-Ⅲ
-↑
-→
-∈[
-∪φ∈
-≈
-①
-②
-②c
-③
-③]
-④
-⑤
-⑥
-⑦
-⑧
-⑨
-⑩
-──
-■
-▲
-
-、
-。
-〈
-〉
-《
-》
-》),
-」
-『
-』
-【
-】
-〔
-〕
-〕〔
-㈧
-一
-一.
-一一
-一下
-一个
-一些
-一何
-一切
-一则
-一则通过
-一天
-一定
-一方面
-一旦
-一时
-一来
-一样
-一次
-一片
-一番
-一直
-一致
-一般
-一起
-一转眼
-一边
-一面
-七
-万一
-三
-三天两头
-三番两次
-三番五次
-上
-上下
-上升
-上去
-上来
-上述
-上面
-下
-下列
-下去
-下来
-下面
-不
-不一
-不下
-不久
-不了
-不亦乐乎
-不仅
-不仅...而且
-不仅仅
-不仅仅是
-不会
-不但
-不但...而且
-不光
-不免
-不再
-不力
-不单
-不变
-不只
-不可
-不可开交
-不可抗拒
-不同
-不外
-不外乎
-不够
-不大
-不如
-不妨
-不定
-不对
-不少
-不尽
-不尽然
-不巧
-不已
-不常
-不得
-不得不
-不得了
-不得已
-不必
-不怎么
-不怕
-不惟
-不成
-不拘
-不择手段
-不敢
-不料
-不断
-不日
-不时
-不是
-不曾
-不止
-不止一次
-不比
-不消
-不满
-不然
-不然的话
-不特
-不独
-不由得
-不知不觉
-不管
-不管怎样
-不经意
-不胜
-不能
-不能不
-不至于
-不若
-不要
-不论
-不起
-不足
-不过
-不迭
-不问
-不限
-与
-与其
-与其说
-与否
-与此同时
-专门
-且
-且不说
-且说
-两者
-严格
-严重
-个
-个人
-个别
-中小
-中间
-丰富
-串行
-临
-临到
-为
-为主
-为了
-为什么
-为什麽
-为何
-为止
-为此
-为着
-主张
-主要
-举凡
-举行
-乃
-乃至
-乃至于
-么
-之
-之一
-之前
-之后
-之後
-之所以
-之类
-乌乎
-乎
-乒
-乘
-乘势
-乘机
-乘胜
-乘虚
-乘隙
-九
-也
-也好
-也就是说
-也是
-也罢
-了
-了解
-争取
-二
-二来
-二话不说
-二话没说
-于
-于是
-于是乎
-云云
-云尔
-互
-互相
-五
-些
-交口
-亦
-产生
-亲口
-亲手
-亲眼
-亲自
-亲身
-人
-人人
-人们
-人家
-人民
-什么
-什么样
-什麽
-仅
-仅仅
-今
-今后
-今天
-今年
-今後
-介于
-仍
-仍旧
-仍然
-从
-从不
-从严
-从中
-从事
-从今以后
-从优
-从古到今
-从古至今
-从头
-从宽
-从小
-从新
-从无到有
-从早到晚
-从未
-从来
-从此
-从此以后
-从而
-从轻
-从速
-从重
-他
-他人
-他们
-他是
-他的
-代替
-以
-以上
-以下
-以为
-以便
-以免
-以前
-以及
-以后
-以外
-以後
-以故
-以期
-以来
-以至
-以至于
-以致
-们
-任
-任何
-任凭
-任务
-企图
-伙同
-会
-伟大
-传
-传说
-传闻
-似乎
-似的
-但
-但凡
-但愿
-但是
-何
-何乐而不为
-何以
-何况
-何处
-何妨
-何尝
-何必
-何时
-何止
-何苦
-何须
-余外
-作为
-你
-你们
-你是
-你的
-使
-使得
-使用
-例如
-依
-依据
-依照
-依靠
-便
-便于
-促进
-保持
-保管
-保险
-俺
-俺们
-倍加
-倍感
-倒不如
-倒不如说
-倒是
-倘
-倘使
-倘或
-倘然
-倘若
-借
-借以
-借此
-假使
-假如
-假若
-偏偏
-做到
-偶尔
-偶而
-傥然
-像
-儿
-允许
-元/吨
-充其极
-充其量
-充分
-先不先
-先后
-先後
-先生
-光
-光是
-全体
-全力
-全年
-全然
-全身心
-全部
-全都
-全面
-八
-八成
-公然
-六
-兮
-共
-共同
-共总
-关于
-其
-其一
-其中
-其二
-其他
-其余
-其后
-其它
-其实
-其次
-具体
-具体地说
-具体来说
-具体说来
-具有
-兼之
-内
-再
-再其次
-再则
-再有
-再次
-再者
-再者说
-再说
-冒
-冲
-决不
-决定
-决非
-况且
-准备
-凑巧
-凝神
-几
-几乎
-几度
-几时
-几番
-几经
-凡
-凡是
-凭
-凭借
-出
-出于
-出去
-出来
-出现
-分别
-分头
-分期
-分期分批
-切
-切不可
-切切
-切勿
-切莫
-则
-则甚
-刚
-刚好
-刚巧
-刚才
-初
-别
-别人
-别处
-别是
-别的
-别管
-别说
-到
-到了儿
-到处
-到头
-到头来
-到底
-到目前为止
-前后
-前此
-前者
-前进
-前面
-加上
-加之
-加以
-加入
-加强
-动不动
-动辄
-勃然
-匆匆
-十分
-千
-千万
-千万千万
-半
-单
-单单
-单纯
-即
-即令
-即使
-即便
-即刻
-即如
-即将
-即或
-即是说
-即若
-却
-却不
-历
-原来
-去
-又
-又及
-及
-及其
-及时
-及至
-双方
-反之
-反之亦然
-反之则
-反倒
-反倒是
-反应
-反手
-反映
-反而
-反过来
-反过来说
-取得
-取道
-受到
-变成
-古来
-另
-另一个
-另一方面
-另外
-另悉
-另方面
-另行
-只
-只当
-只怕
-只是
-只有
-只消
-只要
-只限
-叫
-叫做
-召开
-叮咚
-叮当
-可
-可以
-可好
-可是
-可能
-可见
-各
-各个
-各人
-各位
-各地
-各式
-各种
-各级
-各自
-合理
-同
-同一
-同时
-同样
-后
-后来
-后者
-后面
-向
-向使
-向着
-吓
-吗
-否则
-吧
-吧哒
-吱
-呀
-呃
-呆呆地
-呐
-呕
-呗
-呜
-呜呼
-呢
-周围
-呵
-呵呵
-呸
-呼哧
-呼啦
-咋
-和
-咚
-咦
-咧
-咱
-咱们
-咳
-哇
-哈
-哈哈
-哉
-哎
-哎呀
-哎哟
-哗
-哗啦
-哟
-哦
-哩
-哪
-哪个
-哪些
-哪儿
-哪天
-哪年
-哪怕
-哪样
-哪边
-哪里
-哼
-哼唷
-唉
-唯有
-啊
-啊呀
-啊哈
-啊哟
-啐
-啥
-啦
-啪达
-啷当
-喀
-喂
-喏
-喔唷
-喽
-嗡
-嗡嗡
-嗬
-嗯
-嗳
-嘎
-嘎嘎
-嘎登
-嘘
-嘛
-嘻
-嘿
-嘿嘿
-四
-因
-因为
-因了
-因此
-因着
-因而
-固
-固然
-在
-在下
-在于
-地
-均
-坚决
-坚持
-基于
-基本
-基本上
-处在
-处处
-处理
-复杂
-多
-多么
-多亏
-多多
-多多少少
-多多益善
-多少
-多年前
-多年来
-多数
-多次
-够瞧的
-大
-大不了
-大举
-大事
-大体
-大体上
-大凡
-大力
-大多
-大多数
-大大
-大家
-大张旗鼓
-大批
-大抵
-大概
-大略
-大约
-大致
-大都
-大量
-大面儿上
-失去
-奇
-奈
-奋勇
-她
-她们
-她是
-她的
-好
-好在
-好的
-好象
-如
-如上
-如上所述
-如下
-如今
-如何
-如其
-如前所述
-如同
-如常
-如是
-如期
-如果
-如次
-如此
-如此等等
-如若
-始而
-姑且
-存在
-存心
-孰料
-孰知
-宁
-宁可
-宁愿
-宁肯
-它
-它们
-它们的
-它是
-它的
-安全
-完全
-完成
-定
-实现
-实际
-宣布
-容易
-密切
-对
-对于
-对应
-对待
-对方
-对比
-将
-将才
-将要
-将近
-小
-少数
-尔
-尔后
-尔尔
-尔等
-尚且
-尤其
-就
-就地
-就是
-就是了
-就是说
-就此
-就算
-就要
-尽
-尽可能
-尽如人意
-尽心尽力
-尽心竭力
-尽快
-尽早
-尽然
-尽管
-尽管如此
-尽量
-局外
-居然
-届时
-属于
-屡
-屡屡
-屡次
-屡次三番
-岂
-岂但
-岂止
-岂非
-川流不息
-左右
-巨大
-巩固
-差一点
-差不多
-己
-已
-已矣
-已经
-巴
-巴巴
-带
-帮助
-常
-常常
-常言说
-常言说得好
-常言道
-平素
-年复一年
-并
-并不
-并不是
-并且
-并排
-并无
-并没
-并没有
-并肩
-并非
-广大
-广泛
-应当
-应用
-应该
-庶乎
-庶几
-开外
-开始
-开展
-引起
-弗
-弹指之间
-强烈
-强调
-归
-归根到底
-归根结底
-归齐
-当
-当下
-当中
-当儿
-当前
-当即
-当口儿
-当地
-当场
-当头
-当庭
-当时
-当然
-当真
-当着
-形成
-彻夜
-彻底
-彼
-彼时
-彼此
-往
-往往
-待
-待到
-很
-很多
-很少
-後来
-後面
-得
-得了
-得出
-得到
-得天独厚
-得起
-心里
-必
-必定
-必将
-必然
-必要
-必须
-快
-快要
-忽地
-忽然
-怎
-怎么
-怎么办
-怎么样
-怎奈
-怎样
-怎麽
-怕
-急匆匆
-怪
-怪不得
-总之
-总是
-总的来看
-总的来说
-总的说来
-总结
-总而言之
-恍然
-恐怕
-恰似
-恰好
-恰如
-恰巧
-恰恰
-恰恰相反
-恰逢
-您
-您们
-您是
-惟其
-惯常
-意思
-愤然
-愿意
-慢说
-成为
-成年
-成年累月
-成心
-我
-我们
-我是
-我的
-或
-或则
-或多或少
-或是
-或曰
-或者
-或许
-战斗
-截然
-截至
-所
-所以
-所在
-所幸
-所有
-所谓
-才
-才能
-扑通
-打
-打从
-打开天窗说亮话
-扩大
-把
-抑或
-抽冷子
-拦腰
-拿
-按
-按时
-按期
-按照
-按理
-按说
-挨个
-挨家挨户
-挨次
-挨着
-挨门挨户
-挨门逐户
-换句话说
-换言之
-据
-据实
-据悉
-据我所知
-据此
-据称
-据说
-掌握
-接下来
-接着
-接著
-接连不断
-放量
-故
-故意
-故此
-故而
-敞开儿
-敢
-敢于
-敢情
-数/
-整个
-断然
-方
-方便
-方才
-方能
-方面
-旁人
-无
-无宁
-无法
-无论
-既
-既...又
-既往
-既是
-既然
-日复一日
-日渐
-日益
-日臻
-日见
-时候
-昂然
-明显
-明确
-是
-是不是
-是以
-是否
-是的
-显然
-显著
-普通
-普遍
-暗中
-暗地里
-暗自
-更
-更为
-更加
-更进一步
-曾
-曾经
-替
-替代
-最
-最后
-最大
-最好
-最後
-最近
-最高
-有
-有些
-有关
-有利
-有力
-有及
-有所
-有效
-有时
-有点
-有的
-有的是
-有着
-有著
-望
-朝
-朝着
-末##末
-本
-本人
-本地
-本着
-本身
-权时
-来
-来不及
-来得及
-来看
-来着
-来自
-来讲
-来说
-极
-极为
-极了
-极其
-极力
-极大
-极度
-极端
-构成
-果然
-果真
-某
-某个
-某些
-某某
-根据
-根本
-格外
-梆
-概
-次第
-欢迎
-欤
-正值
-正在
-正如
-正巧
-正常
-正是
-此
-此中
-此后
-此地
-此处
-此外
-此时
-此次
-此间
-殆
-毋宁
-每
-每个
-每天
-每年
-每当
-每时每刻
-每每
-每逢
-比
-比及
-比如
-比如说
-比方
-比照
-比起
-比较
-毕竟
-毫不
-毫无
-毫无例外
-毫无保留地
-汝
-沙沙
-没
-没奈何
-没有
-沿
-沿着
-注意
-活
-深入
-清楚
-满
-满足
-漫说
-焉
-然
-然则
-然后
-然後
-然而
-照
-照着
-牢牢
-特别是
-特殊
-特点
-犹且
-犹自
-独
-独自
-猛然
-猛然间
-率尔
-率然
-现代
-现在
-理应
-理当
-理该
-瑟瑟
-甚且
-甚么
-甚或
-甚而
-甚至
-甚至于
-用
-用来
-甫
-甭
-由
-由于
-由是
-由此
-由此可见
-略
-略为
-略加
-略微
-白
-白白
-的
-的确
-的话
-皆可
-目前
-直到
-直接
-相似
-相信
-相反
-相同
-相对
-相对而言
-相应
-相当
-相等
-省得
-看
-看上去
-看出
-看到
-看来
-看样子
-看看
-看见
-看起来
-真是
-真正
-眨眼
-着
-着呢
-矣
-矣乎
-矣哉
-知道
-砰
-确定
-碰巧
-社会主义
-离
-种
-积极
-移动
-究竟
-穷年累月
-突出
-突然
-窃
-立
-立刻
-立即
-立地
-立时
-立马
-竟
-竟然
-竟而
-第
-第二
-等
-等到
-等等
-策略地
-简直
-简而言之
-简言之
-管
-类如
-粗
-精光
-紧接着
-累年
-累次
-纯
-纯粹
-纵
-纵令
-纵使
-纵然
-练习
-组成
-经
-经常
-经过
-结合
-结果
-给
-绝
-绝不
-绝对
-绝非
-绝顶
-继之
-继后
-继续
-继而
-维持
-综上所述
-缕缕
-罢了
-老
-老大
-老是
-老老实实
-考虑
-者
-而
-而且
-而况
-而又
-而后
-而外
-而已
-而是
-而言
-而论
-联系
-联袂
-背地里
-背靠背
-能
-能否
-能够
-腾
-自
-自个儿
-自从
-自各儿
-自后
-自家
-自己
-自打
-自身
-臭
-至
-至于
-至今
-至若
-致
-般的
-良好
-若
-若夫
-若是
-若果
-若非
-范围
-莫
-莫不
-莫不然
-莫如
-莫若
-莫非
-获得
-藉以
-虽
-虽则
-虽然
-虽说
-蛮
-行为
-行动
-表明
-表示
-被
-要
-要不
-要不是
-要不然
-要么
-要是
-要求
-见
-规定
-觉得
-譬喻
-譬如
-认为
-认真
-认识
-让
-许多
-论
-论说
-设使
-设或
-设若
-诚如
-诚然
-话说
-该
-该当
-说明
-说来
-说说
-请勿
-诸
-诸位
-诸如
-谁
-谁人
-谁料
-谁知
-谨
-豁然
-贼死
-赖以
-赶
-赶快
-赶早不赶晚
-起
-起先
-起初
-起头
-起来
-起见
-起首
-趁
-趁便
-趁势
-趁早
-趁机
-趁热
-趁着
-越是
-距
-跟
-路经
-转动
-转变
-转贴
-轰然
-较
-较为
-较之
-较比
-边
-达到
-达旦
-迄
-迅速
-过
-过于
-过去
-过来
-运用
-近
-近几年来
-近年来
-近来
-还
-还是
-还有
-还要
-这
-这一来
-这个
-这么
-这么些
-这么样
-这么点儿
-这些
-这会儿
-这儿
-这就是说
-这时
-这样
-这次
-这点
-这种
-这般
-这边
-这里
-这麽
-进入
-进去
-进来
-进步
-进而
-进行
-连
-连同
-连声
-连日
-连日来
-连袂
-连连
-迟早
-迫于
-适应
-适当
-适用
-逐步
-逐渐
-通常
-通过
-造成
-逢
-遇到
-遭到
-遵循
-遵照
-避免
-那
-那个
-那么
-那么些
-那么样
-那些
-那会儿
-那儿
-那时
-那末
-那样
-那般
-那边
-那里
-那麽
-部分
-都
-鄙人
-采取
-里面
-重大
-重新
-重要
-鉴于
-针对
-长期以来
-长此下去
-长线
-长话短说
-问题
-间或
-防止
-阿
-附近
-陈年
-限制
-陡然
-除
-除了
-除却
-除去
-除外
-除开
-除此
-除此之外
-除此以外
-除此而外
-除非
-随
-随后
-随时
-随着
-随著
-隔夜
-隔日
-难得
-难怪
-难说
-难道
-难道说
-集中
-零
-需要
-非但
-非常
-非徒
-非得
-非特
-非独
-靠
-顶多
-顷
-顷刻
-顷刻之间
-顷刻间
-顺
-顺着
-顿时
-颇
-风雨无阻
-饱
-首先
-马上
-高低
-高兴
-默然
-默默地
-齐
-︿
-!
-#
-$
-%
-&
-'
-(
-)
-)÷(1-
-)、
-*
-+
-+ξ
-++
-,
-,也
--
--β
---
--[*]-
-.
-/
-0
-0:2
-1
-1.
-12%
-2
-2.3%
-3
-4
-5
-5:0
-6
-7
-8
-9
-:
-;
-<
-<±
-<Δ
-<λ
-<φ
-<<
-=
-=″
-=☆
-=(
-=-
-=[
-={
->
->λ
-?
-@
-A
-LI
-R.L.
-ZXFITL
-[
-[①①]
-[①②]
-[①③]
-[①④]
-[①⑤]
-[①⑥]
-[①⑦]
-[①⑧]
-[①⑨]
-[①A]
-[①B]
-[①C]
-[①D]
-[①E]
-[①]
-[①a]
-[①c]
-[①d]
-[①e]
-[①f]
-[①g]
-[①h]
-[①i]
-[①o]
-[②
-[②①]
-[②②]
-[②③]
-[②④
-[②⑤]
-[②⑥]
-[②⑦]
-[②⑧]
-[②⑩]
-[②B]
-[②G]
-[②]
-[②a]
-[②b]
-[②c]
-[②d]
-[②e]
-[②f]
-[②g]
-[②h]
-[②i]
-[②j]
-[③①]
-[③⑩]
-[③F]
-[③]
-[③a]
-[③b]
-[③c]
-[③d]
-[③e]
-[③g]
-[③h]
-[④]
-[④a]
-[④b]
-[④c]
-[④d]
-[④e]
-[⑤]
-[⑤]]
-[⑤a]
-[⑤b]
-[⑤d]
-[⑤e]
-[⑤f]
-[⑥]
-[⑦]
-[⑧]
-[⑨]
-[⑩]
-[*]
-[-
-[]
-]
-]∧′=[
-][
-_
-a]
-b]
-c]
-e]
-f]
-ng昉
-{
-{-
-|
-}
-}>
-~
-~±
-~+
-¥
\ No newline at end of file
diff --git a/src/main/resources/stopword_zh.txt b/src/main/resources/stopword_zh.txt
deleted file mode 100644
index 14872ac..0000000
--- a/src/main/resources/stopword_zh.txt
+++ /dev/null
@@ -1,1603 +0,0 @@
-一
-一一
-一下
-一个
-一些
-一何
-一切
-一则
-一则通过
-一天
-一定
-一方面
-一旦
-一时
-一来
-一样
-一次
-一片
-一番
-一直
-一致
-一般
-一起
-一转眼
-一边
-一面
-七
-万一
-三
-三天两头
-三番两次
-三番五次
-上
-上下
-上升
-上去
-上来
-上述
-上面
-下
-下列
-下去
-下来
-下面
-不
-不一
-不下
-不久
-不了
-不亦乐乎
-不仅
-不仅仅
-不仅仅是
-不会
-不但
-不光
-不免
-不再
-不力
-不单
-不变
-不只
-不可
-不可开交
-不可抗拒
-不同
-不外
-不外乎
-不够
-不大
-不如
-不妨
-不定
-不对
-不少
-不尽
-不尽然
-不巧
-不已
-不常
-不得
-不得不
-不得了
-不得已
-不必
-不怎么
-不怕
-不惟
-不成
-不拘
-不择手段
-不敢
-不料
-不断
-不日
-不时
-不是
-不曾
-不止
-不止一次
-不比
-不消
-不满
-不然
-不然的话
-不特
-不独
-不由得
-不知不觉
-不管
-不管怎样
-不经意
-不胜
-不能
-不能不
-不至于
-不若
-不要
-不论
-不起
-不足
-不过
-不迭
-不问
-不限
-与
-与其
-与其说
-与否
-与此同时
-专门
-且
-且不说
-且说
-两者
-严格
-严重
-个
-个人
-个别
-中小
-中间
-丰富
-串行
-临
-临到
-为
-为主
-为了
-为什么
-为什麽
-为何
-为止
-为此
-为着
-主张
-主要
-举凡
-举行
-乃
-乃至
-乃至于
-么
-之
-之一
-之前
-之后
-之後
-之所以
-之类
-乌乎
-乎
-乒
-乘
-乘势
-乘机
-乘胜
-乘虚
-乘隙
-九
-也
-也好
-也就是说
-也是
-也罢
-了
-了解
-争取
-二
-二来
-二话不说
-二话没说
-于
-于是
-于是乎
-云云
-云尔
-互
-互相
-五
-些
-交口
-亦
-产生
-亲口
-亲手
-亲眼
-亲自
-亲身
-人
-人人
-人们
-人家
-人民
-什么
-什么样
-什麽
-仅
-仅仅
-今
-今后
-今天
-今年
-今後
-介于
-仍
-仍旧
-仍然
-从
-从不
-从严
-从中
-从事
-从今以后
-从优
-从古到今
-从古至今
-从头
-从宽
-从小
-从新
-从无到有
-从早到晚
-从未
-从来
-从此
-从此以后
-从而
-从轻
-从速
-从重
-他
-他人
-他们
-他是
-他的
-代替
-以
-以上
-以下
-以为
-以便
-以免
-以前
-以及
-以后
-以外
-以後
-以故
-以期
-以来
-以至
-以至于
-以致
-们
-任
-任何
-任凭
-任务
-企图
-伙同
-会
-伟大
-传
-传说
-传闻
-似乎
-似的
-但
-但凡
-但愿
-但是
-何
-何乐而不为
-何以
-何况
-何处
-何妨
-何尝
-何必
-何时
-何止
-何苦
-何须
-余外
-作为
-你
-你们
-你是
-你的
-使
-使得
-使用
-例如
-依
-依据
-依照
-依靠
-便
-便于
-促进
-保持
-保管
-保险
-俺
-俺们
-倍加
-倍感
-倒不如
-倒不如说
-倒是
-倘
-倘使
-倘或
-倘然
-倘若
-借
-借以
-借此
-假使
-假如
-假若
-偏偏
-做到
-偶尔
-偶而
-傥然
-像
-儿
-允许
-元/吨
-充其极
-充其量
-充分
-先不先
-先后
-先後
-先生
-光
-光是
-全体
-全力
-全年
-全然
-全身心
-全部
-全都
-全面
-八
-八成
-公然
-六
-兮
-共
-共同
-共总
-关于
-其
-其一
-其中
-其二
-其他
-其余
-其后
-其它
-其实
-其次
-具体
-具体地说
-具体来说
-具体说来
-具有
-兼之
-内
-再
-再其次
-再则
-再有
-再次
-再者
-再者说
-再说
-冒
-冲
-决不
-决定
-决非
-况且
-准备
-凑巧
-凝神
-几
-几乎
-几度
-几时
-几番
-几经
-凡
-凡是
-凭
-凭借
-出
-出于
-出去
-出来
-出现
-分别
-分头
-分期
-分期分批
-切
-切不可
-切切
-切勿
-切莫
-则
-则甚
-刚
-刚好
-刚巧
-刚才
-初
-别
-别人
-别处
-别是
-别的
-别管
-别说
-到
-到了儿
-到处
-到头
-到头来
-到底
-到目前为止
-前后
-前此
-前者
-前进
-前面
-加上
-加之
-加以
-加入
-加强
-动不动
-动辄
-勃然
-匆匆
-十分
-千
-千万
-千万千万
-半
-单
-单单
-单纯
-即
-即令
-即使
-即便
-即刻
-即如
-即将
-即或
-即是说
-即若
-却
-却不
-历
-原来
-去
-又
-又及
-及
-及其
-及时
-及至
-双方
-反之
-反之亦然
-反之则
-反倒
-反倒是
-反应
-反手
-反映
-反而
-反过来
-反过来说
-取得
-取道
-受到
-变成
-古来
-另
-另一个
-另一方面
-另外
-另悉
-另方面
-另行
-只
-只当
-只怕
-只是
-只有
-只消
-只要
-只限
-叫
-叫做
-召开
-叮咚
-叮当
-可
-可以
-可好
-可是
-可能
-可见
-各
-各个
-各人
-各位
-各地
-各式
-各种
-各级
-各自
-合理
-同
-同一
-同时
-同样
-后
-后来
-后者
-后面
-向
-向使
-向着
-吓
-吗
-否则
-吧
-吧哒
-吱
-呀
-呃
-呆呆地
-呐
-呕
-呗
-呜
-呜呼
-呢
-周围
-呵
-呵呵
-呸
-呼哧
-呼啦
-咋
-和
-咚
-咦
-咧
-咱
-咱们
-咳
-哇
-哈
-哈哈
-哉
-哎
-哎呀
-哎哟
-哗
-哗啦
-哟
-哦
-哩
-哪
-哪个
-哪些
-哪儿
-哪天
-哪年
-哪怕
-哪样
-哪边
-哪里
-哼
-哼唷
-唉
-唯有
-啊
-啊呀
-啊哈
-啊哟
-啐
-啥
-啦
-啪达
-啷当
-喀
-喂
-喏
-喔唷
-喽
-嗡
-嗡嗡
-嗬
-嗯
-嗳
-嘎
-嘎嘎
-嘎登
-嘘
-嘛
-嘻
-嘿
-嘿嘿
-四
-因
-因为
-因了
-因此
-因着
-因而
-固
-固然
-在
-在下
-在于
-地
-均
-坚决
-坚持
-基于
-基本
-基本上
-处在
-处处
-处理
-复杂
-多
-多么
-多亏
-多多
-多多少少
-多多益善
-多少
-多年前
-多年来
-多数
-多次
-够瞧的
-大
-大不了
-大举
-大事
-大体
-大体上
-大凡
-大力
-大多
-大多数
-大大
-大家
-大张旗鼓
-大批
-大抵
-大概
-大略
-大约
-大致
-大都
-大量
-大面儿上
-失去
-奇
-奈
-奋勇
-她
-她们
-她是
-她的
-好
-好在
-好的
-好象
-如
-如上
-如上所述
-如下
-如今
-如何
-如其
-如前所述
-如同
-如常
-如是
-如期
-如果
-如次
-如此
-如此等等
-如若
-始而
-姑且
-存在
-存心
-孰料
-孰知
-宁
-宁可
-宁愿
-宁肯
-它
-它们
-它们的
-它是
-它的
-安全
-完全
-完成
-定
-实现
-实际
-宣布
-容易
-密切
-对
-对于
-对应
-对待
-对方
-对比
-将
-将才
-将要
-将近
-小
-少数
-尔
-尔后
-尔尔
-尔等
-尚且
-尤其
-就
-就地
-就是
-就是了
-就是说
-就此
-就算
-就要
-尽
-尽可能
-尽如人意
-尽心尽力
-尽心竭力
-尽快
-尽早
-尽然
-尽管
-尽管如此
-尽量
-局外
-居然
-届时
-属于
-屡
-屡屡
-屡次
-屡次三番
-岂
-岂但
-岂止
-岂非
-川流不息
-左右
-巨大
-巩固
-差一点
-差不多
-己
-已
-已矣
-已经
-巴
-巴巴
-带
-帮助
-常
-常常
-常言说
-常言说得好
-常言道
-平素
-年复一年
-并
-并不
-并不是
-并且
-并排
-并无
-并没
-并没有
-并肩
-并非
-广大
-广泛
-应当
-应用
-应该
-庶乎
-庶几
-开外
-开始
-开展
-引起
-弗
-弹指之间
-强烈
-强调
-归
-归根到底
-归根结底
-归齐
-当
-当下
-当中
-当儿
-当前
-当即
-当口儿
-当地
-当场
-当头
-当庭
-当时
-当然
-当真
-当着
-形成
-彻夜
-彻底
-彼
-彼时
-彼此
-往
-往往
-待
-待到
-很
-很多
-很少
-後来
-後面
-得
-得了
-得出
-得到
-得天独厚
-得起
-心里
-必
-必定
-必将
-必然
-必要
-必须
-快
-快要
-忽地
-忽然
-怎
-怎么
-怎么办
-怎么样
-怎奈
-怎样
-怎麽
-怕
-急匆匆
-怪
-怪不得
-总之
-总是
-总的来看
-总的来说
-总的说来
-总结
-总而言之
-恍然
-恐怕
-恰似
-恰好
-恰如
-恰巧
-恰恰
-恰恰相反
-恰逢
-您
-您们
-您是
-惟其
-惯常
-意思
-愤然
-愿意
-慢说
-成为
-成年
-成年累月
-成心
-我
-我们
-我是
-我的
-或
-或则
-或多或少
-或是
-或曰
-或者
-或许
-战斗
-截然
-截至
-所
-所以
-所在
-所幸
-所有
-所谓
-才
-才能
-扑通
-打
-打从
-打开天窗说亮话
-扩大
-把
-抑或
-抽冷子
-拦腰
-拿
-按
-按时
-按期
-按照
-按理
-按说
-挨个
-挨家挨户
-挨次
-挨着
-挨门挨户
-挨门逐户
-换句话说
-换言之
-据
-据实
-据悉
-据我所知
-据此
-据称
-据说
-掌握
-接下来
-接着
-接著
-接连不断
-放量
-故
-故意
-故此
-故而
-敞开儿
-敢
-敢于
-敢情
-整个
-断然
-方
-方便
-方才
-方能
-方面
-旁人
-无
-无宁
-无法
-无论
-既
-既往
-既是
-既然
-日复一日
-日渐
-日益
-日臻
-日见
-时候
-昂然
-明显
-明确
-是
-是不是
-是以
-是否
-是的
-显然
-显著
-普通
-普遍
-暗中
-暗地里
-暗自
-更
-更为
-更加
-更进一步
-曾
-曾经
-替
-替代
-最
-最后
-最大
-最好
-最後
-最近
-最高
-有
-有些
-有关
-有利
-有力
-有及
-有所
-有效
-有时
-有点
-有的
-有的是
-有着
-有著
-望
-朝
-朝着
-本
-本人
-本地
-本着
-本身
-权时
-来
-来不及
-来得及
-来看
-来着
-来自
-来讲
-来说
-极
-极为
-极了
-极其
-极力
-极大
-极度
-极端
-构成
-果然
-果真
-某
-某个
-某些
-某某
-根据
-根本
-格外
-梆
-概
-次第
-欢迎
-欤
-正值
-正在
-正如
-正巧
-正常
-正是
-此
-此中
-此后
-此地
-此处
-此外
-此时
-此次
-此间
-殆
-毋宁
-每
-每个
-每天
-每年
-每当
-每时每刻
-每每
-每逢
-比
-比及
-比如
-比如说
-比方
-比照
-比起
-比较
-毕竟
-毫不
-毫无
-毫无例外
-毫无保留地
-汝
-沙沙
-没
-没奈何
-没有
-沿
-沿着
-注意
-活
-深入
-清楚
-满
-满足
-漫说
-焉
-然
-然则
-然后
-然後
-然而
-照
-照着
-牢牢
-特别是
-特殊
-特点
-犹且
-犹自
-独
-独自
-猛然
-猛然间
-率尔
-率然
-现代
-现在
-理应
-理当
-理该
-瑟瑟
-甚且
-甚么
-甚或
-甚而
-甚至
-甚至于
-用
-用来
-甫
-甭
-由
-由于
-由是
-由此
-由此可见
-略
-略为
-略加
-略微
-白
-白白
-的
-的确
-的话
-皆可
-目前
-直到
-直接
-相似
-相信
-相反
-相同
-相对
-相对而言
-相应
-相当
-相等
-省得
-看
-看上去
-看出
-看到
-看来
-看样子
-看看
-看见
-看起来
-真是
-真正
-眨眼
-着
-着呢
-矣
-矣乎
-矣哉
-知道
-砰
-确定
-碰巧
-社会主义
-离
-种
-积极
-移动
-究竟
-穷年累月
-突出
-突然
-窃
-立
-立刻
-立即
-立地
-立时
-立马
-竟
-竟然
-竟而
-第
-第二
-等
-等到
-等等
-策略地
-简直
-简而言之
-简言之
-管
-类如
-粗
-精光
-紧接着
-累年
-累次
-纯
-纯粹
-纵
-纵令
-纵使
-纵然
-练习
-组成
-经
-经常
-经过
-结合
-结果
-给
-绝
-绝不
-绝对
-绝非
-绝顶
-继之
-继后
-继续
-继而
-维持
-综上所述
-缕缕
-罢了
-老
-老大
-老是
-老老实实
-考虑
-者
-而
-而且
-而况
-而又
-而后
-而外
-而已
-而是
-而言
-而论
-联系
-联袂
-背地里
-背靠背
-能
-能否
-能够
-腾
-自
-自个儿
-自从
-自各儿
-自后
-自家
-自己
-自打
-自身
-臭
-至
-至于
-至今
-至若
-致
-般的
-良好
-若
-若夫
-若是
-若果
-若非
-范围
-莫
-莫不
-莫不然
-莫如
-莫若
-莫非
-获得
-藉以
-虽
-虽则
-虽然
-虽说
-蛮
-行为
-行动
-表明
-表示
-被
-要
-要不
-要不是
-要不然
-要么
-要是
-要求
-见
-规定
-觉得
-譬喻
-譬如
-认为
-认真
-认识
-让
-许多
-论
-论说
-设使
-设或
-设若
-诚如
-诚然
-话说
-该
-该当
-说明
-说来
-说说
-请勿
-诸
-诸位
-诸如
-谁
-谁人
-谁料
-谁知
-谨
-豁然
-贼死
-赖以
-赶
-赶快
-赶早不赶晚
-起
-起先
-起初
-起头
-起来
-起见
-起首
-趁
-趁便
-趁势
-趁早
-趁机
-趁热
-趁着
-越是
-距
-跟
-路经
-转动
-转变
-转贴
-轰然
-较
-较为
-较之
-较比
-边
-达到
-达旦
-迄
-迅速
-过
-过于
-过去
-过来
-运用
-近
-近几年来
-近年来
-近来
-还
-还是
-还有
-还要
-这
-这一来
-这个
-这么
-这么些
-这么样
-这么点儿
-这些
-这会儿
-这儿
-这就是说
-这时
-这样
-这次
-这点
-这种
-这般
-这边
-这里
-这麽
-进入
-进去
-进来
-进步
-进而
-进行
-连
-连同
-连声
-连日
-连日来
-连袂
-连连
-迟早
-迫于
-适应
-适当
-适用
-逐步
-逐渐
-通常
-通过
-造成
-逢
-遇到
-遭到
-遵循
-遵照
-避免
-那
-那个
-那么
-那么些
-那么样
-那些
-那会儿
-那儿
-那时
-那末
-那样
-那般
-那边
-那里
-那麽
-部分
-都
-鄙人
-采取
-里面
-重大
-重新
-重要
-鉴于
-针对
-长期以来
-长此下去
-长线
-长话短说
-问题
-间或
-防止
-阿
-附近
-陈年
-限制
-陡然
-除
-除了
-除却
-除去
-除外
-除开
-除此
-除此之外
-除此以外
-除此而外
-除非
-随
-随后
-随时
-随着
-随著
-隔夜
-隔日
-难得
-难怪
-难说
-难道
-难道说
-集中
-零
-需要
-非但
-非常
-非徒
-非得
-非特
-非独
-靠
-顶多
-顷
-顷刻
-顷刻之间
-顷刻间
-顺
-顺着
-顿时
-颇
-风雨无阻
-饱
-首先
-马上
-高低
-高兴
-默然
-默默地
\ No newline at end of file
diff --git a/src/test/java/com/github/houbb/sensitive/word/data/DataUtil.java b/src/test/java/com/github/houbb/sensitive/word/data/DataUtil.java
index 2a1f3bf..e350e54 100644
--- a/src/test/java/com/github/houbb/sensitive/word/data/DataUtil.java
+++ b/src/test/java/com/github/houbb/sensitive/word/data/DataUtil.java
@@ -3,6 +3,8 @@ package com.github.houbb.sensitive.word.data;
import com.github.houbb.heaven.util.io.FileUtil;
import com.github.houbb.heaven.util.util.CollectionUtil;
+import java.util.Collection;
+import java.util.Collections;
import java.util.List;
/**
@@ -24,4 +26,11 @@ public class DataUtil {
return CollectionUtil.distinct(lines);
}
+ public static List disctinctAndSort(final Collection collection) {
+ List stringList = CollectionUtil.distinct(collection);
+ Collections.sort(stringList);
+
+ return stringList;
+ }
+
}
diff --git a/src/test/java/com/github/houbb/sensitive/word/data/DictSlimTest.java b/src/test/java/com/github/houbb/sensitive/word/data/DictSlimTest.java
new file mode 100644
index 0000000..c176ae1
--- /dev/null
+++ b/src/test/java/com/github/houbb/sensitive/word/data/DictSlimTest.java
@@ -0,0 +1,93 @@
+package com.github.houbb.sensitive.word.data;
+
+import com.github.houbb.heaven.support.filter.IFilter;
+import com.github.houbb.heaven.support.handler.IHandler;
+import com.github.houbb.heaven.util.io.FileUtil;
+import com.github.houbb.heaven.util.lang.StringUtil;
+import com.github.houbb.heaven.util.util.CollectionUtil;
+import com.github.houbb.opencc4j.core.impl.ZhConvertBootstrap;
+import com.github.houbb.opencc4j.support.segment.impl.CharSegment;
+import org.junit.Ignore;
+import org.junit.Test;
+
+import java.util.List;
+
+/**
+ * 数据初始化
+ * @author binbin.hou
+ * @since 0.0.3
+ */
+public class DictSlimTest {
+
+ /**
+ * 统一格式
+ *
+ * 1. 将所有的大写字母统一转换为小写
+ * 2. 将所有的全角转换为半角
+ * 3. 移除所有【空格】【符号】(这个就是各种符号的过滤了)
+ * 4. 繁体字统一转换为简体字
+ * @since 0.0.3
+ */
+ @Test
+ @Ignore
+ public void formatTest() {
+ final String sourceFile = "D:\\github\\sensitive-word\\src\\main\\resources\\dict.txt";
+ final String targetFile = "D:\\github\\sensitive-word\\src\\main\\resources\\dict_format.txt";
+
+ List words = FileUtil.readAllLines(sourceFile);
+
+ List formats = CollectionUtil.toList(words, new IHandler() {
+ @Override
+ public String handle(String string) {
+ String lower = string.toLowerCase();
+ String half = StringUtil.toHalfWidth(lower);
+ String trim = StringUtil.trimAnyBlank(half);
+ String punc = StringUtil.trimAnyPunctionAndSymbol(trim);
+ return ZhConvertBootstrap.newInstance(new CharSegment()).toSimple(punc);
+ }
+ });
+
+ List resultList = DataUtil.disctinctAndSort(formats);
+ FileUtil.write(targetFile, resultList);
+ }
+
+ /**
+ * 移除测试
+ *
+ * 1. 移除 QQ 号的类似数字
+ * 2. 移除所有网址(.com、cn、.org)
+ * 3. 移除纯英文
+ * 4. 移除乱码 `�`
+ * 5. 移除英文+数字的
+ *
+ * @since 0.0.3
+ */
+ @Test
+ @Ignore
+ public void removeTest() {
+ final String sourceFile = "D:\\github\\sensitive-word\\src\\main\\resources\\dict_format.txt";
+ final String targetFile = "D:\\github\\sensitive-word\\src\\main\\resources\\dict.txt";
+
+ List words = FileUtil.readAllLines(sourceFile);
+
+ List formats = CollectionUtil.filterList(words, new IFilter() {
+ @Override
+ public boolean filter(String string) {
+ return StringUtil.isDigitOrLetter(string)
+ || string.contains("�")
+ || string.contains("删掉")
+ || isUrl(string);
+ }
+ });
+
+ List resultList = DataUtil.disctinctAndSort(formats);
+ FileUtil.write(targetFile, resultList);
+ }
+
+ private static boolean isUrl(final String string) {
+ return string.endsWith(".com")
+ || string.endsWith(".cn")
+ || string.endsWith(".org");
+ }
+
+}