diff --git a/CHANGE_LOG.md b/CHANGE_LOG.md index 19f573c..aab9c14 100644 --- a/CHANGE_LOG.md +++ b/CHANGE_LOG.md @@ -273,3 +273,15 @@ | 22 | O | 耶和华、耶稣、联合国、联合行动、 联系、联通、股票、自fe、自制、自拍、舆论、舒淇、航天、航班、航空、花园、苹果、茅台、茉莉花、药水、莎士比亚、落榜、蒙面、蓝光、虎头、 | 2024-4-7 21:04:18 | | | 23 | O | 虎牙、虎门、蛤蟆、融资、行驶证、街铺、被迫、西游、西臧、西藏、观世音、解放军、警察、讲法、论文、证书、证件、证券、诛仙、诡异、语句、语音、诱惑、资格、跟踪、路人、躲猫猫、通告 | 2024-4-7 21:04:18 | | | 24 | O | 通知、通讯录、道教、采花、重生、钓鱼、钢珠、铃声、链接、销售、错别字、锤子、锤锤、面积、预测、领土、领导、风水、风花、首长、鲁迅、鲍鱼、鸡尾酒、麻将、 | 2024-4-7 21:04:18 | | + +# release_0.13.4 + +| 序号 | 变更类型 | 说明 | 时间 | 备注 | +|:---|:-----|---------------------------------------------------------------------|:------------------|:-------------------------------------------------| +| 1 | O | 移除 一直对、组织、验证码、数据库、服务器、火药、世界都、聚集、国内、制造、解码、万里、视频、中国好声音 | 2024-4-9 21:04:18 | | +| 2 | O | 移除 骑士、移动公司、战役、战场、飞机票、逃逸、自由、杂志、使用人数、域名服务、人民日报、一粒沙、牛顿、三国演义、哥伦布、 | 2024-4-9 21:04:18 | | +| 3 | O | 移除 订票、财政部、搜狐、人员变动、惊天动地、试卷、华莱士、空闲时间、泰晤士报、企业家、气象局、诺贝尔奖、多多益善、论坛、外交部 | 2024-4-9 21:04:18 | | +| 4 | O | 移除 焚烧、雅典娜、真相、真善美、制造、万里、法国、世界都、昨日重现、信息中心、马克思、刘德华、内蒙古、 | 2024-4-9 21:04:18 | | +| 5 | O | 移除 涿州、中国联通、中国网通、李老师、写字楼、人民银行、卡拉、牛魔王、 张杰、哪里找、爱因斯坦、天地之间、不玩了、里根、监听器、监听 | 2024-4-9 21:04:18 | | +| 6 | O | 移除 选举、登陆、中国移动、运营者、客户服务、精益求精、下载速度、好朋友、拦截器、账号、无界、深入浅出、腾讯、解码器、管理员、白皮书 | 2024-4-9 21:04:18 | | +| 7 | O | 移除 监听、运营商、一起玩、转化、超市 | 2024-4-9 21:04:18 | | diff --git a/README.md b/README.md index 7e9a5c0..933af03 100644 --- a/README.md +++ b/README.md @@ -82,7 +82,7 @@ com.github.houbb sensitive-word - 0.13.3 + 0.13.4 ``` diff --git a/pom.xml b/pom.xml index 720e6cf..573d4cb 100644 --- a/pom.xml +++ b/pom.xml @@ -6,7 +6,7 @@ com.github.houbb sensitive-word - 0.13.3 + 0.13.4 diff --git a/release.bat b/release.bat index e0d56d2..aa42699 100644 --- a/release.bat +++ b/release.bat @@ -10,7 +10,7 @@ ECHO "============================= RELEASE START..." :: 版本号信息(需要手动指定) :::: 旧版本名称 -SET version=0.13.3 +SET version=0.13.4 :::: 新版本名称 SET newVersion=0.14.0 :::: 组织名称 diff --git a/src/main/resources/dict.txt b/src/main/resources/dict.txt index 0b28714..5faf62e 100644 --- a/src/main/resources/dict.txt +++ b/src/main/resources/dict.txt @@ -473,13 +473,11 @@ 1留01留吴8仨齐齐 1盒1次性玞枪霰弹 1直处于充血勃起 -1直对 1码 1码中特 1码中特提前 1秒射更多 1管很硬擎天1柱 -1粒沙 1粒眠 1系列鎹礼萿憅 1级黄电视 @@ -504,7 +502,6 @@ 1起撸 1起撸啊撸 1起操逼影视网 -1起玩 1起玩游戏网 1起看a片 1路高升1路情 @@ -1021,7 +1018,6 @@ 3唑纶出售 3国世纪 3国极品军师 -3国演义 3国牛人附身记 3国百花吟 3国称霸 @@ -8449,7 +8445,6 @@ z以留吧以其以武 万豪国际娱乐城 万达卫浴 万鄂湘 -万里 万里大造林 万钢 上个床 @@ -8676,7 +8671,6 @@ z以留吧以其以武 下载色情影片 下载身份证号码生成器 下载身份证复印件生成器 -下载速度 下载黄片 下载黄片网址 下载黄片网站 @@ -8742,7 +8736,6 @@ z以留吧以其以武 不灭帝王 不爱党 不爽不要钱 -不玩了 不玩了靠 不用注册免费小电影骚b免费色电影免费 不用注册免费淫电影 @@ -9685,7 +9678,6 @@ z以留吧以其以武 世界经济导报 世界维吾尔大会 世界通 -世界都 世界都在笑中国傻 世界风云录 世纪中国基金会 @@ -10186,7 +10178,6 @@ z以留吧以其以武 中国大学高清女厕盗拍vol01 中国天使成人网我该死免费视频 中国太子 -中国好声音 中国威胁 中国威胁论 中国娱乐黄站 @@ -10288,15 +10279,12 @@ z以留吧以其以武 中国社会的艾滋病 中国社会论坛 中国社会进步党 -中国移动 中国移动联电信午夜激情电影秘密通道 中国移动通信 中国第1女保镖 中国緎权人士 中国网络审查 -中国网通 中国美女淫色贴图 -中国联通 中国股市必须推倒重来 中国股市的悲哀 中国股市荒诞 @@ -11685,7 +11673,6 @@ z以留吧以其以武 人兽杂交 人兽群交网 人力资源投资 -人员变动 人员安排 人品币 人在云上 @@ -11781,14 +11768,12 @@ z以留吧以其以武 人民报 人民报讯 人民政腐 -人民日报 人民的求救信 人民真实 人民真实报告 人民真实报道 人民礼堂 人民还当牛做马 -人民银行 人气av女优下载 人气av女优在线观看 人流 @@ -12833,7 +12818,6 @@ z以留吧以其以武 企业名录 企业增资 企业如何建立网站 -企业家 企业收奶流程 企业汇总会计报表 企业税票代开 @@ -13214,7 +13198,6 @@ z以留吧以其以武 佳缘活动部 使劲插我啊 使猪的皮红毛亮 -使用人数 使馆 例假 侍从伦斯韦 @@ -15234,7 +15217,6 @@ z以留吧以其以武 信号拦截器 信号接收器全球成人台 信号枪 -信息中心 信息产业部 信息公告 信息接收 @@ -16790,7 +16772,6 @@ z以留吧以其以武 内田彩种子 内田理沙种子 内脏移植来源不明 -内蒙古 内藤花苗种子 内衣 内衣丝袜 @@ -16837,7 +16818,6 @@ z以留吧以其以武 冒牌大英雄 冒险中国黄站 写两会 -写字楼 写意风流txt 写的炸弹制作教程 写真 @@ -20332,7 +20312,6 @@ z以留吧以其以武 刘山青 刘延东 刘建华 -刘德华 刘志军 刘志军罢免掉 刘慧 @@ -20705,7 +20684,6 @@ z以留吧以其以武 制毒工艺 制蛊的方法 制证定金 -制造 制造假身份证 制造冰毒 制造冰毒配方 @@ -21841,7 +21819,6 @@ z以留吧以其以武 华盛顿 华盛顿邮报 华硕双核笔记本 -华莱士 华藏功 华西列夫斯基 华语世界论坛 @@ -22301,7 +22278,6 @@ z以留吧以其以武 卡巴考 卡巴醌 卡弗蒂 -卡拉 卡拉娱乐网 卡斯特罗 卡杜巴 @@ -23978,7 +23954,6 @@ z以留吧以其以武 哗哗曼 哥mm要聊1聊试吗薇号 哥也色网 -哥伦布 哥先脱尓随意 哥哥mm想聊1聊玩吗 哥哥你好色娱乐网 @@ -24027,7 +24002,6 @@ z以留吧以其以武 哪里代开发票 哪里卖军刺 哪里小姐服务 -哪里找 哪里找俄罗斯小姐 哪里找小姐 哪里有买枪的 @@ -24564,7 +24538,6 @@ z以留吧以其以武 国产黄片下载 国产黄片下载qq 国共合作 -国内 国内动态清样 国内动态详情 国内外文凭代办 @@ -25036,7 +25009,6 @@ z以留吧以其以武 城管灭 城麻美种子 域名备案 -域名服务 域名注册 培训开锁技术 基乐部 @@ -25266,7 +25238,6 @@ z以留吧以其以武 外交与方略 外交给缅甸压力 外交论坛 -外交部 外交部最常用口头禅 外卦 外围 @@ -25310,7 +25281,6 @@ z以留吧以其以武 多吉才让 多吉美 多名医生感染艾滋 -多多益善 多多益善txt 多夜情 多少钱1夜 @@ -25889,7 +25859,6 @@ z以留吧以其以武 天和佳祥b 天国乐团 天图 -天地之间 天地玄门 天堂1夜 天堂2 @@ -26494,7 +26463,6 @@ z以留吧以其以武 好想好想要你来培可忘你的抚莫魏 好想射点什么 好挺好硬 -好朋友 好棒啊好舒服 好歌格求你莱培我我狠顾单空虚 好死不如赖活着 @@ -27535,7 +27503,6 @@ z以留吧以其以武 审核证件和资产 审计署 客户数据专卖qq -客户服务 客户服务人人员 客户服务人员 客户端非法字符 @@ -30144,7 +30111,6 @@ z以留吧以其以武 张晓刚 张晓平 张朝阳 -张杰 张林 张梅颖 张梦舒3个字首字母山山妖数字 @@ -31419,7 +31385,6 @@ z以留吧以其以武 惊伦6日 惊喜奖品 惊喜送出 -惊天动地 惊天密典 惊天密典txt 惊天桃色劫 @@ -32383,8 +32348,6 @@ z以留吧以其以武 战刀订购 战国杂家吕不韦 战国英雄 -战场 -战役 战役学纲 战斗条令 战术 @@ -34893,7 +34856,6 @@ z以留吧以其以武 拜大哥 拜德良 拟涛哥 -拦截器 拦截干扰器价格 拨打 择民 @@ -36980,7 +36942,6 @@ z以留吧以其以武 搔穴自慰 搔首弄姿 搜客 -搜狐 搜狐攻击腾讯 搜神记 搞b @@ -37634,7 +37595,6 @@ z以留吧以其以武 敬请忍 数据中国 数据出售 -数据库 数百人围殴 数码多功能治疗仪 数码精灵 @@ -37972,7 +37932,6 @@ z以留吧以其以武 无水哌嗪 无水联胺 无理性暴行之现代性犯罪绝叫篇 -无界 无界流览 无界浏览 无界浏览器 @@ -38697,7 +38656,6 @@ z以留吧以其以武 春风化雨录 春香传 昧着良心的中国 -昨日重现 是中国社会的爱滋病 是否司法不公应该从最后纠正的结果看 是广缘居高素质交友俱乐部 @@ -39250,7 +39208,6 @@ z以留吧以其以武 朋友网用户数据 服务上门 服务人员 -服务器 服务器托管 服务器租用 服务天使 @@ -39548,7 +39505,6 @@ z以留吧以其以武 杀鼠嘧啶 杀鼠灵 杀鼠迷 -杂志 杂种 权力核心 权力核心中的知青 @@ -39736,7 +39692,6 @@ z以留吧以其以武 李纪恒 李继耐 李维汉 -李老师 李至伦 李良辉 李荣融 @@ -42217,7 +42172,6 @@ z以留吧以其以武 气短狗转让 气短狗销售 气管炎灵 -气象局 气质白领 气质皛领 气长狗买卖 @@ -43249,7 +43203,6 @@ z以留吧以其以武 法十轮十功 法囵 法囵功 -法国 法国游 法埨功 法婨功 @@ -43384,7 +43337,6 @@ z以留吧以其以武 泰州幼 泰州文教局停售通知 泰式帝王欲 -泰晤士报 泰盛环球 泳衣丝袜让你销魂舒畅 泷泽罗拉种子 @@ -43771,7 +43723,6 @@ z以留吧以其以武 液态毒品 液态醋酸苯汞 涵涵 -涿州 淄博的性产业 淋病 淑女征服者 @@ -44471,7 +44422,6 @@ z以留吧以其以武 深井蓝bt下载 深井蓝种子 深入到底 -深入浅出 深冷的夜你即墨吗 深喉 深喉deepthroatthis8 @@ -45243,7 +45193,6 @@ z以留吧以其以武 火狗 火箭筒 火线任务 -火药 火药diy教程 火药diy过程 火药专卖 @@ -45495,7 +45444,6 @@ z以留吧以其以武 烯丙醛 焉荣竹 焊接 -焚烧 焚烧161次京沪 焚烧中国国旗 焚烧寺庙 @@ -45681,7 +45629,6 @@ z以留吧以其以武 爱唯侦察bt下载 爱啪啪ooxx 爱喜免费成人电影 -爱因斯坦 爱国会救不了灵魂 爱国文化衫运动 爱国版吉祥3宝 @@ -45849,9 +45796,7 @@ z以留吧以其以武 牛逼靠 牛郎 牛郎店 -牛顿 牛鬼蛇神 -牛魔王 牟新生 牡丹国际娱乐 牢头牢霸打死你 @@ -47477,7 +47422,6 @@ z以留吧以其以武 癸硼烷 発妻 発射 -登6 登6主页 登6台湾 登6查看 @@ -47557,7 +47501,6 @@ z以留吧以其以武 白癜风 白癜风胶丸 白癫疯 -白皮书 白石ひより完全攻略 白石亚梨沙种子 白石希由丽种子 @@ -47918,8 +47861,6 @@ z以留吧以其以武 监7职 监8职 监9职 -监听 -监听器 监听器软件下载 监听宝 监听手机qq @@ -48985,7 +48926,6 @@ z以留吧以其以武 真人骚r女自m慰 真他妈 真善忍 -真善美 真城丽美 真城丽美种子 真孔雀王 @@ -49045,7 +48985,6 @@ z以留吧以其以武 真漂 真理教 真理组织 -真相 真矢志穂 真空失身 真空度测试仪 @@ -50002,7 +49941,6 @@ z以留吧以其以武 称能解决农民工就业 移3动 移动vip数据名录 -移动公司 移动电话卧底软件下载 移动电话卧底软件免费供应 移动电话卧底软件免费版 @@ -50114,7 +50052,6 @@ z以留吧以其以武 空虚少妇上门特殊服务 空虚的伊坤 空调移机 -空闲时间 空间有最近照片我们在1个城市的哦 空间留个联系方式 空降的先头部队4人牺牲 @@ -50378,7 +50315,6 @@ z以留吧以其以武 管制刀具 管猎 管理人员 -管理员 管理就是收费 管里 管里员 @@ -50518,7 +50454,6 @@ z以留吧以其以武 精液榨取 精液浴 精液直射入她的小穴深处 -精益求精 精确答案 精神病 精神药品 @@ -50808,7 +50743,6 @@ z以留吧以其以武 练功群众 练完瑜伽功做才爽呢国产3p 组合警棍博击刀 -组织 组织集体 组装54式专卖qq 组装64枪qq @@ -52176,7 +52110,6 @@ z以留吧以其以武 聚色导航 聚色阁 聚贵苑 -聚集 肉丝裤袜 肉乳特刊 肉体 @@ -52864,7 +52797,6 @@ z以留吧以其以武 腾任 腾文生 腾武 -腾讯 腾讯客服热线 腾讯客服电话 腾讯幸运之星 @@ -53076,7 +53008,6 @@ z以留吧以其以武 自爆 自甘堕落小娇妻txt 自用电狗出售 -自由 自由中国 自由之门 自由亚 @@ -55096,7 +55027,6 @@ z以留吧以其以武 视讯妹妹 视讯情人聊天室 视讯聊天 -视频 视频luoliao网 视频luo聊 视频luo聊qq @@ -55161,9 +55091,7 @@ z以留吧以其以武 解放台湾 解放者cad文件stl模型设计图纸下载 解欲控 -解码 解码仪 -解码器 解码器专卖qq 解码器出售 解码器汽车 @@ -55435,7 +55363,6 @@ z以留吧以其以武 订制硅胶面具 订制高仿人皮面具 订制高仿真人皮面具 -订票 订购1体直刀 订购2已基色胺 订购2踢脚 @@ -56008,7 +55935,6 @@ z以留吧以其以武 许达哲 论公 论功 -论坛 论坛帖子屏蔽 论坛帖子屏蔽qq 论坛帖子清理qq @@ -56051,7 +55977,6 @@ z以留吧以其以武 诈骗 诉讼集团 译码器 -试卷 试爱 试用特洛伊卧底软件 试看5元3分钟 @@ -56184,7 +56109,6 @@ z以留吧以其以武 诺美御肾r8胶囊 诺贝尔和平奖 诺贝尔和平奖得主 -诺贝尔奖 诺龙 读不起选个学校3万起 诽谤信息清理 @@ -56370,7 +56294,6 @@ z以留吧以其以武 财务税票代开 财务税票代开qq 财政是爹 -财政部 财政部绝密 财神真人娱乐城 财税代开发票 @@ -56389,7 +56312,6 @@ z以留吧以其以武 败培训 败类马洪亮 败脂醛 -账号 质押贷款 质检局 质问威视股份 @@ -56952,7 +56874,6 @@ z以留吧以其以武 超meinv优mugenexvol7浜崎ひめ 超声波 超女世界online -超市 超常科学 超强护士团 超强解码干扰器 @@ -57231,7 +57152,6 @@ z以留吧以其以武 轩辕2 轩辕剑 转业干部工资 -转化 转卖54手枪 转是政府 转法论 @@ -57654,10 +57574,8 @@ z以留吧以其以武 运动正名 运城哪里有红灯区 运营人 -运营商 运营官 运营组 -运营者 运营长 运通投资信贷 近亲相奸 @@ -58291,12 +58209,10 @@ z以留吧以其以武 逃婚 逃犯 逃税 -逃逸 逅庭诱惑 逆侠 逆天邪传 逆行射精 -选举 选国家主席 逊克农场26队 逍遥丸供应 @@ -58696,7 +58612,6 @@ z以留吧以其以武 释欲堂 释迦牟尼 里有汽枪出售 -里根 里菲斯 里藏春 里鹏 @@ -61799,7 +61714,6 @@ z以留吧以其以武 雀斑修复原液 雀斑分解液 雄烯2醇 -雅典娜 雅思成绩单 雅思答案出售 雅照 @@ -62408,7 +62322,6 @@ z以留吧以其以武 飞易vpn 飞机专用图 飞机失事后的云雨 -飞机票 飞标 飞蛾扑火爱上你 飞镖 @@ -62587,7 +62500,6 @@ z以留吧以其以武 马万祺 马亚莲 马会 -马克思 马克思来电 马凯 马刀 @@ -62680,8 +62592,6 @@ z以留吧以其以武 验征玛 验证号 验证后付款 -验证玛 -验证码 验证码1608 验证码6889 验证码6889请牢记 diff --git a/src/test/java/com/github/houbb/sensitive/word/bs/SensitiveWordBsConfigTest.java b/src/test/java/com/github/houbb/sensitive/word/bs/SensitiveWordBsConfigTest.java index 131f189..e9944f2 100644 --- a/src/test/java/com/github/houbb/sensitive/word/bs/SensitiveWordBsConfigTest.java +++ b/src/test/java/com/github/houbb/sensitive/word/bs/SensitiveWordBsConfigTest.java @@ -1,5 +1,8 @@ package com.github.houbb.sensitive.word.bs; +import com.github.houbb.heaven.util.io.FileUtil; +import com.github.houbb.heaven.util.util.CollectionUtil; +import com.github.houbb.sensitive.word.data.WordCountDto; import com.github.houbb.sensitive.word.support.allow.WordAllows; import com.github.houbb.sensitive.word.support.deny.WordDenys; import com.github.houbb.sensitive.word.support.ignore.SensitiveWordCharIgnores; @@ -8,6 +11,9 @@ import com.github.houbb.sensitive.word.support.tag.WordTags; import org.junit.Assert; import org.junit.Test; +import java.io.File; +import java.util.*; + /** *

project: sensitive-word-SensitiveWordBsConfigTest

*

create on 2020/1/7 23:43

@@ -17,6 +23,60 @@ import org.junit.Test; */ public class SensitiveWordBsConfigTest { + @Test + public void config2Test() { + SensitiveWordBs wordBs = SensitiveWordBs.newInstance() + .ignoreCase(true) + .ignoreWidth(true) + .ignoreNumStyle(true) + .ignoreChineseStyle(true) + .ignoreEnglishStyle(true) + .ignoreRepeat(false) + .enableNumCheck(false) + .enableEmailCheck(false) + .enableUrlCheck(false) + .numCheckLen(8) + .wordTag(WordTags.none()) + .charIgnore(SensitiveWordCharIgnores.defaults()) + .wordResultCondition(WordResultConditions.alwaysTrue()) + .wordAllow(WordAllows.defaults()) + .wordDeny(WordDenys.defaults()) + .init(); + + String dir = "D:\\code\\github\\houbb.github.io\\_posts"; + File[] files = new File(dir).listFiles(); + + Set wordSet = new HashSet<>(); + + Map wordCountMap = new HashMap<>(); + for(File file : files) { + String content = FileUtil.getFileContent(file); + List allWords = wordBs.findAll(content); + + for(String word : allWords) { + Integer integer = wordCountMap.get(word); + if(integer == null) { + integer = 0; + } + + integer++; + wordCountMap.put(word, integer); + } + + System.out.println(file.getName()); + } + +// List wordCountDtoList = new ArrayList<>(); + for(Map.Entry entry : wordCountMap.entrySet()) { + if(entry.getValue() >= 3) { + System.out.println(entry.getKey() + " : " + entry.getValue()); + } + } + +// Collections.sort(wordCountDtoList); +// System.out.println(wordCountDtoList); + } + @Test public void configTest() { SensitiveWordBs wordBs = SensitiveWordBs.newInstance() diff --git a/src/test/java/com/github/houbb/sensitive/word/bugs/b31/BugWeixieTest.java b/src/test/java/com/github/houbb/sensitive/word/bugs/b31/BugWeixieTest.java new file mode 100644 index 0000000..e486255 --- /dev/null +++ b/src/test/java/com/github/houbb/sensitive/word/bugs/b31/BugWeixieTest.java @@ -0,0 +1,16 @@ +package com.github.houbb.sensitive.word.bugs.b31; + +import com.github.houbb.sensitive.word.core.SensitiveWordHelper; +import org.junit.Assert; +import org.junit.Test; + +public class BugWeixieTest { + + @Test + public void lettersTest() { + String text = "我受到了威胁救救我"; + + System.out.println(SensitiveWordHelper.findAll(text)); + } + +} diff --git a/src/test/java/com/github/houbb/sensitive/word/data/WordCountDto.java b/src/test/java/com/github/houbb/sensitive/word/data/WordCountDto.java new file mode 100644 index 0000000..54f887b --- /dev/null +++ b/src/test/java/com/github/houbb/sensitive/word/data/WordCountDto.java @@ -0,0 +1,42 @@ +package com.github.houbb.sensitive.word.data; + +public class WordCountDto implements Comparable { + + private String code; + private int count; + + public WordCountDto(String code, int count) { + this.code = code; + this.count = count; + } + + public String getCode() { + return code; + } + + public void setCode(String code) { + this.code = code; + } + + public int getCount() { + return count; + } + + public void setCount(int count) { + this.count = count; + } + + + @Override + public int compareTo(WordCountDto o) { + return this.count - o.count; + } + + @Override + public String toString() { + return "{" + + "n='" + code + '\'' + + ", c=" + count + + '}'; + } +}