You can not select more than 25 topics
Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.
55 lines
1.7 KiB
55 lines
1.7 KiB
2 years ago
|
方案1
|
||
|
|
1.人名替换处理
|
||
|
|
2.使用翻译模型翻译出来句子人工筛选
|
||
|
|
3.筛选出来的句子进行训练
|
||
|
|
训练方案1
|
||
|
|
常规训练方案
|
||
|
|
训练方案2
|
||
|
|
使用simbert方式训练
|
||
|
|
|
||
|
|
|
||
|
|
翻译模型方案
|
||
|
|
1，使用百度注册账号
|
||
|
|
2，https://www.oschina.net/news/170812/meta-open-source-wmt-21
|
||
|
|
3，使用t5模型训练
|
||
|
|
|
||
|
|
|
||
|
|
改写语料
|
||
|
|
1，现有的语料 58万
|
||
|
|
2，lcqmc语料
|
||
|
|
|
||
|
|
|
||
|
|
写作猫发现的规律
|
||
|
|
1.
|
||
|
|
可以确定的是，应该是用模型做的，因为同样的短句，后面加点东西和不加，出来的整体句子都不一样
|
||
|
|
|
||
|
|
伴随着风硕哀嚎的声音，白策笑嘻嘻的离开了。 --> 在冯硕的惨叫声中，白策嘿嘿一笑，转身离去。
|
||
|
|
伴随着风硕哀嚎的声音 --> 伴随着风硕的惨叫声
|
||
|
|
2.
|
||
|
|
人名特殊处理
|
||
|
|
3.(待定,因为试了几条结果跟我预想的差不多，不敢确定)
|
||
|
|
一般是合并句子居多，且一般是前面句子或者后面句子形容中心句
|
||
|
|
|
||
|
|
|
||
|
|
修改后短句增多的例子
|
||
|
|
对方无声哭泣着再次说了一遍。 --> 对方带着哭腔，又重复了一遍。
|
||
|
|
足足等到叶澜歌换好了衣服 --> 一直到叶澜歌穿好衣服，这才停了下来。
|
||
|
|
修改后短句合并的例子
|
||
|
|
林天宇瞬间就察觉到问题，对着她，轻声问道，“你是不是察觉到什么？” --> 林天宇立刻意识到了不对劲，小声的问了一句，“有没有发现？”
|
||
|
|
|
||
|
|
|
||
|
|
方案：
|
||
|
|
1，有可能形容词替换之后（使用work2vec），再用中译英英译中（也会补充出来代词）
|
||
|
|
|
||
|
|
张三尖叫的喊道
|
||
|
|
张三尖叫的嚷嚷道 --> 张三大吼一声。 --> 张三咆哮起来。 --> 张三大吼一声。
|
||
|
|
|
||
|
|
|
||
|
|
|
||
|
|
|
||
|
|
|
||
|
|
|
||
|
|
|
||
|
|
|
||
|
|
|
||
|
|
|