普通版降重
You can not select more than 25 topics Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.
majiahui@haimaqingfan.com 6c119a3f20 普通版降重优化:使用vllm模型,解决英文问题,修复空字符bug 8 months ago
config 普通版降重优化:使用vllm模型,解决英文问题,修复空字符bug 8 months ago
data_do 修改流程 1 year ago
优化点 第一次提交,非batch预测版本 2 years ago
改进方案 第一次提交,非batch预测版本 2 years ago
.gitignore 普通版降重优化:使用vllm模型,解决英文问题,修复空字符bug 8 months ago
11篇_xlsx2txt.py 完成t5单条预测版本 2 years ago
README.md 普通版降重优化:使用vllm模型,解决英文问题,修复空字符bug 8 months ago
bert_config_dropout_0_3.json 第一次提交,非batch预测版本 2 years ago
bert_config_dropout_0_4.json 第一次提交,非batch预测版本 2 years ago
cehsi.py 修改流程 1 year ago
ceshishuzi.py 修改流程 1 year ago
ceshiyouxiaokuohao.py 修改流程 1 year ago
chuli_yy_data.py 第一次提交,非batch预测版本 2 years ago
crontab_sh.sh 普通版降重优化:使用vllm模型,解决英文问题,修复空字符bug 8 months ago
eval_yylable.py 第一次提交,非batch预测版本 2 years ago
evaluate_test.py 普通版降重优化:使用vllm模型,解决英文问题,修复空字符bug 8 months ago
flask_drop_rewrite_request.py 普通版降重优化:使用vllm模型,解决英文问题,修复空字符bug 8 months ago
flask_multiple_results.py 修改流程 1 year ago
flask_predict.py 普通版降重优化:使用vllm模型,解决英文问题,修复空字符bug 8 months ago
flask_predict_no_batch.py 第一次提交,非batch预测版本 2 years ago
flask_predict_no_batch_t5.py 普通版降重优化:使用vllm模型,解决英文问题,修复空字符bug 10 months ago
flask_predict_redis.py V1.0完成 2 years ago
flask_predict_t5.py V1.0完成 2 years ago
gunicorn_check_uuid_config.py V1.0完成 2 years ago
gunicorn_config.py V1.0完成 2 years ago
predict_11pian.py 修改流程 1 year ago
predict_11pian_random.py 第一次提交,非batch预测版本 2 years ago
predict_11pian_sim_sim.py 第一次提交,非batch预测版本 2 years ago
predict_batch.py 完成batch预测版本 2 years ago
predict_drop_sim_sim.py 普通版降重优化:使用vllm模型,解决英文问题,修复空字符bug 8 months ago
predict_drop_weight_sim.py 普通版降重优化:使用vllm模型,解决英文问题,修复空字符bug 8 months ago
predict_no_batch_1.py 修改流程 1 year ago
predict_no_batch_2.py 修改流程 1 year ago
predict_sim.py 代码优化,不做功能改变,增加配置文件,把模型加载做成类 2 years ago
predict_t5.py 普通版降重优化:使用vllm模型,解决英文问题,修复空字符bug 8 months ago
predict_t5_multiple_results.py 修改流程 1 year ago
predict_tf25.py 第一次提交,非batch预测版本 2 years ago
predict_tf_sim.py 普通版降重优化:使用vllm模型,解决英文问题,修复空字符bug 8 months ago
predict_txt.py 第一次提交,非batch预测版本 2 years ago
predict_yinhoa.py 第一次提交,非batch预测版本 2 years ago
python_to_redis.py V1.0完成 2 years ago
redis_check_uuid.py 普通版降重优化:使用vllm模型,解决英文问题,修复空字符bug 8 months ago
redis_check_uuid_mistral.py 普通版降重优化:使用vllm模型,解决英文问题 10 months ago
request_drop.py V1.0完成 2 years ago
run_app_nohub_search_redis.sh 普通版降重优化:使用vllm模型,解决英文问题,修复空字符bug 8 months ago
run_app_nohub_t5.sh V1.0完成 2 years ago
run_check_uuid_app.sh V1.0完成 2 years ago
simbert_train.py 第一次提交,非batch预测版本 2 years ago
simbert_train_dropout.py 第一次提交,非batch预测版本 2 years ago
task_seq2seq_autotitle.py 普通版降重优化:使用vllm模型,解决英文问题,修复空字符bug 8 months ago
task_seq2seq_t5.py 普通版降重优化:使用vllm模型,解决英文问题,修复空字符bug 8 months ago
测试10000篇数据.py V1.0完成 2 years ago
测试range_1.py 第一次提交,非batch预测版本 2 years ago
测试redis命名.py 修改流程 1 year ago
筛选引号数据.py 第一次提交,非batch预测版本 2 years ago
请求改写文本.py 修改流程 1 year ago

README.md

小说改写项目

基于unilm模型的生成式任务,使用keras框架,数据处理脚本在data_do文件夹下 训练数据 train_cat_data_4.txt

训练

加入了质量检测训练:bash train.sh
加入了质量检测训练:bash train_sim.sh

预测

加入了质量检测 python predict_tf_sim.py
未加入质量检测 python predict_tf.py

API serve

目前的启动方式:bash run_app.sh
一键启动方式:bash run_app_gunicorn.sh

请求示例

requests.post(
    "http://192.168.1.17:14000",
    json={"texts": ["张三要爬上高位的,才能够翻云覆雨。"]},
    timeout=1000
)

响应

{'probabilities': None, 'texts': ['张三要上了巅峰,他就可以为所欲为了。']}