diff --git a/.DS_Store b/.DS_Store index 820c9f1..138ab87 100644 Binary files a/.DS_Store and b/.DS_Store differ diff --git a/README.md b/README.md index c732f7b..7bf5542 100644 --- a/README.md +++ b/README.md @@ -1,4 +1,9 @@ -# Bert源代码解读 +注解: Transformer,VIT,SwinTRM,BERT 模型从零解读的代码和PPT我移动到了这个仓库: + +https://github.com/DA-southampton/TRM_tutorial + +# Bert源代码解读-以BERT文本分类代码为例子 + Bert在生产环境的应用需要进行压缩,这就要求对Bert结构很了解,这个仓库会一步步解读Bert源代码(pytorch版本)。 # 代码和数据介绍 @@ -83,9 +88,7 @@ if __name__ == "__main__": 判断单机cpu训练还是单机多gpu训练,还是多机分布式gpu训练,这个有两个参数进行控制 -一个是args.local_rank == -1 or args.no_cuda 为true,如果有gpu,就进行单机dpu训练,如果没有gpu就进行单机cpu训练。 否则进行多级GPU训练。 - -简单来讲,0或者其他数字代表GPU训练,-1代表单机CPU训练, +一个是args.local_rank == -1 or args.no_cuda ,没理解错误的话,简单来讲,-1代表CPU或者是单机多GPU训练, 具体可以看代码如下: diff --git a/bert_read_step_to_step/.DS_Store b/bert_read_step_to_step/.DS_Store index 04d15e2..a7e6f76 100644 Binary files a/bert_read_step_to_step/.DS_Store and b/bert_read_step_to_step/.DS_Store differ diff --git a/bert_read_step_to_step/chineseGLUEdatasets/.DS_Store b/bert_read_step_to_step/chineseGLUEdatasets/.DS_Store index 1d57008..949215c 100644 Binary files a/bert_read_step_to_step/chineseGLUEdatasets/.DS_Store and b/bert_read_step_to_step/chineseGLUEdatasets/.DS_Store differ diff --git a/bert_read_step_to_step/prev_trained_model/.DS_Store b/bert_read_step_to_step/prev_trained_model/.DS_Store index 7f28cdb..ddb5130 100644 Binary files a/bert_read_step_to_step/prev_trained_model/.DS_Store and b/bert_read_step_to_step/prev_trained_model/.DS_Store differ