$神州泰岳(SZ300002)$ 2020年由神州泰岳AI研究院与中科院深圳先进技术研究院合作推出的BERT-EMD相较于以前工作蒸馏BERT的方式,有效地解决了人工指定蒸馏学习层次对应关系的弊端,在GLUE Benckmark上,提出的知识蒸馏的方法不使用数据增强技术,6层模型有着12层BERT相当的结果,另外此方法不需要研究者手动指定层次映射关系,在GLUE Benckmark已超过其他蒸馏模型(如TinyBERT, BERT-PKD等)
![](http://gbres.dfcfw.com/Files/picture/20250127/1D299A55D3FFD0F5D330F83B63E8C787_w1264h847.jpg)
![](http://gbres.dfcfw.com/Files/picture/20250127/D7377A440AE3A80F24EAF561931EB3D4_w1264h1122.jpg)
追加内容
本文作者可以追加内容哦 !