GitHub超9千星：一个API调用六种架构，27个预训练模型

发布时间：2025-11-05 13:19:52 来源：码上建站 作者：数据库

只需一个API，超千直接调用BERT,星个训练 GPT, GPT-2, Transfo-XL, XLNet, XLM等6大框架，包含了27个预训练模型。用种简单易用，架构功能强大。个预

One API to rule them all。模型

3天前，超千著名最先进的星个训练自然语言处理预训练模型库项目pytorch-pretrained-bert改名Pytorch-Transformers重装袭来，1.0.0版横空出世。用种

只需一个API，架构直接调用BERT,个预 GPT, GPT-2, Transfo-XL, XLNet, XLM等6大框架，包含了27个预训练模型。模型

简单易用，超千功能强大。星个训练目前已经包含了PyTorch实现、用种预训练模型权重、运行脚本和以下模型的转换工具：

这些实现都在几个数据集（参见示例脚本）上进行了测试，性能与原始实现相当，例如BERT中文全词覆盖在SQuAD数据集上的F1分数为93；OpenAI GPT 在RocStories上的F1分数为88；Transformer-XL在WikiText 103上的困惑度为18.3；XLNet在STS-B的皮尔逊相关系数为0.916。

项目中提供27个预训练模型，下面是这些模型的完整列表，以及每个模型的简短介绍。

BERT-base和BERT-large分别是站群服务器110M和340M参数模型，并且很难在单个GPU上使用推荐的批量大小对其进行微调，来获得良好的性能（在大多数情况下批量大小为32）。

为了帮助微调这些模型，作者提供了几种可以在微调脚本中激活的技术 run_bert_classifier.py和run_bert_squad.py：梯度累积（gradient-accumulation），多GPU训练（multi-gpu training），分布式训练（distributed training ）和16- bits 训练（ 16-bits training）。

注意，这里要使用分布式训练和16- bits 训练，你需要安装NVIDIA的apex扩展。

作者在doc中展示了几个基于BERT原始实现和扩展的微调示例，分别为：

这里仅展示GLUE的结果：

该项目是在Python 2.7和3.5+上测试（例子只在python 3.5+上测试）和PyTorch 0.4.1到1.1.0测试。

项目地址：

https://github.com/huggingface/pytorch-transformers

相关文章