时最原始的transformer模型仅仅只有100M，而这个模型，完全抛弃了循环神经网络（RNN）和卷积神经网络（CNN），取而代之的是完全不同的注意力机制以及编码器-解码器架构。
值得注意的是，openAI中的伊利亚并不是这篇文章的作者之一的伊利亚波洛苏金。
这篇文章在17年6月12日发布后，并没有第一时间造成很大影响，并且由于其难以收敛，并不比相对成熟的LSTM效率更高，因此在这个阶段，大部分研究者的视线并未投向注意力机制的transformer架构，这里也包括openAI。
openAI在2018年年初，还在用LSTM进行训练，并且在Dota2里击败了人类。而仅仅几个月之后，openAI就发布了GPT-1。
这说明，几个月的时间，足够制作一个大模型。