2018年，刚入行做AIinfra的时候，团队最常讨论的问题只有一个：显存够不够用。彼时一张V100的16GB显存，支撑不住任何像样的Transformer模型，所有人都被迫在模型规模和硬件瓶颈之间反...