图形处理器 (GPU)

“特别是需要功能强大的图形处理器 （GPU）进行并行处理，然而，这些GPU的成本非常高，每年NVIDIA都推出新的 GPU，价格高达数十万美元，并不是家用级别显卡，而是专业的计算型GPU，一块 A100的价格为19.9万美元，约合人民币141万元，如果训练GPT-3版本，则大约需要 1000块这样的显卡。”

“AlexNet的成功依赖于多个关键因素的共同作用：首先是数据的积累，ImageNet数据集包含了数百万张标注图片，为深度学习提供了前所未有的训练资源；其次是计算能力的提升，图形处理器（GPU）的使用使得复杂网络的训练成为可能；最重要的是架构的创新，卷积神经网络的设计直接借鉴了大脑视觉皮层的分层结构。”

“暂时是什么意思呢？CNN训练是迭代进行的，每一次迭代，要根据目前的参数值算出C N N的输出，对于所有的样本，可以一个一个地算，由于图形处理器（GPU）设备的特性，会把训练数据分成很多mini‐batch，每个mini‐batch一起算。”

“相较于前面章节的实践，文本生成任务的学习难度较高，而且模型采用逐字递归预测的策略，该策略无法在图形处理器（GPU）中并行运算，故而预测时间较长，因此，在模型训练与验证过程中，本节选择每迭代n次才进行1次模型性能评估，保证模型训练时长。”

“近年来，伴随着机器学习，特别是深度学习相关技术的重大突破，以及硬件设备尤其是图形处理器（GPU）的计算加速，人工智能的各方面都有迅猛发展，在包括图像视觉与语音识别在内的感知层面也有众多突破。”

“从简单易用的角度考虑，本书案例所有代码均使用Keras框架，对工作环境没有特殊要求，图形处理器（GPU）虽然不是必须配置，但是仍然建议读者能够拥有一块NVIDIA GPU显卡来开展深度学习。”