1.1.4 项目开发的规模化

正如1.1.2节中所述,完成一个深度学习项目需要填补七个不同的角色。这些角色之间的跨职能合作几乎在每个步骤中都会发生。例如,数据工程师、平台开发者和数据科学家共同致力于将项目投入生产。任何参与过涉及很多利益相关者的项目的人都知道,推动这样的项目需要大量的沟通和协调。

各种挑战使得深度学习开发很难规模化,因为我们要么没有足够的资源来填补所有所需的角色,要么由于沟通成本过大和进度延后而无法按期交付。为了减少大量的操作工作、沟通和跨团队协调成本,业界正在投资机器学习基础设施,并减少构建机器学习项目所需的人员数量和知识范围。深度学习基础设施栈的目标不仅是自动化模型构建和数据处理,还要使技术角色能够合并,并让数据科学家能够在项目中自主处理所有这些功能。

衡量深度学习系统是否成功的一个关键指标是模型产品化过程的顺畅度。通过一个良好的基础设施,数据科学家不需要突然成为专家级的DevOps或数据工程师,就可以独立地以可扩展的方式实现模型,建立数据流水线,并在生产环境中部署和监控模型。

通过使用高效的深度学习系统,数据科学家将能够以最小的额外开销——减少所需的沟通和等待他人的时间——完成开发周期,并专注于最重要的数据科学任务,例如,理解数据和尝试不同的算法。规模化深度学习项目开发的能力是深度学习系统的真正价值主张。