数据工程师的崛起DataFocus

AI在所有行业/地区的引入正在创造软件开发人员十年前从未梦想过的规模的新功能。但这种发展不仅仅是技术问题。AI和云基础设施的结合正在触发一个令人着迷的人事变动,您无法忽视;它正在改变某些工程师的角色,并创造了一个全新的要求,需要一个全新的工程专业。

让我们回顾一下迄今为止的演变。在云时代之前,事情就更简单了:工程师们应该管理生产过程,并担心软件本身的规模。它在当时是有意义的,因为没有框架能够使软件逻辑与计算资源分离。软件与预先定义的离散硬件计算资源紧密相连。但如今,在云和弹性计算资源的时代,我们将工程师分成更专业化、更独特的团队,以构建利用这些弹性计算平台的软件解决方案、产品和服务:

后端工程师-通常负责构建软件背后的逻辑。有时,根据具体应用,该团队的一部分将包括算法专家。这将发生在项目中,其中构建逻辑–特别是建筑逻辑,可以缩放–需要的不仅仅是“工程”或简单的“如果这话,那么”逻辑。这种专业知识的需求是基于软件日益复杂的复杂性和需求,以及可用于支持它的计算马力的急剧增加而自然演变的。前端工程师-构建顶级应用层和用户界面。构建一个引人入胜、逻辑合理且适应性强的人机接口确实需要相当的技能,并且是开发过程的一个重要方面。尽管如此,我相信这个领域仍然等待着巨大的中断和范式的改变,因为浏览器界面的局限性为简化、高效的应用程序开发和生产制造了重大障碍。

DevOps工程师-负责将软件applet(代码容器)缩放到弹性云上进行部署,以便轻松满足尽可能多的用户的需求,并优雅地处理所需的负载。DevOps工程师不太了解或不需要了解他们需要支持的软件的实际逻辑。

所以。。。有什么变化?

AI挑战我们刚刚讨论过的角色的组织结构,这种变化是由一个核心因素推动的:数据在开发引擎中的关键cog的作用。

机器学习及其更”大脑”的表亲深度学习都是利用神经网络等算法的学科,而神经网络又被大量数据源滋养,以创建和完善核心应用的逻辑。当然,在深度学习中,这种方法在试图模仿人脑如何从它通过经验和感官收集的数据中学习方面走得更远。实际上,这两种技术最终都创造了自己的逻辑路径来完成给定的任务,并在此,取代后端工程师的工作,因为我们知道它。

那么,谁管理这个新流程呢?简单的答案是,我们转向数据科学家,其工作是选择正确的初始算法,然后训练,测试和调谐(和调整,调整和调谐…),他们优化算法,做他们的工作,最终”吐出”软件的核心应用逻辑。他或她的培训工作或实验将结合某个模型(或神经网络)与特定的数据集和一组执行参数。

要是它那么容易就好了:事实上,这不是我们故事的结尾。

组织已经意识到,仅仅雇佣一些优秀的数据科学家是不够的。我们发现,我们又缺少了一个谜题:有人专门


转载请注明:http://www.jiaju1314.com/pxxx/pxxx/17346.html

  • 上一篇文章:
  •   
  • 下一篇文章: 没有了