如果您正在考虑将您的团队或组织大规模 转移到人工智能,您可能需要检查并准备对底层基础设施进行投资——数据容量、处理能力、工具和相关资源。
尽管世界陷入了关于人工智能的效率和风险的争论,但支撑基础设施的问题却没有得到足够的重视。看来当前的许多系统可能还没有准备好处理人工智能工作负载。
在较近的一项调查中,大多数高管(76%)认为他们当前的基础设施“将无法扩展以满足即将到来的需求”——即人工智能和相关的分析工作负载。此外, Hitachi Vantara 发布的针对 1,288 名高管的调查还发现,60% 的人表示他们只是对自己管理的数据量感到“不知所措”。该报告的编辑预测,到 2025 年,大型组织将存储超过 65 PB 的数据。(就在不久之前,1 TB 还算一个巨大的负载。)
日立的数据反映了AI 基础设施研究所 (AIII) 的调查结果,该研究所发现,只有 26% 的团队对其当前的 AI/ML 基础设施“非常满意”。当然,大型科技企业拥有巨额预算、员工和能力来实现人工智能。AIII 报告的编辑表示,这些企业的团队“从头开始构建了自己的 AI/ML 基础设施,因为市场上没有任何东西可以支撑他们的努力”。
他们补充说,较近,“大家看到新工具和平台的迅速普及,使企业和中小型企业能够从智能革命中受益。然而,构建适合特定企业需求的正确 AI/ML 基础设施仍然是一个重要的任务。挑战。”
以简单的原始存储容量为例。日立调查发现,数据存储需求可能在两年内翻一番。所有这些数据将去往何处?那里有云,对吗?该调查的编辑警告说,请保持这种想法。他们指出,云是解决方案的一部分,“但不是灵丹妙药”。到 2025 年,大约 27% 的数据中心工作负载将位于公共云中,另外 21% 的工作负载将位于同一地点。大约一半的数据中心工作负载(49%)将保留在企业内部——要么在更传统的本地系统中,要么在私有云中。
让事情变得更复杂的是,IT 主管估计他们无法控制流经企业的一半数据。这是收集和存储但从未使用过的“暗数据”,可能几乎占所有数据的一半。
需要支撑的不仅仅是数据容量,工具也很重要。AIII 报告指出:“任何 AI/ML 团队的成长都是一个旅程,在每个阶段都需要不同的工具。” “在任何早期阶段,只有少数的数据科学家,您的工具需求就会简单得多。但随着您的团队不断壮大,您需要更新更好的工具来应对这种增长。传统的企业 IT 考虑因素,例如基于角色的访问控制和安全突然变得重要,持续的监控和维护也是如此。”
随着人工智能的快速发展而出现的额外需求是特征存储以及数据版本控制和沿袭的可见性。“在监管或公共错误凸显了数据版本控制和血统的必要性之后,有些人发现数据版本控制和沿袭的时间太晚了。”AIII 的编辑表示。“随着团队的成长和跨 GPU 的内部资源调度竞争,它变得至关重要。在每个阶段,新的必备工具都会迅速浮出水面。”
AIII 的编辑指出,大型科技企业“从头开始构建自己的工具,因为市场上没有任何东西可以支撑他们的需求,但这种方法对于没有开发人员大军的其他企业来说基本上是遥不可及的” 。“这也是不可持续的,因为技术债务和这些工具的维护很快就会变成一场噩梦,即使商业工具开始以其功能绕过内部构建的系统。”
AIII 分析师“预计未来五年内,越来越多的科技企业将用商业或开源替代品取代部分家庭堆栈。大家预计,大多数处于早期大众阶段的企业不会制作自己的工具,而是专注于编写较小的工具来缩小堆栈的模块化部分之间的差距。”
咨询机构