人工智能(AI)应用日渐融入我们的日常生活,带来全新的发展机遇,并对传统产业产生了颠覆性的影响。在过去至少二十年的时间里,以机器学习(ML)为代表的预测性人工智能为各领域带来了愈发显著的效益,这点在医疗和欺诈检测等领域尤为突出。随着生成式人工智能(gen AI)逐渐成为主流趋势,人们愈发难以准确预估这项技术可能带来的广泛影响。几乎每天都有AI取得新突破的消息,而在这背后,有一股力量正在支撑并持续塑造人工智能创新,那就是开源软件。
本文作者:Waqaas Kausar,红帽客户技术主管
开源软件曾是一种小众概念,常与志愿者在周末编写代码并免费分享成果的场景联系在一起。大型企业最初对此持怀疑态度,但随着软件行业的发展,推动Linux和Apache软件基金会等项目的社区群体证明,开放协作能够产生可扩展、安全、成本效益高的解决方案,而这些恰恰是专有软件模式很难提供的。
红帽在确立开源软件的企业级地位方面发挥了引领作用,如今几乎很难找到不依赖开源软件的软件解决方案和应用。Google、IBM、Microsoft、Amazon、NVIDIA等其他大型科技公司,以及像Spotify、Netflix这类高度依赖技术的企业,都深度投身于开源软件项目之中。倘若没有开源软件,互联网、移动设备、云计算和人工智能这些过去二十年间最重要的技术,是根本无法发展至今的。
随着人工智能研究的进展,我们看到了相同的模式,领先的框架、平台和工具,如TensorFlow、PyTorch、Kubeflow和Jupyter Notebook等被免费共享,在全球范围内形成了开源社区。无论是云端还是本地,用于模型训练和推理的软件基础设施也大多采用开源模式。然而,这其中的矛盾之处在于,开源软件对人工智能变革至关重要,却鲜少被提及。
效率至上:打破人工智能的计算与能耗瓶颈
人工智能的发展进程正面临被能源和硬件限制所阻碍的风险,领先的云服务提供商和人工智能实验室报告称,前沿GPU和专用硬件出现短缺。此外,数据中心的电力消耗可能很快会受到电网容量的限制。
开源人工智能软件基础设施可以通过以下方式帮助应对这些限制:
•硬件灵活性与供应商中立性:开源人工智能框架具备更广泛的兼容性,且通常不依赖特定供应商,支持采用多种不同架构的社区。这些框架可用于处理各类处理器类型的工作负载,从而降低对难以获取的GPU及其他专用硬件的依赖。
•可定制的AI调度方案,提升资源利用效率:开源平台和诸如Kubernetes、Kubeflow和Apache Airflow这样的技术为组织提供了动态优化AI工作负载调度的能力,能够根据能源消耗、资源可用性和运营优先级进行调整。
•边缘人工智能与联邦学习:开源边缘计算框架,如KubeEdge,能够在更接近数据源的位置处理数据,减少组织对集中式云资源的依赖。
面对当前已显现且预计将加剧的计算与电力资源短缺问题,企业亟需采用更节能、硬件效率更高的人工智能架构。开源软件基础设施为实现这一目标提供了坚实的技术支撑。
采用挑战:开始使用可持续且可扩展的人工智能
尽管大多数组织都认识到人工智能在推动创新和提升竞争优势方面的潜力,但推动一个清晰的初始用例仍可能颇具挑战性,特别是在数据科学和机器学习人才匮乏的情况下。
在成功试点之后,治理、安全及持续优化将成为在企业范围内扩展人工智能项目的关键。一个完整且全面的人工智能平台能够提供这些能力。早期低成本的实验可以激发突破,但当团队从概念验证过渡到大规模部署并进入生产环境时,稳健的平台和最佳实践变得至关重要。合适的平台将使组织能够开发和整合所需的新技能和工具集,同时自动化重复性任务,并提供按需资源扩展。
统一平台可让组织专注于创新,同时提供复杂IT环境所需的可靠性、增强的安全态势和易管理性。
将开源人工智能引入企业
红帽以其核心产品而闻名——红帽企业Linux(RHEL)、红帽OpenShift和红帽Ansible自动化平台。红帽已将其重点扩展至人工智能领域,通过红帽AI构建领先的开源平台,包括以下产品:
红帽企业Linux AI(RHEL AI)为企业提供了一个更易于访问且更高效的开源基础,助力企业采用生成式人工智能。它简化了人工智能模型的部署和管理,并提供对IBM Granite基础模型开箱即用的支持,还具备透明度、增强的安全性和灵活性。
RHEL AI使组织能够使用InstructLab框架,通过自有数据对基础模型进行微调,为企业开启生成式人工智能之旅提供低门槛的入门路径,并在需要时扩展到更复杂的人工智能架构,如红帽OpenShift AI。RHEL AI由红帽全面支持,并可实现混合云环境中的迁移。
下图概述了在RHEL AI中使用InstructLab对模型进行微调的工作流程。
红帽OpenShift AI是一款人工智能和机器学习(ML)平台,旨在帮助企业实现大规模的人工智能模型训练和服务。OpenShift AI能够在混合云环境中管理生成式人工智能和预测性人工智能,并与企业依赖的关键生态系统合作伙伴集成。
数据科学家可以访问一个可扩展的环境,用于快速实验和简化模型部署。借助对多个AI框架的支持以及重复性任务的自动化,他们能够更好地专注于创新和模型优化,从而加速价值实现时间。
应用开发人员和DevOps团队可通过与CI/CD管道的集成以及强大的自动化功能,在混合环境中实现集中管理。这些功能可加速迭代、提升发布可靠性,并简化扩展流程,同时使用开源基础确保与现有工具集的兼容性。
OpenShift AI是一个简化团队协作的平台,助力交付驱动数字化转型和竞争优势的人工智能赋能的应用。下图展示了OpenShift AI的整体功能以及部分可用的组件和生态系统。
人工智能的未来需要高效、开放、可扩展的基础设施。
开源软件为人工智能的快速发展奠定了基础。随着生成式人工智能从概念走向实际应用,协作与透明度比以往任何时候都更加重要。
大型组织必须做好准备,采用能够促进大规模人工智能部署的治理和管理的实践和技术。红帽在提供企业就绪的开源解决方案方面拥有丰富经验——RHEL AI和OpenShift AI便是我们如何通过可扩展且灵活的平台塑造人工智能行业格局的例证。
如果您正在尝试训练自己的模型、扩展企业人工智能平台或希望了解更多关于RHEL AI和OpenShift AI的信息,红帽可以帮助您的组织以负责任且高成本效益的方式,解锁人工智能的全部潜力。
本文作者:Waqaas Kausar,红帽客户技术主管。自2015年以来,他为公司一些最大的客户提供支持。他的职业生涯横跨全球金融服务、能源及英国公共部门,擅长应用开发、业务自动化、容器平台以及人工智能/机器学习(AI/ML)。
Waqaas非常擅长融汇创新与实践,为复杂的转型挑战提供战略愿景和技术深度。作为一名终身学习者,他于近期获得了管理与数据分析硕士学位,并将学术好奇心融入工作——无论是探索云原生现代化还是开源的未来。
Waqaas是一位全身心投入的导师,也是协作成长的积极倡导者。他坚信,唯一不变的就是变化本身——而带着明确目标去拥抱变革,正是实现有意义进步的动力。