在这个技术飞速发展的时代，云已成为人工智能（AI） 发展无处不在的基石。云计算承载着AI，以一种润物细无声的方式渗透进人们生活的方方面面。AI将以势不可挡的趋势在云端继续蓬勃发展；而与此同时，它也将存在于用户未来的笔记本电脑、台式电脑及其他个人计算终端设备。

了解客户端人工智能（On-Client AI） 

AI处理从云端到边缘的演变将产生深远影响，它将重新定义人们与这一强大技术的交互方式并从中受益。这种新的范例被称为客户端AI（on-client AI），即直接在用户的本地计算设备上部署并执行AI进程。

客户端AI使海量处理能力更靠近终端用户，让用户无需依赖云计算基础设施就能使用AI的强大性能。这种适当规模的AI将使联网设备变得更加强大和有效。本地AI处理的优势在于安全性、速度和成本。 

隐私和安全

使用AI生成的数据历来都往返于云端。虽然这有利于提高便利性和连接性，但也引发了隐私和安全问题。客户端AI是朝着更加安全的数字世界所迈出的一大步。本地处理意味着用户不必再担心个人身份信息（PII）和知识产权会暴露于云端的潜在威胁之下。用户对PII的许可和保护本质上是位于本地的，因此客户端AI有望促进用户隐私保护与合规。 

速度和效率

快速响应在数字时代至关重要，而客户端AI几乎可以提供即时结果。从帮助用户整理文件到增强摄像头功能，客户端AI有潜力做到在不影响设备处理能力的情况下快速产生结果。 

成本效益 

在数据方面，每个字节都有相应的成本，将数据传输到云端和从云端传输数据的成本都很高。从单个用户层面，这些数据传输和存储成本看起来似乎微不足道，但从整体范围考虑，它们会“积沙成塔”。在本地处理可以最大程度地减少数据传输需求，进而降低云计算资源的成本。 

开发更加智能的联网设备 

客户端AI的主要目标之一是在智能手机和其他移动设备上运行大语言模型（LLM）。AI加持的移动设备和个人电脑将给终端用户和开发者带来巨大变化，新一代智能PC已呼之欲出，它们将具备实现客户端AI所需的处理能力。

推动客户端AI发展的技术进步有可能将大规模AI模型的部署从云端转移到个人设备，从而使用户能够在笔记本电脑或智能手机上随时随地运行复杂的机器学习算法。比如，在工作站的单个GPU上运行一个70亿参数的大语言模型可能既耗时，又成本高昂。如果能够选择使用客户端AI运行这些大语言模型，那将彻底改变用户与设备的交互方式。

有许多技术使得在用户设备上运行大型机器学习模型和其他AI应用成为可能。其中最有前景的技术之一是“模型蒸馏 (Model Distillation)”，该技术能够训练较小的模型模仿较大模型的行为。较小的模型可以部署在用户的设备上，而较大的模型则留在云端。

当然，客户端AI将会补充而非取代云端AI处理。

云计算的优势在于可扩展性、易访问性和性能等。而本地设备上的AI处理将能够克服云计算的一些局限性，如隐私、数据传输成本、延迟等。随着客户端AI设备的发展，用户将能够根据具体的工作负载需求，在云计算和本地处理之间进行切换。

但客户端AI处理将对软硬件架构提出新的要求，包括专为运行机器学习应用而设计的新型GPU和CPU等。要想实现客户端AI，还需要有新的框架和平台促进本地设备端AI处理的开发。

为下一代解决方案提供支持

AI正在离终端用户越来越近。随着AI算法的改进，使用芯片支持设备端AI（如生成式AI）的方式也在发生变化。片上处理能力的持续提升将推动下一代客户端平台和终端生态系统的发展，届时AI处理将分布在外设、终端、边缘和云端。

如果所开发的客户端平台带有能够运行AI处理的芯片，则将解锁大量新的应用，为远程协作会议到智能安全解决方案等一切应用提供支持。自适应用户界面、自动支持等生成式AI体验都将成为未来个人计算的一部分。云与本地计算的这一融合将实现由AI驱动的个性化、系统优化以及预测性操作，从而带来无缝衔接且更加优质的用户体验。

这些差异化的体验仅仅是未来个人计算的开始。当能够在客户端加速机器学习算法的硬件出现时，AI模型将变得更加高效并能够在传统的联网设备上运行。新一代客户端AI应用将逐渐从概念化为现实，直至触手可及，让我们做好准备，迎接重新定义的个人计算体验。

• About
• Latest Posts

明志

Latest posts by 明志 (see all)

• 戴尔科技：充分释放客户端AI的潜力 – 2023年11月8日
• SAP与昇兴股份在第六届进博会达成合作，管理上云赋能智慧生产 – 2023年11月8日
• 思科第28届年度合作伙伴峰会：围绕人工智能、安全与可观察性推出产品创新 – 2023年11月8日