小模型实现高质量与DeepSeek引领终端侧AI推理时代的新篇章

DeepSeek等技术使得小模型也能拥有高质量性能，终端侧AI推理时代已经来临，高通万卫星等技术助力AI在终端侧的普及和应用，让小模型也能发挥强大的能力，这些技术的发展将推动AI产业的进一步壮大，为各个领域带来更多创新和变革。

近年来,生成式AI技术迅猛进展，从文生文、文生图到AI智能体，各种应用不断刷新人们的使用体验，如何降低生成式AI的使用门槛，让更多人能够轻松体验并真正实现普惠大众，这一问题引起了广泛的关注与讨论。

在最近举办的QCon全球软件开发大会上,高通公司AI产品技术中国区负责人万卫星分享了他的见解，他提到，生成式AI已经改变了我们对终端设备的操作方式，比如在智能手机、汽车上，人们现在可以通过自然语言与设备进行交互，在个人电脑（PC）上，会议总结、文字润色等应用也极大地提升了用户的使用体验。

万卫星指出,大部分的生成式AI用例都可以在终端上运行，而终端侧AI在性能和效率、隐私和安全、成本等方面具有显著优势，在端侧进行AI推理是推动生成式AI规模化扩展的关键因素。

高通作为终端侧AI的领先者,拥有超过15年的AI研发经验，并推出了一系列创新的硬件和软件解决方案，广泛应用于智能手机、汽车、XR头显和眼镜、PC以及工业物联网终端等领域，在智能手机领域，高通的骁龙8至尊版处理器就采用了领先的技术，包括定制的高通Oryon CPU、高通的Adreno GPU和NPU等，能在终端侧直接提供个性化的多模态生成式AI，支持语音、情境和图像理解，全面增强从生产力到创意任务等各方面的体验。

除了强大的硬件支持,高通还构建了完善的AI软件栈，支持TensorFlow、PyTorch等主流AI框架，高通的AI软件栈包括库、SDK和优化工具，可以简化模型部署并提升性能，高通还推出了AI Hub，为开发者提供便捷的模型选择和应用开发服务，借助预优化模型库和支持定制模型优化与集成等特性，高通AI Hub能够支持产业伙伴及开发者缩短开发周期，推动生成式AI在终端侧的规模化扩展。

包括小米、荣耀、OPPO等在内的不少中国厂商已经采用了骁龙8至尊版处理器，为消费者提供丰富的生成式AI体验，在PC领域，搭载骁龙X系列平台的AI PC产品也已经广泛应用，显著提升了用户的工作效率，在汽车、XR等行业，高通也与广大产业伙伴深入合作，共同推动终端侧AI的发展。

随着终端侧的AI处理能力不断增强和大量高质量小模型的涌现,再加上终端侧运行AI模型在隐私安全、时延、使用成本等方面的优势，万卫星认为AI推理正在从中心云向边缘侧和终端侧扩展，终端侧AI推理时代已经到来。

随着技术的不断进步和应用的广泛普及,生成式AI必将在未来继续发挥重要作用，为人们的生活带来更多便利和乐趣。