如何在 Raspberry Pi 和单板计算机 （SBC） 上运行 AI 模型

如果你正在寻找一个让你在这个周末忙碌的项目，你可能有兴趣知道，在小型单板计算机（SBC）上以大型语言模型（LLM）的形式运行人工智能是可能的，如Raspberry Pi等。随着本月新款Raspberry Pi 5的推出，现在可以执行更多的功率密集型任务，以提高其性能。

尽管在开始之前，值得记住的是，在 Raspberry Pi 或其他 SBC 上运行 AI 模型，尤其是大型语言模型 （LLM），会带来挑战和机遇的有趣融合。当您在计算能力和便利性之间进行权衡时，您会在成本效益、隐私和动手学习方面获得收益。这是一个成熟的探索领域，对于那些愿意驾驭其局限性的人来说，创新的潜力是巨大的。

从 Raspberry Pi 访问 ChatGPT 的最佳方式之一：建立与 OpenAI API 的连接，使用 Python、JavaScript 和其他编程语言构建程序以远程连接到 ChatGPT。虽然，如果您正在寻找一个更本地安装、更安全的版本，可以直接在您的迷你 PC 上运行 AI，您将需要选择能够更有效地运行和回答您的查询的轻量级 LLM。

在 Raspberry Pi 上运行 AI 模型

观看下面的视频，了解更多关于如何通过Data Slayer实现这一点，如果你有兴趣了解更多关于如何利用你的迷你电脑的强大功能，我巧妙地建议你看看他的其他视频。

在深入研究之前，重要的是要概述挑战。在 Raspberry Pi 上运行全面的 LLM 并不像运行简单的 Python 脚本那么简单。这些挑战主要是：

• 有限的硬件资源：与典型的基于云的设置相比，Raspberry Pi 提供的计算能力较低。
• 内存限制：RAM 可能是一个瓶颈。
• 功耗：众所周知，LLM 是耗能的。

在单板计算机上运行 LLM 的好处

首先，可负担性具有令人信服的优势。在云服务上部署 AI 模型可能会随着时间的推移而累积成本，尤其是在需要大量计算能力或需要处理大型数据集的情况下。另一方面，从长远来看，在 Raspberry Pi 上运行模型要便宜得多。其次，您可以获得隐私的好处。您的数据永远不会离开您的本地网络，这对于敏感或专有信息特别有价值。最后但并非最不重要的一点是教育方面。设置硬件、安装软件和解决问题的实践经验可能是一个巨大的学习机会。

由于缺乏计算能力而导致的缺点

然而，这些好处也有明显的缺点。一个主要问题是 Raspberry Pis 和类似 SBC 的硬件资源有限。这些设备并非旨在成为动力源;它们缺乏专用服务器甚至高端个人计算机的强大计算能力。在运行大型语言模型 （LLM） 时，这种限制尤为明显，这些模型因其对计算资源的需求而臭名昭著。记忆是另一个问题;Raspberry Pi 通常带有有限数量的 RAM，这使得运行数据密集型模型具有挑战性。此外，功耗可能会迅速上升，从而抵消最初通过避免云服务而获得的一些成本优势。

设置您的迷你电脑

尽管存在这些挑战，但已经取得了一些进步，使得在 Raspberry Pi 等小型计算机上运行 LLM 成为可能。一个值得注意的例子是Georgie Gregov的工作，他将Llama模型（Facebook共享的私有LLM集合）移植到C++。这大大减小了模型的大小，使其可以在 Raspberry Pi 等微型设备上运行。

在 Raspberry Pi 上运行 LLM 是一个多步骤的过程。首先，将 Ubuntu 服务器加载到 Raspberry Pi 上。然后将外部驱动器安装到 Pi 上，并将模型下载到驱动器上。下一步涉及克隆 git 存储库、编译它并将模型移动到存储库文件中。最后，LLM 在 Raspberry Pi 上运行。虽然这个过程可能有点慢，但它可以很好地处理具体问题。

需要注意的是，LLM 在很大程度上仍然是专有和闭源的。虽然 Facebook 已经发布了其 Llama 模型的开源版本，但许多其他模型尚未公开。这可能会限制这些模型的可访问性和广泛使用。一个值得注意的例子是Georgie Gregov的工作，他将Llama模型（Facebook共享的私有LLM集合）移植到C++。这大大减小了模型的大小，使其可以在 Raspberry Pi 等微型设备上运行。

在 Raspberry Pi 和其他单板计算机 （SBC） 等紧凑型平台上运行 AI 模型呈现出优势和局限性的迷人组合。从积极的一面来看，从长远来看，在此类设备上本地部署人工智能具有成本效益，消除了与基于云的服务相关的经常性费用。数据隐私级别也有所提高，因为所有计算都是在您自己的本地网络内进行的。此外，设置和运行这些模型的实践经验提供了宝贵的教育见解，特别是对于那些对硬件和软件的细节感兴趣的人。

然而，这些好处也带来了一系列挑战。最明显的问题是硬件资源的限制，尤其是在尝试运行大型语言模型 （LLM） 时。这些模型是计算和内存密集型的，而 Raspberry Pi 有限的硬件并不适合处理如此繁重的负载。功耗也可能成为一个问题，可能会抵消一些初始成本优势。

简而言之，虽然在 Raspberry Pi 和类似平台上运行 AI 模型是一个诱人的提议，它提供了可负担性、隐私和教育价值，但它并非没有障碍。计算能力、内存和能源效率方面的限制可能很大，尤其是在处理更大、更复杂的模型（如 LLM）时。然而，对于那些愿意应对这些挑战的人来说，该领域在创新和实践学习方面具有相当大的潜力。