树莓派 Zero大改造：老设备变身AI神器，本地运行大模型惊艳
近年来，大语言模型（LLM）的应用越来越广泛，而在个人设备上部署这些模型的趋势也愈发明显。近日，越南开发者 Binh Pham 成功地将树莓派 Zero 改造为一个小型 USB 驱动器，使其能够在本地运行 LLM，无需任何额外设备。这一创新实验展示了老旧设备在 LLM 领域的潜力。
树莓派 Zero 是一款小巧的微型计算机，虽然其硬件性能有限，但在本次实验中，Pham 成功地将其转化为一个轻量级的 USB 驱动器。这一创新项目主要得益于 llama.cpp 和 llamafile 的支持，这两者结合了指令集和一系列轻量级软件包，旨在提供一种离线的轻量级聊天机器人体验。
首先，Pham 将设备连接到 USB 接口，并为其 3D 打印了一个外壳，解决了硬件问题。然而，由于树莓派 Zero W 的内存限制，项目变得更加复杂。Pham 在尝试将 llama.cpp 编译到该设备时遇到了失败，此前也无人尝试在树莓派 Zero 或 One 上编译该软件。为了克服这一障碍，Pham 对 llama.cpp 的 ARMv8 指令集进行了转换，并移除所有基于现代硬件的优化或注释。这一步骤是关键的一步，因为树莓派 Zero 的 CPU 采用的是 ARMv6 架构，而非 ARMv8 架构。
在成功修改 llama.cpp 源代码后，Pham 将注意力转向软件的运行和用户体验的优化。他构建了一个基于文本文件输入的 LLM 实现，这些文本文件作为主要的提示，而 LLM 则会根据这些提示生成故事，并以完整的输出文件形式返回。这一创新性的方法为 LLM 的本地运行提供了新的可能性。
为了测试性能，Pham 对多个模型进行了基准测试。他设置了 64 个 token 的限制，并对 15M 到 136M 不等的模型进行了测试。其中，Tiny15M 模型的每个 token 处理速度为 223 毫秒，而较大的 Lamini-T5-Flan-77M 模型的每个 token 处理速度为 2.5 秒。这些测试结果揭示了树莓派 Zero 在处理 LLM 时可能存在的性能瓶颈。尽管这一项目具有创新性，但在实际应用中，使用老旧的轻量级硬件运行本地 LLM 并不具备太多实用价值。
尽管如此，这一项目仍然具有启示性意义。它展示了如何在资源有限的设备上运行 LLM，并提出了新的可能性。对于那些不追求高性能模型的用户来说，使用树莓派 Zero 等老旧设备运行 LLM 可能是一个实用的选择。而对于开发者来说，这一项目也为他们提供了一个有趣的研究课题，即如何利用老旧设备来优化 LLM 的性能。
总的来说，树莓派 Zero 的大改造展示了老旧设备在 LLM 领域的潜力。虽然这一项目在性能上可能存在限制，但在未来，随着 LLM 的进一步发展以及硬件技术的进步，我们期待看到更多的创新实验和探索。对于个人用户和开发者来说，这些创新实验将为 LLM 的应用和发展提供新的思路和可能性。
（免责声明：本网站内容主要来自原创、合作伙伴供稿和第三方自媒体作者投稿，凡在本网站出现的信息，均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性，但不保证有关资料的准确性及可靠性，读者在使用前请进一步核实，并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏，概不负任何法律责任。
任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时，应及时向本网站提出书面权利通知或不实情况说明，并提供身份证明、权属证明及详细侵权或不实情况证明。本网站在收到上述法律文件后，将会依法尽快联系相关文章源头核实，沟通删除相关内容或断开相关链接。 ）
