Raspberry PI OS 2024–10–22 針對 Ollama (Llama3.2, 3b 和 1b) 的效能測試報告

Raspberry PI OS 的版本演進是否有助於提高開源大型語言模型的速度在Raspberry PI 5, 8GB RAM

我對於 Raspberry PI OS 的演進是否有助於提高開源大型語言模型（特別是 llama3.2：3b 和 llama3.2：1b）的吞吐量（評估速率）感到興趣。

從三個不同版本的作業系統（2024–03–15，2024–07–04，2024–10–22）的測試結果來看，使用 Ollama（llama3.2）時，速度介於 3.3 tokens/sec 到 5.8 tokens/sec 之間。隨著參數數量的減少，輸出的文字品質仍保持合理水準。他只用到Broadcom CPU (BCM2712).

以下是 RPI 5（8GB）的實際測試結果

測試方式已錄製並發佈於 YouTube。

使用 Raspberry Pi OS 2024–10–22 在 RPI 5（8GB RAM）上測試 Ollama llama3.2