2025年4月5日 星期六
GemmaPro
作者:
楊于葳
文章封面圖片
GemmaPro 模型是由科學 Maker 社團 AI計畫裡核心運作的大語言模型,目標是讓大部分的人,都能在本地端或者是手機端,輕鬆使用大語言模型。
相關介紹
GemmaPro 模型的基礎是 Gemma3 4B,採用 Q4 量化技術,權重重新整理後的模型大小僅約 2.5 GB,只需 4 GB RAM 就有可能順利運行,這表示大部分的文書型電腦或者是高階手機,都有機會可以使用。
只要 GPU 擁有 4GB 以上的 VRAM,就能完整載入模型。在無 GPU 的電腦上,模型推理速度可達每秒 7-8 tokens,相當接近一般人類的說話的速度,進行對話時感受不到明顯延遲。如果使用 GPU ,速度更是飛快。
GemmaPro 模型特點
模型申請下載位置
Hugging Face - SciMaker/GemmaPro
關於作者