第一場約七十幾人參與(2024年9月2日),第二場有一百人參與(2024年9月5日)。比較遺憾的是,當天才知道 Google Meet 人數上限最多是 100人,所以有一部分的人無法參與。第三場會在2024年9月9日舉行。
科學Maker AI 計畫
近期在 Facebook 主社團「科學Maker」又再次有大量與 AI 相關的話題,這一次社團在 Discord 開設多個伺服器供大眾使用 AI。
主伺服器「科學MakerCampus」,裡面有各式各樣的 AI 模型給參與計畫的支持者使用,這半年來的迭代更新非常迅速。
次伺服器「健康諮詢med4o」、「財稅商管諮詢rich4o」、「法律諮詢law4o」,利用最先進的AI大語言模型與資料庫,免費提供所有人相關諮詢,讓社會更公平與合理。
科學Maker AI 計畫的參與的方式目前還在持續變動,需要依照單次公告的規則為主。
大語言模型本機使用四大步驟
申請 Hugging Face 帳號 ➜ 下載大語言模型 ➜ 下載 Msty ➜ 關於 Msty 的基本操作
只要完成這四大步驟,就能在自己的電腦上使用大語言模型,也能調整出符合自己喜好的模型回答,以下將陸續介紹各個步驟:
(1)申請 Hugging Face 帳號

Hugging Face 是機器學習機器學習社群在模型、資料集和應用程式上進行協作的平台,有各式各樣的大型語言模型供人下載使用,有些是免費使用,有些則需要申請使用,下載前需要先申請一個 Hugging Face 的帳號。
1、到 Hugging Face 官方網站,點擊 Sign Up 按鈕

2、輸入想要註冊的信箱與密碼。信箱會是未來登入的帳號。

3、輸入使用者ID、使用者真實姓名,並打勾同意使用政策。

4、完成後會以登入狀態回到 Hugging Face 首頁。

5、到個人信箱,點擊 Hugging Face 驗證信內的連結,才能進行後續操作。

6、回到 Hugging Face 頁面,看到驗證成功的訊息。

7、在搜尋框輸入「SciMaker」就會看到社團現有的模型清單。

(2)下載大語言模型
SciMaker 現有三種大語言模型,未來可能會有更多,本文以其中的兩種作為解說。
TaiwanPro 下載步驟

1、登入 Hugging Face,在 Hugging Face 搜尋框找到 SciMaker/TaiwanPro-Llama-3.1-8B。

2、點擊申請按鈕,向社團申請使用 TaiwanPro。注意:目前僅開放兩種資格申請下載,使用 SciSpot 點數兌換,或者是使用小額贊助「科學Maker AI 計畫」。

3、可點擊「your settings」查看申請狀態。

4、查看申請狀態的頁面,「PENDING」表示已送出申請,正在審核尚未通過。

5、若是在沒有通過審核的狀態下,試圖下載模型,是無法下載成功的。在收到通知之前,可先跳到(3)下載 Msty。

6、審核通過時,會收到 email 通知。點擊信件內的「in your settings」跳轉到 Hugging Face 頁面,查看申請狀態。

7、申請列表中的 SciMaker/TaiwanPro-Llama-3.1-8B 變成 ACCEPTED。

8、再次回到 TaiwanPro-Llama-3.1-8B 頁面,看到申請通過的訊息。

9、切換到「Files and versions」頁面。

10、點擊下載按鈕,即可開始下載 TaiwanPro-Llama-3.1-8B 。

Qwen2-0.5B_Q4_test 下載步驟

1、登入 Hugging Face,在 Hugging Face 搜尋框找到 SciMaker/Qwen2-0.5B_Q4_test。

2、切換到「Files and versions」頁面。

3、點擊下載按鈕,即可開始下載 Qwen2-0.5B_Q4_test。

(3)下載 Msty

Msty 是一個可以讓使用者用漂亮的介面,在本機電腦執行多種大語言模型的工具,任何人都可以馬上學會。
1、先到 Msty 的官方網站,按下「Download Msty」按鈕。

2、請選擇下載與安裝自己電腦對應使用的版本。

3、成功下載後,會看到下圖的介面。請先點擊「SETUP LOCAL AI」按鈕,安裝 Msty 預設的本機大語言模型 Gemma2(可同時與不同的大語言模型對話)。

4、進度條達到 100% 表示 Gemma2 下載完成。

(4)關於 Msty 的基本操作
如果想要在 Msty 使用不同的大語言模型,只要個別匯入就可以使用了,接下來會說明如何把 TaiwanPro-Llama-3.1-8B 和 Qwen2-0.5B_Q4_test 匯入 Msty,以及這兩個模型個別的設定。
在 Msty 使用 TaiwanPro-Llama-3.1-8B

1、點擊左側選單的「電腦」按鈕。

2、點擊「Import GGUF Model...」的按鈕。

3、選擇剛剛下載的 TaiwanPro-Llama-3.1-8B 模型。

4、為本次建立的模型命名,例如:TaiwanPro。

5、在「Prompt Template」的地方,選擇 Llmma3 Instruct 作為模版。注意:匯入不同的大語言模型,要選擇相對應的模版。

6、選好之後,點擊右下角的「Create」按鈕,就會開始建立新的模型對話介面。

7、建立好之後,會看到短暫幾秒的綠色方框提示訊息,接著可以到「Installed Models」分頁,查看目前已經匯入的模型清單。

8、看到 TaiwanPro-Llama-3.1-8B 表示有成功匯入,按右上角的「 X 」按鈕離開視窗。

9、將滑鼠移動到 Misc 的位置,會浮現小按鈕,點擊有「訊息圖案和加號」的這個按鈕,開啟新的對話。

10、從下方的選單,切換使用的語言模型。選擇 TaiwanPro(就是剛剛的命名)。

11、在輸入框,輸入想對話的內容。

12、即可得到 TaiwanPro 的回覆。

在 Msty 使用 Qwen2-0.5B_Q4_test

1、點擊左側選單的「電腦」按鈕。

2、點擊「Import GGUF Model...」的按鈕。

3、選擇剛剛下載的 Qwen2-0.5B_Q4_test 模型。

4、為本次建立的模型命名,例如:Qwen2。

5、在「Prompt Template」的地方,選擇 ChatML 作為模版。注意:匯入不同的大語言模型,要選擇相對應的模版。

6、選好之後,點擊右下角的「Create」按鈕,就會開始建立新的模型對話介面。

7、建立好之後,會看到短暫幾秒的綠色方框提示訊息,接著可以到「Installed Models」分頁,查看目前已經匯入的模型清單。

8、看到 Qwen2-0.5B_Q4_test 表示有成功匯入,按右上角的「 X 」按鈕離開視窗。

9、將滑鼠移動到 Misc 的位置,會浮現小按鈕,點擊有「訊息圖案和加號」的這個按鈕,開啟新的對話。

10、從下方的選單,切換使用的語言模型。選擇 Qwen2(就是剛剛的命名)。

11、在輸入框,輸入想對話的內容。

12、即可得到 Qwen2 的回覆。

在 Msty 使用大語言模型的優點
(1)簡單容易使用:介面就像聊天視窗,任何人都能簡單學會,也可以使用更進階的參數設定。
(2)保護個人隱私:輸入的資訊只會留在自己的電腦。
(3)內建輔助角色:問問題的時候,可以選擇特定角色,有 230 種以上的選擇,可以讓回答的內容更符合自己的需求。

(4)可比較多個模型:可用分割視窗的功能,同時使用不同的大語言模型,比較不同模型的回應。

(5)內建 RAG 功能:可大語言模型根據不同的資料來源,做出相對應的回答。可匯入個人文件、可連結 Obsidian vaults、連結多個 YouTube 影片等。

(6)可用網路查詢:能根據網路即時資料進行問答。

常見問答
Q:請問 TaiwanPro-Llama-3.1-8B 可以商業使用嗎?
A:只能個人或教學使用。
Q:請問選錯模版 (Prompt Template) 了該怎麼辦?
A:重新匯入一次模型,選擇對的模版就可以了。
Q:請問使用 TaiwanPro-Llama-3.1-8B 需要什麼規格的電腦硬體設備?
A:建議有 8GB 以上 VRAM 的 GPU,或者是使用 M1、M2、M3 晶片的 Mac 電腦。
Q:請問使用 Qwen2-0.5B_Q4_test 需要什麼規格的硬體設備?
A:這是個很小的大語言模型,適合大部分的電腦硬體設備。
Q:請問 TaiwanPro-Llama-3.1-8B 一直重複回答相同內容、停不下來,該怎麼解決?
A:可以在進階設定的地方,將 stop 的參數放進去(需要在一開始匯入模型時設定)。點擊 Advanced,在 Parameters 的地方,選擇 stop,並貼上以下內容。
1PARAMETER stop "<|start_header_id|>"
2PARAMETER stop "<|end_header_id|>"
3PARAMETER stop "<|eot_id|>"
4PARAMETER stop "<|end_of_text|>"

進階問答
Q:Msty 可以產生 API Key 給其他軟體使用嗎?
A:目前不行。
Q:TaiwanPro 有語音功能嗎?
A:沒有。