本地部署大模型平台

LangChain‌AI 產品及服務越來越多,每天總有幾個產品推薦,好用的教學又多的但又不見多,假如你也正在找比較有方向的AL平台,不妨試試。

Dify,名字好記DO IT FOR YOU,Web 界面的LLM平台,可以RAG,AI工作流。

RAGFLOW,RAG 的可視平台,也是web 界面,提供RAG 界面,可以自己選擇embedding 模型,rerank 模型,可以直接上傳文件,可以選擇和本地ollama 一起跑。也有chat 和knowledge base

haystack 是一個LLM 框架,提供模塊化,可以自己開發搭建,我還沒有這能力。

cognita 是一個LLM 框架,有在線演示https://cognita.truefoundry.com/

GPUStack 是一個本地運行AI的管理器,這個名氣沒有cherry studio llm studio 之類那麼出名,也是網頁界面。
MaxKB,有點類似RAGFLOW,國內開發的平台,有RAG,chat,AI 流程。
LangChain‌,這個是十分出名AI框架,書籍也有不少。

MCP介紹

AI 的信息每天都在更新,最近比較受歡迎的叫MCP(Model Context Protocol,模型上下文協議)是一種由Anthropic於2024年11月推出的開源標準化協議,旨在簡化大型語言模型(LLM)與外部數據源和工具的互動。MCP伺服器作為該協議的核心組成部分,是一個獨立的程式,負責向LLM提供特定的功能或數據,例如存取檔案系統、資料庫(如PostgreSQL)、外部API(如GitHub、Slack)或執行特定任務(如搜尋、操作日曆)。它的設計理念類似於HTTP協議之於網頁應用,提供了一個統一的「連接器」,讓LLM能夠輕鬆與外部世界互動。

MCP伺服器如何與LLM互動?

MCP採用客戶端-伺服器架構,具體互動流程如下:

  1. 初始化與發現:當MCP客戶端(如Claude Desktop或支援MCP的應用程式)啟動時,它會連接到本機或遠端的MCP伺服器,並詢問伺服器提供的功能(即工具清單)。
  2. 工具註冊:伺服器回應可用工具(如「查詢資料庫」、「獲取當前時間」),客戶端將這些工具註冊到LLM的上下文中。
  3. 需求觸發:當用戶向LLM提出問題或任務(例如「幫我檢查GitHub上的最新提交」),LLM識別出需要外部數據,隨即透過MCP客戶端向對應的MCP伺服器發送請求。
  4. 執行與回饋:MCP伺服器執行任務(例如調用GitHub API),將結果返回給客戶端,LLM再根據結果生成回應。
  5. 雙向通信:與傳統API不同,MCP支援雙向互動,伺服器甚至可以反向利用客戶端的AI能力(例如生成內容),無需額外的API金鑰。

這種標準化互動讓LLM突破訓練數據的限制,實現即時、動態的功能擴展。

用戶的優勢

MCP伺服器為用戶帶來了多方面的便利:

  • 統一整合:無需為每個外部工具開發獨立的整合程式,MCP提供了一個通用的介面,減少開發時間與成本。
  • 靈活性:用戶可以根據需求啟動不同的MCP伺服器,例如連接到個人Google Drive或企業級資料庫,隨時切換LLM提供者(如從Claude換到其他模型)而無需重寫程式碼。
  • 即時性:透過MCP,LLM能存取最新數據(例如天氣、股票價格),解決傳統模型知識過時的問題。
  • 可擴展性:隨著MCP生態系統成長,用戶可從開源社區獲取現成的伺服器(例如Cloudflare、Discord整合),直接應用於自己的工作流。
  • 個人化體驗:MCP伺服器能根據用戶的特定數據(如個人日曆、聊天記錄)提供量身定制的回應。

性能與安全的區別

MCP伺服器在性能與安全方面的設計與傳統方法有明顯差異:

  • 性能:
    • 優勢:MCP伺服器通常運行於本機或私有雲端,減少了遠端API調用的延遲,提升回應速度。雙向通信也讓互動更高效,避免單向請求的多次往返。
    • 挑戰:由於目前多數MCP實現以本機為主,對於需要高吞吐量的企業應用,擴展性可能受限。遠端部署尚在發展中,可能需要額外的基礎設施支持。
  • 安全:
    • 優勢:MCP內建權限控制,每次工具使用需用戶明確授權,確保LLM不會未經許可存取敏感數據。此外,數據傳輸支援TLS加密,符合企業級安全標準。
    • 挑戰:與傳統API相比,MCP的雙向通信增加了伺服器端的安全管理複雜性,例如防止惡意伺服器利用客戶端AI能力。開發者需自行配置防火牆、身份驗證等額外措施。

個人資料如何保護?

MCP在設計上非常重視個人資料的隱私與安全,提供多層保障:

  • 本地優先:大多數MCP伺服器預設運行於用戶設備上,數據無需上傳至雲端,降低了洩露風險。
  • 明確授權:每次LLM調用MCP伺服器工具時,系統會提示用戶確認,確保敏感操作(如讀取檔案、發送郵件)在掌控之中。
  • 模組化控制:伺服器功能被限制在明確定義的工具範圍內,LLM無法隨意存取未授權的數據。例如,一個GitHub MCP伺服器只能存取指定的儲存庫,而非整個帳戶。
  • 加密與日誌:數據傳輸使用TLS加密,同時支援集中式日誌記錄,讓企業用戶能追蹤所有AI存取行為,符合合規性需求(如GDPR、HIPAA)。
  • 開源透明:作為開源協議,用戶和開發者可審查MCP伺服器的程式碼,確保無隱藏的後門或數據收集行為。

那究竟如何用呢,我剛剛在網上看到了一個使用Cherry Studio + MCP的 教學,這還是公測版,目前LLM studio 和ollama 還是未能支持MCP的

https://mp.weixin.qq.com/s/a8XlAw4wrdJpKGVUWneaqg

https://github.com/punkpeye/awesome-mcp-servers?tab=readme-ov-file

這是一個例子,可以根據用戶指令去幹事,這裡可以看到你可以拼接不同的服務到大模型或者不同的大模型API 上去,那就不用擔心處理的不夠好。找個時間測試一下。

AI 教學工具:以 Quizizz 和 Canva 為核心的教育新助力

隨著人工智慧(AI)的發展,教育領域正迎來一場革命性的改變。AI 教學工具不僅能幫助教師提升效率,還能讓學生體驗到更具互動性和個性化的學習過程。在眾多工具中,Quizizz 和 Canva 憑藉其強大的功能和廣泛的應用性,成為當前最受歡迎的選擇之一。本文將重點介紹這兩款工具的特色與應用,並簡要提及其他值得關注的工具,留待未來深入探討。

為什麼選擇 AI 教學工具?

AI 教學工具能自動化許多繁瑣任務,例如製作教材、設計測驗或分析學生表現,讓教師有更多時間專注於教學本身。對學生來說,這些工具提供了趣味性與實用性兼具的學習方式,幫助他們更有效地吸收知識。以下將深入介紹 Quizizz 和 Canva 如何在教育中大放異彩。

Quizizz 與 Canva

 1. Quizizz

Quizizz 是一款以遊戲化學習為核心的 AI 教學平台,讓教師能輕鬆創建互動測驗,並透過數據分析了解學生進度。它將學習變成一場有趣的競賽,深受教師和學生喜愛。  

優勢:  

快速生成測驗:教師可以上傳文件、網頁內容或 YouTube 影片,Quizizz 的 AI 會自動生成相關問題,省去手動編寫的時間。例如,輸入一段關於「光合作用」的文章,幾秒內就能得到多選題或填充題。  

遊戲化體驗:學生在測驗中競爭積分、查看排行榜,這種設計大幅提升參與度和學習動機。  

個性化調整:AI 能根據學生答題情況調整問題難度,或將問題改編成真實場景(如「植物如何在沙漠中生存?」),讓學習更貼近生活。  

應用場景:Quizizz 適合課堂上的即時評估、課後作業或複習活動。教師還能利用其即時數據,快速發現學生的薄弱環節並提供針對性指導。  

注意事項:免費版本功能有限,若需進階分析或更多自訂選項,建議升級至付費計劃。 學校版本還是挺貴的。 

2. Canva Education with AI

Canva 是一個廣受歡迎的設計平台,其教育版本(Canva for Education)免費提供給教師和學生,並整合了 AI 功能(如 Classroom Magic),幫助快速製作視覺化教材。  

優勢:  

– AI 輔助設計:透過「Magic Write」功能,教師只需輸入關鍵詞(如「介紹太陽系」),即可生成簡報大綱或文字內容,再搭配 Canva 的豐富模板,幾分鐘內完成專業級教案。  

– 視覺吸引力:提供大量圖片、圖標和動畫,讓枯燥的課堂材料變得生動有趣。例如,將歷史事件製成資訊圖表,讓學生一目了然。  

– 協作功能:學生和教師能在平台上即時合作,適合小組專案或創意作業。  

應用場景:Canva 特別適合製作簡報、海報或學習單,也能讓學生用於展示作業成果,提升他們的設計與表達能力。  

注意事項:雖然基本功能免費,但某些進階 AI 工具(如 Magic Animate)可能需要 Pro 版,建議視需求升級。  不過申請教育版是很多都免費,假如學校還未申請,建議申請,有些軟件直接使用canva edu 認證可以直接免費。

其他值得關注的工具(未來介紹,歡迎推薦)

除了 Quizizz 和 Canva,還有一些 AI 教學工具也頗具潛力,值得一試:  

– Grammarly Edu:提升學生寫作能力的語法檢查工具。  

– Google Classroom 搭配 Gemini(等開放):管理課程並分析學生數據的強大組合。  

– ChatGPT(等deepseek 智能體):生成教材或回答問題的多功能助手。  

這些工具的詳細介紹將在未來文章中展開!

如何善用 Quizizz 與 Canva?

– 教師可以用 Canva 設計視覺化的測驗說明或反饋圖片,再將其匯入 Quizizz,打造更有吸引力的測驗體驗。例如,在 Quizizz 的測驗結束後,展示一張 Canva 製作的「恭喜完成」迷因,提升學生士氣。  

– 針對需求選擇:若您需要快速評估學生理解程度,Quizizz 是首選;若目標是製作吸睛的教材,Canva 則更勝一籌。  

– 試用與調整:兩者都提供免費版本,建議先從小規模試用開始,根據課堂反饋調整使用方式。

Quizizz 和 Canva 憑藉其 AI 技術與使用者友善的設計,成為現代教育中的得力助手。前者將學習變成遊戲,讓學生樂在其中;後者則以視覺化的方式,讓教學內容更具吸引力。不論您是希望提升課堂互動還是簡化備課流程,這兩款工具都能帶來顯著改變。立即試用它們,開啟 AI 輔助教學的新篇章吧!

如果您對其他工具感興趣,歡迎告訴我,我將在未來為您帶來更多精彩內容!

Ubuntu install EXO

1.Install Conda

mkdir -p ~/miniconda3
wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh -O ~/miniconda3/miniconda.sh
bash ~/miniconda3/miniconda.sh -b -u -p ~/miniconda3
rm ~/miniconda3/miniconda.sh


source ~/miniconda3/bin/activate
conda init --all

2. Instal Driver


lspci | grep -i nvidia


sudo apt install nvidia-driver-550

3.gcc

gcc --version

sudo apt install gcc


sudo apt update && sudo apt upgrade

sudo apt install nvidia-cuda-toolkit

reboot

nvcc --version

4.EXO

git clone https://github.com/exo-explore/exo.git
cd exo
pip install -e .
# alternatively, with venv
source install.sh
exo

後記

在安裝時經常會出現gcc 或者lib錯誤,看了一些網站文章發現是版本太新了,最好還是選擇比較舊的版本,例如cuda 也不要挑最新的12.8。 然後就算安裝完成,成功啟動,不知道為何第二次跑ubuntu 又會出現error,不過最簡單方法就是再執行一次source install.sh,然後再跑exo,又可以正常跑,在macos 跑得流暢,不知道是否ubuntu 問題。

macos 跑EXO

A.什麼是EXO?

EXO 在X算是熱門,就是它可以將macOS/linux Cluster 跑大模型,而且是十分簡單就可以實現,跑出來的效果還相當不錯,幾個重點是:

1.使用mac min 暫用空間小

2.花費電力低,溫度也低

3.連接設備簡單,thunderbolt 完成

4.價格不貴,貨源多,一台mac mini 不到4k,已經可以跑.15b,cluster 幾台已經很快

B. 安裝 miniconda

由於exo 需要python 3.12 以上,而且需要很多東西,個人測試後最簡單還是用conda,方法如下,粘貼到終端機執行就可以

mkdir -p ~/miniconda3
curl https://repo.anaconda.com/miniconda/Miniconda3-latest-MacOSX-arm64.sh -o ~/miniconda3/miniconda.sh

bash ~/miniconda3/miniconda.sh -b -u -p ~/miniconda3

rm ~/miniconda3/miniconda.sh

安裝完成後開啟一個新的終端機(其實沒開也是可以的)

conda init --all

這樣miniconda 就完成安裝了,接下來要安裝MLX

C.安裝MLX

要求macOS 是13.5以上

pip install mlx

conda install conda-forge::mlx

D.安裝git

直接使用conda 安裝git就可以,和pip 一樣

conda install git

E.安裝EXO

git clone https://github.com/exo-explore/exo.git

cd exo

pip install -e .

source install.sh

F.執行EXO

exo