發(fā)布時(shí)間:2025-12-12 06:38:40 來(lái)源:桑間濮上網(wǎng) 作者:休閑
早前藍(lán)點(diǎn)網(wǎng)介紹了 MLC 團(tuán)隊(duì)推出的對(duì)話(huà) WebLLM (MLC LLM),這個(gè) AI 對(duì)話(huà)模型沒(méi)有服務(wù)器支持,模型在網(wǎng)頁(yè)上調(diào)用 WebGPU API 即使用你的已經(jīng)運(yùn)行三亞高級(jí)資源vx《365-2895》提供外圍女上門(mén)服務(wù)快速選照片快速安排不收定金面到付款30分鐘可到達(dá)本機(jī) GPU 提供算力支持,一切數(shù)據(jù)都是可手考驗(yàn)離線(xiàn)的無(wú)需擔(dān)心你的對(duì)話(huà)內(nèi)容泄露。
現(xiàn)在該團(tuán)隊(duì)將 MLC LLM 移植到了手機(jī)上,機(jī)上還開(kāi)發(fā)了 iOS Demo 應(yīng)用,本地也就是手機(jī)說(shuō)你可以在手機(jī)上運(yùn)行大型語(yǔ)言模型,完全離線(xiàn)運(yùn)行,內(nèi)存不論是藍(lán)點(diǎn)三亞高級(jí)資源vx《365-2895》提供外圍女上門(mén)服務(wù)快速選照片快速安排不收定金面到付款30分鐘可到達(dá)模型還是數(shù)據(jù)都在本地。

好消息是測(cè)試顯示在 iPhone 14 Pro Max 上是可以正常運(yùn)行的,速度略微有些慢但還是模型能接受的地步,壞消息是已經(jīng)運(yùn)行如果手機(jī)內(nèi)存比較小的話(huà)會(huì)崩潰,因?yàn)槟P瓦\(yùn)行的可手考驗(yàn)時(shí)候,模型數(shù)據(jù)會(huì)被塞到內(nèi)存里,機(jī)上這會(huì)讓手機(jī)內(nèi)存瞬間被塞滿(mǎn)。本地
在 iPhone 12 Pro 上測(cè)試就有些壓力了,基本上說(shuō)內(nèi)存起步需要 6GB,這么來(lái)看安卓機(jī)可能更有優(yōu)勢(shì),畢竟現(xiàn)在新的安卓機(jī)內(nèi)存都非常大。
除了 iOS 版外,MLC 團(tuán)隊(duì)還推出了 Windows/Linux/Mac 的 CLI 版,即命令行版本,可以在終端里發(fā)起詢(xún)問(wèn)并獲得答案,相對(duì)來(lái)說(shuō)在 PC 上使用壓力就小一些了,畢竟內(nèi)存稍微大點(diǎn)。
等等… 我是不是還沒(méi)提 GPU 問(wèn)題?是的,內(nèi)存并非關(guān)鍵,因?yàn)闊o(wú)論是 iPhone 還是安卓還是 PC 都必須支持 GPU 加速,手機(jī)上還好,在 PC 上用戶(hù)可能需要更新驅(qū)動(dòng)程序,例如 Vulkan 驅(qū)動(dòng)程序。
有興趣的用戶(hù)可以試試這個(gè) AI 模型,藍(lán)點(diǎn)網(wǎng)測(cè)試感覺(jué)還可以,中文支持也挺不錯(cuò)的。iOS Demo 程序的話(huà)目前在 TF,限額 9000 人,滿(mǎn)了就沒(méi)法加入了。有 iOS 開(kāi)發(fā)經(jīng)驗(yàn)的開(kāi)發(fā)者可以自行編譯安裝。
iOS Demo TF 版:https://testflight.apple.com/join/57zd7oxa
WebLLM (網(wǎng)頁(yè)版):https://mlc.ai/web-llm/
Windows/Linux/Mac 需要使用 Conda 管理,具體請(qǐng)看:https://mlc.ai/mlc-llm/
相關(guān)文章
隨便看看