馬卡龍成立 Mind Lab 發(fā)布新研究，要讓AI像人一樣學(xué)習(xí)和成長(zhǎng)

鍇杰最近不聲不響整了個(gè)大的，Macaron AI成立了Mind Lab ，并且發(fā)布了兩個(gè)重要研究。

Mind Lab專注一個(gè)核心問(wèn)題:讓AI從真實(shí)使用中不斷學(xué)習(xí)和進(jìn)化,而不是訓(xùn)練完就凍結(jié)。

成立之初他們就發(fā)布了三個(gè)研究成果，簡(jiǎn)單解釋一下，具體可以看他們的論文。

第一，用10%的成本訓(xùn)練超大模型：

訓(xùn)練萬(wàn)億參數(shù)的AI模型通常需要海量GPU,成本高到普通團(tuán)隊(duì)玩不起。Mind Lab通過(guò)LoRA技術(shù)加混合并行系統(tǒng),把成本降到原來(lái)的10%。

更關(guān)鍵的是,他們證明了在相同算力下,"大模型+小型調(diào)整"比"小模型+全量訓(xùn)練"效果更好。因?yàn)榇竽Ｐ偷幕A(chǔ)能力夠強(qiáng),只需要微調(diào)就能適應(yīng)新任務(wù)。

這套方案已經(jīng)貢獻(xiàn)給NVIDIA和火山引擎的開(kāi)源項(xiàng)目,在Kimi K2這樣的萬(wàn)億參數(shù)模型上跑得又穩(wěn)又快。

第二，AI終于有了真正的記憶：

現(xiàn)有AI的記憶方案要么反復(fù)總結(jié)(算力浪費(fèi)大),要么存數(shù)據(jù)庫(kù)(理解會(huì)斷層)。Mind Lab提出"記憶擴(kuò)散"——把整個(gè)對(duì)話歷史當(dāng)作記憶本身,通過(guò)"智能遺忘"來(lái)管理。

就像人開(kāi)車會(huì)自動(dòng)忽略路邊廣告牌,只記住重要的東西。AI也學(xué)會(huì)了:重要的對(duì)話細(xì)節(jié)保留,不重要的壓縮或丟棄,始終把上下文控制在預(yù)算內(nèi)。

這個(gè)方法在長(zhǎng)期對(duì)話記憶基準(zhǔn)測(cè)試Locomo上拿到93%準(zhǔn)確率,目前最優(yōu)。
Mind Lab 雖然剛成立，但是對(duì)于研發(fā)方向的判斷還是非常準(zhǔn)確的，在做的事情可能代表AI發(fā)展的下一個(gè)階段。

過(guò)去十年AI靠"做大"突破,更大的模型、更多的數(shù)據(jù)。但部署到產(chǎn)品后發(fā)現(xiàn),模型不會(huì)從用戶身上學(xué)習(xí),每次都重復(fù)同樣的錯(cuò)誤,這個(gè)瓶頸越來(lái)越明顯。

Mind Lab提出的"體驗(yàn)型智能"其實(shí)是是讓AI從"工具"變成"伙伴"。工具每次用完就復(fù)位,伙伴會(huì)記住你的習(xí)慣、從錯(cuò)誤中學(xué)習(xí)、隨時(shí)間越來(lái)越懂你，這也是他們當(dāng)時(shí)做馬卡龍應(yīng)用的時(shí)候想完成的。

研究和產(chǎn)品共享同一個(gè)循環(huán),用真實(shí)用戶數(shù)據(jù)驅(qū)動(dòng)算法迭代。這種"研究-產(chǎn)品共設(shè)計(jì)"的路子在AI領(lǐng)域還挺少見(jiàn),但可能是讓前沿技術(shù)真正落地的關(guān)鍵。

詳情：macaron.im/mindlab