1. 2023年AI十大展望：GPT-4領(lǐng)銜大模型變革，谷歌拉響警報(bào)，訓(xùn)練數(shù)據(jù)告急
新年伊始，大模型的話(huà)題熱度不減。ChatGPT展現(xiàn)的驚人能力將大模型研究和應(yīng)用熱度推向高潮，人們激烈討論著這個(gè)高級(jí)“物種”的推出意味著什么。
本文作者Rob Toews發(fā)布了2023年AI發(fā)展的十大預(yù)測(cè)，整體來(lái)看，大部分預(yù)測(cè)都離不開(kāi)“大模型”這個(gè)關(guān)鍵詞，具體分析也有其道理。當(dāng)然，其中的文生圖、人形機(jī)器人等領(lǐng)域的發(fā)展也舉足輕重。2023，讓我們拭目以待。
(相關(guān)資料圖)
鏈接：
https://mp.weixin.qq.com/s/E_v7k_VlbHA8of8smlqikQ
2. 機(jī)器之心的進(jìn)化 / 理解AI驅(qū)動(dòng)的軟件2.0智能革命
本文將帶你領(lǐng)略一次人工智能領(lǐng)域波瀾壯闊的發(fā)展史，從關(guān)鍵人物推動(dòng)的學(xué)術(shù)進(jìn)展、算法和理念的涌現(xiàn)、公司和產(chǎn)品的進(jìn)步、還有腦科學(xué)對(duì)神經(jīng)網(wǎng)絡(luò)的迭代影響，這四個(gè)維度來(lái)深刻理解“機(jī)器之心的進(jìn)化”。先忘掉那些花里胡哨的圖片生產(chǎn)應(yīng)用，我們一起來(lái)學(xué)點(diǎn)接近AI本質(zhì)的東西。
鏈接：
https://mp.weixin.qq.com/s/5s1hLaXnWVPSuElkGMhXxw
3. AGI的孤勇者，傳奇工程師John Carmack：驚訝看不到如我這樣的人
AGI是人工智能的圣杯，這位達(dá)拉斯最著名的科技奇才對(duì)AGI的追求就好比是百年難遇的登月行動(dòng)。在這場(chǎng)針對(duì)AGI的角逐當(dāng)中，參與方還有來(lái)自科學(xué)家、學(xué)者和大型科技公司的“群體思維（groupthink）”的獨(dú)立競(jìng)爭(zhēng)，他們也在積極尋求解決方案。
去年8月，Carmack宣布，他的AGI初創(chuàng)公司Keen Technologies在新一輪融資中從多個(gè)知名投資者手中籌集了2000萬(wàn)美元。2022年12月，卡馬克辭去了Meta虛擬現(xiàn)實(shí)部門(mén)的領(lǐng)導(dǎo)職務(wù)，全身心投入AGI研發(fā)。
鏈接：
https://mp.weixin.qq.com/s/MMfWc6ss8w8QgnC_-cUnwg
4. OpenAI掌門(mén)人Sam Altman的成功學(xué)
如今，已成為OpenAI CEO的Sam Altman是全球范圍內(nèi)當(dāng)之無(wú)愧的科技領(lǐng)軍人物。在離任YC總裁的那一年，曾與無(wú)數(shù)創(chuàng)業(yè)者和技術(shù)人才交流過(guò)的Sam Altman發(fā)表了一篇博客，總結(jié)了他眼中獲得成功所要具備的13個(gè)特質(zhì)，如果你渴求成功，或者至少希望自己變得優(yōu)秀，這篇博客對(duì)你的個(gè)人成長(zhǎng)將有所啟發(fā)。如果你恰好在職業(yè)生涯早期就看過(guò)，無(wú)疑是幸運(yùn)的。
鏈接：
https://mp.weixin.qq.com/s/AHEbDPSCUEvRrdq9zn5YmQ
作者主要有四個(gè)觀(guān)點(diǎn)：ChatGPT并不是黑科技，是持續(xù)開(kāi)放科研的產(chǎn)物；ChatGPT是工程、產(chǎn)品的勝利；ChatGPT不會(huì)讓人失業(yè)，反而會(huì)帶來(lái)更多的機(jī)會(huì)；Infrastructure 會(huì)是這一場(chǎng)仗當(dāng)中的贏家，但是要聰明地設(shè)計(jì)Infra。
鏈接：
https://mp.weixin.qq.com/s/oM0V0MymMbanJddzABYDDQ
6. Open Assistant：LAION發(fā)起開(kāi)源ChatGPT項(xiàng)目
ChatGPT的效果驚人，但不開(kāi)源。顯然開(kāi)源社區(qū)有人憋不住了。LAION（代表作是赫赫有名的數(shù)據(jù)集LAION-5B）的組織者Christoph Schuhmann與Yannic Kilcher（AI圈知名的YouTube大V）一通視頻電話(huà)，就啟動(dòng)了項(xiàng)目，很快項(xiàng)目的Discord討論組就進(jìn)了很多人，無(wú)比活躍起來(lái)。最開(kāi)始項(xiàng)目名稱(chēng)是open-chat-gpt，大約一周后改為Open Assistant。
鏈接：
https://hub.baai.ac.cn/view/22872
7. 國(guó)內(nèi)開(kāi)發(fā)者發(fā)起ChatRWKV項(xiàng)目，做開(kāi)源ChatGPT
ChatRWKV 類(lèi)似于 ChatGPT，但由RWKV（100% RNN）語(yǔ)言模型提供支持，這是目前唯一可以在質(zhì)量和縮放方面與 Transformer 相媲美的 RNN，同時(shí)速度更快并節(jié)省 VRAM。
鏈接：
https://zhuanlan.zhihu.com/p/603840957
8. 通向AGI之路：大型語(yǔ)言模型（LLM）技術(shù)精要
ChatGPT出現(xiàn)后驚喜或驚醒了很多人。驚喜是因?yàn)闆](méi)想到大型語(yǔ)言模型（Large Language Model）效果能好成這樣；驚醒是頓悟到我們對(duì)LLM的認(rèn)知及發(fā)展理念，距離世界最先進(jìn)的想法，差得有點(diǎn)遠(yuǎn)。作者稱(chēng)，作為既驚喜又驚醒的那一批，也是典型的中國(guó)人，中國(guó)人善于自我反思，于是開(kāi)始反思，而這篇文章正是反思的結(jié)果。
鏈接：
https://mp.weixin.qq.com/s/eMrv15yOO0oYQ-o-wiuSyw
9. Jeff Dean發(fā)推：谷歌年終總結(jié)「第三彈」，大力發(fā)展Jax
隨著算法和硬件越來(lái)越復(fù)雜，以及運(yùn)行規(guī)模越來(lái)越大，執(zhí)行日常任務(wù)所需的軟件的復(fù)雜性也在不斷增加。
在這篇文章中，研究人員概述了過(guò)去一年整個(gè)谷歌在ML系統(tǒng)方面取得的眾多進(jìn)展，這些進(jìn)展使谷歌能夠支持復(fù)雜模型的服務(wù)和訓(xùn)練，同時(shí)減輕了終端用戶(hù)的實(shí)施復(fù)雜性。同時(shí)，這篇文章還提到了谷歌如何利用ML本身來(lái)改進(jìn)和設(shè)計(jì)下一代系統(tǒng)堆棧的研究。
鏈接：
https://mp.weixin.qq.com/s/TVMYYPK_Ct_dEROzrBnZvg
10. 和TensorFlow一樣，英偉達(dá)CUDA的壟斷格局將被打破？
谷歌早期在機(jī)器學(xué)習(xí)模型架構(gòu)、訓(xùn)練、模型優(yōu)化方面都具有很大優(yōu)勢(shì)，但現(xiàn)在卻難以充分發(fā)揮這些優(yōu)勢(shì)。而在硬件方面，其他 AI 硬件公司很難削弱英偉達(dá)的統(tǒng)治地位。直到 PyTorch 2.0 和 OpenAI Triton 出現(xiàn)，機(jī)器學(xué)習(xí)模型的默認(rèn)軟件堆棧將不再是英偉達(dá)的閉源 CUDA。
鏈接：
https://mp.weixin.qq.com/s/dGpf6DOyaozMwpOtp8vS-g
11. OneFlow v0.9.0正式發(fā)布
本次更新包含 640 個(gè) commit，完整更新列表請(qǐng)查看鏈接：https://github.com/Oneflow-Inc/oneflow/releases/tag/v0.9.0，歡迎下載體驗(yàn)新版本，期待你的反饋。OneFlow v0.9.0?主要包括9大新增亮點(diǎn)功能和優(yōu)化。
鏈接：
https://mp.weixin.qq.com/s/8Vb9fIQs0vSiM5_0M3SaGg
12. GLM國(guó)產(chǎn)大模型訓(xùn)練加速：性能最高提升3倍，顯存節(jié)省1/3，低成本上手
OneFlow近期將原始的 GLM 項(xiàng)目移植到了使用 OneFlow 后端進(jìn)行訓(xùn)練的 One-GLM 項(xiàng)目。得益于 OneFlow 和 PyTorch 無(wú)縫兼容性，我們快速且平滑地移植了 GLM，并成功跑通了預(yù)訓(xùn)練任務(wù)（訓(xùn)練 GLM-large）。
此外，由于 OneFlow 原生支持 DeepSpeed 和 Apex 的很多功能和優(yōu)化技術(shù)，用戶(hù)不再需要這些插件就可訓(xùn)練 GLM 等大模型。更重要的是，針對(duì)當(dāng)前 OneFlow 移植的 GLM 模型，在簡(jiǎn)單調(diào)優(yōu)后就能在性能以及顯存占用上有大幅提升。
鏈接：
https://mp.weixin.qq.com/s/dkTGXuJV38KuLb4_LmM20Q
不像許多熱門(mén)的技術(shù)趨勢(shì)在市場(chǎng)跟上其步伐前就被過(guò)度炒作了，生成式AI的熱潮卻伴隨著極高的市場(chǎng)歡迎度以及真實(shí)的市場(chǎng)收益。如Stable Diffusion和ChatGPT的模型們正在創(chuàng)造用戶(hù)增長(zhǎng)的歷史記錄，一些應(yīng)用在發(fā)布不到一年的時(shí)間里就實(shí)現(xiàn)了1億美元的年?duì)I收。
對(duì)照表明，AI模型在某些任務(wù)上的表現(xiàn)優(yōu)于人類(lèi)好幾個(gè)數(shù)量級(jí)。已有足夠的早期數(shù)據(jù)表明范式轉(zhuǎn)移正在發(fā)生。
鏈接：
https://mp.weixin.qq.com/s/bh5uw06IzTCO9jQBa-rlfQ
14. 35張圖，直觀(guān)理解Stable Diffusion
Stable Diffusion用途多樣，是一款多功能模型。首先它可以根據(jù)文本生成圖像(text2img)。上圖是從文本輸入到圖像生成的示例。除此之外，我們還可以使用Stable Diffusion來(lái)替換、更改圖像（這時(shí)我們需要同時(shí)輸入文本和圖像）。
本文介紹了Stable Diffusion的內(nèi)部結(jié)構(gòu)，了解內(nèi)部結(jié)構(gòu)可以讓我們更好地理解Stable Diffusion的組成、各組成部分的交互方式、以及各種圖像生成選項(xiàng)/參數(shù)的含義。
鏈接：
https://mp.weixin.qq.com/s/8C2RqYrHZTpFFzaHIbPhRw
15. “零”代碼改動(dòng)，靜態(tài)編譯讓太乙Stable Diffusion推理速度翻倍
近期，OneFlow 團(tuán)隊(duì)為太乙 Stable Diffusion 適配了 OneFlow 后端，大大提升了推理性能，也可以做到一秒出圖。不少開(kāi)發(fā)者好奇OneFlow使用了哪些優(yōu)化“秘笈”，后文將進(jìn)行簡(jiǎn)要解讀。
鏈接：
https://mp.weixin.qq.com/s/XaR1W8yKPYxN5PR1RPMepA
16. “一鍵”模型遷移，性能翻倍，多語(yǔ)言AltDiffusion推理速度超快
由于目前大部分團(tuán)隊(duì)主要是基于翻譯 API + 英文 Stable Diffusion 模型進(jìn)行開(kāi)發(fā)，所以在使用中文獨(dú)特的敘事和表達(dá)時(shí)，英文版模型就很難給出正確匹配的圖片內(nèi)容，這對(duì)部分國(guó)內(nèi)用戶(hù)來(lái)說(shuō)不太方便。
為此，智源研究院出品了首個(gè)支持 9 種語(yǔ)言的 AltDiffusion。近期，OneFlow 團(tuán)隊(duì)為其適配了 OneFlow 后端，大大提升了推理性能，也可以做到一秒出圖。
鏈接：
https://mp.weixin.qq.com/s/whJlFifyzcCAX5DqA7hA_A
Runway成立于2018年，是一家AI視頻編輯軟件提供商，主要為設(shè)計(jì)師、藝術(shù)家和開(kāi)發(fā)人員提供一系列的工具和平臺(tái)，產(chǎn)品是幫助專(zhuān)業(yè)人士生成各種內(nèi)容。其發(fā)布的GEN-1可通過(guò)將圖像或文本提示符的組成和樣式應(yīng)用到源視頻的結(jié)構(gòu)上，實(shí)際地并始終如一地合成新視頻，演示效果驚人。GEN-1目前仍處于內(nèi)測(cè)階段。
鏈接：
https://hub.baai.ac.cn/view/23978
其他人都在看
ChatGPT背后的經(jīng)濟(jì)賬
OneFlow v0.9.0正式發(fā)布
Sam Altman的成功學(xué)｜升維指南
比快更快，開(kāi)源Stable Diffusion刷新作圖速度
OneEmbedding:單卡訓(xùn)練TB級(jí)推薦模型不是夢(mèng)
GLM訓(xùn)練加速：性能最高提升3倍，顯存節(jié)省1/3
“一鍵”模型遷移，性能翻倍，多語(yǔ)言AltDiffusion推理速度超快
歡迎Star、試用OneFlow最新版本：https://github.com/Oneflow-Inc/oneflow/https://github.com/Oneflow-Inc/oneflow/
關(guān)鍵詞： 智能革命
營(yíng)業(yè)執(zhí)照公示信息