1. Dolly 2.0：世界上第一個完全開源的指令跟隨LLM

(資料圖片)

兩周前，Databricks發(fā)布了類ChatGPT的大型語言模型 (LLM)Dolly，其訓練成本不到 30 美元。今天，他們發(fā)布了 Dolly 2.0，這是業(yè)內(nèi)第一個開源的指令跟隨LLM，并根據(jù)高質量的人類生成的指令數(shù)據(jù)集（15000個prompt/response pairs）進行了微調(diào)。Dolly 2.0 基于EleutherAI?pythia模型系列，是一個具有12B參數(shù)的語言模型。

他們正在完全開源 Dolly 2.0，包括訓練代碼、數(shù)據(jù)集和模型權重，這些都可以商用。這意味著，任何組織都可以創(chuàng)建、擁有和定制強大的 LLM，并且無需支付 API 訪問費用或與第三方共享數(shù)據(jù)。

鏈接： 1. https://huggingface.co/databricks； 2. https://www.databricks.com/blog/2023/04/12/dolly-first-open-commercially-viable-instruction-tuned-llm

2. 大型語言模型綜述全新出爐：從T5到GPT-4最全盤點

考慮到 LLMs 的快速技術進步，中國人民大學的二十幾位研究者通過背景知識、關鍵發(fā)現(xiàn)和主流技術等三方面回顧了 LLMs 的最新進展，尤其關注 LLMs 的預訓練、自適應調(diào)優(yōu)、使用和能力評估。此外他們還總結和開發(fā) LLMs 的可用資源，討論了未來發(fā)展方向等問題。對于領域內(nèi)研究人員和工程師而言，這份綜述是一份極其有用的學習資源。

鏈接：

https://mp.weixin.qq.com/s/7HRr55Md2Wl6EHQMGioumw

3. OpenAI創(chuàng)始人：GPT-4的研究起源和構建心法

GPT模型所取得的成就令人艷羨，不過這建立在OpenAI數(shù)年的技術探索和堅定信念上。作為深度參與了GPT模型從0到1生產(chǎn)過程，以及推動GPT研究和工程落地的主要“幕后推手”，Brockman對此深有體會，“它并非試圖像快速致富那樣曇花一現(xiàn)，而是一直在緩慢積累價值，才有了指數(shù)級增長帶來的巨大回報。”

鏈接：

https://mp.weixin.qq.com/s/hO1ZdqgOjpA328luobQ9eg

4. ChatGPT作者John Schulman：我們成功的秘密武器

新增的對話數(shù)據(jù)固然重要，不過，讓ChatGPT更容易推斷出用戶的意圖，產(chǎn)生質變的根本原因是已在InstructGPT使用的“人類反饋的強化學習（RLHF）”技術，OpenAI聯(lián)合創(chuàng)始人、研究科學家John Schulman認為，RLHF才是ChatGPT的秘密武器（secret sauce）。本文中，我們可以看到ChatGPT技術演進的脈絡和不曾在論文中被描述的細節(jié)，以及OpenAI團隊的下一步研究方向。

鏈接：

https://mp.weixin.qq.com/s/sDeBYMvAwbJr5_tj7Q20-w

5. 千億參數(shù)開源大模型BLOOM背后的技術

近年來，語言模型越訓越大已成為常態(tài)。大家通常會詬病這些大模型本身的信息未被公開以供研究，但很少關注大模型訓練技術這種背后的知識。本文旨在以 1760 億參數(shù)的語言模型?BLOOM?為例，闡明訓練此類模型背后的軟硬件工程和技術要點，以促進大家對大模型訓練技術的討論。

鏈接：?

https://zhuanlan.zhihu.com/p/615839149

6. 分布式訓練的十大常見錯誤和解決方案

大型語言模型 （LLM）時代，分布式訓練勢在必行，因為數(shù)據(jù)和模型權重很少能同時放到一張卡上。然而，ML 中的分布式訓練非常復雜且容易出錯，其中隱藏著許多陷阱，可能會在模型訓練過程中引發(fā)巨大問題。本文將介紹分布式模型訓練中十個最常見的錯誤，并將針對每個錯誤提出解決方案。

鏈接： https://neptune.ai/blog/distributed-training-errors

6.5.?AutoGPT太火了，無需人類插手自主完成任務

近日，AI 界貌似出現(xiàn)了一種新的趨勢：自主人工智能。這不是空穴來風，最近一個名為 AutoGPT 的研究開始走進大眾視野。特斯拉前 AI 總監(jiān)、剛剛回歸 OpenAI 的 Andrej Karpathy 也為其大力宣傳，并在推特贊揚：「AutoGPT 是 prompt 工程的下一個前沿。」

鏈接：

https://mp.weixin.qq.com/s/bV1tPc7hNn2z06YOpzyanw

7. 理解大型語言模型（入門閱讀清單）

由于Transformer對每個人的研究工作產(chǎn)生了如此大的影響，作者羅列了一個閱讀清單供機器學習研究人員和從業(yè)者入門LLM。

鏈接： https://sebastianraschka.com/blog/2023/llm-reading-list.html?

8. 大模型匯總（10億級參數(shù)規(guī)模以上）

大模型（大型語言模型，LLMs）是當下AI和NLP研究與產(chǎn)業(yè)中最重要的方向之一。本文將對當下的主流大模型進行總結。參數(shù)規(guī)模在1B以上的模型視為大模型。

鏈接：https://zhuanlan.zhihu.com/p/611403556

9. ML系統(tǒng)入門資料整理（tvm&mlir&llvm）

對于想入門mlsys或者想深入學習某種編譯器的開發(fā)者來說，希望這個資料可以成為不錯的起點。

鏈接：https://zhuanlan.zhihu.com/p/618229430

10. 談談對OpenAI Triton的一些理解

Triton應該算是筆者看到的基于MLIR編譯技術路徑實現(xiàn)，性能和功能均可滿足一部分實際需求且得到了生產(chǎn)檢驗，并且在主流AI加速器上解決了計算密集算子開發(fā)需求的第一個開源工作。

鏈接： https://zhuanlan.zhihu.com/p/613244988

11. mperf：移動/嵌入式平臺算子性能調(diào)優(yōu)利器

在移動/嵌入式平臺，為了最大程度發(fā)揮硬件算力，對算子極致性能的追求變成必然，不同于桌面/服務器平臺，移動/嵌入式平臺在算子性能調(diào)優(yōu)方面可選擇的工具很少。mperf 是一個微架構層次的算子性能調(diào)優(yōu)工具箱，主要面向移動/嵌入式平臺的 CPU/GPU 核心，目標是“為構建一個更接近閉環(huán)的算子調(diào)優(yōu)反饋回路”提供系列基礎工具。

鏈接：https://zhuanlan.zhihu.com/p/610346564

12. 小型Python編譯器項目入門

適合對編譯優(yōu)化、高性能計算、GPU編程感興趣，完全零基礎的同學也沒問題，但是需要熟悉Python編程。

編譯器和測試部分代碼完全用Python編寫，算子的部分使用cupy的rawKernel功能將cuda代碼編譯成一個Python函數(shù)。目前已完成了第一個模塊的代碼部分，共分為5天，每一天的所有代碼加起來不超過100行，簡單易懂。

鏈接：https://zhuanlan.zhihu.com/p/603352525

13. CUDA編程：常用技巧/方法

不管你是在學習CUDA，還是在優(yōu)化算子，掌握一些CUDA編程技巧，能夠提升你的工作效率，甚至找到更優(yōu)解。本文主要是介紹一些常用的技巧/方法，并配上實踐code，希望對讀者有所幫助。

鏈接：https://zhuanlan.zhihu.com/p/584501634

14. NCCL源碼解析①：初始化及ncclUniqueId的產(chǎn)生

NCCL是英偉達開源的GPU通信庫，支持集合通信和點對點通信。

鏈接：

https://mp.weixin.qq.com/s/_SOmkGoo9DblXb8ddyEeaQ

15. 適配PyTorch FX，OneFlow讓量化感知訓練更簡單

OneFlow緊隨其后添加了針對OneFlow的fx，即One-fx，在安裝One-fx之后，用戶可以直接調(diào)用oneflow.fx，也可以直接通過import onefx as fx進行使用。

鏈接：

https://mp.weixin.qq.com/s/O8yGUuTL-o_gHQV4xez_nQ

16. One-YOLOv5 v1.2.0發(fā)布：支持分類、檢測、實例分割

新版本同步了Ultralytics YOLOv5的上游分支v7.0，同時支持分類、目標檢測、實例分割任務；支持flask_rest_api；支持使用 wandb 對實驗跟蹤和可視化功能；oneflow_hub_support_pilimage；為每個batch的compute_loss部分減少一次h2d和cpu slice_update操作?；優(yōu)化 bbox_iou 函數(shù)和模型滑動平均部分，大幅提升訓練性能；

兼容FlowFlops，訓練時可以展示模型的FLOPs?

鏈接：

https://mp.weixin.qq.com/s/bkEkInaF7Ht7KsdXUFkw-Q

其他人都在看

“ChatGPT們”的淘金時代

大型語言模型的推理演算

GPT-4創(chuàng)造者：第二次改變AI浪潮的方向

谷歌科學家：ChatGPT秘密武器的演進與局限

比快更快，開源Stable Diffusion刷新作圖速度

OneEmbedding:單卡訓練TB級推薦模型不是夢

GLM訓練加速：性能最高提升3倍，顯存節(jié)省1/3

歡迎Star、試用OneFlow: github.com/Oneflow-Inc/oneflow/http://github.com/Oneflow-Inc/oneflow/

關鍵詞：