3星期前
全部投稿
- 我們知道在大語言模型（Large Language Model, LLM）中，存在所謂的尺度擴展規律（Scaling Laws） [2]，如Fig 1所示，即是：LLM的性能會隨著模型的參數量、模型的
- 在大語言模型（Large Language Model, LLM）中，存在所謂的尺度擴展規律（Scaling Laws） [2]，如Fig 1所示，即是：LLM的性能會隨著模型的參數量、模型的訓練量、3星期前
- 什么是世界多胞體（World Polytope）呢？我給出的定義是，每一個世界中的事實（Fact），比如『在地球上，太陽從東邊出來』、『地球是太陽系中的行星』等等，都可以編碼為N維超空間里面的一個節點05-13 09:42
- 獎勵劫持問題在大語言模型（Large Language Model, LLM）中，存在所謂的尺度擴展規律（Scaling Laws） [2]，如Fig 1所示，即是：LLM的性能會隨著模型的參數量、模05-12 08:41
- Danqi Chen 在最新提交在Arxiv上的文章 [1] MeCO指出，如Fig 1所示，只需要在預訓練數據的起始位置加上一個來源信息（URL），然后在最后10%的預訓練中除去這個URL信息進行常05-08 09:13
- 為了提高LLM底座的通用能力，通常預訓練數據都會包含有各種領域的數據，比如The Pile [2] 就是一個800GB大小的，涵蓋了22個不同領域的常用預訓練數據集，如Fig 1所示。對于LLM預訓練05-06 10:27
- CLIP [2] 開創了一個圖文大規模預訓練的時代，然而CLIP也具有不足之處，因此引出了一系列的改進工作，具體可見 [3]。 針對CLIP在大規模數據下訓練速度慢的問題，已有一些工作研究，如SigL05-05 09:24
- 多模態大模型MLLM通常由三部分組成：視覺編碼器，可以是CLIP、SigLIP、DINO等，采用的結構可以是ViT，也可以是傳統的CNN，不過現在主流都是ViT結構，本文指的視覺編碼器也是ViT的產出05-04 09:30
- 多模態大模型MLLM通常由三部分組成：視覺編碼器，可以是CLIP、SigLIP、DINO等視覺連接器（Projector），通常是簡單的MLP結構底座LLM，如LLama、Qwen等對于MLLM而言，05-03 10:28
- 基于對比學習的圖文預訓練方式，自從CLIP [1] 橫空出世后，就成為了圖文預訓練的主流方式，引申出了一系列的工作，如ALIGN [3]、FLIP [4]、LiT [5]等。這些工作在數據使用、訓練效05-02 09:30