3分鐘研究室

首頁 / AI

Q、K、V 是什麼?用圖書館找書看懂 AI 的注意力

AI 讀到「它」,怎麼知道指的是獎盃、不是行李箱?2017 年論文 Attention Is All You Need 的 Q、K、V,用圖書館找書來比喻。

Q、K、V 是什麼?用圖書館找書看懂 AI 的注意力 影片縮圖
在 YouTube「3分鐘研究室」看影片約三分鐘講完這篇論文,開新頁到 YouTube

AI 讀到「它」這個字,怎麼知道「它」指的是獎盃,不是行李箱?上一集說,每個字會去看其他字、決定要注意誰;這一篇來看,這個決定是怎麼算出來的。答案藏在 2017 年那篇論文 Attention Is All You Need 裡的三個字母:Q、K、V。

Q 查詢、K 索引標籤、V 內容本身(比喻為示意)
Q 查詢、K 索引標籤、V 內容本身(比喻為示意)

論文怎麼做

用圖書館找書來想:

  • Q(Query,查詢): 你走進圖書館想找跟貓有關的書,心裡的問題就是 Q。
  • K(Key,可以想成索引標籤): 每本書書背上的標籤,像「動物」「料理」「旅行」。
  • V(Value,內容本身): 書裡面真正的內容。

找書的方法是:拿你的問題去比對每一個書背標籤,越像的分數越高;分數高的書多讀一點,分數低的少讀一點,最後照分數的比例,把讀到的內容混在一起。

換回句子:每個字都會變出自己的 Q、K、V 三份。Q 是「我想找什麼」,K 是「我身上貼著什麼標籤」,V 是「我真正帶著的資訊」。這三份,是模型用學來的方法,從同一個字轉出來的。理想上,「它」拿著自己的 Q 去跟每個字的 K 比對,跟「獎盃」最像,就多拿一點獎盃的 V。

拿 Q 跟每個 K 比對,越像分數越高,再照比例混合 V
拿 Q 跟每個 K 比對,越像分數越高,再照比例混合 V
  • 怎麼比: Q 和 K 其實都是一串數字,把兩串對應的位置相乘再加起來,叫點積,越像分數越高。分數再換算成加起來等於 1 的比例,就是每個字各要注意幾成。
  • 除以 8: 論文多做了一步,分數先除以「每串有幾個數字」開根號。基本版每串 64 個數字,所以除以 8。作者推測,數字很多時分數會變得很大,比例會一面倒,模型就很難學。
分數先除以 √64=8:論文基本版每串 64 個數字
分數先除以 √64=8:論文基本版每串 64 個數字

結果

上一篇提到 8 組注意力一起看,其實就是 8 套不同的 Q、K、V,各自比對、各自找重點。論文也試過改成 1 組,英翻德的翻譯評分(BLEU,開發集)從 25.8 掉到 24.9,少了 0.9 分;組數太多,成績也會往下掉。

改成 1 組注意力,翻譯評分從 25.8 掉到 24.9
改成 1 組注意力,翻譯評分從 25.8 掉到 24.9

用三個問題來看

  1. 它解決了什麼問題? 讓每個字自己決定要從誰身上拿資訊;讀一整句的時候,每個字可以同時算,不用一個接一個排隊。
  2. 今天的 AI 哪裡用到它? 像 GPT 這類以 Transformer 為基礎的模型,注意力也是用 Q、K、V 的方式在算。
  3. 它有什麼限制? Q、K、V 的轉換是模型自己學的。論文說,看注意力分數可以看出不同組在做不同的事;可是 Q 和 K 那一長串數字,每一個代表什麼,論文並沒有說明。

注意力就是三個步驟:拿問題,比對標籤,再照分數拿內容。

出處

  • Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, Ł., & Polosukhin, I. (2017). Attention Is All You Need. Advances in Neural Information Processing Systems 30 (NIPS 2017). https://arxiv.org/abs/1706.03762

本文為論文解說,內容經過簡化,方便理解;圖書館比喻與比例長條為示意。