最近我發現一件事:Claude 的用量消耗得比以前快很多。
把近七天的紀錄拿出來量,發現有 56% 的用量,花在那些已經超過 40 萬 token 的長對話上。這個數字不能直接說明用量增加的原因,但讓我開始回頭檢查另一件事。
我寫給 AI 的守則,大約有 5 萬 token。我習慣叫它「憲法」。
每次開啟新對話,AI 都要先讀這份憲法。之後每一次回覆,這些規則也持續佔據著對話的上下文。換句話說,不論這次要處理的是什麼問題,AI 都得先帶著一本厚厚的守則上工。
而且這本書不是一天寫出來的。
一、每一條都合理,為什麼加起來卻出了問題?
這份憲法大概花了半年,一條一條累積起來。
每次 AI 犯錯,我就補一條規則。某個情境下做錯了,就寫下注意事項。某種工具有特殊限制,就補上使用方式。某個品牌的表達不夠準確,就把品牌定位寫得更清楚。
每一次修正都有實際原因。如果單獨拿出其中任何一條來看,我大概還是會覺得應該保留。
問題是,從來沒有人量過它們加起來有多大。每次只增加一小段,系統照樣能運作,看起來也沒有什麼需要停下來處理的理由。
直到有一天,我發現憲法裡明明寫著「用中文回答」,AI 在很長的對話裡卻還是不斷滑回英文。最後我甚至另外裝了一道自動關卡,專門擋住這種情況。
這件事不能證明是規則太多造成的。但它至少說明,規則寫進去了,不代表 AI 就會穩定照做。
我開始懷疑,當一份守則大到某個程度,繼續增加內容,未必還能增加它的約束力。
更值得注意的是,這份守則的膨脹並不是某一次錯誤決策造成的。每次補規則都是合理的,卻沒有人負責檢查整套規則是不是還合理。
我覺得這比單純的 token 浪費更值得研究。因為一套系統最難察覺的失效,可能不是某天突然壞掉,而是每個部分都還能運作,整體卻慢慢偏離了原本的設計。
二、我原本以為要壓縮,後來發現應該改的是架構
一開始很直覺的想法,是把這 5 萬 token 濃縮。但我又不太願意直接刪掉那些內容。畢竟每條規則背後,都可能是一次真實的失敗。今天覺得某段內容不重要,說不定下一次剛好又踩到同樣的坑。
所以我把問題拿去問網頁版 ChatGPT。它給了我一個四層架構:最上層是所有情境都需要遵守的全域原則,再來是個別專案的規則,第三層放過去踩坑留下的知識、需要時才檢索,最後一層保存完整歷史與原始紀錄、必要時才讀取。
這個架構給我的啟發,不是該怎麼把文字寫短。而是我一直把兩件不同的事混在一起:
知識應該被保存,跟知識應該隨時被讀取。
我以前認為,既然某條規則很重要,就應該一直放在 AI 眼前。但仔細想想,這個推論不一定成立。一條處理 Windows 腳本的特殊規則,在 AI 正在寫品牌文章的時候,究竟有什麼必要佔據它的上下文?反過來說,當 AI 真的準備操作 Windows 腳本時,那條規則才是最需要出現的東西。
所以我決定不再讓 AI 隨身攜帶整本憲法。新的常駐層只留下核心原則,以及兩張目錄。
第一張目錄,是根據我說的話,判斷應該讀哪張知識卡。例如我提到某個品牌、某類工作,AI 就能找到對應的規則。
但做到一半,我突然想到一個漏洞:過去踩過的坑,不一定會出現在我的要求裡。
三、最關鍵的補丁:不是我說了什麼,而是 AI 準備做什麼
假設我請 AI 修改一個網站。我的要求可能只是調整畫面、修正互動,或完成某個功能。但在執行過程裡,AI 可能決定開啟無頭瀏覽器、執行某種腳本,最後再把網站推送出去。
這些動作不一定出現在我的原始要求中。如果目錄只能根據我說的關鍵字找規則,就可能漏掉真正需要注意的地方。
於是我補上第二張目錄。
- 第一張,需求觸發:我講到什麼 → 該讀哪張卡
- 第二張,行為觸發:AI 準備做什麼 → 動手前先讀哪張卡
我認為這是整次改造最關鍵的地方。因為規則不只需要依照任務分類,更需要跟它實際約束的行為綁在一起。
以前的做法比較像把所有交通規則寫成一本書,要求駕駛每次上車前都讀完。現在則是希望在準備轉彎、變換車道、進入特殊路段的時候,對應的規則能夠被提醒。
Claude 的 skills 機制本身就採用了類似的「漸進揭露」設計:先知道有哪些技能,需要時再讀取完整內容。我這次做的事,某種程度上就是把這個思路套用到自己半年來累積的守則。
最後,原本大約 5 萬 token 的常駐內容,降到約 5,500 token。被移出常駐層的原文沒有刪除,而是逐段對照,搬進 29 張知識卡。
我當時問 AI:「壓縮 90% 會不會變笨?」它回答:「這不是壓縮,是目錄。」
這句話讓我重新理解自己在做什麼。但問題也隨之而來:如果 AI 不知道該去哪裡翻,那條規則對當下的任務而言,等於不存在。
所以接下來要驗證的,不是文件有沒有搬完,而是 AI 會不會真的去找。
四、文件放對位置,不代表 AI 找得到
我設計了 20 題驗收。每一題都開一個全新的對話,只給 AI 一句以前曾經踩過坑的要求,觀察它動手之前,有沒有去讀正確的知識卡。
第一輪只有 14 題通過。
失敗的地方很有意思。不是卡片裡沒有答案,而是 AI 知道需要找卡,卻跑到錯的資料夾裡找。也就是說,知識保存得再完整,如果尋找知識的路徑不可靠,整套系統還是會失效。
我修正尋找路徑後,20 題全部通過。
知識卡觸發驗收|20 題
驗收項目:動手前有沒有讀到正確的知識卡,不是最終工作品質。
其中品牌定位那題,我另外連續測試。原本連跑五次,有一次沒讀到卡。後來我補上比較口語的關鍵字,再跑五次,五次都正確觸發讀卡。
這讓我注意到一件事。設計知識目錄時,很容易使用整理者自己的分類語言。但實際使用時,人不一定會照那套分類說話。如果目錄只認得正式名稱,卻認不得日常說法,知識即使存在,也可能找不到。
不過,這次驗收有個很重要的限制。20/20 驗證的是 AI 有沒有讀到正確的卡,不代表它讀完就一定會做對。我目前驗證的是檢索機制,還不是最終工作品質。如果直接把這次結果解讀成「新架構讓 AI 更聰明」,那就超過證據能支持的範圍了。
五、另一個盲點:我以為完成的事,其實根本沒有在發生
這次換版還意外照出另一個問題。
我有四台電腦共用這份守則。早在八月,我就以為已經完成同步設定。但這次仔細檢查才發現,當時所謂的「同步完成」,其實只是把捷徑接好了。我建立的是一個可以取得新版的通道,卻沒有任何東西會定時去取得新版。
結果從 11 月 6 日到 11 月 10 日,有三台電腦落後了兩百多次更新。更麻煩的是,這段期間完全沒有報錯。因為從系統的角度來看,那條捷徑確實存在,也確實可以使用。只是沒有人去使用它。
我把這件事歸納成一個自己反覆踩過的模式:
狀態成立,不代表行為正在發生。
有同步捷徑,不代表資料有在同步。有寫下規則,不代表 AI 執行時會遵守。有建立知識卡,不代表需要時真的會讀到。
這些事情看起來不同,背後卻有個共同點:我太容易把「具備某種能力」,當成「這個能力已經持續發揮作用」。
所以這次我補上每十分鐘自動拉取新版的機制。驗收方式也跟以前不同:不是按下更新後,看到成功訊息就算完成,而是把新版推上去之後,不再手動碰其他電腦,觀察它們能不能自己拿到。
這次實測,它們確實自動取得了新版。
我真正需要的,不是證明這套系統可以更新,而是證明在我沒有介入的情況下,它仍然會更新。仔細想想,自動化的價值,很大一部分就存在於這個差別裡。如果一個流程必須靠人記得啟動,才能持續運作,那它可能還沒有真正完成自動化。
六、知識太多,會不會反而讓判斷變差?
把常駐內容減少之後,我又問了 AI 一個問題:「如果讀得比較少,會不會反而更精準、更聰明?」
這個問題目前還沒有答案。但我有三個想驗證的假說。
第一個是注意力。當 AI 每次都要處理大量與當下任務無關的規則,真正重要的指令,會不會反而比較難被穩定執行?我懷疑有這個可能,但不能把之前滑回英文的案例,直接當成證據。
第二個是知識干擾。舊憲法裡確實有些已經被推翻的舊說法,跟後來的更正同時存在。AI 即使全部讀過,也不代表一定能正確判斷哪個版本應該優先。拆成知識卡之後,是否能減少這種干擾?目前仍是推測。
第三個是時機。如果一條規則在對話一開始就讀到,經過大量討論後,等到真正需要執行時,已經距離當下決策很遠。那麼,讓 AI 在動手前才讀取相關規則,會不會更容易正確應用?這是我最想知道的。
不過,新架構也有兩個代價。一個是漏讀:以前相關規則至少放在上下文裡,現在如果沒有正確觸發,知識就不會進入這次任務。另一個是跨領域聯想可能減少:以前 AI 同時看得到各種規則,有機會把 A 領域的經驗應用在 B 領域,把知識分開之後,這種偶然連結也可能跟著減少。
所以我目前不會說「讀得少一定比較聰明」。比較精確的說法是:我有理由懷疑,適時取得相關知識,可能比持續持有全部知識更有效。但還沒有足夠證據。
七、如果換成人,公司會不會也有同樣的問題?
做到這裡,我開始想,這件事是不是不只適用於 AI。公司的 SOP、新人手冊,甚至一個人累積多年的工作經驗,會不會也面臨類似的困境?這一段是我的類比與推論,不是這次實驗已經證明的事。
假設一家公司,每遇到一次問題,就新增一條注意事項;每發生一次疏失,就修訂一次流程。這些做法本身沒有錯。但如果每次修訂都只增加內容,而沒有重新思考什麼資訊應該在什麼時候出現,文件可能越來越完整,實際使用卻越來越困難。
一份很厚的新人手冊,能證明公司把很多事情寫下來了,但它不能直接證明,新人在遇到問題時會想起那一頁。同樣地,一個經驗豐富的人,腦中可能累積了很多教訓,但有經驗,不一定代表每次都能在正確時機用上正確經驗。
我開始覺得,知識管理或許還應該問另一個問題:「這些知識會被什麼情境觸發?」更進一步,除了根據問題尋找答案,是不是也應該根據即將發生的行為,主動提醒應該注意的事?
同一份 SOP,放在資料庫裡供人搜尋,跟放在特定工作步驟之前讓人確認,是兩種不同的設計。前者假設使用者知道自己需要什麼;後者則考慮到,人有時候根本不知道自己正要踩坑。我覺得第二種情況,才是這個類比特別值得研究的地方。
但我也不認為所有知識都應該被切成獨立卡片。人需要背景理解,也需要跨領域聯想。有些重要判斷,恰好來自兩件原本不相關的事情突然被連在一起。如果把知識切得太碎,可能提升查找效率,卻犧牲整體理解。
或許真正需要設計的,不是知識該集中還是分散,而是哪些原則應該一直存在,哪些細節應該在需要時出現,以及什麼情況下值得重新打開整本書。
八、我現在最想防止的,是它慢慢長回去
這次改造完成後,我替常駐層設定了一條界線:超過 6,000 token,就亮紅燈。
這不是什麼經過科學驗證的最佳數字,它比較像一道防止自己重蹈覆轍的護欄。因為我很清楚,這份憲法一定還會繼續長。未來 AI 還是會犯錯,我還是會碰到新問題,也還是會想補上新的規則。這個習慣不會因為架構改造就突然消失。
所以這次我希望改變的不只是文件的存放方式,還有新增規則時的判斷方式。下一次遇到問題,不再只是問「要補哪一條規則」,而是先問:
這條規則需要每次都讀嗎?還是只需要在特定情境下出現?
我想用這個限制,防止半年來那些局部合理的累積,再次把整體架構推回原點。畢竟如果每一次學習,都讓下一次工作必須背負更多內容,那麼學習本身,也可能慢慢變成負擔。
九、下一個實驗,才會回答真正的問題
目前我已經驗證,新架構在設計的測試情境下,能正確觸發知識卡。但它還不能證明,產出的答案一定比較正確。
下一步,我想拿新舊兩版做一次 A/B 測試:讓它們處理同一批真實任務,在模型、任務條件與評分標準一致的前提下,比較最後結果,而不只是檢查有沒有讀到規則。我想看的不只是正確率,也包括它們犯了什麼錯。
- 如果新版答對更多題,要進一步檢查改善是否真的來自知識架構,而不是其他差異。
- 如果新版速度或用量改善,但品質沒有變化,那麼它的價值可能主要在效率,而不是判斷能力。
- 如果新版因為漏讀卡片,犯下舊版原本可以避免的錯誤,那就代表檢索機制仍有需要補強的地方。
- 如果兩者沒有明顯差異,也不能直接證明這些假說錯了,但至少不能宣稱新版更聰明。
這個答案我現在還不知道。
不過,回頭看這整件事,我最大的收穫已經不是節省了多少 token。以前我一直在增加 AI 必須記住的教訓;現在我開始思考,能不能讓它在真正需要某個教訓的時候,知道自己應該去哪裡找。
而且這個問題可能也適用於我自己。當我們說一個人很有經驗、一家公司很有制度、一套 AI 系統累積了很多知識時,我們究竟是在描述它保存了多少過去,還是在描述它面對下一個問題時,能不能做出更好的判斷?
這兩件事,未必相同。
記憶的價值,也許不在於永遠把所有東西帶在身上,而在於需要的那一刻,知道去哪裡翻。
至於這樣做,究竟能不能讓 AI 更聰明?
我還欠自己一個實驗。
有任何想法,歡迎聊聊——
寫信給我 →