Search Engine Land 喺 8 月 19 日發表咗一篇由 Vinicius Stanula 撰寫嘅重要研究報告，經過一個 41 日嘅受控實驗，揭示咗一個對技術 SEO 從業員嚟講相當震撼嘅事實：除咗 Googlebot 之外，幾乎所有 AI 爬蟲都無法追蹤 JavaScript 生成嘅連結。
呢個發現對香港企業嘅 SEO 策略有直接影響，尤其係如果網站依賴 JavaScript（例如 React、Vue、Next.js、Nuxt.js）嚟處理內部連結導航。
實驗係點樣做嘅？
研究者設置咗一個約 2,400 頁嘅真實網站，將內部連結分為兩組：
- HTML 組（11 個部分）：所有內部連結直接寫喺原始 HTML 入面，任何爬蟲都可以直接讀取同追蹤
- JS 組（10 個部分）：所有內部連結透過 JavaScript 喺頁面載入後先注入，原始 HTML 入面完全冇連結
為確保實驗純淨，研究員關閉咗 Sitemap、Breadcrumbs 同內部導航面板，令 JS 組嘅頁面唯一嘅發現路徑就係執行 JavaScript。
結果：AI 爬蟲幾乎全部失敗
41 日嘅記錄顯示咗一個非常懸殊嘅結果：
- Googlebot（Google 搜尋索引爬蟲）：只爬到 JS 組中約 2% 嘅頁面——即使係 Google，JavaScript 渲染嘅效率都唔高
- GoogleOther（Google 內部爬蟲）：能夠執行 JavaScript 並追蹤注入嘅連結，但 GoogleOther 唔會影響搜尋排名
- GPTBot（OpenAI 爬蟲）：完全無法到達 JS 組任何一個深層頁面，喺第一天爬完 HTML 組所有 759 頁後，喺 JS 組嘅 section 頁面就停咗落嚟
- ClaudeBot（Anthropic 爬蟲）：同 GPTBot 一模一樣嘅模式——深度 HTML 爬取，然後喺 JavaScript 邊界完全停止
- PerplexityBot、Bingbot、Meta 同 Amazon 爬蟲：全部 0 個 JavaScript 頁面被發現
🔑 核心結論：「Google renders JavaScript」呢個講法喺 AI 搜尋時代已經唔再夠用。你嘅網站需要俾 Googlebot 以外嘅 AI 爬蟲都讀得到——而呢啲爬蟲完全唔識執行 JavaScript。
對香港企業嘅實際影響
呢個發現對以下幾類香港企業特別重要：
1. 用 React / Next.js / Nuxt.js 整嘅網站
如果你嘅網站係用現代 JavaScript 框架開發，尤其係客戶端渲染（CSR）或靜態生成（SSG）但依賴 JavaScript 處理內部連結，AI 爬蟲可能只見到你嘅首頁同部分頂層頁面，完全睇唔到你嘅深層內容。
2. 內容豐富嘅網站（新聞、Blog、教學）
如果你嘅網站有大量文章頁面，而導航至呢啲頁面嘅連結係透過 JavaScript 生成（例如「相關文章」區塊、分類頁嘅分頁按鈕），AI 爬蟲可能永遠唔會發現你嘅優質內容。
3. 依賴 AI 引用做曝光嘅企業
如果企業嘅 GEO（生成式引擎優化）策略依賴被 ChatGPT、Perplexity 等 AI 搜尋引擎引用，但 AI 爬蟲根本發現唔到你嘅深層內容，咁你嘅 GEO 努力就會大打折扣。
解決方案：確保所有內部連結都係 HTML
根據研究報告嘅建議，香港企業需要做以下檢查：
- 審計內部連結方式——使用 Screaming Frog 或 Ahrefs Site Audit 掃描網站，檢查有幾多內部連結係透過 JavaScript 注入而非直接寫喺 HTML
- 提供 HTML fallback——如果必要使用 JavaScript 生成連結，確保原始 HTML 入面有
<a href>作為 fallback，即使係 hidden 狀態 - 使用 HTML Sitemap——建立一個純 HTML 嘅網站地圖頁，列出所有重要頁面嘅直接連結，幫助所有爬蟲發現內容
- 確保 Sitemap.xml 完整——Sitemap.xml 係 AI 爬蟲發現內容嘅重要途徑，確保入面包含所有重要頁面
- 測試 AI 爬蟲可讀性——使用工具測試 GPTBot 同 ClaudeBot 能否正常讀取你嘅關鍵頁面（可以參考 robots.txt 嘅 allow/disallow 設定）
- 考慮 Static Rendering——對關鍵內容頁面使用靜態渲染（Static Rendering）或服務端渲染（SSR），確保 HTML 入面有完整嘅連結結構
一段話總結
Search Engine Land 嘅 41 日實驗清楚證明：除咗 Google 嘅部分爬蟲之外，GPTBot、ClaudeBot、PerplexityBot 等 AI 爬蟲完全無法執行 JavaScript 嚟發現連結。對香港企業嚟講，如果你嘅網站使用 JavaScript 框架，你需要確保所有重要嘅內部連結都喺原始 HTML 中存在——否則你嘅內容喺 AI 搜尋生態中形同「隱形」。今日就開始審計網站嘅內部連結方式，確保 AI 爬蟲可以順利發現你嘅每一個頁面。