
Googlebot 如何讀取您的網站:您可能從未考慮過的 3 件事
您的產品頁面已三週未被收錄——而且這不是內容問題
一位銷售液壓配件的朋友去年推出了一批新產品頁面。
三週後,Google Search Console (GSC) 仍然顯示「已發現——但目前未收錄」。他認為是內容問題,於是重寫了每個頁面描述。又過了兩週,情況依然沒有改變。
我檢查了 GSC 網址檢查工具中的渲染截圖。頁面結構還在,但整個包含產品規格、材料細節和技術參數的部分都是空白的。
我們找到了原因:他用 Elementor 建置頁面,並將產品規格區塊設定為只有在訪客滾動到該處時才顯示。當 Googlebot 渲染頁面時,它並未模擬使用者滾動,因此該區塊從未被觸發。每次 Google 看到頁面時,它看到一個空白區域,判斷頁面沒有實質內容,因此拒絕收錄。
他重寫了兩次內容。內容從來都不是問題。
這就是被「爬取」與被「理解」之間的差距:Googlebot 可能造訪了你的頁面,但這並不表示它看到了你希望它看到的內容。
爬取與渲染是兩件不同的事
大多數人認為 Googlebot 造訪網站的方式和你用瀏覽器開啟網站一樣:它來了,頁面載入,它看到一切,就這樣。
實際的流程是這樣的:
- 步驟 1:發現網址
- 步驟 2:爬取(下載 HTML)—— Googlebot 在此時離開
- 步驟 3:渲染(執行 JavaScript)——此步驟通常在幾分鐘到幾小時內完成
- 步驟 4:收錄(儲存到資料庫中,使其可以參與排名)
Google 的 JavaScript SEO 文件清楚說明了這一點:爬取和渲染是兩個完全獨立的流程,各自有各自的處理佇列。
在步驟 2 中,Googlebot 下載你的 HTML 檔案後離開。此時,它尚未看到任何需要執行 JavaScript 才能顯示的內容——它只有原始的 HTML 外殼。
在步驟 3 中,HTML 被放入渲染佇列,Google 的網頁渲染服務(WRS)——一個基於 Headless Chrome 的系統——會執行 JavaScript 並重建動態內容。這個等待時間目前通常以分鐘到小時計。
關鍵不在於等待時間的長短,而在於內容是否能在渲染過程中被實際看到。
有一種內容是 Googlebot 真的看不到的:只有在點擊按鈕後才會載入的內容,例如「載入更多」或只有在某人展開區塊後才從伺服器擷取的內容。Googlebot 不會模擬點擊,因此這些內容永遠不會出現在其渲染結果中。
Elementor 和類似頁面建置工具使用的「滾動時顯示」動畫則稍微微妙一些。如果動畫僅控制內容的出現方式——例如淡入或向上滑動——且內容已在 HTML 中,則 Googlebot 通常可以看到它。
但如果動畫也觸發伺服器請求資料,就可能出現問題。大多數Elementor滾動動畫屬於第一類。讓我朋友的液壓接頭頁面空白的,可能是某個外掛配置阻擋了關鍵JavaScript檔案的載入路徑。GSC渲染截圖中的空白區域是最直接證據。
現在哪個Googlebot正在訪問您的網站?
這裡有一個許多人都不知道的事實。
Googlebot不是單一爬蟲。Google有桌面版Googlebot、行動版Googlebot(智慧型手機)、圖片爬蟲、影片爬蟲以及其他爬蟲類型。
那麼現在主要訪問您網站的是哪一個?行動版Googlebot。
自2023年以來,Google已完成所有網站的行動優先索引轉換。Google行動版Googlebot所見的內容,幾乎在所有情況下都用於索引和排名。
這意味著什麼?
對於排名,Google看的不是精心設計的桌面版產品頁面,而是行動版。如果您的行動版和桌面版內容不同,Google的索引只包含行動版上看到的部分。
行動版內容較少意味著排名潛力較低
這是行動優先索引中最常見的陷阱。
Google的要求很明確:行動頁面的內容必須與桌面頁面相符(內容一致性)。從行動版移除的內容將無助於排名。
可以接受的情況:
- 行動版將規格細節放在可折疊區塊中,但內容存在於初始HTML——Google可以正常索引。
- 響應式設計以不同佈局呈現內容——使用相同HTML,CSS控制不同螢幕的顯示。
有SEO風險的情況:
- 為了讓行動頁面「乾淨」,您移除了桌面頁面上出現的產品描述或規格。
- 行動內容僅在點擊JavaScript驅動的「載入更多」按鈕後才顯示。
- 您運行單獨的m-dot網站,但其內容比主網站薄弱許多。
這些被移除的內容不存在於Google索引中,無論您的桌面版本多麼詳細。
這裡有一個值得思考的問題:「行動優先」是否意味著犧牲桌面體驗?
不。這兩個目標並不衝突——但您需要了解每個體驗服務的對象:
對於B2B出口買家,行動接觸可能有助於他們發現您。但當他們在電腦上打開您的網站比較規格、檢視PDF、提交詢價表單時,轉換才發生。兩種情境都很重要,只是發生在不同裝置上。
Google 推薦響應式設計,正是因為它能同時達成兩個目標:相同的 HTML,由 CSS 控制不同螢幕上的佈局。Googlebot 獲得完整內容,行動用戶獲得自適應佈局,桌面買家獲得專業寬螢幕呈現——三者都不妥協。
真正的危險不是選擇某一裝置而忽略另一個。而是落入兩個陷阱:削減行動內容(傷害排名)以及忽視桌面體驗(傷害轉換率)。響應式設計可以同時避免這兩個風險。
抓取預算:中小型出口網站需要擔心嗎?
Google 自己的說法是:
「抓取預算並非大多數發佈商需要擔心的問題。」
通常,頁面不超過幾千個的網站不需要主動管理抓取預算。
這是事實——但有一個例外。
低價值 URL 的累積。
WordPress 會自動產生許多你可能甚至沒意識到存在的 URL:
- 標籤歸檔頁面:/tag/stainless-steel/
- 分頁分類頁面:/category/products/page/2/
- 搜尋結果:/?s=wire+mesh
- 帶參數的篩選 URL:/products/?color=silver&size=large
這些頁面本身沒有搜尋價值,但 Googlebot 每次訪問仍會考慮它們。結果,你真正重要的產品頁面可能被推遲到抓取佇列後面,新頁面可能需要更長時間才能被發現。
這不是「耗盡」抓取預算的情況。而是稀釋 Googlebot 注意力的情況。
對於中小型出口網站,抓取預算不需要成為核心問題。但你應該定期清理這些低價值 URL——使用 robots.txt 或 noindex——以便 Googlebot 聚焦於你實際上希望它看到的頁面。
你如何判斷 Googlebot 實際上「看到」了什麼?
你不必猜測。你可以在五分鐘內檢查。
- 開啟 Google 搜尋控制台。
- 開啟網址檢查工具。
- 輸入頁面網址。
- 選擇「測試即時網址」。
- 開啟「螢幕截圖」分頁。
你將看到 Googlebot 在渲染頁面後產生的實際螢幕截圖。如果截圖中內容為空白,或某個區域未載入,那就是 Googlebot 實際上無法看到的內容——而且這些內容將不會被索引。
現在檢查你最重要的產品頁面。如果產品描述或規格在截圖中為空白,你就找到了排名沒有提升的真正原因。
重點摘要
來源:Google Search Central — Googlebot 文件 · JavaScript SEO 基礎 · 行動優先索引最佳做法 · 大型網站爬蟲預算管理
