robots.txt 設定教學：控制 Google 爬蟲不誤擋重要頁面

robots.txt 是什麼？它能控制 Google 爬蟲做什麼

robots.txt 是放在網站根目錄的純文字檔，用來告訴 Google 爬蟲哪些路徑可以檢索、哪些路徑不建議檢索。它是檢索管理工具，不是收錄保證工具，也不是資安工具。

對 SEO 來說，robots.txt 設定最重要的價值，是把 Googlebot 的注意力留給真正值得被檢索的頁面，例如商品頁、分類頁、文章頁、品牌頁，而不是讓它反覆進入購物車、結帳頁、站內搜尋結果、參數 URL 或測試路徑。

我通常會把 robots.txt 視為網站的「檢索入口規格」。它不能決定排名高低，但如果設定錯誤，確實可能讓重要頁面、CSS、JavaScript 或 Sitemap 無法被 Google 正常處理，後續的索引與排名表現就會跟著受影響。

robots.txt 放在哪裡才有效

robots.txt 必須放在網域根目錄，而且檔名要是小寫的 robots.txt。Google 會用固定位置尋找這個檔案，不會到每個子資料夾裡搜尋其他版本。

正確位置範例：https://example.com/robots.txt

如果網站是 https://example.com，有效的 robots.txt 位置就是：

https://example.com/robots.txt

如果網站有子網域，例如 blog.example.com，子網域需要自己的 robots.txt：

https://blog.example.com/robots.txt

同一份 robots.txt 不會自動管理所有子網域。這點在企業官網、活動站、電商前台、後台系統分開部署時很容易被忽略。

子資料夾裡的 robots.txt 不會控制整站

放在子資料夾的檔案不會控制整個網站，例如：

https://example.com/articles/robots.txt

這種位置對整站檢索規則沒有作用。若文章系統在 /articles 底下，仍然要回到根目錄的 /robots.txt 設定規則。

robots.txt 控制的是檢索，不是排名

robots.txt 控制 Googlebot 是否能進入指定路徑檢索，不是排名加分設定，也不等於保證頁面不會出現在搜尋結果。若某個 URL 被外部連結引用，即使被 robots.txt 擋住，Google 仍可能知道這個 URL 存在。

它可能間接影響 crawl budget，但不是排名加分項

大型網站、電商網站、內容資料庫網站比較需要在意 crawl budget。robots.txt 可以減少低價值路徑被反覆檢索的機率，讓 Googlebot 更容易把資源用在重要頁面。不過，這是檢索效率管理，不是直接提升排名的開關。

robots.txt 基本語法：User-agent、Disallow、Allow、Sitemap 怎麼寫

robots.txt 的基本語法由 User-agent、Disallow、Allow 與 Sitemap 組成。設定時要先指定爬蟲對象，再寫出允許或不建議檢索的路徑，最後可宣告 Sitemap 位置。

允許所有搜尋引擎爬取

用途：網站沒有要阻擋的路徑時，可以允許所有搜尋引擎爬蟲檢索。

User-agent: *
Disallow:
Sitemap: https://example.com/sitemap.xml

注意事項：Disallow: 後面留空，代表沒有封鎖路徑。這不是必須設定，但對小型品牌官網或簡單內容站來說，這種寫法清楚、低風險。

阻擋所有搜尋引擎爬取

用途：通常只適合測試站、暫時不開放的開發環境，不能隨便用在正式網站。

User-agent: *
Disallow: /

注意事項：Disallow: / 代表從根目錄開始全部不建議檢索。正式網站若誤用這段，可能讓 Google 無法正常檢索重要頁面。我的建議是，這段範例只能存在於測試環境文件，不要讓它變成正式站的預設模板。

阻擋特定資料夾，例如後台、測試頁、購物車

用途：阻擋不需要出現在搜尋結果、也不值得消耗檢索資源的功能型路徑。

User-agent: *
Disallow: /admin/
Disallow: /cart/
Disallow: /checkout/
Disallow: /member/
Disallow: /test/

注意事項：請先替換成自己網站的實際路徑。台灣電商常見的購物車、結帳頁、會員中心，通常不需要讓 Googlebot 反覆進入。但如果某些會員頁其實是公開內容頁，就不能用這種大範圍規則處理。

允許特定檔案或子路徑

用途：當你封鎖某個資料夾，但其中有特定檔案或子路徑需要開放，可以用 Allow 做例外。

User-agent: *
Disallow: /assets/
Allow: /assets/public/
Allow: /assets/css/
Allow: /assets/js/

注意事項：不要為了「省檢索資源」就封鎖所有 CSS 與 JavaScript。Google 需要讀取重要資源來理解頁面渲染後的內容，尤其 2026 年許多網站仍依賴 JavaScript 產生主要畫面。

在 robots.txt 放 Sitemap 路徑

用途：在 robots.txt 宣告 Sitemap，能讓搜尋引擎更快找到網站的重要 URL 清單。

User-agent: *
Disallow: /cart/
Disallow: /checkout/
Sitemap: https://example.com/sitemap.xml
Sitemap: https://example.com/articles-sitemap.xml
Sitemap: https://example.com/products-sitemap.xml

注意事項：Sitemap 可以有多個。內容站可把文章 Sitemap 與頁面 Sitemap 分開，電商可把商品、分類、文章分開。重點不是越多越好，而是要跟網站實際可收錄頁面同步。

不同爬蟲可以設定不同規則嗎

可以。robots.txt 可針對不同 User-agent 分組，例如 Googlebot、bingbot 或其他搜尋引擎爬蟲。但本文主軸是 robots.txt Google 爬蟲設定，其他爬蟲只作為邊界理解。

Googlebot、bingbot、Baiduspider 的分組概念

範例：

User-agent: Googlebot
Disallow: /internal-search/
User-agent: bingbot
Disallow: /internal-search/
Disallow: /preview/
User-agent: Baiduspider
Disallow: /

注意事項：不同搜尋引擎對 robots.txt 的支援細節不一定完全相同。若主要市場在台灣，通常應先確保 Googlebot 的規則正確，再評估其他爬蟲是否需要獨立規則。

Crawl-delay 不是 Google 的主要控制方式

有些 robots.txt 會看到：

User-agent: *
Crawl-delay: 10

注意事項：不要把 Crawl-delay 當成控制 Googlebot 速度的主要方法。若要處理 Google 檢索頻率與伺服器壓力，應優先檢查 Search Console、伺服器狀態、低價值路徑、Sitemap 與內鏈結構。

robots.txt 常見設定情境：台灣網站通常該擋哪些頁面

台灣網站常見的 robots.txt 設定情境，是管理後台、會員中心、購物車、結帳頁、站內搜尋、參數 URL 與測試站。判斷標準不是「不想被看見」，而是「是否值得讓 Googlebot 檢索」。

後台與管理路徑

後台路徑通常可以用 robots.txt 減少檢索，例如：

User-agent: *
Disallow: /admin/
Disallow: /wp-admin/
Disallow: /dashboard/

但 robots.txt 不是後台保護工具。只要 URL 可被直接開啟，知道路徑的人仍可能造訪。後台應該靠登入權限、強密碼、多因素驗證、IP 限制或主機層級設定保護。

購物車、結帳頁、會員中心

電商網站常見設定：

User-agent: *
Disallow: /cart/
Disallow: /checkout/
Disallow: /my-account/
Disallow: /member/

這些頁面通常沒有搜尋價值，也可能讓 Googlebot 進入重複流程。對 SEO 來說，商品頁、分類頁、品牌頁才是優先檢索對象。

站內搜尋結果頁與篩選參數頁

站內搜尋與篩選參數最容易產生大量低價值 URL，例如：

User-agent: *
Disallow: /search/
Disallow: /*?s=
Disallow: /*?sort=
Disallow: /*?filter=

這類路徑要特別小心。若篩選頁本身有搜尋需求，例如「女鞋白色運動鞋」這種可承接流量的分類組合，就不一定該擋。我的判斷原則是：有固定需求、可被內鏈支撐、內容能穩定呈現的頁面，優先做成可收錄分類頁；純排序、純價格篩選、無內容差異的參數 URL，才用 robots.txt 或其他方式控管。

測試站、草稿頁、開發環境

測試站可以用 robots.txt 作為一層檢索限制：

User-agent: *
Disallow: /

但測試站若真的不能曝光，應加上密碼保護或限制存取。實務上最常出事的不是測試站被擋，而是正式站上線後沿用測試站的 Disallow: /，導致重要頁面長時間無法被 Google 正常檢索。

PDF、API、下載檔案要不要擋

公開 PDF 若有搜尋價值，例如白皮書、規格書、菜單、價目表，不一定要擋。API、批次下載、重複產生的檔案路徑則可評估阻擋：

User-agent: *
Disallow: /api/
Disallow: /download/temp/
Disallow: /export/

如果目標是不要被收錄，PDF 可搭配 X-Robots-Tag；如果目標是不要被未授權者下載，應使用權限控管，而不是只放 robots.txt。

robots.txt、meta robots、noindex、X-Robots-Tag 差在哪

robots.txt 控制檢索，noindex 與 meta robots 控制索引，X-Robots-Tag 常用於非 HTML 檔案或 HTTP 回應。若你的目標是不想出現在 Google 搜尋結果，通常不應只用 robots.txt。

如果是不想被爬：用 robots.txt

當目標是減少 Googlebot 進入某些路徑，可以使用 robots.txt：

User-agent: Googlebot
Disallow: /internal-search/
Disallow: /cart/
Disallow: /checkout/

這適合低價值功能頁，但不適合拿來移除已經出現在搜尋結果的頁面。

如果是不想被收錄：用 noindex 或 X-Robots-Tag

HTML 頁面可使用 meta robots：

<meta name="robots" content="noindex, follow">

PDF 或非 HTML 檔案可用 HTTP Header 的 X-Robots-Tag。設定重點是，Google 必須能檢索到該頁或該回應，才有機會看到 noindex 指令。如果先用 robots.txt 擋住，Google 反而可能看不到 noindex。

如果是不想被看見：用登入權限或密碼保護

robots.txt 不適合保護機密資料、個人資料、報價頁、未公開活動頁。它只是對爬蟲提出檢索規則，不會阻止使用者直接開啟 URL。這是很多企業官網在改版測試時最容易誤判的地方。

如果是想節省 crawl budget：robots.txt + sitemap + 內鏈控管

只靠 robots.txt 不足以做好 crawl budget 管理。低價值頁面如果仍然出現在大量內鏈、選單、篩選器或 Sitemap 裡，Google 仍會持續發現這些 URL。比較乾淨的做法是：robots.txt 控制檢索、Sitemap 提供重要 URL、內鏈結構減少對低價值頁的暗示。

robots.txt 常見錯誤與 SEO 風險

robots.txt 設定錯誤時，常見風險包括誤擋全站、擋到 CSS 或 JavaScript、把 Disallow 當 noindex、測試站設定殘留，以及 Sitemap 路徑錯誤。這些問題都可能讓 Google 無法正確理解網站。

誤用 Disallow: / 封鎖全站

症狀：Google Search Console 顯示 URL 受 robots.txt 阻擋，重要頁面檢索量下降，新內容長時間沒有進入索引。

原因：測試站或開發環境使用的全站封鎖規則，被帶到正式站。

修正方式：正式站應改成只封鎖低價值路徑，例如：

User-agent: *
Disallow: /admin/
Disallow: /cart/
Disallow: /checkout/

擋到 CSS / JS，導致 Google 無法正確渲染頁面

症狀：URL 檢查工具中的渲染畫面缺少選單、內容區塊、商品資訊或互動元件。

原因：為了封鎖資源資料夾，誤把必要的 CSS、JavaScript 全部擋住。

修正方式：不要用過大的規則封鎖資源路徑。若必須擋部分檔案，請保留公開頁面渲染所需資源：

User-agent: *
Disallow: /private-assets/
Allow: /assets/css/
Allow: /assets/js/

想不要被收錄，卻只用了 Disallow

症狀：頁面沒有被 Google 正常檢索，但 URL 仍可能以不完整摘要出現在搜尋結果。

原因：robots.txt 阻擋的是檢索，不是索引移除。若 Google 從其他地方知道這個 URL，仍可能保留 URL 層級的紀錄。

修正方式：若頁面可公開開啟，但不想被收錄，使用 noindex。若頁面不能公開看見，使用登入權限或密碼保護。

測試站上線後忘記移除封鎖

症狀：新站上線後品牌詞可搜尋到，但深層頁、分類頁、文章頁收錄非常慢。

原因：改版時只檢查畫面與功能，沒有把 robots.txt 納入發布流程。

修正方式：把 /robots.txt、Sitemap、Search Console URL 檢查列為上線前必查項目。這不是工程細節，而是 SEO 發布品質的一部分。

Sitemap 路徑錯誤或沒有同步更新

症狀：robots.txt 宣告的 Sitemap 打不開、回傳錯誤，或仍指向舊網域。

原因：搬站、改網址結構、換 CMS 後沒有更新 robots.txt。

修正方式：確認 Sitemap URL 可正常開啟，且只包含希望被收錄的正式 URL：

Sitemap: https://example.com/sitemap.xml

真實 robots.txt 範例拆解：大型網站通常會擋哪些頁面

大型網站的 robots.txt 通常會封鎖會員、結帳、搜尋、API、設定頁、參數頁與自動化下載路徑，並宣告一個或多個 Sitemap。這些原則可以參考，但不能逐字照抄。

大型電商常見封鎖：會員、結帳、設定、國家語系路徑

大型電商網站常見的封鎖邏輯，是把 Googlebot 從交易流程與個人化頁面中移開：

User-agent: *
Disallow: /cart/
Disallow: /checkout/
Disallow: /account/
Disallow: /login/
Disallow: /settings/
Disallow: /*?sort=
Disallow: /*?color=
Disallow: /*?size=

可套用原則：購物車與結帳頁通常不需要被檢索；排序與部分篩選參數常造成重複內容；會員與登入頁應由權限控管處理。不要看到大型電商封鎖某些語系或國家路徑，就直接照抄到台灣網站，因為你的語系架構、庫存策略、hreflang 與市場目標可能完全不同。

內容型 / 資料庫型網站常見封鎖：搜尋、API、自動下載路徑

內容資料庫網站容易因站內搜尋、索引頁、API 與下載路徑產生大量 URL：

User-agent: *
Disallow: /search/
Disallow: /api/
Disallow: /export/
Disallow: /download/batch/
Disallow: /*?query=
Disallow: /*?page=

可套用原則：如果 URL 是系統自動組合、內容高度重複、沒有獨立搜尋需求，就適合降低檢索優先權。若某些資料頁本身有明確搜尋價值，例如產品規格、研究條目、教學頁，就應該保留在 Sitemap 與內鏈中，而不是一併封鎖。

為什麼很多網站會把 Sitemap 放進 robots.txt

robots.txt 是搜尋引擎會優先檢查的固定檔案，把 Sitemap 放在其中，可以讓 Google 更快找到重要 URL 清單。大型網站常有多份 Sitemap，例如文章、商品、分類、圖片或影片 Sitemap。我的經驗是，Sitemap 最怕不是少放，而是放了舊 URL、測試 URL、被 canonical 到其他頁的 URL，這會讓檢索訊號變得混亂。

robots.txt 如何避免爬蟲浪費伺服器資源

robots.txt 可以降低 Googlebot 進入低價值路徑的機率，例如站內搜尋、參數 URL、API 與重複頁面，進而協助管理 crawl budget。不過它不是即時流量限制器，也不能取代伺服器調校。

什麼是 crawl budget，什麼網站特別需要注意

crawl budget 可理解為搜尋引擎願意在網站上投入的檢索資源。小型品牌官網通常不需要過度焦慮；大型電商、新聞網站、分類頁很多的內容站、參數 URL 很多的網站，才更需要檢查 Googlebot 是否把時間花在正確頁面。

站內搜尋與參數 URL 為什麼容易浪費檢索資源

站內搜尋與參數 URL 可能產生成千上萬種組合，例如：

/search?q=鞋
/search?q=鞋&sort=price
/category/shoes?color=white&size=8
/category/shoes?color=white&size=9

這些頁面若內容差異很小，Googlebot 可能花很多時間檢索重複結果，反而延後真正重要頁面的檢索。對 SEO 來說，參數頁不是全部都不好，問題在於是否有穩定內容、搜尋需求與清楚的內鏈支持。

robots.txt、Sitemap、內鏈結構要一起看

robots.txt 產生器怎麼用？手動撰寫前先確認這 5 件事

robots.txt 產生器適合快速產出基本檔案，但使用前必須先確認目的、路徑、爬蟲對象、Sitemap 與測試方式。不了解網站架構時，產生器很容易產出錯誤規則。

產生器適合誰使用

產生器適合小型網站、剛開始整理 SEO 技術設定的人，或需要快速產生初版 robots.txt 的行銷與網站窗口。它不適合直接處理大型電商、複雜參數、跨語系網站、測試站與正式站共用部署流程的情境。

使用前要先確認的 5 件事

1. 目的：你是要減少檢索、避免收錄，還是保護頁面？三者工具不同。
2. 路徑：先列出後台、購物車、結帳頁、會員中心、站內搜尋、參數 URL 的實際路徑。
3. 爬蟲對象：若主要目標是 Google，先確認 Googlebot 規則，不要把所有搜尋引擎差異混在一起。
4. Sitemap：確認 Sitemap URL 可開啟，且內容是正式、可收錄頁面。
5. 測試：產生後先在測試環境與 Search Console 驗證，不要直接上線。

產生後一定要測試，不要直接上線

產生器只能幫你寫出格式，不能替你判斷哪些頁面有 SEO 價值。尤其 WordPress、Shopify、自建電商、Headless CMS 的路徑差異很大，套用模板前一定要確認是否會擋到 CSS、JavaScript、文章頁、分類頁或商品頁。

robots.txt 上線前與改版後檢查流程

robots.txt 上線前要檢查檔案位置、語法、封鎖路徑、Sitemap 與重要 URL；上線後要用 Search Console 驗證；改版、搬站、換 CMS 後必須重新檢查檢索規則。

發布前檢查

1. 確認檔案位於 https://example.com/robots.txt。
2. 確認檔名是小寫 robots.txt。
3. 檢查是否誤留 Disallow: /。
4. 檢查重要頁面路徑是否被封鎖。
5. 確認 CSS 與 JavaScript 沒有被大範圍封鎖。
6. 確認 Sitemap URL 可開啟，且不是舊網域。
7. 用測試 URL 檢查文章頁、分類頁、商品頁、首頁是否可被 Googlebot 檢索。

發布後用 Search Console 驗證

發布後可以在 Search Console 使用 URL 檢查工具，確認重要頁面是否允許 Googlebot 檢索。若看到受 robots.txt 阻擋，要回頭檢查對應路徑規則。對剛上線的新站來說，不要只看首頁，至少要抽查首頁、文章頁、分類頁、商品頁與 Sitemap 中的代表 URL。

改版、搬站、換 CMS 後要重新檢查

改版後常見問題包括：舊 robots.txt 規則不適用新路徑、Sitemap 指向舊網址、測試站封鎖規則殘留、JavaScript 資源位置改變。這些問題不一定會在畫面測試中被發現，但會影響 Googlebot 對網站的理解。

用伺服器紀錄確認 Googlebot 是否仍在爬低價值路徑

對大型網站來說，Search Console 只能看到一部分狀態。若伺服器紀錄顯示 Googlebot 仍大量進入站內搜尋、參數 URL、API 或重複頁面，就要回頭檢查 robots.txt、內鏈、Sitemap 與 canonical 是否彼此矛盾。真正好的 robots.txt 設定，不是規則寫得多，而是重要頁面更容易被穩定檢索。