進行搜尋引擎優化（SEO）時，在技術性SEO我們會接觸到不少Meta tag，其中常見的是Meta Robot標籤。
Meta Robot夠對搜尋引擎爬蟲的行為進行限制。在本文中，Raymond C (SEO Specialist) 將大家一起深入探討Meta Robot標籤，包括：基本功能、不同指令的詳細解釋、如何正確使用這些指令，及以比較Meta Robot標籤與Robots.txt文件之間的區別。
Meta Robot標籤是什麼？
Meta Robot標籤是技術性SEO的一個關鍵元素，它是一種HTML元素，通常位於網頁的<head>區域，用於控制搜尋引擎爬蟲（網頁抓取機器人）對網站內容的訪問和索引方式。這個標籤允許網站擁有者定義哪些頁面或內容應該被搜尋引擎索引，哪些應該被排除。
Meta Robot標籤語法示範
[code]
<meta name=”robots” content=”index, follow”>
[/code]
- 上述語法中「content=””」的部份用於設定頁面的檢索及索引情況。
- index/noindex：告訴搜尋引擎是否將此頁面加入索引。index表示允許索引,noindex表示不允許。
- follow/nofollow：告訴搜尋引擎是否追蹤此頁面中的連結。follow表示允許追蹤連結，nofollow表示不允許。
若是使用Wordpress，可使用Rankmath之類的SEO插件設定Meta Robots。
Robots.txt VS Meta Robot的區別
Robots.txt文件位於網站的根目錄下，用於告訴搜尋引擎哪些頁面或區域不應被訪問，但它不控制內容是否被索引。
Meta Robot標籤更為具體，可以精確控制搜尋引擎對內容的索引和顯示方式。
從優先度角度，爬蟲會先考慮Robots.txt的規則，如果Robots.txt有對特定頁面進行限制，爬蟲是不會進行檢索。
然而，使用Meta Robot的話，Google等搜尋引擎的爬蟲還是會先檢索網頁，再決定是否收錄（索引）。
相比起Robots.txt；Meta Robot更為彈性且具有更多功能。Meta Robot可以為每個頁面進行特定限制，如：noindex及nofollow屬性，通常個人會建議使用Meta Robot進行設定。
Meta Robot標籤對SEO重要嗎？
Meta Robot標籤在技術性SEO中重要，這是因為它控制了搜尋引擎對網站檢索及索引。如果SEO的最終目標是排名，而若網站連最基本的檢索過程都無法通過，那就更不用說排名了。
不過，雖然Meta Robot標籤會決定爬蟲的對網頁的操作方式，但並不是直接排名因素，這是屬於做好只是獲得入門資格，並不會加分，但做不好會零分的概念。
通常用途都是在網站架設過程中運用Noindex之類的標籤，暫時防止Google收錄網站，以免網站未完成就在搜尋結果中上線。
Meta Robot常見指令
Meta Robot有許多常見指令，如：noindex（不收錄）及nofollow（不追縱連結）屬性等，大家可以下載附件，裡面有Raymond為大家詳細好的Meta Robot指令列表。詳情如下：
| Meta Robot規則 | |
| all | 預設值，沒有任何限制，不會產生影響。 |
| index | 收錄。預設值，在搜尋結果中顯示這個網頁。 |
| noindex | 不收錄。不會在搜尋結果中顯示這個網頁。 |
| follow | 預設值，追蹤這個網頁上的連結。 |
| nofollow | 不追蹤這個網頁上的連結。 |
| none | 等同於 noindex, nofollow。 |
| noarchive | 不在搜尋結果中顯示快取版本。 |
| noimageindex | 不為這個網頁上的圖片建立索引。 |
| nositelinkssearchbox | 不在這個搜尋結果顯示網站連結搜尋框。 |
| nosnippet | 不在網頁的搜尋結果中顯示文字摘要或影片預覽畫面。 |
| max-snippet: [數字] | 這個搜尋結果所能顯示的文字摘要字數。不超過 [數字] 個半形字元。如果不設定，Google 會自行判斷長度。 |
| 特殊值： 0：不顯示任何網頁摘要。等同於 nosnippet。 -1：由 Google 選擇摘要的長度。 | |
| 範例： 禁止在搜尋結果中顯示摘要： <meta name=”robots” content=”max-snippet:0″> 允許搜尋結果顯示最多 20 個字元的摘要： <meta name=”robots” content=”max-snippet:20″> 文字摘要的顯示長度沒有字元數限制： <meta name=”robots” content=”max-snippet:-1″> | |
| max-image-preview: [設定] | 設定這個網頁在搜尋結果中的圖片預覽大小上限。 |
| 若不指定 max-image-preview ， Google 能夠顯示預設大小的圖片預覽畫面。 | |
| 接受的 [設定] 值： none：不顯示圖片預覽畫面。 standard：可顯示預設的圖片預覽畫面。 large：可顯示較大的圖片預覽畫面，最廣可延伸至可視區域寬度。 範例： <meta name=”robots” content=”max-image-preview:standard”> | |
| max-video-preview: [數字] | 搜尋結果最多只能為這個網頁上的影片顯示 [數字]秒的影片摘要。 |
| 若不指定 max-video-preview 規則，Google自行決定預覽的時間長度。 | |
| 特殊值： 0：根據 max-image-preview 設定，最多可以使用一張靜態圖片。 -1：沒有限制。 範例： <meta name=”robots” content=”max-video-preview:-1″> | |
| indexifembedded | 如果網頁內容透過 iframes 或類似的 HTML 標記嵌入到其他網頁，即便有 noindex ，Google 仍能將內容編入索引。 |
| indexifembedded 須配合 noindex 才會生效。 | |
| notranslate | 不在搜尋結果中提供這個網頁的翻譯。 |
| unavailable_after: [日期/時間] | 在指定的日期/時間之後，不要在搜尋結果中顯示這個網頁。指定日期/時間時須使用廣為採用的格式，包括但不限於 RFC 822、RFC 850 和 ISO 8601。 如未指定有效的日期/時間，系統會忽略這個規則。根據預設，內容並沒有到期日。 |
| 如未指定這個規則，代表這個網頁能夠無限期顯示在搜尋結果中。Googlebot 會在指定的日期和時間過後，大幅降低網址的檢索頻率。 | |
| 範例： <meta name=”robots” content=”unavailable_after: 2020-09-21″> | |
正確使用Meta Robot標籤
noindex應用於不需要索引的頁面
確保將noindex指令應用於不需要出現在搜尋結果中的頁面，例如：隱私政策或登入頁面。避免過度使用noindex，以免誤封鎖重要頁面。
noarchive使用在動態頁面
一些PHP為主的網站、或者部落格的分類頁面時常更常，比起Google對這些網頁設定快取，使用noarchive標籤不設緩存更合適。常見例子：Wordpress的category或tag頁面。
index及follow為預設值
基本上沒有特別設定的情況下，網頁也是會被正常檢索及收錄的，所以一般的Meta robots即使沒有設定也沒有顯示，也是預設為index及follow。
結論：Meta Robot標籤是技術性SEO中不可或缺的工具
Meta Robot能夠幫助精確控制搜尋引擎對網站的檢索及索引。
參考資料
Robots meta tag, data-nosnippet, and X-Robots-Tag specifications
