【茶包射手日記】在 Facebook 貼網址無法生成預覽圖文

大家這幾天有遇到在 Facebook 貼網址無法生成預覽圖文的問題嗎？

發現四月開始，在 FB 貼我的部落格網址已無法產生預覽圖文，這做法用了 N 年，部落格平台也沒異動，忽然間就不能用了。

但在 LINE 裡則無此問題：

使用 FB 分享偵錯工具 有得到明確錯誤訊息：

This response code could be due to a robots.txt block. Please allowlist facebookexternalhit on your sites robots.txt config to utilize Facebook scraping.

莫非 FB 的 facebookexternalhit 從 4/1 起行為改變？爬文證實了這點。

從 4/1 起 FB 社群討論區開始有人回報類似問題：1、2，而大家實測結論，FB 爬蟲機器人似乎從 4/1 起變得小心翼翼，必須在 robots.txt 明確宣告 User-agent: facebookexternalhit 加 Allow: /，FB 機器人才敢抓取你的網頁內容生成預覽。(FB 機器人：哼! 沒在 robots.txt 誠摯邀請，我才不要拜訪你的網站。)

我的 robots.txt 原本為：

User-agent: *
sitemap: https://blog.darkthread.net/sitemap.xml

調整加入明確允許 facebookexternalhit 宣告後，問題總算排除。

User-agent: facebookexternalhit
Allow: /

User-agent: *
sitemap: https://blog.darkthread.net/sitemap.xml