织梦采集如何过滤广告内容

一、广告内容的常见形态

• 内嵌广告位：正文中的 div 广告块、推荐位。
• 脚本与统计：script、iframe 标签及统计代码。
• 文字推广：文末“推荐阅读”“扫码关注”等文字。
• 图片广告：banner 图、二维码、推广图。
• 链接外链：指向目标站的超链接与锚文本。

二、采集节点过滤规则

1. 正则替换标签

在采集节点编辑页“文章内容过滤规则”区域，使用 {dede:trim_replace} 写入正则。这是最核心的过滤入口：

{dede:trim_replace}<script[^>]*>[\s\S]*?</script>{/dede:trim_replace}
{dede:trim_replace}<style[^>]*>[\s\S]*?</style>{/dede:trim_replace}
{dede:trim_replace}<iframe[^>]*>[\s\S]*?</iframe>{/dede:trim_replace}
{dede:trim_replace}<ins[^>]*>[\s\S]*?</ins>{/dede:trim_replace}

2. 按容器类名过滤

目标站广告通常有固定类名，按类名整体剔除：

{dede:trim_replace}<div class="ad[^"]*">[\s\S]*?</div>{/dede:trim_replace}
{dede:trim_replace}<div class="recommend">[\s\S]*?</div>{/dede:trim_replace}
{dede:trim_replace}<div id="banner">[\s\S]*?</div>{/dede:trim_replace}

三、文字广告过滤

1. 关键词替换

使用 {dede:replace} 替换推广文字。格式为 原文|替换后，多个用逗号分隔：

{dede:replace}关注微信公众号|,扫码加好友|,点击查看详情|{/dede:replace}

替换为空即等于删除。也可替换为自有引导语，如“本文来源：本站”。

2. 敏感词黑名单

在“系统 → 系统基本参数 → 互动设置”中的“过滤敏感词”加入广告常用词，采集入库时会自动二次过滤。

四、图片广告过滤

1. 按图片地址过滤

广告图通常托管在固定域名或路径下，可按 src 正则剔除：

{dede:trim_replace}<img[^>]*src="[^"]*ad[^"]*"[^>]*>{/dede:trim_replace}
{dede:trim_replace}<img[^>]*src="[^"]*banner[^"]*"[^>]*>{/dede:trim_replace}

2. 二维码识别清理

文末二维码推广难以用正则区分，建议开启“图片本地化”后人工抽检图片列表，批量删除二维码图。

五、外链清理

1. 去除超链接保留文字

只想去掉链接保留文本，使用替换：

{dede:trim_replace}<a[^>]*>{/dede:trim_replace}
{dede:trim_replace}</a>{/dede:trim_replace}

这样锚文本保留但链接被剥离，避免给目标站导出权重。

2. 强制 rel=nofollow

若需保留链接但不传递权重，可在采集后用 SQL 批量加 nofollow：

UPDATE dede_addonarticle
SET body=REPLACE(body, '<a href', '<a rel="nofollow" href')
WHERE body LIKE '%<a href%';

六、入库后二次清理

采集规则无法覆盖所有情况，建议入库后做一轮批量清洗：

1. 在“所有档案列表”按采集时间筛选新文档。
2. 逐篇预览，记录未过滤干净的广告模式。
3. 将新模式补充到采集节点正则，形成迭代闭环。

七、过滤效果验证

每次更新过滤规则后，执行一次“测试采集”，对比过滤前后正文差异，确认广告已被清理且正文未被误删。