火车头采集器内容中的段落重排和去重方案

2025-10-21 09:35:00 作者：网络

火车头段落重排+去重，直接给C#代码：

using ;
using ..;
using .Text.;
using ;

class 
{
 const   = 0.9;

  Run( ,  )
{
// 使用正则表达式匹配出所有的 p 标签
Regex regex = new Regex("<p[^>]*>.*?</p>", .);
  = regex.();

// 将所有的 p 标签存储到一个列表中
List<>  = new List<>();
 (Match match in )
{
.Add(match.Value);
}

// 根据阈值决定是否打乱段落顺序
if (new ().() < )
{
();
}

// 去除重复的段落
 = ();

// 将列表中的所有元素重新拼接成字符串，并返回
 .Join("", );
}

  void <T>(IList<T> list)
{
int n = list.Count;
 rng = new ();
while (n > 1)
{
n--;
int k = rng.Next(n + 1);
T value = list[k];
list[k] = list[n];
list[n] = value;
}
}

  List<> (List<> list)
{
List<>  = new List<>();
List<>  = new List<>();

 (var item in list)
{
if (!.(item))
{
.Add(item);
.Add(item);
}
}

 ;
}
}