Html 从网页中提取URL

Preface:

• 目标URL恰好是(半 struct 化)plain-text资源，因此基于regex的处理is是合适的.

• 然而，一般来说，对于HTML内容，使用专用解析器是更可取的，因为正则表达式不能解析HTML robustly.^[1]参见this answer从HTML文档中提取链接的示例.

'127\.0\.0\.1(?:[^\s]*)'

• 您错误地使用了non-capturing组((?:…))，而不是capturing组((…))

• 在下载的内容中，127.0.0.1后有space

• 因此，改用以下正则表达式(\S是[^\s]更简单的类似功能，+只匹配non-empty个非空格字符):

  '127\.0\.0\.1 (\S+)'
  

$matches = …

• 虽然从技术上讲它在这里不会造成问题，但$matches是automatic $Matches variable的名称，因此不应该用于定制目的.

$match.Value

• $match.Value是您的正则表达式匹配的whole个文本，而您只需要capture group的文本.

• 请改用$match.Groups[1].Value.

$urlList += 

• 用+=构建一个数组iteratively就是inefficient，因为在每次迭代中必须在后台分配new个数组；只需使用foreach语句as an expression，并让PowerShell为您收集结果即可.有关详细信息，请参阅this answer.

Invoke-WebRequest -Uri $threatFeedUrl

• 因为您只对响应的text content感兴趣，所以使用Invoke-RestMethod比使用Invoke-WebRequest更简单；前者返回内容directly(不需要访问.Content属性).

要把这一切放在一起:

$threatFeedUrl = 'https://raw.githubusercontent.com/DandelionSprout/adfilt/master/Alternate versions Anti-Malware List/AntiMalwareHosts.txt'
    
# Download the threat feed data
$threatFeedData = Invoke-RestMethod -Uri $threatFeedUrl
    
# Define a regular expression pattern to match URLs starting with '127.0.0.1'
$pattern = '127\.0\.0\.1 (\S+)'
    
# Use the regular expression to find matches in the threat feed data
$matchList = [regex]::Matches($threatFeedData, $pattern)
    
# Create and populate the list with matched URLs
$urlList = 
  foreach ($match in $matchList) {
    $match.Groups[1].Value
  }
    
# Specify the output file path
$outputFilePath = 'output.txt'
    
# Save the URLs to the output file
$urlList | Out-File -FilePath $outputFilePath
    
Write-Host "URLs starting with '127.0.0.1' extracted from threat feed have been saved to $outputFilePath."

^{[1]参见this blog post了解背景信息.}