powershell网络蜘蛛解决乱码问题

抓取（爬取）网上信息的脚本程序，俗称网络蜘蛛。
powershell中自带了这样的两个命令，【Invoke-WebRequest】和【Invoke-RestMethod】，但这两个命令有时候会乱码。

现在转帖分享， 某个【歪果仁】写的脚本。来源于 墙外出处： https://gist.github.com/angel-vladov/9482676

核心代码

function Read-HtmlPage {
param ([Parameter(Mandatory=$true, Position=0, ValueFromPipeline=$true)][String] $Uri)

# Invoke-WebRequest and Invoke-RestMethod can't work properly with UTF-8 Response so we need to do things this way.
[Net.HttpWebRequest]$WebRequest = [Net.WebRequest]::Create($Uri)
[Net.HttpWebResponse]$WebResponse = $WebRequest.GetResponse()
$Reader = New-Object IO.StreamReader($WebResponse.GetResponseStream())
$Response = $Reader.ReadToEnd()
$Reader.Close()

# Create the document class
[mshtml.HTMLDocumentClass] $Doc = New-Object -com "HTMLFILE"
$Doc.IHTMLDocument2_write($Response)

# Returns a HTMLDocumentClass instance just like Invoke-WebRequest ParsedHtml
$Doc

#powershell 传教士 转帖并修改的文章 2016-01-01, 允许再次转载，但必须保留名字和出处，否则追究法律责任

}

原文函数

function Read-HtmlPage {
  param ([Parameter(Mandatory=$true, Position=0, ValueFromPipeline=$true)][String] $Uri)

  # Invoke-WebRequest and Invoke-RestMethod can't work properly with UTF-8 Response so we need to do things this way.
  [Net.HttpWebRequest]$WebRequest = [Net.WebRequest]::Create($Uri)
  [Net.HttpWebResponse]$WebResponse = $WebRequest.GetResponse()
  $Reader = New-Object IO.StreamReader($WebResponse.GetResponseStream())
  $Response = $Reader.ReadToEnd()
  $Reader.Close()

  # Create the document class
  [mshtml.HTMLDocumentClass] $Doc = New-Object -com "HTMLFILE"
  $Doc.IHTMLDocument2_write($Response)
  
  # Returns a HTMLDocumentClass instance just like Invoke-WebRequest ParsedHtml
  $Doc
}

PowerShell function you can use for reading UTF8 encoded HTML pages content. The built in Invoke-WebRequest and Invoke-RestMethod fail miserably.

# powershell蜘蛛  # 乱码问题  # 转帖  # 但这  # 带了  # 墙外  # 网上  # param  # Parameter  # Mandatory  # HtmlPage  # ps  # function  # Read  # true  # ValueFromPipeline  # String  # Uri  # work  # Position  # UTF  # properly 

相关文章： 如何在建站之星网店版论坛获取技术支持？  测试制作网站有哪些,测试性取向的权威测试或者网站？  网站制作话术技巧,网站推广做的好怎么话术？  公司门户网站制作公司有哪些,怎样使用wordpress制作一个企业网站？  想学网站制作怎么学,建立一个网站要花费多少？  Python文件管理规范_工程实践说明【指导】  如何高效搭建专业期货交易平台网站？  如何快速生成专业多端适配建站电话？  如何在云主机上快速搭建网站？  如何使用Golang安装API文档生成工具_快速生成接口文档  网站制作公司排行榜,抖音怎样做个人官方网站  网站app免费制作软件,能免费看各大网站视频的手机app？  常州自助建站：操作简便模板丰富，企业个人快速搭建网站  公司网站设计制作厂家,怎么创建自己的一个网站？  湖南网站制作公司,湖南上善若水科技有限公司做什么的？  宝盒自助建站智能生成技巧：SEO优化与关键词设置指南  如何通过服务器快速搭建网站？完整步骤解析  建站上市公司网站建设方案与SEO优化服务定制指南  建站之星下载版如何获取与安装？  如何制作网站标识牌,动态网站如何制作（教程）？  如何配置FTP站点权限与安全设置？  建站主机数据库如何配置才能提升网站性能？  如何通过远程VPS快速搭建个人网站？  Java解压缩zip - 解压缩多个文件或文件夹实例  Dapper的Execute方法的返回值是什么意思 Dapper Execute返回值详解  如何通过VPS建站实现广告与增值服务盈利？  高端云建站费用究竟需要多少预算？  太平洋网站制作公司,网络用语太平洋是什么意思？  高端企业智能建站程序：SEO优化与响应式模板定制开发  如何在Golang中引入测试模块_Golang测试包导入与使用实践  香港服务器网站测试全流程：性能评估、SEO加载与移动适配优化  广平建站公司哪家专业可靠？如何选择？  香港服务器部署网站为何提示未备案？  建站之星24小时客服电话如何获取？  小程序网站制作需要准备什么资料,如何制作小程序？  如何选择适合PHP云建站的开源框架？  网站按钮制作软件,如何实现网页中按钮的自动点击？  如何在阿里云域名上完成建站全流程？  网站制作公司哪里好做,成都网站制作公司哪家做得比较好，更正规？  济南企业网站制作公司,济南社保单位网上缴费步骤？  西安专业网站制作公司有哪些,陕西省建行官方网站？  如何快速搭建FTP站点实现文件共享？  广州网站制作公司哪家好一点,广州欧莱雅百库网络科技有限公司官网？  建站之星后台密码遗忘如何找回？  小型网站建站如何选择虚拟主机？  如何快速搭建支持数据库操作的智能建站平台？  ,sp开头的版面叫什么？  正规网站制作公司有哪些,目前国内哪家网页网站制作设计公司比较专业靠谱？口碑好？  如何选择高性价比服务器搭建个人网站？  公众号网站制作网页,微信公众号怎么制作？