asp.net实现网页采集

   2023-02-09 学习力0
核心提示:将以上代码新建成一个类 caiji.cs using System;using System.Data;using System.Configuration;using System.Web;using System.Web.Security;using System.Web.UI;using System.Web.UI.WebControls;using System.Web.UI.WebControls.WebParts;using System.

将以上代码新建成一个类 caiji.cs

 

using System;
using System.Data;
using System.Configuration;
using System.Web;
using System.Web.Security;
using System.Web.UI;
using System.Web.UI.WebControls;
using System.Web.UI.WebControls.WebParts;
using System.Web.UI.HtmlControls;
using MSXML2;
using System.Text.RegularExpressions;
namespace EC
{
    /// 
    /// 远程文件抓取类 
    /// 
    public class GetRemoteObj
    {

        #region 构造与析构函数
        public GetRemoteObj()
        {
            // 
            // TODO: 在此处添加构造函数逻辑 
            // 
        }
        ~GetRemoteObj()
        {
            Dispose();
        }
        #endregion

        #region IDisposable 成员

        public void Dispose()
        {
            GC.SuppressFinalize(this);
        }

        #endregion

        #region 日期随机函数
        /********************************** 
         * 函数名称:DateRndName 
         * 功能说明:日期随机函数 
         * 参    数:ra:随机数 
         * 调用示例: 
         *          GetRemoteObj o = new GetRemoteObj(); 
         *          Random ra = new Random(); 
         *          string s = o.DateRndName(ra); 
         *          Response.Write(s); 
         *          o.Dispose(); 
         * ********************************/
        /// 
        /// 日期随机函数 
        /// 
        /// 随机数 
        /// 
        public string DateRndName(Random ra)
        {
            DateTime d = DateTime.Now;
            string s = null, y, m, dd, h, mm, ss;
            y = d.Year.ToString();
            m = d.Month.ToString();
            if (m.Length < 2) m = "0" + m;
            dd = d.Day.ToString();
            if (dd.Length < 2) dd = "0" + dd;
            h = d.Hour.ToString();
            if (h.Length < 2) h = "0" + h;
            mm = d.Minute.ToString();
            if (mm.Length < 2) mm = "0" + mm;
            ss = d.Second.ToString();
            if (ss.Length < 2) ss = "0" + ss;
            s += y + m + dd + h + mm + ss;
            s += ra.Next(100, 999).ToString();
            return s;
        }
        #endregion

        #region 取得文件后缀
        /********************************** 
         * 函数名称:GetFileExtends 
         * 功能说明:取得文件后缀 
         * 参    数:filename:文件名称 
         * 调用示例: 
         *          GetRemoteObj o = new GetRemoteObj(); 
         *          string url = @"https://file.lexue001.com/www/202302/09/ezw2aoj51gs.gif"; 
         *          string s = o.GetFileExtends(url); 
         *          Response.Write(s); 
         *          o.Dispose(); 
         * ********************************/
        /// 
        /// 取得文件后缀 
        /// 
        /// 文件名称 
        /// 
        public string GetFileExtends(string filename)
        {
            string ext = null;
            if (filename.IndexOf('.') > 0)
            {
                string[] fs = filename.Split('.');
                ext = fs[fs.Length - 1];
            }
            return ext;
        }
        #endregion

        #region 获取远程文件源代码
        /********************************** 
         * 函数名称:GetRemoteHtmlCode 
         * 功能说明:获取远程文件源代码 
         * 参    数:Url:远程url 
         * 调用示例: 
         *          GetRemoteObj o = new GetRemoteObj(); 
         *          string url = @"http://www.baidu.com"; 
         *          string s = o.GetRemoteHtmlCode(url); 
         *          Response.Write(s); 
         *          o.Dispose(); 
         * ********************************/
        /// 
        /// 获取远程文件源代码 
        /// 
        /// 远程url 
        /// 
        public string GetRemoteHtmlCode(string Url)
        {
            string s = "";
            MSXML2.XMLHTTP _xmlhttp = new MSXML2.XMLHTTPClass();
            _xmlhttp.open("GET", Url, false, null, null);
            _xmlhttp.send("");
            if (_xmlhttp.readyState == 4)
            {
                s = System.Text.Encoding.Default.GetString((byte[])_xmlhttp.responseBody);
            }
            return s;
        }

        #endregion

        #region 保存远程文件
        /********************************** 
         * 函数名称:RemoteSave 
         * 功能说明:保存远程文件 
         * 参    数:Url:远程url;Path:保存到的路径 
         * 调用示例: 
         *          GetRemoteObj o = new GetRemoteObj(); 
         *          string s = ""; 
         *          string url = @"https://file.lexue001.com/www/202302/09/ezw2aoj51gs.gif"; 
         *          string path =Server.MapPath("Html/"); 
         *          s = o.RemoteSave(url,path); 
         *          Response.Write(s); 
         *          o.Dispose();          
         * ******************************/
        /// 
        /// 保存远程文件 
        /// 
        /// 远程url 
        /// 保存到的路径 
        /// 
        public string RemoteSave(string Url, string Path)
        {
            Random ra = new Random();
            string StringFileName = DateRndName(ra) + "." + GetFileExtends(Url);
            string StringFilePath = Path + StringFileName;
            MSXML2.XMLHTTP _xmlhttp = new MSXML2.XMLHTTPClass();
            _xmlhttp.open("GET", Url, false, null, null);
            _xmlhttp.send("");
            if (_xmlhttp.readyState == 4)
            {
                if (System.IO.File.Exists(StringFilePath))
                    System.IO.File.Delete(StringFilePath);
                System.IO.FileStream fs = new System.IO.FileStream(StringFilePath, System.IO.FileMode.CreateNew);
                System.IO.BinaryWriter w = new System.IO.BinaryWriter(fs);
                w.Write((byte[])_xmlhttp.responseBody);
                w.Close();
                fs.Close();
            }
            else
                throw new Exception(_xmlhttp.statusText);
            return StringFileName;
        }
        #endregion
        #region 替换网页中的换行和引号
        /********************************** 
         * 函数名称:ReplaceEnter 
         * 功能说明:替换网页中的换行和引号 
         * 参    数:HtmlCode:html源代码 
         * 调用示例: 
         *          GetRemoteObj o = new GetRemoteObj(); 
         *          string Url = @"http://www.baidu.com"; 
         *          string HtmlCode = o.GetRemoteHtmlCode(Url); 
         *          string s = o.ReplaceEnter(HtmlCode); 
         *          Response.Write(s); 
         *          o.Dispose(); 
         * ********************************/
        /// 
        /// 替换网页中的换行和引号 
        /// 
        /// HTML源代码 
        /// 
        public string ReplaceEnter(string HtmlCode)
        {
            string s = "";
            if (HtmlCode == null || HtmlCode == "")
                s = "";
            else
                s = HtmlCode.Replace("\"", "");
            s = s.Replace("\r\n", "");
            return s;
        }

        #endregion

        #region 执行正则提取出值
        /********************************** 
         * 函数名称:GetRegValue 
         * 功能说明:执行正则提取出值 
         * 参    数:HtmlCode:html源代码 
         * 调用示例: 
         *          GetRemoteObj o = new GetRemoteObj(); 
         *          string Url = @"http://www.baidu.com"; 
         *          string HtmlCode = o.GetRemoteHtmlCode(Url); 
         *          string s = o.ReplaceEnter(HtmlCode); 
         *          string Reg=""; 
         *          string GetValue=o.GetRegValue(Reg,HtmlCode) 
         *          Response.Write(GetValue); 
         *          o.Dispose(); 
         * ********************************/
        /// 
        /// 执行正则提取出值 
        /// 
        /// 正则表达式 
        /// HtmlCode源代码 
        /// 
        public string GetRegValue(string RegexString, string RemoteStr)
        {
            string MatchVale = "";
            Regex r = new Regex(RegexString);
            Match m = r.Match(RemoteStr);
            if (m.Success)
            {
                MatchVale = m.Value;
            }
            return MatchVale;
        }
        #endregion

        #region 替换HTML源代码
        /********************************** 
         * 函数名称:RemoveHTML 
         * 功能说明:替换HTML源代码 
         * 参    数:HtmlCode:html源代码 
         * 调用示例: 
         *          GetRemoteObj o = new GetRemoteObj(); 
         *          string Url = @"http://www.baidu.com"; 
         *          string HtmlCode = o.GetRemoteHtmlCode(Url); 
         *          string s = o.ReplaceEnter(HtmlCode); 
         *          string Reg=""; 
         *          string GetValue=o.GetRegValue(Reg,HtmlCode) 
         *          Response.Write(GetValue); 
         *          o.Dispose(); 
         * ********************************/
        /// 
        /// 替换HTML源代码 
        /// 
        /// html源代码 
        /// 
        public string RemoveHTML(string HtmlCode)
        {
            string MatchVale = HtmlCode;
            foreach (Match s in Regex.Matches(HtmlCode, "<.+?>"))
            {
                MatchVale = MatchVale.Replace(s.Value, "");
            }
            return MatchVale;
        }

        #endregion

        #region 匹配页面的链接
        /********************************** 
         * 函数名称:GetHref 
         * 功能说明:匹配页面的链接 
         * 参    数:HtmlCode:html源代码 
         * 调用示例: 
         *          GetRemoteObj o = new GetRemoteObj(); 
         *          string Url = @"http://www.baidu.com"; 
         *          string HtmlCode = o.GetRemoteHtmlCode(Url); 
         *          string s = o.GetHref(HtmlCode); 
         *          Response.Write(s); 
         *          o.Dispose(); 
         * ********************************/
        /// 
        /// 获取页面的链接正则 
        /// 
        /// 
        /// 
        public string GetHref(string HtmlCode)
        {
            string MatchVale = "";
            string Reg = @"(h|H)(r|R)(e|E)(f|F) *= *('|"")?((\w|\\|\/|\.|:|-|_)+)('|""| *|>)?";
            foreach (Match m in Regex.Matches(HtmlCode, Reg))
            {
                MatchVale += (m.Value).ToLower().Replace("href=", "").Trim() + "||";
            }
            return MatchVale;
        }
        #endregion

        #region 匹配页面的图片地址
        /********************************** 
         * 函数名称:GetImgSrc 
         * 功能说明:匹配页面的图片地址 
         * 参    数:HtmlCode:html源代码;imgHttp:要补充的http.当比如:则要补充http://www.baidu.com/,当包含http信息时,则可以为空 
         * 调用示例: 
         *          GetRemoteObj o = new GetRemoteObj(); 
         *          string Url = @"http://www.baidu.com"; 
         *          string HtmlCode = o.GetRemoteHtmlCode(Url); 
         *          string s = o.GetImgSrc(HtmlCode,"http://www.baidu.com/"); 
         *          Response.Write(s); 
         *          o.Dispose(); 
         * ********************************/
        /// 
        /// 匹配页面的图片地址 
        /// 
        /// 
        /// 要补充的http://路径信息 
        /// 
        public string GetImgSrc(string HtmlCode, string imgHttp)
        {
            string MatchVale = "";
            string Reg = @"";
            foreach (Match m in Regex.Matches(HtmlCode, Reg))
            {
                MatchVale += GetImg((m.Value).ToLower().Trim(), imgHttp) + "||";
            }
            return MatchVale;
        }
        /// 
        /// 匹配中的图片路径实际链接 
        /// 
        /// 字符串 
        /// 
        public string GetImg(string ImgString, string imgHttp)
        {
            string MatchVale = "";
            string Reg = @"src=.+\.(bmp|jpg|gif|png|)";
            foreach (Match m in Regex.Matches(ImgString.ToLower(), Reg))
            {
                MatchVale += (m.Value).ToLower().Trim().Replace("src=", "");
            }
            return (imgHttp + MatchVale);
        }

        #endregion

        #region 替换通过正则获取字符串所带的正则首尾匹配字符串
        /********************************** 
         * 函数名称:GetHref 
         * 功能说明:匹配页面的链接 
         * 参    数:HtmlCode:html源代码 
         * 调用示例: 
         *          GetRemoteObj o = new GetRemoteObj(); 
         *          string Url = @"http://www.baidu.com"; 
         *          string HtmlCode = o.GetRemoteHtmlCode(Url); 
         *          string s = o.RegReplace(HtmlCode,""); 
         *          Response.Write(s); 
         *          o.Dispose(); 
         * ********************************/
        /// 
        /// 替换通过正则获取字符串所带的正则首尾匹配字符串 
        /// 
        /// 要替换的值 
        /// 正则匹配的首字符串 
        /// 正则匹配的尾字符串 
        /// 
        public string RegReplace(string RegValue, string regStart, string regEnd)
        {
            string s = RegValue;
            if (RegValue != "" && RegValue != null)
            {
                if (regStart != "" && regStart != null)
                {
                    s = s.Replace(regStart, "");
                }
                if (regEnd != "" && regEnd != null)
                {
                    s = s.Replace(regEnd, "");
                }
            }
            return s;
        }
        #endregion


    }
}

 

//记着要在网站中引用 Interop.MSXML2.dll 这个库

如何获得这个库有两种方法 1

c:\windows\system32\msxml2.dll 找到这个文件,然后随便建个网站工程,将msxml2.dll引用进去,运行程序,就会在bin文件夹下找到  Interop.MSXML2.dll

方法 2 来本博客下载

下载

 

完成了以上这些之后,就可在全站引用这个类了,但一定要注意在所引用的页面添加  using EC 这个命名空间


 

 
反对 0举报 0 评论 0
 

免责声明:本文仅代表作者个人观点,与乐学笔记(本网)无关。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。
    本网站有部分内容均转载自其它媒体,转载目的在于传递更多信息,并不代表本网赞同其观点和对其真实性负责,若因作品内容、知识产权、版权和其他问题,请及时提供相关证明等材料并与我们留言联系,本网站将在规定时间内给予删除等相关处理.

  • 使用WebClient自动填写并提交ASP.NET页面表单的源代码
    使用WebClient自动填写并提交ASP.NET页面表单的
    转自:http://www.cnblogs.com/anjou/archive/2007/03/07/667253.html 在.NET中通过程序填写和提交表单还是比较简单。比如,要提交一个如下图所示的登录表单:           填写和提交以上表单的代码如下:       // 要提交表单的URI字符串
    02-09
  • asp.net mvc多条件+分页查询解决方案
    


            
asp.net mvc多条件+分页查询解决方案
    asp.net mvc多条件+分页查询解决方案
    http://www.cnblogs.com/nickppa/p/3232535.html开发环境vs2010css:bootstrapjs:jquery    bootstrap paginator原先只是想做个mvc的分页,但是一般的数据展现都需要检索条件,而且是多个条件,所以就变成了MVC多条件+分页查询因为美工不是很好,所以用的是
    02-09
  • ASP.NET操作Cookies的问题(Bug or Not)
    以下存和取都是在不同的页面中,如果是在同一个页面也没必要用cookies了。 Test1: 给Cookies赋值: const string AAA="aaa"; Response.Cookies[AAA].Value = "111;222;333"; 取值: string value = Request.Cookies[AAA].Value; // value为111 Test2: 给Cooki
    02-09
  • Asp.Net Core 自定义验证属性
      很多时候,在模型上的验证需要自己定义一些特定于我们需求的验证属性。所以这一篇我们就来介绍一下怎么自定义验证属性。  我们来实现一个验证邮箱域名的自定义验证属性,当然,最重要的是需要定义一个继承自ValidationAttribute的类,然后在实现其IsVal
    02-09
  • Asp.Net 之 枚举类型的下拉列表绑定
    有这样一个学科枚举类型:/// 学科 /// /summary public enum Subject {None = 0,[Description("语文")]Chinese = 1,[Description("数学")]Mathematics = 2,[Description("英语")]English = 3,[Description("政治")]Politics = 4,[Description("物理&qu
    02-09
  • [ASP.NET笔记] 1.Web基础知识
         1:http协议:     2:web服务器:     3:静态网页的概念     4:动态网页的概念       http协议:http(hypertext transfer protocol) 即超文本传输协议,这个协议是在internet上进行信息传送的协议任何网页之间要相互沟通,必须要尊循
    02-09
  • ASP.NET邮件发送 .net 发送邮件
      今天做了个ASP.NET做发送邮件功能,发现QQ邮箱好奇怪,当你用QQ邮箱做服务器的时候什么邮件都发送不出去(QQ邮箱除外)。而且爆出这样的错误:"邮箱不可用。 服务器响应为: Error: content rejected.http://mail.qq.com/zh_CN/help/content/rejectedmail.ht
    02-09
  • 由ASP.NET Core根据路径下载文件异常引发的探究
    前言    最近在开发新的项目,使用的是ASP.NET Core6.0版本的框架。由于项目中存在文件下载功能,没有使用类似MinIO或OSS之类的分布式文件系统,而是下载本地文件,也就是根据本地文件路径进行下载。这其中遇到了一个问题,是关于如何提供文件路径的,通
    02-09
  • ASP.NET的运行原理与运行机制 ASP.NET的开发模式包括
    ASP.NET的运行原理与运行机制 ASP.NET的开发模
    在Asp.net4和4.5中,新增了WebPages Framework,编写页面代码使用了新的Razor语法,代码更加的简洁和符合Web标准,编写方式更接近于PHP和以前的Asp,和使用WebForms这种模仿Windows Form编程方式有了很大不同,不再有大量控件和控件生成的大量不够灵活的代码
    02-09
  • ASP.NET 后台接收前台POST过来的json数据方法
     ASP.NET前后台交互之JSON数据 https://www.cnblogs.com/ensleep/p/3319756.html
    02-09
点击排行