博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
抓取链接里数据并存入本地
阅读量:6681 次
发布时间:2019-06-25

本文共 902 字,大约阅读时间需要 3 分钟。

        WebClient webClient;

        Uri urimx = new Uri("http://..............");

       string path2 = @"D:\Text\";

        webClient = new WebClient();

            webClient.Credentials = CredentialCache.DefaultCredentials;//获取或设置用于对向Internet资源的请求进行身份验证的网络凭据。
            Byte[] pageData = new Byte[] { };
            try
            {
                pageData = webClient.DownloadData(urimx); //从指定网站下载数据
            }
            catch (Exception)
            {
         
            }
            finally
            {
                webClient.Dispose();
            }
            string pageHtml = Encoding.UTF8.GetString(pageData); //如果获取网站页面采用的是UTF-8,则使用这句
            string[] stringSeparators = new string[] { "\r\n" };
            string[] arr = pageHtml.Split(stringSeparators, StringSplitOptions.RemoveEmptyEntries);
            for (int i = 0; i < arr.Length; i++)
            {
                string txtName = arr[i].Split(',')[0] + ".txt";
                StreamWriter writer = null;
                writer = new StreamWriter(path2 + txtName, true, Encoding.Default);
                writer.WriteLine(arr[i]);
                writer.Flush();
                writer.Close();
            }

转载于:https://www.cnblogs.com/xuebingz/archive/2011/10/13/2209810.html

你可能感兴趣的文章
js预解析+作用域+this指向
查看>>
iOS KVO监听readonly属性
查看>>
线性判别分析随记
查看>>
十一课堂|通过小游戏学习Ethereum DApps编程(2)
查看>>
当iPhone不再流行 Android它将如何面对未来?
查看>>
web前端浅谈,htmlcss脱离标准文档流相关
查看>>
Springmvc+mybatis+shiro+Dubbo+ZooKeeper+Redis
查看>>
免费的容器架构可视化工具 | 阿里云应用高可用服务 AHAS 发布重大新特性
查看>>
随着加密货币市场稳定 比特币价格不可避免的会下降
查看>>
跟我学习dubbo-Dubbo管理控制台的安装(3)
查看>>
构建微服务:Spring boot
查看>>
物联网落地三大困境破解
查看>>
设置tomcat 启动参数
查看>>
Canal简介及配置说明
查看>>
mybatis知识点
查看>>
jQuery easyui
查看>>
flex datagrid 数据导出
查看>>
VARCHAR2长度限制
查看>>
rabbitMQ消息队列原理
查看>>
Nagios之安装篇
查看>>