//WebRequest request = WebRequest.Create(uri); HttpWebRequest request = (HttpWebRequest)HttpWebRequest.Create(uri); //request.Timeout = Timeout.Infinite; request.Timeout = 20000; //request.AllowAutoRedirect = true; //request.AllowWriteStreamBuffering = true; //request.Referer = ""; response = request.GetResponse(); 转载自：http://blog.sina.com.cn/s/blog_6fe1bc2e0101emc5.html 【问题】 用C#模拟网页登陆，其中去请求几个页面，会发起对应的http的请求request，其中keepAlive设置为true，提交请求后，然后会有对应的response： resp = (HttpWebResponse)req.GetResponse(); 之前的多次调试，一直都是可以正常获得对应的response，然后读取html页面的。 但是后来几次的调试，在没有改变代码的前提下，结果GetResponse却始终会超时死掉。 【解决过程】 1.默认request的timeout是1000000毫秒=100秒，都会超时，手动改为10秒，因此就更容易超时了，无法解决问题。 2.将http的request的keepAlive设置为false，问题依旧。 3.去参考：c# request.GetResponse();超时问题的解决，和HttpWebRequest多线程性能问题，请求超时的错误， 去把前面共4次的httprequest，每次都增加对应的： resp = null; 。。。 if (resp != null) { resp.Close(); } if (req != null) { req.Abort(); } 结果还是没解决问题。 4. 同样参考：HttpWebRequest多线程性能问题，请求超时的错误， 去尝试关于DefaultConnectionLimit的设置，改为为10： System.Net.ServicePointManager.DefaultConnectionLimit = 10; 问题依旧。 5.又去测试了下，关于response.Close() 也是没解决问题。 6. 最后无意间，索性不抱希望的，再次DefaultConnectionLimit设置为更大的值50： System.Net.ServicePointManager.DefaultConnectionLimit = 50; 试了试，结果就解决超时的问题了。 然后才搞懂原因。 之前默认设置为2，后来改为10，都没有解决问题的原因在于，当前有很多个http的连接，没有被关闭掉， 而这些keepalive的连接，都是 由于代码中，对于前面多个request。其都是keepalive为true，以及多个response也没有close， 而之前调试了很多次了，所以，此时已经存在了很多个alive的http连接了，已经超过了10个了，所以前面设置了DefaultConnectionLimit 为10，也还是没用的。 而改为50，才够用。 【总结】 此处GetResponse超过的原因是，当前存在太多数目的alive的http连接（大于10个），所以再次提交同样的http的request，再去GetResponse，就会超时死掉。 解决办法就是，把DefaultConnectionLimit 设置为一个比较大一点的数值，此数值保证大于你当前已经存在的alive的http连接数即可。 【经验总结】 […]
View Details如果 XPath 表达式包含前缀，则必须将前缀和命名空间 URI 对添加到 XmlNamespaceManager 中。 XmlNamespaceManager nsmgr = new XmlNamespaceManager(doc.NameTable); 例子： xml文件内容: <?xml version="1.0"?> <roots weight="3" xmlns:sml="www.sdkd.net.cn"> <sml:root leaf="a">1111</sml:root> <sml:root leaf="b">2222</sml:root> <sml:root leaf="c">3333</sml:root> <sml:root leaf="de">3333</sml:root> <sml:root leaf="d">4444</sml:root> <sml:root leaf="e">5555</sml:root> <sml:root leaf="f">6666</sml:root> <sml:root leaf="g">7777</sml:root> <sml:root leaf="h">8888</sml:root> <sml:root leaf="i">9999</sml:root> <sml:root leaf="j">0000</sml:root> </roots> 程序： XmlDocument doc = new XmlDocument(); doc.Load("a.xml"); XmlNode root = doc.DocumentElement; XmlNamespaceManager nsp = new XmlNamespaceManager(doc.NameTable); nsp.AddNamespace("sml", "www.sdkd.net.cn"); XmlNodeList a = root.SelectNodes("child::sml:root[starts-with(@leaf,’d')]",nsp); Console.WriteLine("Find " + a.Count.ToString()); foreach (XmlNode e in a) { Console.WriteLine(e.InnerText); } 以上程序中使用到了sml前缀，因此需要添加命名空间管理 XmlNamespaceManager 类包含命名空间 URI 及其前缀的集合。它允许解析、添加和移除集合中的命名空间。某些上下文需要此类以提高 XML 处理性能。例如，XsltContext 类使用 XmlNamespaceManager 以支持 XPath。 http://blog.163.com/lzh_19999/blog/static/14127362008821188317/
View Details这个需求来自于我最近练手的一个项目，在项目中我需要将一些自己发表的和收藏整理的网文集中到一个地方存放，如果全部采用手工操作工作量大而且繁琐，因此周公决定利用C#来实现。在很多地方都需要验证用户身份才可以进行下一步操作，这就免不了POST请求来登录，在实际过程中发现有些网站登录是HTTPS形式的，在解决过程中遇到了一些小问题，现在跟大家分享。 通用辅助类 下面是我编写的一个辅助类，在这个类中采用了HttpWebRequest中发送GET/HTTP/HTTPS请求，因为有的时候需要获取认证信息（如Cookie），所以返回的是HttpWebResponse对象，有了返回的HttpWebResponse实例，可以获取登录过程中返回的会话信息，也可以获取响应流。 代码如下：
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 |
using System; using System.Collections.Generic; using System.Linq; using System.Text; using System.Net.Security; using System.Security.Cryptography.X509Certificates; using System.DirectoryServices.Protocols; using System.ServiceModel.Security; using System.Net; using System.IO; using System.IO.Compression; using System.Text.RegularExpressions; namespace BaiduCang { /// <summary> /// 有关HTTP请求的辅助类 /// </summary> public class HttpWebResponseUtility { private static readonly string DefaultUserAgent = "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.2; SV1; .NET CLR 1.1.4322; .NET CLR 2.0.50727)"; /// <summary> /// 创建GET方式的HTTP请求 /// </summary> /// <param name="url">请求的URL</param> /// <param name="timeout">请求的超时时间</param> /// <param name="userAgent">请求的客户端浏览器信息，可以为空</param> /// <param name="cookies">随同HTTP请求发送的Cookie信息，如果不需要身份验证可以为空</param> /// <returns></returns> public static HttpWebResponse CreateGetHttpResponse(string url,int? timeout, string userAgent,CookieCollection cookies) { if (string.IsNullOrEmpty(url)) { throw new ArgumentNullException("url"); } HttpWebRequest request = WebRequest.Create(url) as HttpWebRequest; request.Method = "GET"; request.UserAgent = DefaultUserAgent; if (!string.IsNullOrEmpty(userAgent)) { request.UserAgent = userAgent; } if (timeout.HasValue) { request.Timeout = timeout.Value; } if (cookies != null) { request.CookieContainer = new CookieContainer(); request.CookieContainer.Add(cookies); } return request.GetResponse() as HttpWebResponse; } /// <summary> /// 创建POST方式的HTTP请求 /// </summary> /// <param name="url">请求的URL</param> /// <param name="parameters">随同请求POST的参数名称及参数值字典</param> /// <param name="timeout">请求的超时时间</param> /// <param name="userAgent">请求的客户端浏览器信息，可以为空</param> /// <param name="requestEncoding">发送HTTP请求时所用的编码</param> /// <param name="cookies">随同HTTP请求发送的Cookie信息，如果不需要身份验证可以为空</param> /// <returns></returns> public static HttpWebResponse CreatePostHttpResponse(string url,IDictionary<string,string> parameters,int? timeout, string userAgent,Encoding requestEncoding,CookieCollection cookies) { if (string.IsNullOrEmpty(url)) { throw new ArgumentNullException("url"); } if(requestEncoding==null) { throw new ArgumentNullException("requestEncoding"); } HttpWebRequest request=null; //如果是发送HTTPS请求 if(url.StartsWith("https",StringComparison.OrdinalIgnoreCase)) { ServicePointManager.ServerCertificateValidationCallback = new RemoteCertificateValidationCallback(CheckValidationResult); request = WebRequest.Create(url) as HttpWebRequest; request.ProtocolVersion=HttpVersion.Version10; } else { request = WebRequest.Create(url) as HttpWebRequest; } request.Method = "POST"; request.ContentType = "application/x-www-form-urlencoded"; if (!string.IsNullOrEmpty(userAgent)) { request.UserAgent = userAgent; } else { request.UserAgent = DefaultUserAgent; } if (timeout.HasValue) { request.Timeout = timeout.Value; } if (cookies != null) { request.CookieContainer = new CookieContainer(); request.CookieContainer.Add(cookies); } //如果需要POST数据 if(!(parameters==null||parameters.Count==0)) { StringBuilder buffer = new StringBuilder(); int i = 0; foreach (string key in parameters.Keys) { if (i > 0) { buffer.AppendFormat("&{0}={1}", key, parameters[key]); } else { buffer.AppendFormat("{0}={1}", key, parameters[key]); } i++; } byte[] data = requestEncoding.GetBytes(buffer.ToString()); using (Stream stream = request.GetRequestStream()) { stream.Write(data, 0, data.Length); } } return request.GetResponse() as HttpWebResponse; } private static bool CheckValidationResult(object sender, X509Certificate certificate, X509Chain chain, SslPolicyErrors errors) { return true; //总是接受 } } } |
从上面的代码中可以看出POST数据到HTTP和HTTPS站点不同，POST数据到HTTPS站点的时候需要设置ServicePointManager类的ServerCertificateValidationCallback属性，并且在POST到https://passport.baidu.com/?login时还需要将HttpWebResquest实例的ProtocolVersion属性设置为HttpVersion.Version10（这个未验证是否所有的HTTPS站点都需要设置），否则在调用GetResponse()方法时会抛出“基础连接已经关闭: 连接被意外关闭。”的异常。 用法举例 这个类用起来也很简单： （1）POST数据到HTTPS站点，用它来登录百度：
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 |
string loginUrl = "https://passport.baidu.com/?login"; string userName = "userName"; string password = "password"; string tagUrl = "http://cang.baidu.com/"+userName+"/tags"; Encoding encoding = Encoding.GetEncoding("gb2312"); IDictionary<string, string> parameters = new Dictionary<string, string>(); parameters.Add("tpl", "fa"); parameters.Add("tpl_reg", "fa"); parameters.Add("u", tagUrl); parameters.Add("psp_tt", "0"); parameters.Add("username", userName); parameters.Add("password", password); parameters.Add("mem_pass", "1"); HttpWebResponse response = HttpWebResponseUtility.CreatePostHttpResponse(loginUrl, parameters, null, null, encoding, null); string cookieString = response.Headers["Set-Cookie"]; |
（2）发送GET请求到HTTP站点 在cookieString中包含了服务器端返回的会话信息数据，从中提取了之后可以设置Cookie下次登录时带上这个Cookie就可以以认证用户的信息，假设我们已经登录成功并且获取了Cookie，那么发送GET请求的代码如下：
|
1 2 3 4 |
string userName = "userName"; string tagUrl = "http://cang.baidu.com/"+userName+"/tags"; CookieCollection cookies = new CookieCollection();//如何从response.Headers["Set-Cookie"];中获取并设置CookieCollection的代码略 response = HttpWebResponseUtility.CreateGetHttpResponse(tagUrl, null, null, cookies); |
(3)发送POST请求到HTTP站点 以登录51CTO为例：
|
1 2 3 4 5 6 7 8 9 |
string loginUrl = "http://home.51cto.com/index.php?s=/Index/doLogin"; string userName = "userName"; string password = "password"; IDictionary<string, string> parameters = new Dictionary<string, string>(); parameters.Add("email", userName); parameters.Add("passwd", password); HttpWebResponse response = HttpWebResponseUtility.CreatePostHttpResponse(loginUrl, parameters, null, null, Encoding.UTF8, null); |
在这里说句题外话，CSDN的登录处理是由http://passport.csdn.net/ajax/accounthandler.ashx这个Handler来处理的。 总结 在本文只是讲解了在C#中发送请求到HTTP和HTTPS的用法，分GET/POST两种方式，为减少一些繁琐和机械的编码，周公将其封装为一个类，发送数据之后返回HttpWebResponse对象实例，利用这个实例我们可以获取服务器端返回的Cookie以便用认证用户的身份继续发送请求，或者读取服务器端响应的内容，不过在读取响应内容时要注意响应格式和编码，本来在这个类中还有读取HTML和WML内容的方法（包括服务器使用压缩方式传输的数据），但限于篇幅和其它方面的原因，此处省略掉了。如有机会，在以后的文章中会继续讲述这方面的内容。 from:http://www.cnblogs.com/youfeng365/p/6138944.html
View Detailsvar dateTimeStart = new DateTime(1970, 1, 1, 8, 0, 0); var milliseconds = DateTime.Now.Subtract(dateTimeStart).TotalMilliseconds;
View Details1、错误号401.1 症状：HTTP 错误 401.1 – 未经授权：访问由于凭据无效被拒绝。 分析： 由于用户匿名访问使用的账号(默认是IUSR_机器名)被禁用，或者没有权限访问计算机，将造成用户无法访问。 解决方案： （1）查看IIS管理器中站点安全设置的匿名帐户是否被禁用，如果是，请尝试用以下办法启用： 控制面板->管理工具->计算机管理->本地用户和组，将IUSR_机器名账号启用。如果还没有解决，请继续下一步。 （2）查看本地安全策略中，IIS管理器中站点的默认匿名访问帐号或者其所属的组是否有通过网络访问服务器的权限，如果没有尝试用以下步骤赋予权限： 开始->程序->管理工具->本地安全策略->安全策略->本地策略->用户权限分配，双击“从网络访问此计算机”，添加IIS默认用户或者其所属的组。 注意：一般自定义 IIS默认匿名访问帐号都属于组，为了安全，没有特殊需要，请遵循此规则。 2、错误号401.2 症状：HTTP 错误 401.2 – 未经授权：访问由于服务器配置被拒绝。 原因：关闭了匿名身份验证 解决方案： 运行inetmgr，打开站点属性->目录安全性->身份验证和访问控制->选中“启用匿名访问”，输入用户名，或者点击“浏览”选择合法的用户，并两次输入密码后确定。 3、错误号：401.3 症状：HTTP 错误 401.3 – 未经授权：访问由于 ACL 对所请求资源的设置被拒绝。 原因：IIS匿名用户一般属于Guests组，而我们一般把存放网站的硬盘的权限只分配给administrators组，这时候按照继承原则，网站文件夹也只有administrators组的成员才能访问，导致IIS匿名用户访问该文件的NTFS权限不足，从而导致页面无法访问。 解决方案： 给IIS匿名用户访问网站文件夹的权限，方法：进入该文件夹的安全选项，添加IIS匿名用户，并赋予相应权限，一般是读、写。 4、C#开发程序出现问题 在System.Net中提供了一个NetworkCredential，通过它我们可以在网络中提供一个凭证，只有获得该凭证的用户才能访问相应的服务的权限。在这里我们也使用NetworkCredential。
|
1 2 3 4 5 6 |
HttpWebRequest req = (HttpWebRequest)WebRequest<span class="hljs-preprocessor">.Create</span>(url)<span class="hljs-comment">;</span> NetworkCredential d = new NetworkCredential(<span class="hljs-string">"USERNAME"</span>, <span class="hljs-string">"PASSWORD"</span>)<span class="hljs-comment">;//添加此代码</span> req<span class="hljs-preprocessor">.Credentials</span> = d<span class="hljs-comment">;</span> HttpWebResponse resp = (HttpWebResponse)req<span class="hljs-preprocessor">.GetResponse</span>()<span class="hljs-comment">;</span> |
在webconfig配置web代理，使用httpweb请求的时候不需要设置proxy属性。
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 |
<span class="hljs-tag"><<span class="hljs-title">system.net</span>></span> <span class="hljs-comment"><!--使用Web代理的设置--></span> <span class="hljs-comment"><!--usesystemdefault指定是否使用 Internet Explorer 代理设置。 如果设置为 true，则后面的特性将重写 Internet Explorer 代理设置。 默认值为 unspecified。--></span> <span class="hljs-tag"><<span class="hljs-title">defaultProxy</span>></span> <span class="hljs-tag"><<span class="hljs-title">proxy </span> <span class="hljs-attribute">usesystemdefault</span>=<span class="hljs-value">"True"</span> <span class="hljs-attribute">proxyaddress</span>=<span class="hljs-value">"http://172.27.1.191:80"</span> <span class="hljs-attribute">bypassonlocal</span>=<span class="hljs-value">"True"</span> /></span> <span class="hljs-tag"><<span class="hljs-title">bypasslist</span>></span> <span class="hljs-tag"><<span class="hljs-title">add</span> <span class="hljs-attribute">address</span>=<span class="hljs-value">"172\.27\.\d{1,3}\.\d{1,3}"</span> /></span> <span class="hljs-tag"></<span class="hljs-title">bypasslist</span>></span> <span class="hljs-tag"></<span class="hljs-title">defaultProxy</span>></span> <span class="hljs-tag"></<span class="hljs-title">system.net</span>> </span> |
http://blog.csdn.net/mang_liu/article/details/7708864
View Details这几天写个小功能，在多线程里用到EF，程序第一次启动总是记录到几个错误。 如果在多线程外访问一次数据库就没有问题，真是让人无奈啊~ 另外还发现log4net的实例化必须写在其他实例的前面，否则在控制台程序下不显示日志~~
View DetailsEntity Framework(EF)的开发模式有多少种呢?有的说是三种，有的说是四种，到底哪个对呢? 先看下图: 再看这张: 那么明显开发模式是三种。 即:DateBase First(数据库优先)、Model First(模型优先)和Code First(代码优先)。 当然，如果把Code First模式的两种具体方式独立出来，那就是四种了。 Code First(New DataBase) :在代码中定义类和映射关系并通过model生成数据库，使用迁移技术更新数据库。 Code First(Existing DataBase):在代码中定义类和映射关系，给逆向工程提供工具。 Model First:在设计器中创建Model，并用Model生成数据库。所有的类由Model自动生成。 DateBase First:在设计器中逆向生成Model，并有Model自动生成所有的类。 from:http://www.cnblogs.com/jihua/archive/2013/05/23/efmoshi.html
View Details伪造IP与伪造referer 在http协议中伪造ip的可能性研究 些日子对自定义http协议的各个数据进行了研究，对于ip伪造的问题，我当时给的建议是使用代理服务器，不过后来发现，其实可以在http协议加入一个选项，来实现一个非伪造ip的伪造ip 。如何理解呢?理由如下:~ 一、方法概述 在http协议数据头里面加入选项“x-forward-for”,例如:“x-forward-for:202.204.76.254”,这样发送出去 的包，就是一个特殊的包，在收包方看来，这个包的意思是，一个代理服务器发过来的数据包，而这个包的真是ip是“202.204.76.254”，其实还 是实现的是三次握手，但是只不过是在发包的同时，对收包方提到了一个第三者。 二、试用范围 因为现在的网站类的程序如果有IP限制的话，基本上都是会检测是不是代理服务器发送的数据的，如果是代理服务器发送的数据，那么他就把IP记为这个(透明)代理服务器发送的x-forward-for的IP。 以一段较为流行的php检测ip的代码为例: 那么大家可以看到这个IP是如何伪造的了。 三、应对方法 当然对于网站方面，这种伪造ip的情况虽然不是很多，但是如果在投票类的程序中，当然很需要这方面的检测了，呵呵。多多检测HTTP_CLIENT_IP吧。貌似这个还没有办法伪造? .. 四、总体看法 这个办法之所以称之为非伪造ip的伪造ip，主要就是利用了现在大多数网站程序检测ip的一个漏洞。所以如果网站程序能够重新审视一下自己的ip检测办法，这个方法就会慢慢失效的。呵呵。 – 伪造 referer 首先说明，伪造访问来路不是什么光明正大的事情，目的就是为了欺骗服务器。原本以为给 XMLHTTP 对象增加一个 Referer 的header 就可以，结果却没有任何作用，改用 ServerXMLHTTP 也如此。 无意间发现公司内部项目使用的 paypal 扣款程序里面有 WinHttp.WinHttpRequest.5.1 对象，它负责把客户的信用卡信息提交到 paypal 的服务器，看来是一个核心的远程访问方法，google一下发现它居然用可以成功伪造所有 http 请求的 header 信息!下面的代码通过伪造 referer 的值，假装从百度首页提交一个表单到指定的 url 去: var url = http://www.yourtarget.com ; var param = name=david&age=30 ; var obj = new ActiveXObject( WinHttp.WinHttpRequest.5.1 ); obj.Open( POST , url, false); obj.Option(4) = 13056; obj.Option(6) = false; //false可以不自动跳转，截取服务端返回的302状态。 obj.setRequestHeader( Content-Type , application/x-www-form-urlencoded ); obj.setRequestHeader( Referer , http://www.baidu.com ); obj.Send(param); WScript.Echo(obj.responseText); 保存为 xxx.js 文件，在命令行中运行 cscript.exe […]
View DetailsToday marks the 15th anniversary since .NET debuted to the world. On February 13th, 2002, the first version of .NET was released as part of Visual Studio.NET. It seems just like yesterday when Microsoft was building its “Next Generation Windows Services” and unleashed a new level of productivity with Visual Studio.NET. Since the beginning, the .NET platform has allowed developers to quickly build and deploy robust applications, starting with Windows desktop and web server applications in 2002. You got an entire managed framework for building distributed Windows applications, […]
View Details解决方案：visual studio 2010 选定web项目，右键选择“属性”—“生成”，将“生成序列化程序集”设成“关闭”。 若你使用的是Visual Studio 2012，还需要在“标准”工具栏将“解决方案配置”设置为 Release 模式（Visual Studio 2012 默认使用 Release 模式发布 Web 应用），然后再进行上述操作即可。 from:http://www.cnblogs.com/songling/p/3623612.html
View Details