03 | May | 2012 | LongSheng

MongoDB学习笔记(一) MongoDB介绍及安装

一、前言　　最近开始学习非关系型数据库MongoDB，却在博客园上找不到比较系统的教程，很多资料都要去查阅英文网站，效率比较低下。本人不才，借着自学的机会把心得体会都记录下来，方便感兴趣的童鞋分享讨论。部分资源出自其他博客，旨将零散知识点集中到一起，如果有侵犯您的权利，请联系li-pan2@163.com。大部分内容均系原创，欢迎大家转载分享，但转载的同时别忘了注明作者和原文链接哦。二、MongoDB简介　　MongoDB是一个高性能，开源，无模式的文档型数据库，是当前NoSql数据库中比较热门的一种。它在许多场景下可用于替代传统的关系型数据库或键/值存储方式。Mongo使用C++开发。Mongo的官方网站地址是：http://www.mongodb.org/，读者可以在此获得更详细的信息。小插曲：什么是NoSql？　　NoSql，全称是 Not Only Sql,指的是非关系型的数据库。下一代数据库主要解决几个要点：非关系型的、分布式的、开源的、水平可扩展的。原始的目的是为了大规模web应用，这场运动开始于2009年初，通常特性应用如：模式自由、支持简易复制、简单的API、最终的一致性（非ACID）、大容量数据等。NoSQL被我们用得最多的当数key-value存储，当然还有其他的文档型的、列存储、图型数据库、xml数据库等。　　特点: 　　高性能、易部署、易使用，存储数据非常方便。主要功能特性有：面向集合存储，易存储对象类型的数据。模式自由。支持动态查询。支持完全索引，包含内部对象。支持查询。支持复制和故障恢复。使用高效的二进制数据存储，包括大型对象（如视频等）。自动处理碎片，以支持云计算层次的扩展性支持Python，PHP，Ruby，Java，C，C#，Javascript，Perl及C++语言的驱动程序，社区中也提供了对Erlang及.NET等平台的驱动程序。文件存储格式为BSON（一种JSON的扩展）。可通过网络访问。　　功能: 面向集合的存储：适合存储对象及JSON形式的数据。动态查询：Mongo支持丰富的查询表达式。查询指令使用JSON形式的标记，可轻易查询文档中内嵌的对象及数组。完整的索引支持：包括文档内嵌对象及数组。Mongo的查询优化器会分析查询表达式，并生成一个高效的查询计划。查询监视：Mongo包含一个监视工具用于分析数据库操作的性能。复制及自动故障转移：Mongo数据库支持服务器之间的数据复制，支持主-从模式及服务器之间的相互复制。复制的主要目标是提供冗余及自动故障转移。高效的传统存储方式：支持二进制数据及大型对象（如照片或图片）自动分片以支持云级别的伸缩性：自动分片功能支持水平的数据库集群，可动态添加额外的机器。　　适用场合: 网站数据：Mongo非常适合实时的插入，更新与查询，并具备网站实时数据存储所需的复制及高度伸缩性。缓存：由于性能很高，Mongo也适合作为信息基础设施的缓存层。在系统重启之后，由Mongo搭建的持久化缓存层可以避免下层的数据源过载。大尺寸，低价值的数据：使用传统的关系型数据库存储一些数据时可能会比较昂贵，在此之前，很多时候程序员往往会选择传统的文件进行存储。高伸缩性的场景：Mongo非常适合由数十或数百台服务器组成的数据库。Mongo的路线图中已经包含对MapReduce引擎的内置支持。用于对象及JSON数据的存储：Mongo的BSON数据格式非常适合文档化格式的存储及查询。三、下载安装和配置　　安装Mongo数据库：　　在发布本文的时间官方提供的最新版本是：1.6.5 ，如果不做特殊声明，本教程所用的版本将会是这个版本。第一步：下载安装包：官方下载地址←单击此处,如果是win系统，注意是64位还是32位版本的，请选择正确的版本。第二步：新建目录“D:\MongoDB”，解压下载到的安装包，找到bin目录下面全部.exe文件，拷贝到刚创建的目录下。第三步：在“D:\MongoDB”目录下新建“data”文件夹，它将会作为数据存放的根文件夹。　　配置Mongo服务端：　　打开CMD窗口，按照如下方式输入命令： > d: > cd D:\MongoDB > mongod --dbpath D:\MongoDB\data 　　配置成功后会看到如下画面：　　在浏览器输入：http://localhost:27017/，可以看到如下提示： You are trying to access MongoDB on the native driver port. For http diagnostic access, add 1000 to the port number 　　如此，MongoDB数据库服务已经成功启动了。 from url:http://www.cnblogs.com/lipan/archive/2011/03/08/1966463.html

龙生 03 May 2012

View Details

网页信息采集核心代码收集

<ol class="dp-c"><li class="alt">1.通过HttpWebResponse 来获取 </li><li>public static string CheckTeamSiteUrl(string url)   </li><li class="alt">    {   </li><li>        string response = "";   </li><li class="alt">        HttpWebResponse httpResponse = null;   </li><li>   </li><li class="alt">        //assert: user have access to URL    </li><li>        try   </li><li class="alt">        {   </li><li>            HttpWebRequest httpRequest = (HttpWebRequest)WebRequest.Create(url);   </li><li class="alt">            httpRequest.Headers.Set("Pragma", "no-cache");   </li><li>   </li><li class="alt">                // request.Headers.Set("KeepAlive", "true");   </li><li>   </li><li class="alt">                httpRequest.CookieContainer = new CookieContainer();   </li><li>   </li><li class="alt">   </li><li>   </li><li class="alt">                httpRequest.Referer = url;   </li><li>   </li><li class="alt">                httpRequest.UserAgent = "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0; .NET CLR 1.1.4322; .NET CLR 2.0.50727)";   </li><li>   </li><li class="alt">                 </li><li>   </li><li class="alt">            httpRequest.Credentials = System.Net.CredentialCache.DefaultCredentials;   </li><li>            httpResponse = (HttpWebResponse)httpRequest.GetResponse();   </li><li class="alt">               </li><li>        }   </li><li class="alt">        catch (Exception ex)   </li><li>        {   </li><li class="alt">            throw new ApplicationException("HTTP 403 Access denied, URL: " + url, ex);   </li><li>        }   </li><li class="alt">   </li><li>        //if here, the URL is correct and the user has access    </li><li class="alt">        try   </li><li>        {   </li><li class="alt">            string strEncod = httpResponse.ContentType;   </li><li>            StreamReader stream;   </li><li class="alt">            if (strEncod.ToLower().IndexOf("utf") != -1)   </li><li>            {   </li><li class="alt">                stream = new StreamReader(httpResponse.GetResponseStream(), System.Text.Encoding.UTF8);   </li><li>            }   </li><li class="alt">            else   </li><li>            {   </li><li class="alt">                stream = new StreamReader(httpResponse.GetResponseStream(), System.Text.Encoding.Default);   </li><li>            }   </li><li class="alt">              </li><li>            char[] buff = new char[4000];   </li><li class="alt">            stream.ReadBlock(buff,0,4000);   </li><li>            response = new string(buff);   </li><li class="alt">            stream.Close();   </li><li>            httpResponse.Close();   </li><li class="alt">        }   </li><li>        catch (Exception ex)   </li><li class="alt">        {   </li><li>            throw new ApplicationException("HTTP 404 Page not found, URL: " + url, ex);   </li><li class="alt">        }   </li><li>        return response;   </li><li class="alt">   </li><li>    }   </li><li class="alt">  </li><li> </li><li>2.通过 WebResponse 来获取 </li><li class="alt"> public static string getPage(String url)   </li><li>    {   </li><li class="alt">        WebResponse result = null;   </li><li>        string resultstring = "";   </li><li class="alt">        try   </li><li>        {   </li><li class="alt">            WebRequest req = WebRequest.Create(url);   </li><li>            req.Timeout = 30000;   </li><li class="alt">            result = req.GetResponse();   </li><li>            Stream ReceiveStream = result.GetResponseStream();   </li><li class="alt">   </li><li>            //read the stream into a string   </li><li class="alt">            //StreamReader sr = new StreamReader(ReceiveStream, System.Text.Encoding.UTF8);   </li><li>            string strEncod = result.ContentType;   </li><li class="alt">            StreamReader sr;   </li><li>            if (strEncod.ToLower().IndexOf("utf") != -1)   </li><li class="alt">            {   </li><li>                sr = new StreamReader(ReceiveStream, System.Text.Encoding.UTF8);   </li><li class="alt">            }   </li><li>            else   </li><li class="alt">            {   </li><li>                sr = new StreamReader(ReceiveStream, System.Text.Encoding.Default);   </li><li class="alt">            }   </li><li>            resultstring = sr.ReadToEnd();   </li><li class="alt">            js.alert(resultstring);   </li><li>            //Console.WriteLine(resultstring);   </li><li class="alt">        }   </li><li>        catch   </li><li class="alt">        {   </li><li>            throw new Exception();   </li><li class="alt">        }   </li><li>        finally   </li><li class="alt">        {   </li><li>            if (result != null)   </li><li class="alt">            {   </li><li>                result.Close();   </li><li class="alt">            }   </li><li>        }   </li><li class="alt">        return resultstring;   </li><li>    }   </li><li class="alt">  </li><li> </li><li>3.通过WebClient来获取 </li><li class="alt"> public string get(int length)   </li><li>    {   </li><li class="alt">        try   </li><li>        {   </li><li class="alt">            getEncodeing();   </li><li>            WebClient wb = new WebClient();   </li><li class="alt">            Stream response = wb.OpenRead(url);   </li><li>            StreamReader reader = new StreamReader(response, this.encoding, true, 256000);   </li><li class="alt">            char[] a = new char[length];   </li><li>            int i  = reader.Read(a,0,length);   </li><li class="alt">            reader.Close();   </li><li>            return new string(a);   </li><li class="alt">        }   </li><li>        catch (Exception e)   </li><li class="alt">        {   </li><li>            return e.Message;   </li><li class="alt">            //return null;   </li><li>        }   </li><li class="alt">    }   </li><li>    private void getEncodeing()   </li><li class="alt">    {   </li><li>        switch (this.encode)   </li><li class="alt">        {   </li><li>            case "UTF-8": encoding = Encoding.UTF8; break;   </li><li class="alt">            case "GB2312": encoding = Encoding.GetEncoding("GB2312"); break;   </li><li>            case "ASCII": encoding = Encoding.ASCII; break;   </li><li class="alt">            default: encoding = Encoding.GetEncoding(encode); break;   </li><li>        }   </li><li class="alt">    }   </li></ol>

FROM http://blog.sina.com.cn/s/blog_758087190100rfri.html

龙生 03 May 2012

View Details

May 2012
M	T	W	T	F	S	S
« Apr				Jun »
	1	2	3	4	5	6
7	8	9	10	11	12	13
14	15	16	17	18	19	20
21	22	23	24	25	26	27
28	29	30	31

MongoDB学习笔记(一) MongoDB介绍及安装

网页信息采集 核心代码收集

网页信息采集核心代码收集