存储大量爬虫数据的数据库，了解一下？
"当然, 并不是所有数据都适合"
在学习爬虫的过程中, 遇到过不少坑.
今天这个坑可能以后你也会遇到, 随着爬取数据量的增加, 以及爬取的网站数据字段的变化, 以往在爬虫入门时使用的方法局限性可能会骤增.
MongoDB Spark Connector 实战指南
Why Spark with MongoDB?
高性能，官方号称 100x faster，因为可以全内存运行，性能提升肯定是很明显的
简单易用，支持 Java、Python、Scala、SQL 等多种语言，使得构建分析应用非常简单
统一构建 ，支持多种数据源，通过 Spark RDD 屏蔽...
mongodb系列之---mongodb 分片
Mongodb的分片机制是mongodb数据库的核心机制，也是其可用性高，扩展性好的原因，分片—sharding 的意思就是将数据库数据分散存贮到不同的服务器上，来缓解高并发访问，均衡负载。
举例来说一下，比如说一个collection有TB级别的数据，在传统方式下如果有两个线程要访问其中.