MongoDB
原文连接（导点流
）：https://gilesblog.com.cn/archives/mongodb
1.MongoDB介绍
1.1 什么是MongoDB
MongoDB是一个文档数据库（以 JSON 为数据模型），由C++语言编写，旨在为WEB应用提供可扩展的高性能数据存储解决方案。
文档来自于“JSON Document”，并非我们一般理解的 PDF，WORD 文档。
MongoDB是一个介于关系数据库和非关系数据库之间的产品，是非关系数据库当中功能最丰富，最像关系数据库的。它支持的数据结构非常松散，数据格式是BSON，一种类似JSON的二进制形式的存储格式，简称Binary JSON ，和JSON一样支持内嵌的文档对象和数组对象，因此可以存储比较复杂的数据类型。MongoDB最大的特点是它支持的查询语言非常强大，其语法有点类似于面向对象的查询语言，几乎可以实现类似关系数据库单表查询的绝大部分功能，而且还支持对数据建立索引。 原则上 Oracle 和MySQL 能做的事情，MongoDB 都能做（包括 ACID 事务）。
MongoDB在数据库总排名第 5 ，仅次于Oracle、MySQL等RDBMS，在NoSQL数据库排名首位。从诞生以来，其项目应用广度、社区活跃指数持续上升。
MongoDB概念与关系型数据库（RDBMS）非常类似：
- 数据库（database） ：最外层的概念，可以理解为逻辑上的名称空间，一个数据库包含多个不同名称的集合。
- 集合（collection） ：相当于SQL中的表，一个集合可以存放多个不同的文档。
- 文档（document） ：一个文档相当于数据表中的一行，由多个不同的字段组成。
- 字段（field） ：文档中的一个属性，等同于列（column）。
- 索引（index） ：独立的检索式数据结构，与SQL概念一致。
- id ：每个文档中都拥有一个唯一的id字段，相当于SQL中的主键（primary key）。
- 视图（view） ：可以看作一种虚拟的（非真实存在的）集合，与SQL中的视图类似。从MongoDB3.4版本开始提供了视图功能，其通过聚合管道技术实现。
- 聚合操作（$lookup） ：MongoDB用于实现“类似”表连接（tablejoin）的聚合操作符。
尽管这些概念大多与SQL标准定义类似，但MongoDB与传统RDBMS仍然存在不少差异，包括：
- 半结构化，在一个集合中，文档所拥有的字段并不需要是相同的，而且也不需要对所用的字段进行
声明。因此，MongoDB具有很明显的半结构化特点。除了松散的表结构，文档还可以支持多级的
嵌套、数组等灵活的数据类型，非常契合面向对象的编程模型。 - 弱关系，MongoDB没有外键的约束，也没有非常强大的表连接能力。类似的功能需要使用聚合管
道技术来弥补。
1.2 MongoDB技术优势
MongoDB基于灵活的JSON文档模型，非常适合敏捷式的快速开发。与此同时，其与生俱来的高可用、高水平扩展能力使得它在处理海量、高并发的数据应用时颇具优势。
- JSON 结构和对象模型接近，开发代码量低
- JSON的动态模型意味着更容易响应新的业务需求
- 复制集提供99.999%高可用
- 分片架构支持海量数据和无缝扩容
简单直观：从错综复杂的关系模型到一目了然的对象模型
快速：最简单快速的开发方式
灵活：快速响应业务变化
MongoDB优势：原生的高可用
MongoDB优势：横向扩展能力
1.3 MongoDB应用场景
从目前阿里云 MongoDB 云数据库上的用户看，MongoDB 的应用已经渗透到各个领域：
- 游戏场景，使用 MongoDB 存储游戏用户信息，用户的装备、积分等直接以内嵌文档的形式存储，
方便查询、更新； - 物流场景，使用 MongoDB 存储订单信息，订单状态在运送过程中会不断更新，以MongoDB 内嵌
数组的形式来存储，一次查询就能将订单所有的变更读取出来； - 社交场景，使用 MongoDB 存储存储用户信息，以及用户发表的朋友圈信息，通过地理位置索引实
现附近的人、地点等功能； - 物联网场景，使用 MongoDB 存储所有接入的智能设备信息，以及设备汇报的日志信息，并对这些
信息进行多维度的分析； - 视频直播，使用 MongoDB 存储用户信息、礼物信息等；
- 大数据应用，使用云数据库MongoDB作为大数据的云存储系统，随时进行数据提取分析，掌握行
业动态。|
国内外知名互联网公司都在使用MongoDB：
如何考虑是否选择MongoDB?
没有某个业务场景必须要使用MongoDB才能解决，但使用MongoDB通常能让你以更低的成本解决问
题。如果你不清楚当前业务是否适合使用MongoDB,可以通过做几道选择题来辅助决策。
只要有一项需求满足就可以考虑使用MongoDB，匹配越多，选择MongoDB越合适。
2.MongoDB快速开始
2.1 linux安装MongoDB
环境准备：
- linux系统： centos7
- 安装MongoDB社区版
下载MongoDB Community Server
下载地址：https://www.mongodb.com/try/download/community
启动MongoDB Server
–dbpath :指定数据文件存放目录
–logpath :指定日志文件，注意是指定文件不是目录
–logappend :使用追加的方式记录日志
–port:指定端口，默认为27017
–bind_ip:默认只监听localhost网卡
–fork: 后台启动
–auth: 开启认证模式
添加环境变量
修改/etc/profile，添加环境变量,方便执行MongoDB命令
然后执行source /etc/profile 重新加载环境变量
利用配置文件启动服务
编辑/mongodb/conf/mongo.conf文件，内容如下：
注意：一定要yaml格式
启动mongod
关闭MongoDB服务
方式1：
方式2：
进入mongo shell
2.2 Mongo shell使用
mongo是MongoDB的交互式JavaScript Shell界面，它为系统管理员提供了强大的界面，并为开发人员
提供了直接测试数据库查询和操作的方法。
–port:指定端口，默认为27017
–host:连接的主机地址，默认127.0.0.1
JavaScript支持
mongo shell是基于JavaScript语法的，MongoDB使用了SpiderMonkey作为其内部的JavaScript解释器
引擎，这是由Mozilla官方提供的JavaScript内核解释器，该解释器也被同样用于大名鼎鼎的Firefox浏览
器产品之中。SpiderMonkey对ECMA Script标准兼容性非常好，可以支持ECMA Script 6。可以通过下
面的命令检查JavaScript解释器的版本：
mongo shell常用命令
| 命令 | 说明 |
|---|---|
| show dbs/show databases | 显示数据库列表 |
| use 数据库名 | 切换数据库，如果不存在创建数据库 |
| db.dropDatabase() | 删除数据库 |
| show collections \ show tables | 显示当前数据库的集合列表 |
| db.集合名.stats() | 查看集合详情 |
| db.集合名.drop() | 删除集合 |
| show users | 显示当前数据库的用户列表 |
| show roles | 显示当前数据库的角色列表 |
| show profile | 显示最近发生的操作 |
| load(“xxx.js”) | 执行一个JavaScript脚本文件 |
| exit | quit() |
| help | 查看mongodb支持哪些命令 |
| db.help() | 查询当前数据库支持的方法 |
| db.集合名.help() | 显示集合的帮助信息 |
| db.version() | 查看数据库版本 |
数据库操作
集合操作
创建集合语法
options参数
| 字段 | 类型 | 描述 |
|---|---|---|
| capped | 布尔 | （可选）如果为true，则创建固定集合。固定集合是指有着固定大小的集合，当达到最大值时，它会自动覆盖最早的文档。 |
| size | 数值 | （可选）为固定集合指定一个最大值（以字节计）。如果 capped 为 true，也需要指定该字段。 |
| max | 数值 | （可选）指定固定集合中包含文档的最大数量。 |
注意： 当集合不存在时，向集合中插入文档也会创建集合
2.3 安全认证
创建管理员账号
常用权限
| 权限名 | 描述 |
|---|---|
| read | 允许用户读取指定数据库 |
| readWrite | 允许用户读写指定数据库 |
| dbAdmin | 允许用户在指定数据库中执行管理函数，如索引创建、删除，查看统计或访问system.profile |
| dbOwner | 允许用户在指定数据库中执行任意操作，增、删、改、查等 |
| userAdmin | 允许用户向system.users集合写入，可以在指定数据库里创建、删 除和管理用户 |
| clusterAdmin | 只在admin数据库中可用，赋予用户所有分片和复制集相关函数的管理权限 |
| readAnyDatabase | 只在admin数据库中可用，赋予用户所有数据库的读权限 |
| readWriteAnyDatabase | 只在admin数据库中可用，赋予用户所有数据库的读写权限 |
| userAdminAnyDatabase | 只在admin数据库中可用，赋予用户所有数据库的userAdmin权限 |
| dbAdminAnyDatabase | 只在admin数据库中可用，赋予用户所有数据库的dbAdmin权限 |
| root | 只在admin数据库中可用。超级账号，超级权限 |
用户认证，返回1表示认证成功
创建应用数据库用户
默认情况下，MongoDB不会启用鉴权，以鉴权模式启动MongoDB
启用鉴权之后，连接MongoDB的相关操作都需要提供身份认证。
3. MongoDB文档操作
3.1 插入文档
3.2 版本之后新增了 db.collection.insertOne() 和 db.collection.insertMany()。
新增单个文档
- 新增单个文档
writeConcern 决定一个写操作落到多少个节点上才算成功。writeConcern 的取值包括：
0：发起写操作，不关心是否成功；
1~集群最大数据节点数：写操作需要被复制到指定节点数才算成功；
majority：写操作需要被复制到大多数节点上才算成功。
- insert: 若插入的数据主键已经存在，则会抛 DuplicateKeyException 异常，提示主键重复，不保
存当前数据。 - save: 如果 _id 主键存在则更新数据，如果不存在就插入数据。
批量新增文档
- insertMany:向指定集合中插入多条文档数据
writeConcern：写入策略，默认为 1，即要求确认写操作，0 是不要求。
ordered：指定是否按顺序写入，默认 true，按顺序写入。
- insert和save也可以实现批量插入
测试：批量插入50条随机数据
编辑脚本book.js
进入mongo shell，执行
3.2 查询文档
find 查询集合中的若干文档。语法格式如下：
- query ：可选，使用查询操作符指定查询条件
- projection ：可选，使用投影操作符指定返回的键。查询时返回文档中所有键值， 只需省略该参数即可（默认省略）。投影时，id为1的时候，其他字段必须是1；id是0的时候，其他字段可以是0；如果没有_id字段约束，多个其他字段必须同为0或同为1。
如果查询返回的条目数量较多，mongo shell则会自动实现分批显示。默认情况下每次只显示20条，可以输入it命令读取下一批。
findOne查询集合中的第一个文档。语法格式如下：
条件查询
指定条件查询
查询条件对照表
| SQL | MQL |
|---|---|
| a = 1 | |
| a <> 1 | {a: {$ne: 1}} |
| a > 1 | {a: {$gt: 1}} |
| a >= 1 | {a: {$gte: 1}} |
| a < 1 | {a: {$lt: 1}} |
| a <= 1 | {a: {$lte: 1}} |
查询逻辑对照表
| SQL | MQL |
|---|---|
| a = 1 AND b = 1 | {a: 1, b: 1}或{$and: [{a: 1}, {b: 1}]} |
| a = 1 OR b = 1 | {$or: [{a: 1}, {b: 1}]} |
| a IS NULL | {a: {$exists: false}} |
| a IN (1, 2, 3) | {a: {$in: [1, 2, 3]}} |
查询逻辑运算符
- $lt: 存在并小于
- $lte: 存在并小于等于
- $gt: 存在并大于
- $gte: 存在并大于等于
- $ne: 不存在或存在但不等于
- $in: 存在并在指定数组中
- $nin: 不存在或不在指定数组中
- $or: 匹配两个或多个条件中的一个
- $and: 匹配全部条件
排序&分页
指定排序
在 MongoDB 中使用 sort() 方法对数据进行排序
分页查询
skip用于指定跳过记录数，limit则用于限定返回结果数量。可以在执行find命令的同时指定skip、limit
参数，以此实现分页的功能。比如，假定每页大小为8条，查询第3页的book文档：
正则表达式匹配查询
MongoDB 使用 $regex 操作符来设置匹配字符串的正则表达式。
3.3 更新文档
可以用update命令对指定的数据进行更新，命令的格式如下：
- query：描述更新的查询条件；
- update：描述更新的动作及新的内容；
- options：描述更新的选项
~upsert: 可选，如果不存在update的记录，是否插入新的记录。默认false，不插入
~multi: 可选，是否按条件查询出的多条记录全部更新。 默认false,只更新找到的第一条记录
~writeConcern :可选，决定一个写操作落到多少个节点上才算成功。
更新操作符
| 操作符 | 格式 | 描述 |
|---|---|---|
| $set | {$set:{field:value}} | 指定一个键并更新值，若键不存在则创建 |
| $unset | {$unset : {field : 1 }} | 删除一个键 |
| $inc | {$inc : {field : value } } | 对数值类型进行增减 |
| $rename | {$rename : {old_field_name : new_field_name } } | 修改字段名称 |
| $push | { $push : {field : value } } | 将数值追加到数组中，若数组不存在则会进行初始化 |
| $pushAll | {$pushAll : {field : value_array }} | 追加多个值到一个数组字段内 |
| $pull | {$pull : {field : _value } } | 从数组中删除指定的元素 |
| $addToSet | {$addToSet : {field : value } } | 添加元素到数组中，具有排重功能 |
| $pop | {$pop : {field : 1 }} | 删除数组的第一个或最后一个元素 |
更新单个文档
某个book文档被收藏了，则需要将该文档的favCount字段自增
更新多个文档
某个book文档被收藏了，则需要将该文档的favCount字段自增
- multi : 可选，mongodb 默认是false,只更新找到的第一条记录，如果这个参数为true,就把按条件查出来多条记录全部更新
update命令的选项配置较多，为了简化使用还可以使用一些快捷命令:
- updateOne：更新单个文档。
- updateMany：更新多个文档。
- replaceOne：替换单个文档。
使用upsert命令
upsert是一种特殊的更新，其表现为如果目标文档不存在，则执行插入命令。
nMatched、nModified都为0，表示没有文档被匹配及更新，nUpserted=1提示执行了upsert动作
实现replace语义
update命令中的更新描述（update）通常由操作符描述，如果更新描述中不包含任何操作符，那么MongoDB会实现文档的replace语义
findAndModify命令
findAndModify兼容了查询和修改指定文档的功能，findAndModify只能更新单个文档
该操作会返回符合查询条件的文档数据，并完成对文档的修改。
默认情况下，findAndModify会返回修改前的“旧”数据。如果希望返回修改后的数据，则可以指定new选项
与findAndModify语义相近的命令如下：
- findOneAndUpdate：更新单个文档并返回更新前（或更新后）的文档。
- findOneAndReplace：替换单个文档并返回替换前（或替换后）的文档。
3.4 删除文档
使用 remove 删除文档
- remove 命令需要配合查询条件使用；
- 匹配查询条件的文档会被删除；
- 指定一个空文档条件会删除所有文档；
示例：
remove命令会删除匹配条件的全部文档，如果希望明确限定只删除一个文档，则需要指定justOne参数，命令格式如下：
例如：删除满足type:novel条件的首条记录
使用 delete 删除文档
官方推荐使用 deleteOne() 和 deleteMany() 方法删除文档，语法格式如下：
注意： remove、deleteMany等命令需要对查询范围内的文档逐个删除，如果希望删除整个集合，则使用drop命令会更加高效
返回被删除文档
remove、deleteOne等命令在删除文档后只会返回确认性的信息，如果希望获得被删除的文档，则可以使用findOneAndDelete命令
除了在结果中返回删除文档，findOneAndDelete命令还允许定义“删除的顺序”，即按照指定顺序删除找到的第一个文档
remove、deleteOne等命令只能按默认顺序删除，利用这个特性，findOneAndDelete可以实现队列的先进先出。
4.MongoDB整合SpringBoot
4.1 环境准备
1.引入依赖
2.配置yml
连接配置参考文档：https://docs.mongodb.com/manual/reference/connection-string/
3.使用时注入mongoTemplate
4.2 集合操作
4.3 文档操作
相关注解
- @Document
修饰范围: 用在类上
作用: 用来映射这个类的一个对象为mongo中一条文档数据。
属性:( value 、collection )用来指定操作的集合名称 - @Id
修饰范围: 用在成员变量、方法上
作用: 用来将成员变量的值映射为文档的_id的值 - @Field
修饰范围: 用在成员变量、方法上
作用: 用来将成员变量及其值映射为文档中一个key:value对。
属性:( name , value )用来指定在文档中 key的名称,默认为成员变量名 - @Transient
修饰范围:用在成员变量、方法上
作用:用来指定此成员变量不参与文档的序列化
创建实体
添加文档
insert方法返回值是新增的Document对象，里面包含了新增后id的值。如果集合不存在会自动创建集合。通过Spring Data MongoDB还会给集合中多加一个class的属性，存储新增时Document对应Java中类的全限定路径。这么做为了查询时能把Document转换为Java类型。
查询文档
Criteria是标准查询的接口，可以引用静态的Criteria.where的把多个条件组合在一起，就可以轻松地将多个方法标准和查询连接起来，方便我们操作查询语句。
更新文档
在Mongodb中无论是使用客户端API还是使用Spring Data，更新返回结果一定是受行数影响。如果更新后的结果和更新前的结果是相同，返回0。
- updateFirst() 只更新满足条件的第一条记录
- updateMulti() 更新所有满足条件的记录
- upsert() 没有符合条件的记录则插入数据
删除文档
5.聚合操作
聚合操作处理数据记录并返回计算结果(诸如统计平均值，求和等)。聚合操作组值来自多个文档，可以对分组数据执行各种操作以返回单个结果。聚合操作包含三类：单一作用聚合、聚合管道、MapReduce。
- 单一作用聚合：提供了对常见聚合过程的简单访问，操作都从单个集合聚合文档。
- 聚合管道是一个数据聚合的框架，模型基于数据处理流水线的概念。文档进入多级管道，将文档转换为聚合结果。
- MapReduce操作具有两个阶段：处理每个文档并向每个输入文档发射一个或多个对象的map阶段，以及reduce组合map操作的输出阶段。
5.1 单一作用聚合
MongoDB提供 db.collection.estimatedDocumentCount(), db.collection.count(),db.collection.distinct() 这类单一作用的聚合函数。 所有这些操作都聚合来自单个集合的文档。虽然这些操作提供了对公共聚合过程的简单访问，但它们缺乏聚合管道和map-Reduce的灵活性和功能。
| 函数 | 描述 |
|---|---|
| db.collection.estimatedDocumentCount() | 忽略查询条件，返回集合或视图中所有文档的计数 |
| db.collection.count() | 返回与find()集合或视图的查询匹配的文档计数 。等同于 db.collection.find(query).count()构造 |
注意：在分片群集上，如果存在孤立文档或正在进行块迁移，则db.collection.count()没有查询谓词可能
导致计数不准确。要避免这些情况，请在分片群集上使用 db.collection.aggregate()方法。
5.2 聚合管道
什么是 MongoDB 聚合框架
MongoDB 聚合框架（Aggregation Framework）是一个计算框架，它可以：
- 作用在一个或几个集合上；
- 对集合中的数据进行的一系列运算；
- 将这些数据转化为期望的形式；
从效果而言，聚合框架相当于 SQL 查询中的GROUP BY、 LEFT OUTER JOIN 、 AS等。
管道（Pipeline）和阶段（Stage）
整个聚合运算过程称为管道（Pipeline），它是由多个阶段（Stage）组成的， 每个管道：
- 接受一系列文档（原始数据）；
- 每个阶段对这些文档进行一系列运算；
- 结果文档输出给下一个阶段；
聚合管道操作语法
- pipelines 一组数据聚合阶段。除out、out、Merge和$geonear阶段之外，每个阶段都可以在管道中出现多次。
- options 可选，聚合操作的其他参数。包含：查询计划、是否使用临时文件、 游标、最大操作时间、读写策略、强制索引等等
常用的管道聚合阶段
聚合管道包含非常丰富的聚合阶段，下面是最常用的聚合阶段
| 阶段 | 描述 | SQL等价运算符 |
|---|---|---|
| $match | 筛选条件 | WHERE |
| $project | 投影 | AS |
| $lookup | 左外连接 | LEFT OUTER JOIN |
| $sort | 排序 | ORDER BY |
| $group | 分组 | GROUP BY |
| skip/skip**/**limit | 分页 | |
| $unwind | 展开数组 | |
| $graphLookup | 图搜索 | |
| facet/facet/bucket | 分面搜索 |
文档：Aggregation Pipeline Stages — MongoDB Manual
数据准备
准备数据集，执行脚本
$project
投影操作， 将原始字段投影成指定名称， 如将集合中的 title 投影成 name
$project 可以灵活控制输出文档的格式，也可以剔除不需要的字段
从嵌套文档中排除字段
$match
match用于对文档进行筛选，之后可以在得到的文档子集上做聚合，match用于对文档进行筛选**，之后可以在得到的文档子集上做聚合**，match可以使用除了地理空间之外的所有常规查询操作符，在实际应用中尽可能将match放在管道的前面位置。这样有两个好处：一是可以快速将不需要的文档过滤掉，以减少管道的工作量；二是如果再投射和分组之前执行match放在管道的前面位置**。这样有两个好处：一是可以快速将不需要的文档过滤掉**，以减少管道的工作量；二是如果再投射和分组之前执行match，查询可以使用索引。
筛选管道操作和其他管道操作配合时候时，尽量放到开始阶段，这样可以减少后续管道操作符要操作的文档数，提升效率
$count
计数并返回与查询匹配的结果数
match阶段筛选出type匹配technology的文档，并传到下一阶段；match阶段筛选出type匹配technology的文档，并传到下一阶段；count阶段返回聚合管道中剩余文档的计数，并将该值分配给type_count
$group
按指定的表达式对文档进行分组，并将每个不同分组的文档输出到下一个阶段。输出文档包含一个_id字段，该字段按键包含不同的组。
输出文档还可以包含计算字段，该字段保存由$group的_id字段分组的一些accumulator表达式的值。group不会输出具体的文档而只是统计信息。
- id字段是必填的;但是，可以指定id值为null来为整个输入文档计算累计值。
- 剩余的计算字段是可选的，并使用运算符进行计算。
- _id和表达式可以接受任何有效的表达式。
accumulator操作符
| 名称 | 描述 | 类比sql |
|---|---|---|
| $avg | 计算均值 | avg |
| $first | 返回每组第一个文档，如果有排序，按照排序，如果没有按照默认的存储的顺序的第一个文档。 | limit 0,1 |
| $last | 返回每组最后一个文档，如果有排序，按照排序，如果没有按照默认的存储的顺序的最后个文档。 | - |
| $max | 根据分组，获取集合中所有文档对应值得最大值。 | max |
| $min | 根据分组，获取集合中所有文档对应值得最小值。 | min |
| $push | 将指定的表达式的值添加到一个数组中。 | - |
| $addToSet | 将表达式的值添加到一个集合中（无重复值，无序）。 | - |
| $sum | 计算总和 | sum |
| $stdDevPop | 返回输入值的总体标准偏差（population standard deviation） | - |
| $stdDevSamp | 返回输入值的样本标准偏差（the sample standard deviation） | - |
#group阶段的内存限制为100M。默认情况下，如果stage超过此限制，group将产生错误。但是，要 允许处理大型数据集，请将allowDiskUse选项设置为true以启用group将产生错误**。但是**，要允许处理大型数据集**，请将allowDiskUse选项设置为true以启用**$group操作以写入临时文件。
book的数量，收藏总数和平均值
统计每个作者的book收藏总数
统计每个作者的每本book的收藏数
每个作者的book的type合集
$unwind
可以将数组拆分为单独的文档
v3.2+支持如下语法：
姓名为xx006的作者的book的tag数组拆分为多个文档
每个作者的book的tag合集
案例
示例数据
测试
$limit
限制传递到管道中下一阶段的文档数
此操作仅返回管道传递给它的前5个文档。 limit对其传递的文档内容没有影响。 注意：当limit对其传递的文档内容没有影响**。注意**：当sort在管道中的limit之前立即出现时，limit之前立即出现时**，**sort操作只会在过程中维持前n个结果，其中n是指定的限制，而MongoDB只需要将n个项存储在内存中。
$skip
跳过进入stage的指定数量的文档，并将其余文档传递到管道中的下一个阶段
此操作将跳过管道传递给它的前5个文档。 $skip对沿着管道传递的文档的内容没有影响。
$sort
对所有输入文档进行排序，并按排序顺序将它们返回到管道。
语法：
要对字段进行排序，请将排序顺序设置为1或-1，以分别指定升序或降序排序，如下例所示：
$lookup
Mongodb 3.2版本新增，主要用来实现多表关联查询， 相当关系型数据库中多表关联查询。每个输入待处理的文档，经过$lookup 阶段的处理，输出的新文档中会包含一个新生成的数组（可根据需要命名新key ）。数组列存放的数据是来自被Join集合的适配文档，如果没有，集合为空（即 为[ ])
语法：
| 属性 | 作用 |
|---|---|
| from | 同一个数据库下等待被Join的集合。 |
| localField | 源集合中的match值，如果输入的集合中，某文档没有 localField这个Key （Field），在处理的过程中，会默认为此文档含有 localField：null的键值对。 |
| foreignField | 待Join的集合的match值，如果待Join的集合中，文档没有foreignField值，在处理的过程中，会默认为此文档含有 foreignField：null的键值对。 |
| as | 为输出文档的新增值命名。如果输入的集合中已存在该值，则会覆盖掉 |
注意：null = null 此为真
其语法功能类似于下面的伪SQL语句：
案例
数据准备
关联查询
聚合操作示例1
统计每个分类的book文档数量
标签的热度排行，标签的热度则按其关联book文档的收藏数（favCount）来计算
- $match阶段：用于过滤favCount=0的文档。
- $unwind阶段：用于将标签数组进行展开，这样一个包含3个标签的文档会被拆解为3个条目。
- group阶段：对拆解后的文档进行分组计算，group阶段：对拆解后的文档进行分组计算，sum："$favCount"表示按favCount字段进行累
加。 - $sort阶段：接收分组计算的输出，按total得分进行排序。
统计book文档收藏数[0,10),[10,60),[60,80),[80,100),[100,+∞）
https://docs.mongodb.com/manual/reference/operator/aggregation/bucket/
聚合操作示例2
导入邮政编码数据集 :https://media.mongodb.org/zips.json
使用mongoimport工具导入数据（https://www.mongodb.com/try/download/database-tools）
h,–host ：代表远程连接的数据库地址，默认连接本地Mongo数据库；
–port：代表远程连接的数据库的端口，默认连接的远程端口27017；
-u,–username：代表连接远程数据库的账号，如果设置数据库的认证，需要指定用户账号；
-p,–password：代表连接数据库的账号对应的密码；
-d,–db：代表连接的数据库；
-c,–collection：代表连接数据库中的集合；
-f, --fields：代表导入集合中的字段；
–type：代表导入的文件类型，包括csv和json,tsv文件，默认json格式；
–file：导入的文件名称
–headerline：导入csv文件时，指明第一行是列名，不需要导入；
返回人口超过1000万的州
这个聚合操作的等价SQL是：
返回各州平均城市人口
按州返回最大和最小的城市
5.3 MapReduce
MapReduce操作将大量的数据处理工作拆分成多个线程并行处理，然后将结果合并在一起。MongoDB
提供的Map-Reduce非常灵活，对于大规模数据分析也相当实用。
MapReduce具有两个阶段：
- 将具有相同Key的文档数据整合在一起的map阶段
- 组合map操作的结果进行统计输出的reduce阶段
MapReduce的基本语法
- map，将数据拆分成键值对，交给reduce函数
- reduce，根据键将值做统计运算
- out，可选，将结果汇入指定表
- quey，可选筛选数据的条件，筛选的数据送入map
- sort，排序完后，送入map
- limit，限制送入map的文档数
- finalize，可选，修改reduce的结果后进行输出
- scope，可选，指定map、reduce、finalize的全局变量
- jsMode，可选，默认false。在mapreduce过程中是否将数 据转换成bson格式。
- verbose，可选，是否在结果中显示时间，默认false
- bypassDocmentValidation，可选，是否略过数据校验
统计type为travel的不同作者的book文档收藏数
5.4 Springboot中整合MongoDB进行聚合操作
MongoTemplate提供了aggregate方法来实现对数据的聚合操作。
基于聚合操作Aggregation.group，mongodb提供可选的表达式
示例：以聚合管道示例2为例
实体结构
返回人口超过1000万的州
java实现
返回各州平均城市人口
java实现
按州返回最大和最小的城市
java实现
6. 视图
MongoDB视图是一个可查询的对象，它的内容由其他集合或视图上的聚合管道定义。 MongoDB不会将视图内容持久化到磁盘。 当客户端查询视图时，视图的内容按需计算。 MongoDB可以要求客户端具有查询视图的权限。 MongoDB不支持对视图进行写操作
作用：
- 数据抽象
- 保护敏感数据的一种方法
- 将敏感数据投影到视图之外
- 只读
- 结合基于角色的授权，可按角色访问信息
数据准备
6.1创建视图
基本语法格式
- viewName : 必须，视图名称
- source : 必须，数据源，集合/视图
- [] : 可选，一组管道
- collation 可选，排序规则
单个集合创建视图
假设现在查看当天最高的10笔订单视图，例如需要实时显示金额最高的订单
视图创建成功后可以直接使用视图查询数据
多个集合创建视图
跟单个是集合是一样，只是多了$lookup连接操作符，视图根据管道最终结果显示，所以可以关联多个集合
6.2修改视图
6.3删除视图
7.MongoDB索引
7.1 索引介绍
索引是一种用来快速查询数据的数据结构。B+Tree就是一种常用的数据库索引数据结构，MongoDB采用B+Tree 做索引，索引创建在colletions上。MongoDB不使用索引的查询，先扫描所有的文档，再匹配符合条件的文档。 使用索引的查询，通过索引找到文档，使用索引能够极大的提升查询效率。
MongoDB索引数据结构
思考：MongoDB索引数据结构是B-Tree还是B+Tree?
B-Tree说法来源于官方文档，然后就导致了分歧：有人说MongoDB索引数据结构使用的是B-Tree,有的
人又说是B+Tree。
MongoDB官方文档：https://docs.mongodb.com/manual/indexes/MongoDB官方文档：https://docs**.mongodb.com/manual**/indexes/
MongoDB indexes use a B-tree data structureMongoDBindexesuseaB−treedatastructure
参考数据结构网站：https://www.cs.usfca.edu/~galles/visualization/Algorithms.html
索引的分类
- 按照索引包含的字段数量，可以分为单键索引和组合索引（或复合索引）。
- 按照索引字段的类型，可以分为主键索引和非主键索引。
- 按照索引节点与物理记录的对应方式来分，可以分为聚簇索引和非聚簇索引，其中聚簇索引是指索
- 引节点上直接包含了数据记录，而后者则仅仅包含一个指向数据记录的指针。
- 按照索引的特性不同，又可以分为唯一索引、稀疏索引、文本索引、地理空间索引等
与大多数数据库一样，MongoDB支持各种丰富的索引类型，包括单键索引、复合索引，唯一索引等一
些常用的结构。由于采用了灵活可变的文档类型，因此它也同样支持对嵌套字段、数组进行索引。通过
建立合适的索引，我们可以极大地提升数据的检索速度。在一些特殊应用场景，MongoDB还支持地理
空间索引、文本检索索引、TTL索引等不同的特性。
7.2索引操作
创建索引
创建索引语法格式
- Key 值为你要创建的索引字段，1 按升序创建索引， -1 按降序创建索引
- 可选参数列表如下：
| Parameter | Type | Description |
|---|---|---|
| background | Boolean | 建索引过程会阻塞其它数据库操作，background可 指定以后台方式创建索引，即增加 “background” 可选参数。 “background” 默认值为false。 |
| unique | Boolean | 建立的索引是否唯一。指定为true创建唯一索引。默认值为false. |
| name | string | 索引的名称。如果未指定，MongoDB的通过连接索引的字段名和排序顺序生成一个索引名称。 |
| dropDups | Boolean | 3.0+版本已废弃。在建立唯一索引时是否删除重复记录,指定 true 创建唯一索引。默认值为 false. |
| sparse | Boolean | 对文档中不存在的字段数据不启用索引；这个参数需要特别注意，如果设置为true的话，在索引字段中不会查询出不包含对应字段的文档.。默认值为 false. |
| expireAfterSeconds | integer | 指定一个以秒为单位的数值，完成 TTL设定，设定集合的生存时间。 |
| v | index version | 索引的版本号。默认的索引版本取决于mongod创建索引时运行的版本。 |
| weights | document | 索引权重值，数值在 1 到 99,999 之间，表示该索引相对于其他索引字段的得分权重。 |
| default_language | string | 对于文本索引，该参数决定了停用词及词干和词器的规则的列表。 默认为英语 |
| language_override | string | 对于文本索引，该参数指定了包含在文档中的字段 名，语言覆盖默认的language，默认值为 language. |
注意：3.0.0 版本前创建索引方法为 db.collection.ensureIndex()
查看索引
查看索引占用空间
- is_detail：可选参数，传入除0或false外的任意数据，都会显示该集合中每个索引的大小及总大小。如果传入0或false则只显示该集合中所有索引的总大小。默认值为false。
删除索引
7.3索引类型
单键索引（Single Field Indexes）
在某一个特定的字段上建立索引 mongoDB在ID上建立了唯一的单键索引,所以经常会使用id来进行查询； 在索引字段上进行精确匹配、排序以及范围查找都会使用此索引
对内嵌文档字段创建索引：
复合索引（Compound Index）
复合索引是多个字段组合而成的索引，其性质和单字段索引类似。但不同的是，复合索引中字段的顺序、字段的升降序对查询性能有直接的影响，因此在设计复合索引时则需要考虑不同的查询场景。
多键索引（Multikey Index）
在数组的属性上建立索引。针对这个数组的任意值的查询都会定位到这个文档,既多个索引入口或者键值引用同一个文档
准备inventory集合：
创建多键索引
多键索引很容易与复合索引产生混淆，复合索引是多个字段的组合，而多键索引则仅仅是在一个字段上出现了多键（multi key）。而实质上，多键索引也可以出现在复合字段上
注意： MongoDB并不支持一个复合索引中同时出现多个数组字段
嵌入文档的索引数组
在包含嵌套对象的数组字段上创建多键索引
地理空间索引（Geospatial Index）
在移动互联网时代，基于地理位置的检索（LBS）功能几乎是所有应用系统的标配。MongoDB为地理空间检索提供了非常方便的功能。地理空间索引（2dsphereindex）就是专门用于实现位置检索的一种特殊索引。
案例：MongoDB如何实现“查询附近商家"？
假设商家的数据模型如下：
创建一个2dsphere索引
查询附近10000米商家信息
- $near查询操作符，用于实现附近商家的检索，返回数据结果会按距离排序。
- geometry操作符用于指定一个GeoJSON格式的地理空间对象，type=Point表示地理坐标点，coordinates则是用户当前所在的经纬度位置；maxDistance限定了最大距离，单位是米。
MongoDB支持全文检索功能，可通过建立文本索引来实现简易的分词检索。
text操作符可以在有text index的集合上执行文本检索。text操作符可以在有textindex的集合上执行文本检索**。**text将会使用空格和标点符号作为分隔符对检索字符串进行分词， 并且对检索字符串中所有的分词结果进行一个逻辑上的 OR 操作。
全文索引能解决快速文本查找的需求，比如有一个博客文章集合，需要根据博客的内容来快速查找，则可以针对博客内容建立文本索引。
案例
数据准备
创建name和description的全文索引
测试
通过$text操作符来查寻数据中所有包含“coffee”,”shop”，“java”列表中任何词语的商店
MongoDB的文本索引功能存在诸多限制，而官方并未提供中文分词的功能，这使得该功能的应用场景十分受限。
Hash索引（Hashed Indexes）
不同于传统的B-Tree索引,哈希索引使用hash函数来创建索引。在索引字段上进行精确匹配,但不支持范
围查询,不支持多键hash； Hash索引上的入口是均匀分布的,在分片集合中非常有用；
通配符索引（Wildcard Indexes）
MongoDB的文档模式是动态变化的，而通配符索引可以建立在一些不可预知的字段上，以此实现查询
的加速。MongoDB 4.2 引入了通配符索引来支持对未知或任意字段的查询。
案例
准备商品数据，不同商品属性不一样
创建通配符索引
测试
通配符索引可以支持任意单字段查询 product_attributes或其嵌入字段：
注意事项
- 通配符索引不兼容的索引类型或属性
- 通配符索引是稀疏的，不索引空字段。因此，通配符索引不能支持查询字段不存在的文档。
- 通配符索引为文档或数组的内容生成条目，而不是文档/数组本身。因此通配符索引不能支持精确的文档/数组相等匹配。通配符索引可以支持查询字段等于空文档{}的情况。
7.4索引属性
唯一索引（Unique Indexes）
在现实场景中，唯一性是很常见的一种索引约束需求，重复的数据记录会带来许多处理上的麻烦，比如订单的编号、用户的登录名等。通过建立唯一性索引，可以保证集合中文档的指定字段拥有唯一值。
- 唯一性索引对于文档中缺失的字段，会使用null值代替，因此不允许存在多个文档缺失索引字段的情况。
- 对于分片的集合，唯一性约束必须匹配分片规则。换句话说，为了保证全局的唯一性，分片键必须作为唯一性索引的前缀字段。
部分索引（Partial Indexes）
部分索引仅对满足指定过滤器表达式的文档进行索引。通过在一个集合中为文档的一个子集建立索引，部分索引具有更低的存储需求和更低的索引创建和维护的性能成本。3.2新版功能。
部分索引提供了稀疏索引功能的超集，应该优先于稀疏索引。
partialFilterExpression选项接受指定过滤条件的文档:
- 等式表达式(例如:field: value或使用$eq操作符)
- $exists: true
- gt， gte， lt， lte
- $type
- 顶层的$and
案例1
restaurants集合数据
创建索引
测试
唯一约束结合部分索引使用导致唯一约束失效的问题
注意：如果同时指定了partialFilterExpression和唯一约束，那么唯一约束只适用于满足筛选器表达式的文档。如果文档不满足筛选条件，那么带有惟一约束的部分索引不会阻止插入不满足惟一约束的文档。
案例2
users集合数据准备
创建索引，指定username字段和部分过滤器表达式age: {$gte: 21}的唯一约束。
测试
索引防止了以下文档的插入，因为文档已经存在，且指定的用户名和年龄字段大于21:
但是，以下具有重复用户名的文档是允许的，因为唯一约束只适用于年龄大于或等于21岁的文档。
稀疏索引（Sparse Indexes）
索引的稀疏属性确保索引只包含具有索引字段的文档的条目，索引将跳过没有索引字段的文档。
特性： 只对存在字段的文档进行索引（包括字段值为null的文档）
如果稀疏索引会导致查询和排序操作的结果集不完整，MongoDB将不会使用该索引，除非hint()明确指
定索引。
案例1
数据准备
创建稀疏索引
测试
同时具有稀疏性和唯一性的索引可以防止集合中存在字段值重复的文档，但允许不包含此索引字段的文档插入。
案例2
测试
这个索引将允许插入具有唯一的分数字段值或不包含分数字段的文档。因此，给定scores集合中的现有文档，索引允许以下插入操作:
索引不允许添加下列文件，因为已经存在评分为82和90的文件：
TTL索引（TTL Indexes）
在一般的应用系统中，并非所有的数据都需要永久存储。例如一些系统事件、用户消息等，这些数据随着时间的推移，其重要程度逐渐降低。更重要的是，存储这些大量的历史数据需要花费较高的成本，因此项目中通常会对过期且不再使用的数据进行老化处理。
通常的做法如下：
方案一：为每个数据记录一个时间戳，应用侧开启一个定时器，按时间戳定期删除过期的数据。
方案二：数据按日期进行分表，同一天的数据归档到同一张表，同样使用定时器删除过期的表。
对于数据老化，MongoDB提供了一种更加便捷的做法：TTL（Time To Live）索引。TTL索引需要声明在一个日期类型的字段中，TTL 索引是特殊的单字段索引，MongoDB 可以使用它在一定时间或特定时钟时间后自动从集合中删除文档。
对集合创建TTL索引之后，MongoDB会在周期性运行的后台线程中对该集合进行检查及数据清理工作。除了数据老化功能，TTL索引具有普通索引的功能，同样可以用于加速数据的查询。
TTL 索引不保证过期数据会在过期后立即被删除。文档过期和 MongoDB 从数据库中删除文档的时间之间可能存在延迟。删除过期文档的后台任务每 60 秒运行一次。因此，在文档到期和后台任务运行之间的时间段内，文档可能会保留在集合中。
案例
数据准备
创建TTL索引
可变的过期时间
TTL索引在创建之后，仍然可以对过期时间进行修改。这需要使用collMod命令对索引的定义进行变更
使用约束
TTL索引的确可以减少开发的工作量，而且通过数据库自动清理的方式会更加高效、可靠，但是在使用TTL索引时需要注意以下的限制：
- TTL索引只能支持单个字段，并且必须是非_id字段。
- TTL索引不能用于固定集合。
- TTL索引无法保证及时的数据老化，MongoDB会通过后台的TTLMonitor定时器来清理老化数据，默认的间隔时间是1分钟。当然如果在数据库负载过高的情况下，TTL的行为则会进一步受到影响。
- TTL索引对于数据的清理仅仅使用了remove命令，这种方式并不是很高效。因此TTL Monitor在运行期间对系统CPU、磁盘都会造成一定的压力。相比之下，按日期分表的方式操作会更加高效。
隐藏索引（Hidden Indexes）
隐藏索引对查询规划器不可见，不能用于支持查询。通过对规划器隐藏索引，用户可以在不实际删除索引的情况下评估删除索引的潜在影响。如果影响是负面的，用户可以取消隐藏索引，而不必重新创建已删除的索引。4.4新版功能。
案例
创建隐藏索引
查看索引信息
索引属性hidden只在值为true时返回
测试
7.5 索引使用建议
1.为每一个查询建立合适的索引
这个是针对于数据量较大比如说超过几十上百万（文档数目）数量级的集合。如果没有索引MongoDB需要把所有的Document从盘上读到内存，这会对MongoDB服务器造成较大的压力并影响到其他请求的执行。
2.创建合适的复合索引，不要依赖于交叉索引
如果你的查询会使用到多个字段，MongoDB有两个索引技术可以使用：交叉索引和复合索引。交叉索引就是针对每个字段单独建立一个单字段索引，然后在查询执行时候使用相应的单字段索引进行索引交叉而得到查询结果。交叉索引目前触发率较低，所以如果你有一个多字段查询的时候，建议使用复合索引能够保证索引正常的使用。
3.复合索引字段顺序：匹配条件在前，范围条件在后（Equality First, Range After）
前面的例子，在创建复合索引时如果条件有匹配和范围之分，那么匹配条件（sport: “marathon”) 应该=复合索引的前面。范围条件(age: <30)字段应该放在复合索引的后面。
4.尽可能使用覆盖索引（Covered Index）
5.建索引要在后台运行
在对一个集合创建索引时，该集合所在的数据库将不接受其他读写操作。对大数据量的集合建索引，建议使用后台运行选项
7.6 explain执行计划详解
通常我们需要关心的问题：
- 查询是否使用了索引
- 索引是否减少了扫描的记录数量
- 是否存在低效的内存排序
MongoDB提供了explain命令，它可以帮助我们评估指定查询模型（querymodel）的执行计划，根据实际情况进行调整，然后提高查询效率。
explain()方法的形式如下: - verbose 可选参数，表示执行计划的输出模式，默认queryPlanner
| 模式名字 | 描述 |
|---|---|
| queryPlanner | 执行计划的详细信息，包括查询计划、集合信息、查询条件、最佳执行计划、查询方式和 MongoDB 服务信息等 |
| exectionStats | 最佳执行计划的执行情况和被拒绝的计划等信息 |
| allPlansExecution | 选择并执行最佳执行计划，并返回最佳执行计划和其他执行计划的执行情况 |
queryPlanner
| 字段名称 | 描述 |
|---|---|
| plannerVersion | 执行计划的版本 |
| namespace | 查询的集合 |
| indexFilterSet | 是否使用索引 |
| parsedQuery | 查询条件 |
| winningPlan | 最佳执行计划 |
| stage | 查询方式 |
| filter | 过滤条件 |
| direction | 查询顺序 |
| rejectedPlans | 拒绝的执行计划 |
| serverInfo | mongodb服务器信息 |
executionStats
executionStats 模式的返回信息中包含了 queryPlanner 模式的所有字段，并且还包含了最佳执行计划
的执行情况
| 字段名称 | 描述 |
|---|---|
| winningPlan.inputStage | 用来描述子stage， 并且为其父stage提供文档和索引关键字 |
| winningPlan.inputStage.stage | 子查询方式 |
| winningPlan.inputStage.keyPattern | 所扫描的index内容 |
| winningPlan.inputStage.indexName | 索引名 |
| winningPlan.inputStage.isMultiKey | 是否是Multikey。如果索引建立在array 上，将是true |
| executionStats.executionSuccess | 是否执行成功 |
| executionStats.nReturned | 返回的个数 |
| executionStats.executionTimeMillis | 这条语句执行时间 |
| executionStats.executionStages.executionTimeMillisEstimate | 检索文档获取数据的时间 |
| executionStats.executionStages.inputStage.executionTimeMillisEstimate | 扫描获取数据的时间 |
| executionStats.totalKeysExamined | 索引扫描次数 |
| executionStats.totalDocsExamined | 文档扫描次数 |
| executionStats.executionStages.isEOF | 是否到达 steam 结尾，1 或者 true 代表已到达结尾 |
| executionStats.executionStages.works | 工作单元数，一个查询会分解成小的工作单元 |
| executionStats.executionStages.advanced | 优先返回的结果数 |
| executionStats.executionStages.docsExamined | 文档检查数 |
allPlansExecution
allPlansExecution返回的信息包含 executionStats 模式的内容，且包含allPlansExecution:[]块
stage状态
| 状态 | 描述 |
|---|---|
| COLLSCAN | 全表扫描 |
| IXSCAN | 索引扫描 |
| FETCH | 根据索引检索指定文档 |
| SHARD_MERGE | 将各个分片返回数据进行合并 |
| SORT | 在内存中进行了排序 |
| LIMIT | 使用limit限制返回数 |
| SKIP | 使用skip进行跳过 |
| IDHACK | 对_id进行查询 |
| SHARDING_FILTER | 通过mongos对分片数据进行查询 |
| COUNTSCAN | count不使用Index进行count时的stage返回 |
| COUNT_SCAN | count使用了Index进行count时的stage返回 |
| SUBPLA | 未使用到索引的$or查询的stage返回 |
| TEXT | 使用全文索引进行查询时候的stage返回 |
| PROJECTION | 限定返回字段时候stage的返回 |
执行计划的返回结果中尽量不要出现以下stage:
- COLLSCAN(全表扫描)
- SORT(使用sort但是无index)
- 不合理的SKIP
- SUBPLA(未用到index的$or)
- COUNTSCAN(不使用index进行count)
END
好详细呀