Skip to content

Commit e3d7ab3

Browse files
h2plh2pl
committed
modify toc
1 parent 42fa58d commit e3d7ab3

15 files changed

+310
-39
lines changed

‎docs/big-backEnd/Hadoop生态总结.md

Lines changed: 24 additions & 1 deletion
Original file line numberDiff line numberDiff line change
@@ -1,3 +1,26 @@
1+
# 目录
2+
3+
* [Hadoop生态](#hadoop生态)
4+
* [hdfs](#hdfs)
5+
* [架构](#架构)
6+
* [读写](#读写)
7+
* [高可用](#高可用)
8+
* [MapReduce](#mapreduce)
9+
* [架构和流程](#架构和流程)
10+
* [wordcount](#wordcount)
11+
* [hive](#hive)
12+
* [hbase](#hbase)
13+
* [简介](#简介)
14+
* [存储](#存储)
15+
* [zk](#zk)
16+
* [sqoop](#sqoop)
17+
* [yarn](#yarn)
18+
* [kafka](#kafka)
19+
* [flume](#flume)
20+
* [spark](#spark)
21+
* [storm](#storm)
22+
23+
124
[toc]
225

326
这篇总结主要是基于我之前Hadoop生态基础系列文章而形成的的。主要是把重要的知识点用自己的话说了一遍，可能会有一些错误，还望见谅和指点。谢谢
@@ -224,4 +247,4 @@ Spout负责从数据源上获取数据，简单处理 封装成tuple向后面的
224247
topology包含了spout和bolt。
225248
spout负责获取数据，并且将数据发送给bolt，这个过程就是把任务派发到多个节点，bolt则负责对数据进行处理，比如splitbolt负责把每个单词提取出来，countbolt负责单词数量的统计，最后的printbolt将每个结果集tuple打印出来。
226249

227-
这就形成了一个完整的流程。
250+
这就形成了一个完整的流程。

‎docs/big-backEnd/后端技术杂谈开篇：云计算，大数据与AI的故事.md

Lines changed: 30 additions & 1 deletion
Original file line numberDiff line numberDiff line change
@@ -1,3 +1,32 @@
1+
# 目录
2+
3+
* [一、云计算最初是实现资源管理的灵活性](#一、云计算最初是实现资源管理的灵活性)
4+
* [1.1 管数据中心就像配电脑](#11-管数据中心就像配电脑)
5+
* [1.2 灵活就是想啥时要都有，想要多少都行](#12-灵活就是想啥时要都有，想要多少都行)
6+
* [1.3 物理设备不灵活](#13-物理设备不灵活)
7+
* [1.4 虚拟化灵活多了](#14-虚拟化灵活多了)
8+
* [1.5 虚拟世界的赚钱与情怀](#15-虚拟世界的赚钱与情怀)
9+
* [1.6 虚拟化的半自动和云计算的全自动](#16-虚拟化的半自动和云计算的全自动)
10+
* [1.7 云计算的私有与公有](#17-云计算的私有与公有)
11+
* [1.8 云计算的赚钱与情怀](#18-云计算的赚钱与情怀)
12+
* [1.9 IaaS,资源层面的灵活性](#19-iaas资源层面的灵活性)
13+
* [二、云计算不光管资源，也要管应用](#二、云计算不光管资源，也要管应用)
14+
* [三、大数据拥抱云计算](#三、大数据拥抱云计算)
15+
* [3.1 数据不大也包含智慧](#31-数据不大也包含智慧)
16+
* [3.2 数据如何升华为智慧](#32-数据如何升华为智慧)
17+
* [3.3 大数据时代，众人拾柴火焰高](#33-大数据时代，众人拾柴火焰高)
18+
* [3.4 大数据需要云计算，云计算需要大数据](#34-大数据需要云计算，云计算需要大数据)
19+
* [4.1 机器什么时候才能懂人心](#41-机器什么时候才能懂人心)
20+
* [4.2 让机器学会推理](#42-让机器学会推理)
21+
* [4.3 教给机器知识](#43-教给机器知识)
22+
* [4.4 算了，教不会你自己学吧](#44-算了，教不会你自己学吧)
23+
* [4.5 模拟大脑的工作方式](#45-模拟大脑的工作方式)
24+
* [4.6 没道理但做得到](#46-没道理但做得到)
25+
* [4.7 人工智能的经济学解释](#47-人工智能的经济学解释)
26+
* [4.8 人工智能需要大数据](#48-人工智能需要大数据)
27+
* [五、云计算，大数据，人工智能过上了美好的生活](#五、云计算，大数据，人工智能过上了美好的生活)
28+
29+
130
[toc]
231
我今天要讲这三个话题，一个是云计算，一个大数据，一个人工智能，我为什么要讲这三个东西呢？因为这三个东西现在非常非常的火，它们之间好像互相有关系，一般谈云计算的时候也会提到大数据，谈人工智能的时候也会提大数据，谈人工智能的时候也会提云计算。所以说感觉他们又相辅相成不可分割，如果是非技术的人员来讲可能比较难理解说这三个之间的相互关系，所以有必要解释一下。
332

@@ -361,4 +390,4 @@
361390

362391
# 五、云计算，大数据，人工智能过上了美好的生活
363392

364-
终于云计算的三兄弟凑齐了，分别是IaaS，PaaS和SaaS，所以一般在一个云计算平台上，云，大数据，人工智能都能找得到。对一个大数据公司，积累了大量的数据，也会使用一些人工智能的算法提供一些服务。对于一个人工智能公司，也不可能没有大数据平台支撑。所以云计算，大数据，人工智能就这样整合起来，完成了相遇，相识，相知。
393+
终于云计算的三兄弟凑齐了，分别是IaaS，PaaS和SaaS，所以一般在一个云计算平台上，云，大数据，人工智能都能找得到。对一个大数据公司，积累了大量的数据，也会使用一些人工智能的算法提供一些服务。对于一个人工智能公司，也不可能没有大数据平台支撑。所以云计算，大数据，人工智能就这样整合起来，完成了相遇，相识，相知。

‎docs/big-backEnd/后端技术杂谈：Docker 核心技术与实现原理.md

Lines changed: 17 additions & 1 deletion
Original file line numberDiff line numberDiff line change
@@ -1,3 +1,19 @@
1+
# 目录
2+
3+
* [Namespaces](#namespaces)
4+
* [进程](#进程)
5+
* [网络](#网络)
6+
* [libnetwork](#libnetwork)
7+
* [挂载点](#挂载点)
8+
* [chroot](#chroot)
9+
* [CGroups](#cgroups)
10+
* [UnionFS](#unionfs)
11+
* [存储驱动](#存储驱动)
12+
* [AUFS](#aufs)
13+
* [其他存储驱动](#其他存储驱动)
14+
* [总结](#总结)
15+
16+
117
[toc]
218

319
本文转自互联网，侵删
@@ -316,4 +332,4 @@ $ docker info | grep StorageStorage Driver: aufs
316332

317333
Docker 目前已经成为了非常主流的技术，已经在很多成熟公司的生产环境中使用，但是 Docker 的核心技术其实已经有很多年的历史了，Linux 命名空间、控制组和 UnionFS 三大技术支撑了目前 Docker 的实现，也是 Docker 能够出现的最重要原因。
318334

319-
作者在学习 Docker 实现原理的过程中查阅了非常多的资料，从中也学习到了很多与 Linux 操作系统相关的知识，不过由于 Docker 目前的代码库实在是太过庞大，想要从源代码的角度完全理解 Docker 实现的细节已经是非常困难的了，但是如果各位读者真的对其实现细节感兴趣，可以从[Docker CE](https://github.com/docker/docker-ce)的源代码开始了解 Docker 的原理。
335+
作者在学习 Docker 实现原理的过程中查阅了非常多的资料，从中也学习到了很多与 Linux 操作系统相关的知识，不过由于 Docker 目前的代码库实在是太过庞大，想要从源代码的角度完全理解 Docker 实现的细节已经是非常困难的了，但是如果各位读者真的对其实现细节感兴趣，可以从[Docker CE](https://github.com/docker/docker-ce)的源代码开始了解 Docker 的原理。

‎docs/big-backEnd/后端技术杂谈：Elasticsearch与solr入门实践.md

Lines changed: 42 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -1,3 +1,45 @@
1+
# 目录
2+
3+
* [一、安装](#一、安装)
4+
* [二、基本概念](#二、基本概念)
5+
* [2.1 Node 与 Cluster](#21-node-与-cluster)
6+
* [2.2 Index](#22-index)
7+
* [2.3 Document](#23-document)
8+
* [2.4 Type](#24-type)
9+
* [三、新建和删除 Index](#三、新建和删除-index)
10+
* [四、中文分词设置](#四、中文分词设置)
11+
* [五、数据操作](#五、数据操作)
12+
* [5.1 新增记录](#51-新增记录)
13+
* [5.2 查看记录](#52-查看记录)
14+
* [5.3 删除记录](#53-删除记录)
15+
* [5.4 更新记录](#54-更新记录)
16+
* [六、数据查询](#六、数据查询)
17+
* [6.1 返回所有记录](#61-返回所有记录)
18+
* [6.2 全文搜索](#62-全文搜索)
19+
* [6.3 逻辑运算](#63-逻辑运算)
20+
* [七、参考链接](#七、参考链接)
21+
* [一、前言](#一、前言)
22+
* [二、安装](#二、安装)
23+
* [三、创建索引](#三、创建索引)
24+
* [四、搜索干预](#四、搜索干预)
25+
* [五、中文分词](#五、中文分词)
26+
* [六、总结](#六、总结)
27+
* [七、附录](#七、附录)
28+
* [搜索引擎选型整理：Elasticsearch vs Solr](#搜索引擎选型整理：elasticsearch-vs-solr)
29+
* [Elasticsearch简介](#elasticsearch简介)
30+
* [Elasticsearch的优缺点](#elasticsearch的优缺点)
31+
* [优点](#优点)
32+
* [缺点](#缺点)
33+
* [Solr简介](#solr简介)
34+
* [Solr的优缺点](#solr的优缺点)
35+
* [优点](#优点-1)
36+
* [缺点](#缺点-1)
37+
* [Elasticsearch与Solr的比较](#elasticsearch与solr的比较)
38+
* [实际生产环境测试](#实际生产环境测试)
39+
* [Elasticsearch 与 Solr 的比较总结](#elasticsearch-与-solr-的比较总结)
40+
* [其他基于Lucene的开源搜索引擎解决方案](#其他基于lucene的开源搜索引擎解决方案)
41+
42+
143
[toc]
244
作者：阮一峰
345

‎docs/big-backEnd/后端技术杂谈：Lucene基础原理与实践.md

Lines changed: 35 additions & 1 deletion
Original file line numberDiff line numberDiff line change
@@ -1,3 +1,37 @@
1+
# 目录
2+
3+
* [二、索引里面究竟存些什么](#二、索引里面究竟存些什么)
4+
* [三、如何创建索引](#三、如何创建索引)
5+
* [第一步：一些要索引的原文档(Document)。](#第一步：一些要索引的原文档document。)
6+
* [第二步：将原文档传给分次组件(Tokenizer)。](#第二步：将原文档传给分次组件tokenizer。)
7+
* [第三步：将得到的词元(Token)传给语言处理组件(Linguistic Processor)。](#第三步：将得到的词元token传给语言处理组件linguistic-processor。)
8+
* [第四步：将得到的词(Term)传给索引组件(Indexer)。](#第四步：将得到的词term传给索引组件indexer。)
9+
* [三、如何对索引进行搜索？](#三、如何对索引进行搜索？)
10+
* [第一步：用户输入查询语句。](#第一步：用户输入查询语句。)
11+
* [第二步：对查询语句进行词法分析，语法分析，及语言处理。](#第二步：对查询语句进行词法分析，语法分析，及语言处理。)
12+
* [第三步：搜索索引，得到符合语法树的文档。](#第三步：搜索索引，得到符合语法树的文档。)
13+
* [第四步：根据得到的文档和查询语句的相关性，对结果进行排序。](#第四步：根据得到的文档和查询语句的相关性，对结果进行排序。)
14+
* [1. 计算权重(Term weight)的过程。](#1-计算权重term-weight的过程。)
15+
* [2\. 判断Term之间的关系从而得到文档相关性的过程，也即向量空间模型的算法(VSM)。](#2-判断term之间的关系从而得到文档相关性的过程，也即向量空间模型的算法vsm。)
16+
* [Spring Boot 中使用 Java API 调用 lucene](#spring-boot-中使用-java-api-调用-lucene)
17+
* [Github 代码](#github-代码)
18+
* [添加依赖](#添加依赖)
19+
* [配置 lucene](#配置-lucene)
20+
* [创建索引](#创建索引)
21+
* [删除文档](#删除文档)
22+
* [更新文档](#更新文档)
23+
* [按词条搜索](#按词条搜索)
24+
* [多条件查询](#多条件查询)
25+
* [匹配前缀](#匹配前缀)
26+
* [短语搜索](#短语搜索)
27+
* [相近词语搜索](#相近词语搜索)
28+
* [通配符搜索](#通配符搜索)
29+
* [分词查询](#分词查询)
30+
* [多个 Field 分词查询](#多个-field-分词查询)
31+
* [中文分词器](#中文分词器)
32+
* [高亮处理](#高亮处理)
33+
34+
135
[toc]
236
Lucene是一个高效的，基于Java的全文检索库。
337

@@ -916,4 +950,4 @@ Apache Spark 是专为大规模数据处理而设计的快速通用的计算引
916950

917951
代码我已放到 Github ，导入`spring-boot-lucene-demo` 项目
918952

919-
[github spring-boot-lucene-demo](https://docs.qq.com/doc/DWVNPQXRvcWhMTktC)
953+
[github spring-boot-lucene-demo](https://docs.qq.com/doc/DWVNPQXRvcWhMTktC)

‎docs/big-backEnd/后端技术杂谈：OpenStack架构设计.md

Lines changed: 15 additions & 1 deletion
Original file line numberDiff line numberDiff line change
@@ -1,3 +1,17 @@
1+
# 目录
2+
3+
* [openstack 逻辑架构图](#openstack-逻辑架构图)
4+
* [OpenStack 项目和组件](#openstack-项目和组件)
5+
* [生产部署架构](#生产部署架构)
6+
* [控制器](#控制器)
7+
* [计算](#计算)
8+
* [块设备存储](#块设备存储)
9+
* [对象存储](#对象存储)
10+
* [网络](#网络)
11+
* [涉及的 Linux 网络技术](#涉及的-linux-网络技术)
12+
* [总结](#总结)
13+
14+
115
[toc]
216

317
本文转自互联网，侵删
@@ -186,4 +200,4 @@ Neutron 的设计目标是实现“网络即服务”，为了达到这一目标
186200

187201
## 总结
188202

189-
openstack是一个非法复杂的分布式软件，涉及到很多底层技术，我自己对一些网络的理解也是非常有限，主要还是应用层面的知识，所以本章内容写的比较浅显一些，有问题请留言？在下一章节我们会进入生产环境如何实施规划openstack集群，至于openstack底层的技术，我也没有很深入研究，如果有任何不恰当的地方可以进行留言，非常感谢！
203+
openstack是一个非法复杂的分布式软件，涉及到很多底层技术，我自己对一些网络的理解也是非常有限，主要还是应用层面的知识，所以本章内容写的比较浅显一些，有问题请留言？在下一章节我们会进入生产环境如何实施规划openstack集群，至于openstack底层的技术，我也没有很深入研究，如果有任何不恰当的地方可以进行留言，非常感谢！

0 commit comments

Comments
 (0)