1. 序
最近一直在做的一个项目使用了 ElasticSearch 作为查询和计算的数据源,中间踩了不少坑,也有一些发现和心得体会,趁着假期好好总结一下。
2. 使用体会
ElasticSearch 也不介绍了,我这等菜鸟也讲不出什么所以然,反正老大怎么说就怎么来吧。这里直接谈谈心得体会,一个字:快!
这次用的 ElasticSearch 集群一共 15 台服务器,每台机器大概是 32G 内存吧。几千万、几个亿条的数据做查询和聚合杠杠的!(原谅我一个江南人在北京七年也变得放荡不羁)几乎可以做实时的离线分析了!
下面讲讲使用 ElasticSearch 遇到的坑,分为以下几个部分:
- Query DSL
- 多值类型的数据存储
- Hive 向 ElasticSearch 导出数据
- Java 客户端 API 调用
这几个部分会在接下来的几篇文章中详细讲一下。