先自我介绍一下，小编浙江大学毕业，去过华为、字节跳动等大厂，目前阿里P7
深知大多数程序员，想要提升技能，往往是自己摸索成长，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！
因此收集整理了一份《2024年最新大数据全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。
既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！
由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新
如果你需要这些资料，可以添加V获取：vip204888 （备注大数据）
正文
3、小结
安装完成后需要重新启动ES
接下来我们需要创建一个关于ingest-attachment的文本抽取管道
PUT /_ingest/pipeline/attachment
{
"description": "Extract attachment information",
"processors": [
{
"attachment": {
"field": "content",
"ignore_missing": true
}
},
{
"remove": {
"field": "content"
}
}
]
}
后续我们的文件需要base64后储存到 attachment.content 索引字段中
三、如何应用？
1、通过命令语句简易检索
创建一个ES 索引 并且添加一些测试数据
POST /pdf_data/_doc?pretty
{
"id": "3",
"name": "面试题文件1.pdf",
"age": 18,
"type": "file",
"money": 1111,
"createBy": "阿杰",
"createTime": "2022-11-03T10:41:51.851Z",
"attachment": {
"content": "面试官：如何保证消息不被重复消费啊？如何保证消费的时候是幂等的啊？Kafka、ActiveMQ、RabbitMQ、RocketMQ 都有什么区别，以及适合哪些场景？",
"date": "2022-11-02T10:41:51.851Z",
"language": "en"
}
}
通过插入的文档内容为条件进行检索
# 简单 单条件查询 文档内容检索
GET /pdf_data/_search
{
"query": {
"match": {
"attachment.content": "面试官：如何保证消息不被重复消费啊？如何保证消费的时候是幂等的啊？"
}
}
}
2、整合java代码实现ES通过ingest-attachment进行全文检索
1、首先将文件转为BASE64进行ES数据插入
/**
* 将文件 文档信息储存到数据中
* @param file
* @return
*/
@PostMapping("/insertFile")
@ApiOperation(value="创建索引ES-传入ES索引-传入文件", notes="创建索引ES-传入ES索引-传入文件")
public IndexResponse insertFile(@RequestAttribute("file") MultipartFile file,@RequestParam("indexName")String indexName){
FileObj fileObj = new FileObj();
fileObj.setId(String.valueOf(System.currentTimeMillis()));
fileObj.setName(file.getOriginalFilename());
fileObj.setType(file.getName().substring(file.getName().lastIndexOf(".") + 1));
fileObj.setCreateBy(RandomNameGenerator.generateRandomName());
fileObj.setCreateTime(String.valueOf(System.currentTimeMillis()));
fileObj.setAge(RandomNameGenerator.getAge());
fileObj.setMoney(RandomNameGenerator.getMoney());
// 文件转base64
byte[] bytes = new byte[0];
try {
bytes = file.getBytes();
//将文件内容转化为base64编码
String base64 = Base64.getEncoder().encodeToString(bytes);
fileObj.setContent(base64);
IndexResponse indexResponse= ElasticsearchUtil.upload(fileObj,indexName);
if (0==indexResponse.status().getStatus()){
// 索引创建并插入数据成功
System.out.println("索引创建并插入数据成功");
}
return indexResponse;
} catch (Exception e) {
e.printStackTrace();
}
return null;
}
2、创建索引、插入数据，并且将文档数据抽取到管道中
@Autowired
private RestHighLevelClient restHighLevelClient;
private static RestHighLevelClient levelClient;
@PostConstruct
public void initClient() {
levelClient = this.restHighLevelClient;
}
/**
* 创建索引并插入数据
* @param file
* @param indexName
* @return
* @throws IOException
*/
public static IndexResponse upload(FileObj file,String indexName) throws IOException {
// TODO 创建前需要判断当前文档是否已经存在
if (!isIndexExist(indexName)) {
CreateIndexRequest request = new CreateIndexRequest(indexName);
// 如果需要ik分词器就添加配置，不需要就注释掉
// 添加 IK 分词器设置 ik_max_word
// request.settings(Settings.builder()
// .put("index.analysis.analyzer.default.type", "ik_max_word")
// .put("index.analysis.analyzer.default.use_smart", "true")
// );
// 添加 IK 分词器设置 ik_smart
request.settings(Settings.builder()
.put("index.analysis.analyzer.default.type", "ik_smart")
);
CreateIndexResponse response = levelClient.indices().create(request, RequestOptions.DEFAULT);
log.info("执行建立成功？" + response.isAcknowledged());
}
IndexRequest indexRequest = new IndexRequest(indexName);
//上传同时，使用attachment pipline进行提取文件
indexRequest.source(JSON.toJSONString(file), XContentType.JSON);
indexRequest.setPipeline("attachment");
IndexResponse indexResponse= levelClient.index(indexRequest,RequestOptions.DEFAULT);
System.out.println(indexResponse);
return indexResponse;
}
3、其他代码补充
ES Config 配置类
/**
* ES配置类
* author: 阿杰
*/
@Configuration
public class ElasticSearchClientConfig {
/**
* ES 地址：127.0.0.1:9200
*/
@Value("${es.ip}")
private String hostName;
@Bean
public RestHighLevelClient restHighLevelClient() {
String[] points = hostName.split(",");
HttpHost[] httpHosts = new HttpHost[points.length];
for (int i = 0; i < points.length; i++) {
String point = points[i];
httpHosts[i] = new HttpHost(point.split(":")[0], Integer.parseInt(point.split(":")[1]), "http");
}
RestHighLevelClient client = new RestHighLevelClient(
RestClient.builder(httpHosts));
return client;
}
@Bean
public ElasticsearchUtil elasticSearchUtil() {
return new ElasticsearchUtil();
}
}
数据插入使用的实体类
/**
* author: 阿杰
*/
@Data
public class FileObj {
/**
* 用于存储文件id
*/
String id;
**网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。**
**需要这份系统化的资料的朋友，可以添加V获取：vip204888 （备注大数据）**
**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**
String id;
**网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。**
**需要这份系统化的资料的朋友，可以添加V获取：vip204888 （备注大数据）**
[外链图片转存中...(img-vfbhULk3-1713120469612)]
**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**
