在 NodeJS 中，文件操作是常见的任务之一。然而，当处理大文件时，直接将整个文件加载到内存中可能会导致内存溢出或性能瓶颈。为了解决这一问题，NodeJS 提供了文件流（Stream）机制。文件流允许我们分块处理文件，从而避免一次性加载大量数据到内存中。本文将详细介绍文件流的优点、使用方法、应用场景，并探讨背压（Backpressure）的概念。
文件流的优点
1. 内存效率高
传统的文件操作方式通常会将整个文件加载到内存中，这在处理大文件时会导致内存占用过高，甚至引发内存溢出。而文件流通过分块读取和写入数据，显著降低了内存占用。例如，使用 fs.createReadStream 可以逐块读取文件内容，而不需要一次性将整个文件加载到内存中。
const fs = require('fs');
const readStream = fs.createReadStream('largefile.txt', { highWaterMark: 64 * 1024 }); // 每次读取 64KB
readStream.on('data', (chunk) => {
console.log(`Received ${chunk.length} bytes of data.`);
});
readStream.on('end', () => {
console.log('File reading completed.');
});2. 时间效率高
文件流不仅节省内存，还能提升时间效率。在网络传输或实时数据处理场景中，文件流可以边读取边传输，而不需要等待整个文件加载完成。这对于视频流、实时日志处理等场景尤为重要。
const http = require('http');
const fs = require('fs');
http.createServer((req, res) => {
const readStream = fs.createReadStream('video.mp4');
readStream.pipe(res); // 将视频文件流式传输到客户端
}).listen(3000, () => {
console.log('Server is running on port 3000');
});文件流的使用方法
在 NodeJS 中，文件流主要分为可读流（Readable Stream）和可写流（Writable Stream）。以下是它们的基本使用方法：
1. 创建可读流
使用 fs.createReadStream 创建可读流，并通过 data 事件监听数据块的到达。
const fs = require('fs');
const readStream = fs.createReadStream('input.txt');
readStream.on('data', (chunk) => {
console.log(`Received ${chunk.length} bytes of data.`);
});
readStream.on('end', () => {
console.log('No more data to read.');
});
readStream.on('error', (err) => {
console.error('Error reading file:', err);
});2. 创建可写流
使用 fs.createWriteStream 创建可写流，并通过 write 方法写入数据。
const fs = require('fs');
const writeStream = fs.createWriteStream('output.txt');
writeStream.write('Hello, World!\n');
writeStream.write('This is a test file.\n');
writeStream.end(() => {
console.log('File writing completed.');
});
writeStream.on('error', (err) => {
console.error('Error writing file:', err);
});3. 管道（Pipe）操作
管道操作是文件流的核心功能之一，它可以将可读流的数据直接传输到可写流中，简化了数据传输的逻辑。
const fs = require('fs');
const readStream = fs.createReadStream('input.txt');
const writeStream = fs.createWriteStream('output.txt');
readStream.pipe(writeStream);
writeStream.on('finish', () => {
console.log('Data has been piped successfully.');
});背压（Backpressure）的概念
在文件流的使用中，背压是一个重要的概念。当可读流的数据生成速度超过可写流的处理速度时，会导致数据积压，进而占用大量内存。NodeJS 通过背压机制自动调节数据流动，避免内存溢出。
例如，在管道操作中，如果可写流无法及时处理数据，可读流会自动暂停数据的生成，直到可写流准备好接收更多数据。
const fs = require('fs');
const readStream = fs.createReadStream('largefile.txt');
const writeStream = fs.createWriteStream('output.txt');
readStream.pipe(writeStream);
writeStream.on('drain', () => {
console.log('Write stream is ready to receive more data.');
});文件流的应用场景
1. 视频处理
在视频处理中，文件流可以边读取边传输，避免一次性加载整个视频文件到内存中。这对于在线视频播放、视频转码等场景非常有用。
2. 日志记录
在日志记录中，文件流可以实时将日志写入文件，而不需要等待日志数据积累到一定量再写入。这对于高并发的服务器日志记录尤为重要。
const fs = require('fs');
const writeStream = fs.createWriteStream('app.log', { flags: 'a' });
function log(message) {
writeStream.write(`${new Date().toISOString()} - ${message}\n`);
}
log('Server started');
log('User logged in');总结
文件流是 NodeJS 中处理大文件和高并发场景的重要工具。它通过分块处理数据，显著提高了内存效率和时间效率。掌握文件流技术不仅可以帮助我们构建高效的应用程序，还能有效避免内存溢出等问题。在实际开发中，文件流广泛应用于视频处理、日志记录、网络传输等场景。希望本文能帮助你理解文件流的核心概念，并在项目中灵活运用这一技术。
如果你还没有尝试过文件流，不妨从本文的代码示例开始，体验其强大的功能吧！
前端面试Node.js【27题】
1.common.js和es6中模块引入的区别?
2.为什么Node在使用es module时必须加上文件扩展名?
3.浏览器和 Node 中的事件循环有什么区别?
4.Node性能如何进行监控以及优化?
5.如果让你来设计一个分页功能,你会怎么设计?前后端如何交互?
6.如何实现文件上传?说说你的思路
7.如何实现iwt鉴权机制?说说你的思路
8.说说对中间件概念的理解，如何封装 node 中间件?
9.说说 Node 文件査找的优先级以及 Require 方法的文件査找策略?
10.说说对Nodejs中的事件循环机制理解?
11.说说Node中的EventEmitter?如何实现-个EventEmitter?
12.说说对 Node 中的 Stream 的理解?应用场景?
13.说说对 Node 中的 Buffer 的理解?应用场景?
14.说说对 Node 中的 fs模块的理解? 有哪些常用方法
15.说说对 Node 中的 process 的理解?有哪些常用方法?
16.Node.js 有哪些全局对象?
17.说说你对Node.js 的理解?优缺点?应用场景?
18.body-parser 这个中间件是做什么用的?
20.在没有async await 的时候，koa是怎么实现的洋葱模型?
21.koa 框架中，该怎么处理中间件的异常?
22.Node.js 如何调试?
23.说说你对 koa 洋葱模型的理解
24.pm2宁护进程的原理是什么?
25.koa和express有哪些不同?
26.两个 Node.is 进程如何通信?
27.npm 是什么?
