用NODE.JS中的流编写工具是要注意的事项
来源: 阅读:1422 次 日期:2016-08-04 15:22:26
温馨提示: 小编为您整理了“用NODE.JS中的流编写工具是要注意的事项”,方便广大网友查阅!

Node.js中的流十分强大,它对处理潜在的大文件提供了支持,也抽象了一些场景下的数据处理和传递。正因为它如此好用,所以在实战中我们常常基于它来编写一些工具 函数/库 ,但往往又由于自己对流的某些特性的疏忽,导致写出的 函数/库 在一些情况会达不到想要的效果,或者埋下一些隐藏的地雷。本文将会提供两个在编写基于流的工具时,私以为有些用的两个tips。

一,警惕EVENTEMITTER内存泄露

在一个可能被多次调用的函数中,如果需要给流添加事件监听器来执行某些操作。那么则需要警惕添加监听器而导致的内存泄露:

'use strict';

const fs = require('fs');

const co = require('co');

function getSomeDataFromStream (stream) {

 let data = stream.read();

 if (data) return Promise.resolve(data);

 if (!stream.readable) return Promise.resolve(null);

 return new Promise((resolve, reject) => {

  stream.once('readable', () => resolve(stream.read()));

  stream.on('error', reject);

  stream.on('end', resolve);

 })

}

let stream = fs.createReadStream('/Path/to/a/big/file');

co(function *() {

 let chunk;

 while ((chunk = yield getSomeDataFromStream(stream)) !== null) {

  console.log(chunk);

 }

}).catch(console.error);

在上述代码中,getSomeDataFromStream函数会在通过监听error事件和end事件,来在流报错或没有数据时,完成这个Promise。然而在执行代码时,我们很快就会在控制台中看到报警信息:(node) warning: possible EventEmitter memory leak detected. 11 error listeners added. Use emitter.setMaxListeners() to increase limit.,因为我们在每次调用该函数时,都为传入的流添加了一个额外的error事件监听器和end事件监听器。为了避免这种潜在的内存泄露,我们要确保每次函数执行完毕后,清除所有此次调用添加的额外监听器,保持函数无污染:

function getSomeDataFromStream (stream) {

 let data = stream.read();

 if (data) return Promise.resolve(data);

 if (!stream.readable) return Promise.resolve(null);

 return new Promise((resolve, reject) => {

  stream.once('readable', onData);

  stream.on('error', onError);

  stream.on('end', done);

  function onData () {

   done();

   resolve(stream.read());

  }

  function onError (err) {

   done();

   reject(err);

  }

  function done () {

   stream.removeListener('readable', onData);

   stream.removeListener('error', onError);

   stream.removeListener('end', done);

  }

 })

}

二,保证工具函数的回调在处理完毕数据后才被调用

工具函数往往会对外提供一个回调函数参数,待处理完流中的所有数据后,带着指定值触发,通常的做法是将回调函数的调用挂在流的end事件中,但如果处理函数是耗时的异步操作,回调函数则可能在所有数据处理完毕前被调用:

'use strict';

const fs = require('fs');

let stream = fs.createReadStream('/Path/to/a/big/file');

function processSomeData (stream, callback) {

 stream.on('data', (data) => {

  // 对数据进行一些异步耗时操作

  setTimeout(() => console.log(data), 2000);

 });

 stream.on('end', () => {

  // ...

  callback()

 })

}

processSomeData(stream, () => console.log('end'));

以上的代码callback回调可能会在数据并未被全部处理时就被调用,因为流的end事件的触发时机仅仅是在流中的数据被读完时。所以我们需要额外地对数据是否已处理完进行检查:

function processSomeData (stream, callback) {

 let count = 0;

 let finished = 0;

 let isEnd = false;

 stream.on('data', (data) => {

  count++;

  // 对数据进行一些异步耗时操作

  setTimeout(() => {

   console.log(data);

   finished++;

   check();

  }, 2000);

 });

 stream.on('end', () => {

  isEnd = true;

  // ...

  check();

 })

 function check () {

  if (count === finished && isEnd) callback()

 }

}

这样一来,回调便会在所有数据都处理完毕后触发了。

更多信息请查看网络编程
由于各方面情况的不断调整与变化, 提供的所有考试信息和咨询回复仅供参考,敬请考生以权威部门公布的正式信息和咨询为准!
关于我们 | 联系我们 | 人才招聘 | 网站声明 | 网站帮助 | 非正式的简要咨询 | 简要咨询须知 | 加入群交流 | 手机站点 | 投诉建议
工业和信息化部备案号:滇ICP备2023014141号-1 云南省教育厅备案号:云教ICP备0901021 滇公网安备53010202001879号 人力资源服务许可证:(云)人服证字(2023)第0102001523号
云南网警备案专用图标
联系电话:0871-65317125(9:00—18:00) 获取招聘考试信息及咨询关注公众号:hfpxwx
咨询QQ:526150442(9:00—18:00)版权所有:
云南网警报警专用图标
Baidu
map