这篇文章主要为大家详细介绍了nodeJs爬虫获取数据简单实现代码，感兴趣的小伙伴们可以参考一下

本文实例为大家分享了nodeJs爬虫获取数据代码，供大家参考，具体内容如下

var http=require('http');

var cheerio=require('cheerio');//页面获取到的数据模块

var url='http://www.jcpeixun.com/lesson/1512/';

function filterData(html){

  /*所要获取到的目标数组 

　　 var courseData=[{

    chapterTitle:"",

    videosData:{

      videoTitle:title,

      videoId:id,

      videoPrice:price

    }

  }] */

  var $=cheerio.load(html);

  var courseData=[];

  var chapters=$(".list-collapse");

  chapters.each(function(item){

    var chapterTitle=$(this).find(".collapse-head").find("label").text();

    var videos=$(this).find(".listview5").children("li");

    var chaptersData={

      chaptersTitle:chapterTitle,

      videosData:[]

    }

    videos.each(function(item){

      var videoTitle=$(this).find(".ml10").attr('data-lesson-name');

      var videoId=$(this).find(".ml10").attr('data-lesson-id');

      var vadeoPrice=$(this).find(".colblue").text();

      chaptersData.videosData.push({

        title:videoTitle,

        id:videoId,

        price:vadeoPrice

      })

    })

    courseData.push(chaptersData) 

  })

  return courseData

}

function printCourseInfo(courseData){

  courseData.forEach(function(item){

    console.log(item.chaptersTitle+'\n');

    item.videosData.forEach(function(item){

      console.log(item.title+'【'+item.id+'】'+item.price+'\n')

    })

  })

}

http.get(url,function(res){

  html="";

  res.on("data",function(data){

    html+=data

  })

  res.on('end',function(){

    var courseData=filterData(html);

    printCourseInfo(courseData)

  })

})

以上就是nodeJs爬虫获取数据的相关代码，希望对大家的学习有所帮助。