JavaScript

抓取选课网的绩点

微信小程序限制真多

Posted by tsengkasing on 2017-04-30

之前已经完成了验证码的识别
就想进一步把绩点也抓取下来吧
毕竟我的手机没有一个浏览器可以保存xuanke网的登录状态

绩点页面抓取

总览

我的目标是要抓取绩点页面并解析成一串JSON字符串返回，我把每一步都独立成一个函数并以promise的形式完成。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
function GPA(token, cb = function(){}) {
    const {token1, token2} = token;//token1和token2分别是用户名和密码字符串

    //先行访问xuanke登录页，获取cookie
    requestLoginPage().then(()=>{
        return requestVerificationCode();//带着cookie获取验证码图片
    }).then((obj)=>{
        return parseVerificationCode(obj);//解析验证码并返回解析结果字符串
    }).then((code) => {
        return requestToLogin({token1, token2, code});//post用户名密码和验证码
    }).then(() => {                    //如果用户名和密码正确会进行跳转，否则抛出异常
        return requestLoginCheckCode();//跳转，判定验证码是否正确
    }).then(() => {                    //如果验证码错误，抛出异常
        return requestToHome();        //如果验证码正确，则会进入到xuanke网首页
    }).then(() => {
        return requestBeforeGetGPA();  //在获取绩点页面之前需要post一个请求(并不知道用意)
    }).then(() => {
        return requestGetGPA();        //获取服务端渲染好的绩点页面
    }).then((html) => {
        cb(parseGPA(html));            //解析绩点html，并返回JSON字符串，解析出错则返回错误信息
    }).catch((message) => {
        console.error(message);        //处理异常,包括用户名密码错误和验证码错误
        cb(message);                   //返回错误信息
    });
}

访问xuanke登录页，获取cookie

这一步没什么，主要是先获取cookie并保存下来

1
2
3
let store = {};
  //...省略
store.cookie = response.headers['set-cookie'].join('').split(';')[0];

带着cookie获取验证码图片并解析

目标路径是/CheckImage。

1
2
3
4
5
6
7
8
9
10
const opts = {
    hostname: "xuanke.tongji.edu.cn",
    path: "/CheckImage",
    method: 'GET',
    port: 80,
    headers: {
      //...省略一部分headers
      'Cookie': store.cookie
    }
};

获取到图片是buffer的形式，再调用我上一篇博文写好的parseCAPTCHA.js解析即可。

这里之前限制了必须是读取文件路径，所以我又对此稍稍改动了一下parseCAPTCHA.js文件让其支持读取buffer，因为使用的Jimp包本身提供了读取buffer的方法。

Post用户名密码和验证码

这里的目标是：“tjis2.tongji.edu.cn/amserver/UI/Login”

会有5个Post参数要求，分别是

  1. goto
  2. gotoOnFail
  3. Login.Token1
  4. Login.Token2
  5. T3

goto是用户名和密码正确会接着跳转的页面

同理，gotoOnFail是错误要跳转的页面

Token1和Token2是用户名和密码

T3是四位验证码的字符串

此处的response会带有4个set-cookie的字段，然而其中一个是立即失效，剩余三个需要存储起来，之后需要使用。

分别是以下三个字段：

  1. AMAuthCookie
  2. amlbcookie
  3. IPlanetDirectoryPro

可以根据response的headers的Location字段判定是含有’pass.jsp’还是’deny.jsp’来明确用户名和密码是否正确，然后做异常处理。

跳转到验证码判定

如果上一步的用户名和密码正确，会跳转到’xuanke.tongji.edu.cn/pass.jsp?checkCode=${验证码}`

同以上一步，根据response的headers的Location字段是否含有’index.jsp’来判断验证码是否识别正确，错误要做异常处理。如果含有’index.jsp’证明验证码错误，跳转到登录页。否则成功。

进入登录后的首页

带着coookie
目标是’xuanke.tongji.edu.cn/tj_login/frame.jsp’

发送一个不知用意何在的GET请求

带着cookie
请求路径是：
‘xuanke.tongji.edu.cn/tj_login/redirect.jsp?link=/tj_xuankexjgl/score/query/student/cjcx.jsp?qxid=20051013779916$mkid=20051013779901&qxid=20051013779916&HELP_URL=null&MYXSJL=null’

获取绩点页面

带着cookie
GET请求路径是：
‘xuanke.tongji.edu.cn/tj_xuankexjgl/score/query/student/cjcx.jsp?qxid=20051013779916&mkid=20051013779901’

这里response的data还是用Buffer处理，我使用了iconv-lite来将GBK的编码转成UTF-8，然后使用html-minifier将返回的html压缩预处理，去除空行和空格，方便之后的处理。

解析绩点html页面

使用了jsdom包来提取页面信息

这里的页面没有明显的id或者class可以直接提取，大部分信息我都要用到parentNode或者nextSilbing来获取我要的节点。

具体的提取方法，大家可以自己去看看页面结构，也许有比我更快的提取方法。

Electron

东西都爬完了当然想做成能使用的产品，想到了js写客户端的两个轮子分别是Electron和NW.js，觉得Atom使用的Electron可能更有优势于是去试了一下，把页面写好了之后觉得用客户端还不如直接打开edge上去看呢。。于是还是打算做成普通的网页吧。

Web页面

首先想到了browserify，天真的想着这样可以把所有东西都在浏览器跑了。
然而，咋就忘记了跨域的问题呢。顿时觉得自己还是智障。

于是还是按普通的做法，开个服务器，写个post的API。
戳这里

不想自己服务器再开一个后台

于是只是把这个API加到novastar的API中去了

微信小程序

在写完Web页面+后台API之后，在同心云上看到有人做了一个查电费的微信小程序(虽然我一直查不了

但还是觉得我也可以写一个玩玩，特别是现在小程序开放给个人用户了。

看到wxss就是css，wxml就是html的时候，觉得蜜汁神奇。

小程序整体的开发是按照React的思路，单向数据流。数据绑定之后可以通过一个setData()的函数来更新页面。笔者觉得如果熟悉React的话应该直接就上手了。

唯一要提的一点是发现网络请求一定要https协议，当时心想，天哪，SSL好贵啊大概是做不成了，然后去网上一搜，发现阿里云居然可以免费申请SSL证书，而且一个阿里云账户可以申请20个免费证书！非常震惊。

因为有人觉得我在偷密码XD，在这里贴出整个请求的代码，当然其实这还不够，所以觉得我偷密码的就不要用了orz。。
做这个小程序的其中一个原因是我的手机浏览器包括chrome、微信内置的等等都不能保存xuanke网的登录状态，期末的时候没电脑很难查。

以下是微信端发请求调用的函数，传入token，用户输入的学号密码，cb是回调函数。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
function getGPA(token, cb) {
  const {token1, token2} = token;

  wx.setStorage({
    key: "token",
    data: token
  })

  wx.request({
    url: 'https://novastar.everstar.xyz/api/gpa',
    method: 'POST',
    data: {
      token1: token1,
      token2: token2
    },
    dataType: 'json',
    header: {
      'content-type': 'application/json;charset=UTF-8'
    },
    success: function (res) {
      if (typeof res.data === 'object') {
        cb(res.data);
      } else {
        cb(res.data);
      }
    }
  })
}

当时novastar是采用了node的express框架，这里直接添加了一个API，调用的GPA函数就是本文最上面代码的函数。

1
2
3
4
5
6
7
8
9
router.post('/gpa', function (req, res) {
   const token1 = req.body.token1;
   const token2 = req.body.token2;

   GPA({token1, token2}, function (gpa) {
       if(!gpa) res.send(JSON.stringify(false));
       else res.send(gpa);
   });
});

这里也放出一个可运行的Node版本戳这里

1
2
$ npm install
$ npm start

访问http://localhost:5321即可

不得不说现在小程序审核速度挺快的，我审核了两次都是24小时内就出结果了。（虽然五一的时候停了

同济大学绩点查询微信小程序已经审核通过上线了，欢迎各位校友使用：）

在小程序搜索’同济大学绩点查询’即可找到，也可扫描下方二维码↓

FEATURED TAGS
JavaScript
FRIENDS