Everstar 做人最紧要开心

如何从成千上万的前端报错中过滤出有效的错误

谴责无良运营商劫持js脚本

说在前面报错的监控和收集一直是各个互联网企业保证线上运作的产品稳定的措施。先暂时笼统地把错误分为前端(本文仅讨论 Web 前端)和后端的报错。在大多数情况下,后端报错发生时,可以非常精确的定位到错误的发生位置,然后进行处理。然而前端则不然,浏览器的种类繁多,各种兼容性问题层出不穷。同时还有因为用户网络问题才导致的错误,再者,还有全国各地运营商劫持 js 脚本同时造成报错的问题发生。除此之外,......

一次郁闷的爬虫经历

居然还给请求头加密

接到一个朋友的请求去写一个爬虫要求是给定一批公司的中文名称,比如”百胜(中国)投资有限公司”到一个特定的网站(启|分割|信|分割|宝),抓取这个公司的对外投资的公司(子公司)的名称及其所属行业 登录首先大概浏览了一下网站,发现其限制了未登录用户的搜索次数,于是我注册了个账户,然后在代码里模拟了登录的流程并且保存cookie。这里也没啥好讲的。 搜索 由于给定的是名称,那么要找到特定的公司页面......

关于绩点查询微信小程序

还是被实力碾压

到了考试周以来,之前一直沉寂的查绩点的微信小程序的用户量突然猛增,一下子飞到了1.5k个用户,每天5k次请求,导致我既欣喜又担忧,每天战战兢兢地监测着服务器的状态,生怕服务器挂掉了。 由于用户量猛增,也导致了很多问题,包括我之前没有经过很多测试就上线,导致经常出错,后台log出来很多error。但是用户比较多,我又不敢轻易改,怕带来新的bug,同时也开始实习了,没什么时间,就拖着了。 后来因......

抓取选课网的绩点

微信小程序限制真多

之前已经完成了验证码的识别就想进一步把绩点也抓取下来吧毕竟我的手机没有一个浏览器可以保存xuanke网的登录状态 绩点页面抓取总览我的目标是要抓取绩点页面并解析成一串JSON字符串返回,我把每一步都独立成一个函数并以promise的形式完成。 12345678910111213141516171819202122232425function GPA(token, cb = functio......

使用神经网络识别同济选课网的验证码

第一次体验回调地狱

最近在上数据挖掘的课程,学习到了很多分类方法、回归方法、频繁集查找等等。同时@Novemser在大二的时候上机器学习公选课的时候使用BP神经网络识别了同济选课网的验证码。在这些事情的驱动下,想自己也用JavaScript实现一遍(已然成为js系的人 当然啦本文说的js是nodejs而不是跑在浏览器的js 抓取验证码图片这一步就是简单的发网络请求,将response写入文件,存成图片格式。......

learn-JavaScript

我需要更深入一点

这篇文章是单纯写给自己看的orz 发现自己对JavaScript并没有那么熟悉,于是决定更加系统的学习一波 关于阅读《你不知道的JavaScript》上篇 作用域词法作用域ES5及之前只有函数作用域要实现块级作用域,可以使用try catch写法强行制造一个块级作用域。。(好丑 ES6之后可以用let关键字创建块级作用域变量 this -> 动态作用域判定this上下文方法: 默认绑......

搭建windows系统远程桌面

花生壳好不稳定啊

鉴于电脑太重,而机房的电脑又能上网,就萌生了如果上课能直接用机房的电脑远程连接自己在宿舍的电脑就好了。折腾了一下,发现其实步骤很简单。 说在前面,windows 10 家庭版不支持此功能 设置电脑允许被远程连接打开系统信息,在左上角的侧边栏找到“Remote settings”,在打开的选项卡中选择“Remote”,在下方的框框中勾上允许用户远程连接到此计算机。 路由器设置笔者在宿舍使......

在浏览器中展示音乐频谱

你指间跃动的电光

对于这学期的专业方向综合项目,我们沿用了上学期JavaEE的项目来做,但是对于金爷爷刁钻的看法,直接导致我们要更改需求,添加一些新的功能。 项目之前的听歌放图太单一,于是我们添加了弹幕功能和频谱展示功能。 本章简单介绍一下如何使用浏览器的AudioContext接口画出音乐的频谱。 AudioContextAudioContext是HTML5新出的特性,然而其兼容性目前不是太好(这里针对IE......

项目回顾 - 基于亚马逊电影的数据仓库

冗余是为了速度

上学期选修了数据仓库这门课当时由于期末时间紧张还没有来得及记录一些东西趁刚开学没啥事回顾一下 PS:本文着重于对于亚马逊电影数据的数据仓库构建过程,不详细描述数据仓库的相关概念。 数据仓库要求分析款爷给了一个大型文本数据集合,大概八百万条电影评论数据,然后基于八百万条电影数据过滤出所有的电影ID,再根据这个电影ID去Amazon网站上爬取每一部电影的相关信息,分别存储在关系型数据库和分布......

Chrome扩展入门-淘宝评论抓取

淘宝问大家功能居然要appkey权限

爱立信俱乐部给小朋友练手的一个小插件 需求文件下载 这里 Chrome 扩展入门由于本次需求是一款在淘宝和天猫使用的查询评论插件,360安全浏览器和极速浏览器好像都是以chromium为内核的,故在此直接开发Chrome扩展。 这里要非常感谢360把Chrome扩展的开发文档翻译了,传送门 创建并加载一个应用1.在本地磁盘新建一个目录,之后所有的资源文件都会放在里面。2.在该目录底下创建一个......