一、前言 作为一名爬虫工程师，在工作中常常会遇到爬取实时数据的需求，比如体育赛事实时数据、股市实时数据或币圈实时变化的数据。如下图： Web 领域中，用于实现数据'实时'更新的手段有轮询和 WebSocket 这两种。轮询指的是客户端按照一定时间间隔（如 1 秒）访问服务端接口，从而达到 '实时' 的效果，虽然看起来数据像是实时更新的，但实际上它有一定的时间间隔，并不是真正的实时更新。轮询通常采用 拉 模式，由客户端主动从服务端拉取数据。 WebSocket 采用的是 推 模式，由服务端主动将数据推送给客户端，这种…
我们来开门见山地说。 PHP 是一门奇葩的语言。它既不快，语法又不漂亮。还没有遵守良好的软件开发实践。 但我还是使用它开发了很多软件。 那么问题就很明显了 为什么今天还在使用 PHP ？ 除了个人理想主义的偏好以外，还有很多理由。这才是我们要讨论的范围。为什么选 PHP 作为我的 Web 开发语言？ PHP 是什么？ 「PHP 代表什么意思？」 或者这么问，「PHP 是什么？」 PHP 是一门编写 web 页面的语言，底层使用 C 语言实现，使用 HTML 的标签语法包裹代…
2018-12-31 更新声明：切片系列文章本是分三篇写成，现已合并成一篇。合并后，修正了一些严重的错误（如自定义序列切片的部分），还对行文结构与章节衔接做了大量改动。原系列的单篇就不删除了，毕竟也是有单独成篇的作用。特此声明，请阅读改进版—— Python进阶：全面解读高级特性之切片！https://mp.weixin.qq.com/s/IRAjR-KHZBPEEkdiofseGQ 切片是 Python 中最迷人最强大最 Amazing 的语言特性（几乎没有之一），在《Python进阶：切片的误区与高级用法》中，…
Python3爬取英雄联盟英雄皮肤大图 前言 上篇文章，说到了，爬取LOL英雄皮肤的高清图片，最近有事，也没怎么去研究，所以，现在才去看了下，并且写了Python脚本来抓取皮肤图片。需要说明一下，这个脚本有部分英雄没有抓取到，但是具体原因，我目前还没搞懂，我是相当纳闷的。大家有兴趣的，可以看看后面遗留问题，一起研究下。 爬虫思路 初步尝试 我先查看了network，并没有发现有可用的API；然后又用bs4去分析英雄列表页，但是请求到html里面，并没有英雄列表，在英雄列表的节点上，只有“正在加载中”这样的字样；同样…
假设你想做一个像微博短链接那样的短链接服务，短链接服务生成的URL都非常短例如: http://t.cn/E70Piib, 我们应该都能想到链接中的E70Piib对应的就是存储长链接地址的数据记录的ID，可是这个有大小写字母和数字构成的唯一ID是怎么生成的呢，刚学编程的时候我们用的方法都试拼接一个足够唯一的字符串（比如时间戳加用户ID等等）然后再用MD5或者SHA1散列算法算出一个散列值，用这种方法得到的唯一ID有可能比原始的链接的长度还要长，所以如何来优雅的生成足够短的字符串唯一ID呢？ 我们先来看一个数学问题，…
