Leif Hopkin

Okay, so I’ve been seeing this ELF Halo Glow thing all over my feed lately, and you know me, I gotta try what’s trending....

Okay, so, I’ve been wanting to try out this Chloe perfume for a while now. I kept seeing it pop up online, and everyone...

Okay, so I’ve been doing a bit of online shopping lately, and I had a question about Nordstrom. I was wondering, does Nordstrom ship...

最近迷上爬虫，就想着搞点啥好玩的东西练练手。刚好我平时也喜欢收集点球鞋，就琢磨着能不能用爬虫把耐克官网的鞋子信息都给它弄下来，以后想看啥鞋直接从我这数据库里一搜就完事，多方便！ 说干就干，先打开耐克官网瞅瞅，发现这网站还挺复杂的，各种各样的鞋子看得我眼花缭乱。不过咱不怕，先用浏览器的开发者工具（按F12就出来）看看网页的源代码，琢磨一下它的结构。 第一步：找到目标 我发现耐克的鞋子信息都放在一个个类似“卡片”的盒子里，每个盒子里都有鞋子的图片、名字、价格什么的。那我的目标就很明确，把这些“卡片”一个个找出来，再把里面的信息提取出来就行。先瞅瞅网页源代码，发现这些“卡片”都是用div标签写的，而且都有一个特定的class属性，像什么“product-card”之类的。这就好办，我可以用Python的BeautifulSoup库，专门用来解析网页的，通过这个class属性就能轻松找到所有“卡片”。第二步：提取信息找到“卡片”之后，就要开始提取里面的信息。还是用BeautifulSoup，通过标签名和属性，我把鞋子的名字、价格、图片链接都给揪出来。 名字嘛一般都在h3或者h4标签里，价格在span标签里，图片链接在img标签的src属性里。这些都是通过查看网页源代码观察出来的，多看几个页面就能总结出规律。第三步：存储数据信息都提取出来，得找个地方存起来。我一开始就简单地把它们打印到控制台里，看着还挺有成就感的。 后来我想想，这样不行，每次爬完就没，下次想看还得重新爬，太麻烦。于是我就把数据保存到CSV文件里，这玩意用Excel就能打开，看起来一目然，还方便以后处理。 再后来我学会用数据库，MySQL、MongoDB啥的。就把数据都存到数据库里，这样查询起来就更快，还能做各种复杂的分析。遇到的坑 实践过程中也遇到不少坑。比如说，耐克官网它会更新，网页结构一变，我之前的代码就失效，又得重新分析，重新写。 还有就是，它有时候会限制爬虫，爬得太快，它就把我给屏蔽。这我就得想办法，搞点延迟，模拟得更像人一点，别让它发现我是个机器人。 还有，比如像一些联名款的“Air Jordan 1 High OG 蜘蛛侠”这种，还有像“Air Max 90 Spider web 黑绿万圣节蜘蛛网半掌气垫”这种限量款，它可能今天有，明天就卖光，数据还得实时更新，要不然爬下来的都是过期的信息。不过这些坑都被我一一填平。经过不断地摸索和改进，我现在已经能很熟练地爬取耐克官网的鞋子信息。看着数据库里满满当当的数据，心里别提多美！这下子，想看啥鞋，直接一搜就出来，再也不用去官网一个个翻，省时省力！而且还能根据价格排序，看看最近有什么好价钱的鞋子，简直不要太爽！现在主要还是练习，主要还是把一些热门的鞋子信息给搞下来，像什么“Air Jordan 1”、“Air Max Plus”之类的，这些都是我的重点关注对象。 这回实践让我收获满满，不仅学会爬虫技术，还顺便建立自己的球鞋数据库。以后再也不怕找不到想要的鞋子信息！

Okay, here’s my take on the “is shein closing in 2024” thing, based on what I’ve dug up. So, I kept seeing these rumors popping...