博客

关于AI、软件、生活等的思考。短篇笔记和长篇写作。

分类

Scrapy 复习：Engine、Scheduler、Downloader、Spider、Pipeline 与 Selector

Scrapy 不是一个简单的 HTML 解析库，而是完整的爬虫框架。它负责请求调度、下载、解析、数据管道和中间件扩展。

软件工程关注的不只是写代码，还包括需求、设计、测试、部署、维护和协作。

Jest 适合测试函数、服务层、React 组件和异步逻辑。Supertest 则专门用于测试 HTTP 接口。

这几类测试工具解决的问题不同。pytest 更偏 Python 测试框架，Robot Framework 更偏关键字驱动的验收测试，Playwright 更偏现代 Web 端到端测试。

TypeScript 中有一些特殊类型很容易混淆。掌握它们的边界，是写出安全代码的重要基础。