开放数据

上海市公共数据开放平台

上海市公共数据开放平台现已开放50个数据部门，100个数据开放机构，5506个数据集（其中2326个数据接口），60个数据应用。数据领域包括经济建设、资源环境、教育科技、道路交通、社会发展、公共安全、文化休闲、卫生健康、民生服务、机构团体、城市建设和信用服务等各个方面。

可访问 https://data.sh.gov.cn/ ，使用上海市一网通办登录注册后获取相关数据

OpenSODA 数据集

GitHub 上有数百万个开源项目，涵盖了各种技术领域，其中包括了很多热门的项目。GitHub Top 300 是指使用 2022 全年全域 OpenRank 全球 Top300 项目，这些项目通常拥有大量的贡献者和用户。这些项目涵盖了各种语言、各种应用场景，是当前最受欢迎的开源项目。

OpenSODA 数据集包含 2 份日志数据和 1 份指标数据。第一份是 GitHub 2020 年 1 月份的日志数据，第二份是 Top 300 仓库的从 2020 年 1 月到 2023 年 3 月的日志数据，第三份是 Top 300 仓库的 OpenDigger 的指标数据，包括 OpenRank 值。

详情见 https://xlab2017.yuque.com/staff-kbz9wp/olpzth/tq36xvyzg9b880hy?singleDoc#

公开数据爬取

八爪鱼教育公益计划可为收集互联网上的公开数据提供帮助和支持。

注意在爬取数据时，务必确认数据的使用许可，避免侵权。

详情见 https://www.bazhuayu.com/edu