网上的关于django-scrapy的介绍比较少,该博客只在本人查资料的过程中学习的,如果不对之处,希望指出改正;
以后的博客可能不会再出关于django相关的点;
人心太浮躁,个人深度不够,只学习了一些皮毛,后面博客只求精,不求多;
希望能坚持下来。加油!
学习点:
- 实现效果
- django与scrapy的创建
- setting中对接的位置和代码段
- scrapy_djangoitem使用
- scrapy数据爬取保存部分
- 数据库设计以及问题部分
- django配置
实现效果:
django与scrapy的创建:
django的创建:
django startproject 项目名称cd 项目名称python manage.py startapp appname例如:
scrapy的创建:
# cd django的根目录下cd job_hntingscrapy startproject 项目名称#创建爬虫scrapy genspider spidername 'pany_name data['Workexperience'] = var.Workexperience list3.append(data) i += 1 # a = json.dumps(data) # b = json.dumps(list2) # 将集合或字典转换成json 对象 c = json.dumps(list3) return HttpResponse(c)实现效果:
完整代码在 GitHub 中,希望随手star,感谢!
到此这篇关于Django-Scrapy生成后端json接口的方法示例的文章就介绍到这了,更多相关Django Scrapy生成json接口内容请搜索以前的文章或继续浏览下面的相关文章希望大家以后多多支持!