Yingruoyuan 最近的时间轴更新 Yingruoyuan 最近的时间轴更新 | YingruoyuanV2EX 第 214343 号会员，加入于 2017-02-10 09:08:50 +08:001  39  62  |
/div> | 最近准备做一个对项目所有数据源数据库的健康监测系统，数据库主要涉及 MySQL， Oracle， MongoDB， PostgreSQL， redis， SQLserver 等，有推荐的开源实现方案吗？ 程序员 Yingruoyuan 2021-02-25 15:02:39 PM 最后回复来自 dfzj | 7 |
| 请教下在 macos 下配置 mysql，怎样改变默认的数据存储路径到自己指定的一个路径下？ macOS Yingruoyuan 2017-10-20 11:24:29 AM |
| 有没有方法对 windows 版微信接收到的图片自动进行批量处理 Python Yingruoyuan 2017-10-10 15:27:42 PM 最后回复来自 Hzzone | 10 |
| scrapy 如何在一个 spider 中指定对应 pipeline 输出到多张表中 Python Yingruoyuan 2017-07-04 16:09:46 PM 最后回复来自 Yingruoyuan | 12 |
| 请问阿里云 oss 有工具或者命令或者什么地方可以查看统计一个目录下的文件个数吗？ 程序员 Yingruoyuan 2021-02-22 15:16:17 PM 最后回复来自 inu1255 | 3 |
| scrapy 下载图片到 4w 张左右总是会卡住 Python Yingruoyuan 2017-06-08 12:52:23 PM 最后回复来自 noobpythoner | 15 |
| 针对 ajax 的 post 请求，怎样转化为 Python 版？ Python Yingruoyuan 2017-05-08 14:29:08 PM 最后回复来自 Yingruoyuan | 2 |
| iPhone 升级到 ios10.3.1 后 Charles 抓包遇到 Failure SSLHandshake: Received fatal alert: certificate_unknown iOS Yingruoyuan 2020-12-21 13:09:49 PM 最后回复来自 dohow | 12 |
| 求助，在 schedule 模块的循环中导入 pyv8 报错且循环不能走到下一步 Python Yingruoyuan 2017-04-07 16:27:16 PM 最后回复来自 Yingruoyuan | 2 |
Yingruoyuan 最近回复了
2021-02-25 09:42:34 +08:00 回复了 Yingruoyuan 创建的主题 程序员 最近准备做一个对项目所有数据源数据库的健康监测系统，数据库主要涉及 MySQL， Oracle， MongoDB， PostgreSQL， redis， SQLserver 等，有推荐的开源实现方案吗？ |
@thet，好的，了解，我重新看了下 prometheus 的使用文档，这些功能应该都可以通过在 exporter 中增加对应的 http 或者 api 的服务实现，不需要去改动源码，谢谢哈
@Qetesh，zabbix 我没有用过不太熟悉，说的不对还望指正哈，看了下文档和网上推荐的教程，好像 zabbix 在监控不同的数据库 driver 的时候需要不同的前端展示方案来配合，（比如 Oracle 用了 pyora，mysql 用的自带的 Template DB MySQL 模板，PostgreSQL 有用 libzbxpgsql 模板或者 pg_monz 模板的）有统一可以实现的方案吗？如果想扩展实现一些健康巡查的功能，可以通过他的 web 扩展那些模块实现吗？
@so1n，嗯嗯，我正打算先写些 http 的服务来实现功能模块，看下能否通过接入 exporter 来满足健康巡检的功能需求，谢谢哈
感谢各位的建议！
@Qetesh，zabbix 我没有用过不太熟悉，说的不对还望指正哈，看了下文档和网上推荐的教程，好像 zabbix 在监控不同的数据库 driver 的时候需要不同的前端展示方案来配合，（比如 Oracle 用了 pyora，mysql 用的自带的 Template DB MySQL 模板，PostgreSQL 有用 libzbxpgsql 模板或者 pg_monz 模板的）有统一可以实现的方案吗？如果想扩展实现一些健康巡查的功能，可以通过他的 web 扩展那些模块实现吗？
@so1n，嗯嗯，我正打算先写些 http 的服务来实现功能模块，看下能否通过接入 exporter 来满足健康巡检的功能需求，谢谢哈
感谢各位的建议！
2021-02-24 18:04:37 +08:00 回复了 Yingruoyuan 创建的主题 程序员 最近准备做一个对项目所有数据源数据库的健康监测系统，数据库主要涉及 MySQL， Oracle， MongoDB， PostgreSQL， redis， SQLserver 等，有推荐的开源实现方案吗？ |
@thet ,如果想对 Prometheus 做二次开发，加些自己的功能进去，（比如对数据库做些健康巡查等）会比较容易实现吗？
2017-12-07 09:38:02 +08:00 回复了 nannanziyu 创建的主题 分享创造 Mac 开源工具 - 截图并通过在线 OCR API 识别文字 |
支持楼主，请问下楼主，我想弄个 python 版的练练手，但没有 swift 和 oc 基础，看懂你这个项目大概需要多久？
2017-10-10 15:06:40 +08:00 回复了 Yingruoyuan 创建的主题 Python 有没有方法对 windows 版微信接收到的图片自动进行批量处理 |
2017-10-10 10:08:42 +08:00 回复了 Yingruoyuan 创建的主题 Python 有没有方法对 windows 版微信接收到的图片自动进行批量处理 |
@zjsxwc 这是种方法，我等下试下
2017-10-10 10:07:53 +08:00 回复了 Yingruoyuan 创建的主题 Python 有没有方法对 windows 版微信接收到的图片自动进行批量处理 |
@dcty，我找了下这些目录下，没有对方发过来的图片，难道是手机端不能同时登陆的原因？
2017-07-04 16:09:46 +08:00 回复了 Yingruoyuan 创建的主题 Python scrapy 如何在一个 spider 中指定对应 pipeline 输出到多张表中 |
@rebeccaMyKid 谢谢，思路很有帮助；
只是我用的是 sqlarchemy 来插入到 mysql 里面，如果写入到文件里，在爬取结束之后我还是要导入到数据库的，所以在性能可以承受的情况下，直接导入可能会更省事些
只是我用的是 sqlarchemy 来插入到 mysql 里面，如果写入到文件里，在爬取结束之后我还是要导入到数据库的，所以在性能可以承受的情况下，直接导入可能会更省事些
2017-07-04 15:50:26 +08:00 回复了 Yingruoyuan 创建的主题 Python scrapy 如何在一个 spider 中指定对应 pipeline 输出到多张表中 |
@1130335361 @knightdf @seven2016，谢谢各位解惑！
我找到原因了，我的问题因为我自己写的 sqlarchemy 的 models 模块和 scrapy 的 items.py 冲突了，pipelines 里面用 models 代替了 item，所以会出现混乱的无法找到指定的 pipeline 来进行对应操作；
解决方法是在 pipelines 中只保留一个 spider 对应一个 pipelines，这个 spider 的所有数据输出都经过这一个 pipeline 来处理，然后把各个 items 加入 pipelines.py 中，再利用 item.__class__做判断是哪一种 item 数据类型，来决定插入哪张表就可以解决了
我找到原因了，我的问题因为我自己写的 sqlarchemy 的 models 模块和 scrapy 的 items.py 冲突了，pipelines 里面用 models 代替了 item，所以会出现混乱的无法找到指定的 pipeline 来进行对应操作；
解决方法是在 pipelines 中只保留一个 spider 对应一个 pipelines，这个 spider 的所有数据输出都经过这一个 pipeline 来处理，然后把各个 items 加入 pipelines.py 中，再利用 item.__class__做判断是哪一种 item 数据类型，来决定插入哪张表就可以解决了
2017-07-04 15:06:17 +08:00 回复了 Yingruoyuan 创建的主题 Python scrapy 如何在一个 spider 中指定对应 pipeline 输出到多张表中 |
@1130335361 有指定呢，在 settings.py 里面和 spider 的 custom_settings = { 'ITEM_PIPELINES':{}}里都指定了呢，但是输出数据的时候会只输出到了一张表里，比如商品信息和店铺信息都写在了商品表里面
2017-07-04 14:52:13 +08:00 回复了 Yingruoyuan 创建的主题 Python scrapy 如何在一个 spider 中指定对应 pipeline 输出到多张表中 |
@knightdf 我又 google 了一些资料，但是越看越迷糊了；
生成了 item 之后，yield 传递到 pipeline，在 pipelines.py 我定义了多个 class 来处理不同的数据，但我在 spider 里面获取到数据后该怎么让对应的 pipeline 来处理呢？
生成了 item 之后，yield 传递到 pipeline，在 pipelines.py 我定义了多个 class 来处理不同的数据，但我在 spider 里面获取到数据后该怎么让对应的 pipeline 来处理呢？
Select Language