Loading...
🔈 通知 夜间模式的代码块红色,因为暗红对比度不够高,改成了橙色
真的是服了,python不是有gil锁嘛,2核CPU开8线程,就直接给我干冒烟了,加延时我又嫌效率低,不知道怎么办才好了...按照这个效率,21年才能跑完,到时候这个数据就不值钱了。现在的代理存活数是32个左右,1天 =252,000数据量,难不成我再提高一下线程试试?说干就干。归纳一下结果:8线程:21年16线程:10年再多了估计就要429了目前先这么跑吧,等有新思路了再说。
🔈 通知 防火墙规则已重置
🔈 通知 SSL 证书重新签发
🔈 通知 高精度威胁情报展示页API,页面,IP库已更新
我亦是我,亦不是我。 - - - 99年的情怀大叔。
🧡 心轨 感觉生活没啥希望了呢,毁灭吧。
🔈 通知 夜间模式的代码块红色,因为暗红对比度不够高,改成了橙色
真的是服了,python不是有gil锁嘛,2核CPU开8线程,就直接给我干冒烟了,加延时我又嫌效率低,不知道怎么办才好了...
按照这个效率,21年才能跑完,到时候这个数据就不值钱了。现在的代理存活数是32个左右,1天 =252,000数据量,难不成我再提高一下线程试试?说干就干。
归纳一下结果:
8线程:21年
16线程:10年
再多了估计就要429了
目前先这么跑吧,等有新思路了再说。
task转到副机器上跑了,建立个互相访问的安全通道,这样主机就应该不会CPU爆炸了。嗯。
🔈 通知 防火墙规则已重置
🔈 通知 SSL 证书重新签发
🔈 通知 高精度威胁情报展示页API,页面,IP库已更新