Sunday, May 9, 2021

V2EX - 技术

V2EX - 技术

大数据量下的精确统计解决方案

Posted: 09 May 2021 03:38 AM PDT

目前我们面临的一个问题是每天我们跟资金相关的交易记录大概在 2T 左右,我们需要每日将这些信息进行统计然后给财务入账。目前采取的方式是将 mysql 的数据同步到 hive,然后从 hive 出数统计。但是在这个过程中 hive 可能存在数据丢失的情况，想问问大家行业内对这种大数据量的精确统计有没有什么解决方案？

iptables 层面如何做到判断 header 来做反向代理?

Posted: 09 May 2021 03:07 AM PDT

正常情况下，可以用 iptables -t nat -A PREROUTING ... 来实现反向代理的，但是这个层面是无法判断 header 的，那么有其他办法吗？

需求是只允许带有某个 header 的请求反向代理成功，其他一律拒绝

探讨:面试 与 日常工作 的悖论如何解决?

Posted: 09 May 2021 02:41 AM PDT

首先是普通人的一个基本前提:

学过的,准确深入理解了的知识,一个月左右不用就很容易忘掉一部分. 比如学习堆排序算法,第一次 花了一天时间,最后用两种语言,包括在纸上手写 都能准确无误. 结果一个月后,基本上还能记得一点关键的信息就不错了 ,很多注意点都忘了,估计也就剩下 30%左右的记忆.

当时的水平是肯定足够应付面试.但是一个月后的剩余记忆估计就不行了,时间再久一点就更不太可能. 对其他的基础知识也是同理;

面试的时候,许多人喜欢考察 "基础知识",这个是现状,个人没法改变 只能去适应. 这种考查形式跟我们上学时候刷题差不多,对于擅长刷题应试的学霸应该是得心应手吧.

而日常的工作,且不说大部分人的工作内容都是集中在业务层面. 随着技术的发展,复杂的内容越来越多的被封装起来简化使用,如果碰不到问题非解决不可,大部分以业务为主的开发都是在黑盒的情况下使用"基础知识",简化了复杂性从而更快的 Get Shit Done. 面试需要的技能很难在日常工作中得到锻炼.

所以是不是面试之前的学习复习时间就成为了必须? 你们一般花多少时间来做"应试"的准备? 或者有什么更好的方法,比如日常有准备的刷刷题看看书什么的更好的办法么.欢迎探讨

为什么有些公司技术面没过，还要叫 hr 面呢

Posted: 09 May 2021 02:39 AM PDT

会让人抱有幻想

再群晖上 docker 部署了 freshrss ，不能自动刷新

Posted: 09 May 2021 02:38 AM PDT

各位谁在群晖 docker 部署的？介绍一下？ 网上现成的文章只是提到了一个。

现在情况是不能自动刷新，不能安装扩展插件

求购一套社区交流类，成品源码，最好是正品。

Posted: 09 May 2021 01:36 AM PDT

谁有，我买一套，类似的最好，就是这类社区交流类的，或者一比一一模一样的也可以。
有的找我吧
扣 120000313

请教一个 re 正则的问题

Posted: 09 May 2021 12:05 AM PDT

匹配 数字三连....

import re  s = 'abc 456 def'  re.search('\d\d\d', s)       # 成功 re.search('\d{3}', s)        # None re.search('[0-9]{3}', s)    # 成功

为什么 \d{3} 不行, 我在在线正则测试的工具网站上试过 \d{3} 并没有错, google 也没找到有说明的, 可能是关键字不对

js 有办法是别:visited 链接，然后进行屏蔽吗？

Posted: 08 May 2021 10:58 PM PDT

//获取所有的块
var img_sections = document.getElementsByClassName('l7cibp-2 mHtZd');

//遍历所有的块
for (var i=0, len=img_sections.length|0; i<len; i=i+1|0) {
//获取块里的文字条
var text_bars = img_sections[i].getElementsByClassName('iasfms-4 hegAwd');
//获取文字条的背景色
var bgcolor = window.getComputedStyle(text_bars[0]).getPropertyValue("background-color");
//alert 用来 debug 背景色的值是什么
alert(bgcolor);

//判断背景色不是 rgb(0, 0, 0) 纯黑
if(bgcolor != 'rgb(0, 0, 0)')
{
//debug
alert("q1123213");
//不是纯黑就把图字块隐藏起来
img_sections[i].style.display='none';
}
}


- - 搞完了发现，visited 并不是网页 CSS 里的样式区分的。所以在上述代码眼里，全都是一样的。无法做到" 不是纯黑就把图字块隐藏起来 " ，都是全黑……

苹果 testflight: 请问 APP 有重大更新时我能否只改 build 号, 不改版本号?

Posted: 08 May 2021 06:30 PM PDT

请教各位帅锅:

testflight 中我有一个简单的 APP, 现在我要更新该 APP, 加入非常多的复杂功能, 和原来的 APP 差别很大. 请问更新后的 APP 我能否只改 build 号, 不改版本号? 我这样做是为了避免苹果审核, 不知道 APP 重大更新后只改 build 号苹果是否会发现.

小妹刚接触 testflight, 很多都不懂, 请各位帅哥指教,谢谢.

golang http 请求也太恶心了把

Posted: 08 May 2021 01:42 PM PDT

使用 http 包碰到的 error

  • 创建 context deadline exceeded (Client.Timeout exceeded while awaiting headers)

  • 创建 EOF

  • 创建 read: connection reset by peer

  • 读 body (Client.Timeout or context cancellation while reading body)

  • 读 body EOF

  • 读 body read: connection reset by peer

  • 读 body (Client.Timeout or context cancellation while reading body)

我是不是写的代码有问题呀, 为什么要处理这么多？

Git check out 子模块的问题

Posted: 08 May 2021 11:14 AM PDT

使用 git check out 包含子模块的代码，使用的是如下命令

git checkout --recurse-submodules -b develop 991234

但是子模块 submodule 的 url 以前发生过变化，导致无法 checkout 成功，提示如下错误

atal: failed to unpack tree object 1241245aabbb error: Cannot update submodule: 	aaaa/bbb

不知道这种应该如何解决

有没有懂猫池以及通信协议的大神

Posted: 08 May 2021 10:20 AM PDT

懂猫池和通信协议的，开发一款软件，PC 客户端使用，一定要有这类经验的大神，最好是合作模式，利润非常丰厚，开发完成后，至少可以稳定吃一年的利润，多则更多，有能力的请加我，详细谈，非诚勿扰，不懂的勿扰，以免耽误大家时间，谢谢了🙏
扣：120000313

假如 CPU 只有一个核心，使用 CAS 并发竞争的问题

Posted: 07 May 2021 11:26 PM PDT

两个线程互相竞争，A 线程获取锁执行，B 线程通过自旋来获取锁。
cpu 只有一个核心，A 线程占用了 CPU，B 应该不能自旋了吧？？是不是只能等 A 执行完毕

求推荐，有啥简单好用的容器服务吗， docker-compose 一配，文件上传就运行，不用买集群啥的

Posted: 07 May 2021 02:30 PM PDT

1G 单核用 docker 压力有点大，今天卡死好几次了
Posted by at

No comments:

Post a Comment

Subscribe to: Post Comments (Atom)