标签: 大数据

kk909 | 1周前 | 后端相关大数据Git

面试经验分享：一道 WebSocket 实战题，聊聊美股行情采集的断线重连坑

最近面试后端和量化相关岗位，被问到一个非常贴合实际项目的问题： 用WebSocket做美股实时行情推送，如果连接断开，如何实现订阅自动恢复？ 一开始我以为无非就是写个断线重连就搞定了，仔细梳理之后才发现这里藏着一个很容易踩的坑，也是面试官很喜欢追问的点，今天简单跟大家分享一下我的理解。 很多同学第一反应：断了就重建连接，写个循环捕获异常，休眠几秒再重连。 但这里有个核心陷阱： 重连成功，不等于订阅自动恢复。 WebSocket长连接断开之后，程序进程可能还在正常运行，不会崩溃报错，属于静默故障。就算你把网络通道重新连上，如果不重新发送订阅指令，服务端不会继续推送股票行情。表面看连接状态一切正常，实际上已经收不到tick数据。放到真实业务中，数据出现缺口，回测、策略计算都会出问题。 所以完整的处理逻辑不能只做重连，整套流程如下： 1. 持续监控WebSocket连接的健康状态； 2. 检测到断开异常，触发连接重建； 3. 读取提前保存的订阅参数，例如股票代码、数据类型，重新发起订阅请求； 4. 恢复行情接收，继续执行业务处理。 这里要注意，订阅参数一定要保存。如...
 54 |  0 |  0 后端相关大数据

Chris | 2022-10-23 | 大数据

【Flink入门003】：Flink前置环境

一：构建工具🚀️ Maven3.5.X即可 [http://maven.apache.org/download.cgi]() 自行下载 1.1 😄 快速创建具有所有必要依赖项的骨架项目 安装完Maven后,执行：（注意DarchetypeVersion选择你需要的Flink版本） mvn archetype:generate \ -DarchetypeGroupId=org.apache.flink \ -DarchetypeArtifactId=flink-walkthrough-datastream-java \ -DarchetypeVersion=1.12.1 \ -DgroupId=frauddetection \ -DartifactId=frauddetection \ -Dversion=0.1 \ -Dpacka
 774 |  0 |  0 大数据

Chris | 2022-09-21 | 大数据

【Flink入门002】：官网学习之初识

一：👀️ Flink官网链接 [https://flink.apache.org/]() 二：👀️ Flink初识 2.1 Flink是什么 Stateful Computations over Data Streams-有状态的数据流计算 Apache Flink is a framework and distributed processing engine for stateful computations over unbounded and bounded data streams. Flink has been designed to run in all common cluster environments , perform computations at in-memory speed and at any scale . Apache Flink 是一个框...
 1713 |  0 |  2 大数据

Chris | 2022-09-21 | 大数据

【Flink入门001】：知识体系

一：Flink知识体系 [ ] 实时处理🚀️ [ ] 窗口及水印🚀️ [ ] 状态管理🚀️ [ ] Table API & SQL🚀️ [ ] 离线处理🚀️ [ ] CEP 基于事件编程🚀️ 二：Flink认知 [ ] 业界大数据分布式框架概览🚀️ [ ] Flink是什么🚀️ [ ] Flink特点🚀️ [ ] Flink发展史🚀️ [ ] Flink VS 其他流处理框架🚀️ [ ] Flink在行业的应用🚀️ [ ] 学习新框架的方法论🚀️ 三：业界大数据分布式框架概览 批/离线：batch 有界 静态的数据集 MapReduce、Hive 流式/实时：连续 无界 动态的数据集 Spark、Flink

 1059 |  0 |  0 大数据

SQLBoy | 2022-02-16 | 大数据

【Flink】时间语义和Watermark

时间语义 时间语义容易理解，就是三个时间 EventTime (事件时间) 事件创建时间,一般是用时间戳表示 Ingestion Time (摄入时间) 数据进入Flink的时间 Processing Time (处理时间) 执行算子的时间 WaterMark 中文称呼就是 水位线 出现水位线的目的: 解决EventTime 时间乱序问题。 需要深入了解下 水位线,这个也是面试中必会问及的知识点。 是一个触发机制，一旦到达水位线，窗口就会立马进行计算。
 1341 |  4 |  0 大数据

多点的 | 2021-06-24 | 搜索引擎大数据

Minio使用说明

一 Linux运行minio linux安装包下载点 https://dl.minio.io/server/minio/release/linux-amd64/minio 如果linux系统能联网，可直接通过wget命令下载 wget https://dl.minio.io/server/minio/release/linux-amd64/minio 进入minio文件所在位置，然后执行命令： chmod +x minio ./minio server /mnt/data minio服务启动成功。 后台运行 nohup /usr/local/bin/minio server /home/minio/data /home/minio/data/minio.log 2 &1 & 自定义MINIO_ACCESS_KEY和MINIO_SECRET_KEY export MINIO_ACCESS_KEY=minio export MINIO_SECRET_KEY=miniostorage 二 windows运行
 2450 |  5 |  0 搜索引擎大数据

社区作者 | 2020-01-02 | Kafka大数据Java

《Kafka权威指南》

本书是关于 Kafka 的全面教程，主要内容包括 :Kafka 相对于其他消息队列系统的优点， 主要是它如何完美匹配大数据平台开发 ;详解 Kafka 内部设计 ;用 Kafka 构建应用的最佳实践 ; 理解在生产中部署 Kafka 的最佳方式 ;如何确保 Kafka 集群的安全。 一 初始Kafka 1.1 初始Kafka 1.1.1 消息与批次 Kafka 的数据单元被称为 消息 。如果你在使用 Kafka 之前已经有数据库使用经验，那么可 以把消息看成是数据库里的一个“数据行”或一条“记录”。消息由字节数组组成，所以 对于 Kafka 来说，消息里的数据没有特别的格式或含义。消息可以有一个可选的元数据， 也就是键。键也是一个字节数组，与消息一样，对于 Kafka 来说也没有特殊的含义。当消 息以一种可控的方式写入不同的分区时，会用到键。最简单的例子就是为键生成一个一致 性散列值，然后使用散列值对主...
 1948 |  2 |  0 Kafka大数据

没有更多了