asktoppro
本站致力于IT相关技术的分享
  文章分类
后端架构 7 数据工程 3 分布式系统 1 云原生与DevOps 1 云原生 5 可观测性 1 架构与设计 1 平台工程 1 DevOps 2 架构设计 1 全栈开发 2 分布式架构 2 DevSecOps 2 前端工程化 1
Monorepo驱动的Apache Flink流处理应用在Nomad集群上的自动化部署实践 Monorepo驱动的Apache Flink流处理应用在Nomad集群上的自动化部署实践
我们团队维护着一套实时数据处理系统，手动部署和升级Apache Flink作业一直是个痛点。每次发布都需要运维手动上传JAR包，小心翼翼地停止旧作业、创建savepoint，再启动新作业。整个过程不仅繁琐，而且极易出错，尤其是在处理有状态作
2023-10-27 数据工程
Monorepo Nomad Chef Apache Flink RabbitMQ
构建支持LLM实时知识库的Delta Lake读写分离架构 构建支持LLM实时知识库的Delta Lake读写分离架构
一个生产级的LLM应用，其知识库若不能实时更新，价值将随时间迅速衰减。金融风控、智能客服、舆情监控等场景，对数据新鲜度的要求是以分钟甚至秒为单位。这就引出了一个核心的架构矛盾：一方面，数据管道需要高频次、低延迟地写入新知识；另一方面，Ben
2023-10-27 数据工程
LLM Delta Lake 读写分离 BentoML Trino
集成 Hudi NumPy Loki 构建移动端实时业务异常监控的全链路实践 集成 Hudi NumPy Loki 构建移动端实时业务异常监控的全链路实践
我们的业务监控体系曾经面临一个窘境：系统监控（CPU、内存、QPS）无比精细，告警秒级触达，但业务指标监控（如“每分钟新增用户数”、“核心API平均交易额”）却始终停留在 T+1 的数据仓库报表，或是基于 Elasticsearch 的分钟
2023-10-27 数据工程
Loki Apache Hudi NumPy Flutter