setgopro
本站致力于IT相关技术的分享
  文章分类
前端工程化 2 后端架构 5 架构设计 2 分布式系统 3 基础设施 1 数据工程 1 软件架构 1 全栈架构 1 后端技术 1 分布式架构 4 数据工程与存储 1 DevOps 1 可观测性 2 云原生 1 可观测性工程 1 MLOps 1 软件工程与架构 1 架构与设计 1
构建基于DVC与GitOps的版本化特征存储控制平面及服务代理 构建基于DVC与GitOps的版本化特征存储控制平面及服务代理
团队扩张后，机器学习项目中的特征工程流程开始失控。最初，特征的定义和生成逻辑散落在各个Jupyter Notebook和独立的Python脚本里。数据科学家们各自为战，一个新特征的上线，往往意味着手动执行一段未经严格测试的SQL，更新一个共
2023-10-27 后端架构
Feature Store Envoy Proxy Koa DVC SQL MLOps
构建基于Rust与OpenCV的边缘防火墙并通过Consul与Lambda实现动态威胁响应 构建基于Rust与OpenCV的边缘防火墙并通过Consul与Lambda实现动态威胁响应
技术痛点：视觉载荷中的隐形威胁传统的网络防火墙在L3/L4层工作得很好，甚至一些L7应用层防火墙也能深度解析HTTP、SQL等协议，但它们普遍存在一个盲区：对非结构化的二进制载荷，特别是图像、视频等视觉数据内部所隐藏的威胁束手无策。一个典型
2023-10-27 后端架构
AWS Lambda 防火墙 Rust OpenCV Consul
Docker Swarm 与 Envoy Proxy 构建高基数时序数据移动端采集架构的权衡与实现 Docker Swarm 与 Envoy Proxy 构建高基数时序数据移动端采集架构的权衡与实现
我们的技术挑战明确且棘手：需要为数百万活跃的iOS设备构建一个高吞吐、低延迟的时序数据采集后端。这些数据具备典型的高基数（High Cardinality）特征——每个设备ID都是一个独立的标签维度。同时，团队规模决定了我们必须寻求运维复杂
2023-10-27 后端架构
Envoy Proxy 时序 iOS 开发 Docker Swarm ORM
在 ASP.NET Core 中构建集成 Puppeteer 与 Keras 的异构分析服务架构 在 ASP.NET Core 中构建集成 Puppeteer 与 Keras 的异构分析服务架构
一个看似简单的需求摆在了面前：我们需要一个服务，它能接收一个URL，然后分析该页面渲染后的视觉内容。这彻底排除了仅靠HTTP抓取HTML文本进行解析的方案。业务场景要求我们必须处理JavaScript动态渲染、Canvas绘图甚至WebGL
2023-10-27 后端架构
RESTful API ASP.NET Core Keras Puppeteer
利用 Nginx 与 ActiveMQ 为 Go Lambda 构建解耦的长轮询网关 利用 Nginx 与 ActiveMQ 为 Go Lambda 构建解耦的长轮询网关
项目初期，我们选择 AWS Lambda 处理一个计算密集型的异步任务。客户端提交任务后，需要通过一个接口轮询任务状态，直到获取最终结果。为了降低客户端的轮询频率并提升实时性，我们采用了长轮询（Long-Polling）机制。最初的实现非常
2023-10-27 后端架构
AWS Lambda Nginx Go CircleCI ActiveMQ