首页
全部分类
Web
SQL
Life
Agent
Basic
Spider
DevSecOps
Architecture
全部标签
文章归档
友情链接
我的瞬间
我的插件
关于博主
留言板
PySuper
千里之行,始于足下
累计撰写
373
篇文章
累计创建
18
个标签
累计收到
2
条评论
栏目
首页
全部分类
Web
SQL
Life
Agent
Basic
Spider
DevSecOps
Architecture
全部标签
文章归档
友情链接
我的瞬间
我的插件
关于博主
留言板
目 录
CONTENT
以下是
Agent
相关的文章
2025-06-28
大模型调用链路追踪:OpenTelemetry + LangFuse 实践
在大模型应用调试中,你是否遇到过这样的困境: 明明 prompt 很简单,响应却莫名其妙地慢 Token 消耗异常高,却找不到原因 线上出问题,只能靠猜…… 这些问题都指向一个核心诉求:LLM 调用需要可观测性 本文将介绍如何通过 OpenTelemetry + LangFuse 实现完整的大模型调
2025-06-28
10
0
0
Agent
2025-06-21
LLM 缓存策略:语义缓存如何把成本打下来
缓存是后端系统优化的第一定律,LLM 应用也不例外 但与传统缓存不同,LLM 的输入是自然语言,稍有不同的表述可能表达相同的语义 精确匹配往往命中率极低,这时就需要「语义缓存」——基于向量相似度的智能缓存方案 本文将深入解析语义缓存的原理、实现,并给出真实场景的性能对比数据 一、精确缓存 vs 语义
2025-06-21
12
0
0
Agent
2025-06-14
AI 工程化的三层架构:模型层 / 平台层 / 应用层
当我们谈论 AI 应用开发时,很多人习惯性地把注意力集中在"模型"本身——选一个最强的模型,调一调 Prompt,觉得这就够了。 但真正做过生产级 AI 系统的工程师都知道:模型只是冰山一角。 AI 工程化的核心挑战不在于模型能力,而在于如何把模型能力可靠、可维护、可扩展地交付给用户。 这篇文章,我
2025-06-14
20
0
0
Agent
2025-06-14
Token 计费与用量监控:大模型 API 网关设计
在大模型应用开发中,API 调用成本往往是最大的开销之一 一个设计良好的计费与监控系统,不仅能帮你精准掌控成本,还能为模型路由优化提供数据支撑 本文将手把手教你实现一套完整的大模型 API 网关计费系统 一、为什么用 1.1 传统 API 网关 vs 大模型 API 网关 传统 API 网关的计费逻
2025-06-14
13
0
0
Agent
2025-06-07
模型版本管理:从 MLflow 到自建 Registry 的选型之路
在机器学习项目中,模型是最核心的资产。 一个成熟的 ML 系统往往需要管理数十个模型、数百个版本,如何高效地进行模型版本管理成为团队必须面对的挑战。 从简单文件管理,到 MLflow Model Registry,再到自建 Registry 的演进过程。本文将完整分享这一路上的思考、踩坑与收获。 一
2025-06-07
9
0
0
Agent
2025-06-07
LLM Ops 到底在做什么?从概念到落地全景图
一、为什么用 LLM Ops 传统 DevOps 解决的是"代码从开发到上线"的问题,核心链路: 但在大模型时代,这条链路变了。你交付的不是代码,而是一个概率性输出的模型服务。它有自己的问题: 模型不是确定性的,同样的输入可能给出不同的输出 模型有版本,但版本的"好坏"不像代码那样用单测就能判定
2025-06-07
34
0
0
Agent
2025-05-31
Ollama 本地大模型部署:从入门到 GPU 优化
一行命令 ollama run llama3,本地大模型就跑起来了。 Ollama 把本地 LLM 部署的门槛压到了最低——但"能跑"和"跑得快"之间,隔着 GPU 配置、量化选择、多卡调度、API 集成这些硬核知识 这篇文章从安装到优化,完整覆盖。 一、Ollama 是什么 Ollama 是一个一
2025-05-31
19
0
0
Agent
2025-05-31
LLM - LLMOps Deploy
本文档系统阐述 LLMOps 的完整生产化技术体系,涵盖模型服务部署、流量路由与降级、链路追踪、Token 与成本监控、延迟与性能优化、Prompt 版本管理、CI/CD 流水线、灰度发布与回滚、质量监控告警及完整生产系统集成的全链路知识 1. 模型服务部署 1.1 定义 模型服务部署是将 LLM
2025-05-31
11
0
0
Agent
2025-05-24
LLM - Harness Engineering
本文档系统阐述 Harness Engineering 的完整技术体系,涵盖 Harness 概念架构、环境隔离、工具 Mock、状态检查点、错误注入、执行控制、批量回归、影子灰度、轨迹复现、Skills 管理、安全与性能 Harness 及完整 Test Harness 的全链路知识 1. Har
2025-05-24
12
0
0
Agent
2025-05-17
LLM - 工具集成与 MCP 协议
本文档系统阐述 AI Agent 的工具集成体系与 MCP(Model Context Protocol)协议,涵盖从协议架构、Server/Client 开发、Schema 设计、安全权限、错s误处理到传输层、版本管理与完整工具生态的全链路技术知识 1. MCP 概念与架构 1.1 定义 Mode
2025-05-17
6
0
0
Agent
1
...
4
5
6
7
8