AI 技术发展、企业落地与行业影响探析
AI 技术发展、企业落地与行业影响探析
一、开篇:什么是 AI
三个场景,三种 AI
凌晨一点,后端工程师老周把报错栈、相关代码和最近的提交记录丢给 IDE 里的编程助手。助手给出三个可能原因,其中一个指向上周改过的缓存失效逻辑,他顺着线索十分钟修好了问题。
同一时间,电商客服系统识别出用户想查物流,调用订单接口拿到运单号,再组织成自然语言回复;遇到要求赔偿的用户,自动转人工。几十公里外的工厂里,摄像头对着流水线上的金属件,模型在 200 毫秒内判断表面有没有划痕,不合格品被机械臂推到次品区。
三个场景都叫 AI,技术路线却完全不同:大语言模型、意图识别与工具调用、计算机视觉。AI 不是某个单一技术,而是一个很大的工具箱。
AI、机器学习、深度学习、大模型
最宽泛地说,AI 是让机器表现出某种智能行为的技术总称。早期 AI 靠人写规则,比如“温度高于 80 度就报警”,可靠但覆盖不了例外。机器学习换了个思路:不给死规则,而是给大量例子,让机器自己从数据里找规律。深度学习则用多层神经网络自动提取特征,把“人工设计特征”这一步也交给模型。
大模型通常指参数规模很大、在海量数据上训练的深度网络。今天大家口中的大模型,多数时候特指大语言模型。它做的事听起来很简单:根据前面的内容预测下一个词。但当数据、参数和算力大到一定程度,它就表现出了写代码、做总结、翻译、推理等通用能力。
| 概念 | 通俗解释 | 典型例子 | 关系 |
|---|---|---|---|
| AI | 让机器表现出智能行为的技术总称 | 下棋程序、推荐系统、语音助手 | 最大集合 |
| 机器学习 | 不写死规则,从数据中学习规律 | 垃圾邮件分类、信用评分 | AI 的子集 |
| 深度学习 | 用多层神经网络自动提取特征 | 人脸识别、语音转写、AlphaGo | 机器学习的子集 |
| 大语言模型 | 用海量文本训练、以预测下一个词为核心任务的大规模深度网络 | ChatGPT、DeepSeek、通义千问 | 深度学习的一种 |
| 生成式 AI | 能生成文本、图片、音频、视频的模型 | 文生图、文生视频、对话模型 | 按能力划分,不限于语言模型 |
参数可以理解为模型内部大量可调节的“旋钮”,训练是调旋钮,推理是旋钮固定后用来回答问题。Token 是模型处理文本的最小单位,API 按输入输出 token 计费。上下文窗口是模型一次能“看见”的长度,太长时中间信息容易被忽略。幻觉则是模型一本正经地编造事实,因为它优化的是“下一个词像不像合理回答”,不是“这句话是否真实”。
为什么开发者要重新理解 AI
传统软件的行为是确定的:同样输入,通常同样输出。AI 应用不是。同一个问题问两次,答案可能不同;模型升级一次,昨天调好的提示词可能失效;上线前测试通过,不代表线上不会冒出奇怪回答。
模型更像一个能力很强但状态不稳定的第三方服务,而不是普通依赖库。工程重点也随之变化:除了写逻辑、建表、调接口,还要做评测、兜底、权限和可观测性。
二、AI 发展简史:一条被高估又被低估的曲线
国外:三次浪潮与两次寒冬
AI 的历史比很多人想象的长。1950 年图灵提出“机器能否思考”的测试思想,1956 年达特茅斯会议首次正式使用“人工智能”一词。早期以符号主义为主,把知识写成逻辑规则让机器推理,做出了定理证明、简单对话和移动机器人。但规则写不完、算力不够、组合爆炸,1970 年代第一次 AI 寒冬到来。
1980 年代,专家系统带来第二次浪潮。它把领域专家的经验写成“如果……那么……”的规则库,再配推理机。DEC 的 XCON 系统能根据客户需求配置硬件,日本也启动了第五代计算机计划。但规则维护成本极高,遇到边界情况就失灵,80 年代末市场迅速冷却,第二次寒冬降临。
真正的转折在 2010 年代。GPU 提供廉价并行算力,互联网积累了大量数据,深度网络方法逐渐稳定。2012 年 AlexNet 在 ImageNet 上一战成名;2016 年 AlphaGo 击败李世石;2017 年 Transformer 架构提出;2020 年 GPT-3 把参数规模推到 1750 亿;2022 年底 ChatGPT 用对话式交互把大模型推向大众。2023 年 GPT-4 发布,2024 年开源模型和推理模型快速追赶,2025 年 DeepSeek-R1 等模型把“先思考再回答”变成标配,编程 Agent 从代码补全走向多文件修改。
国内:从跟踪学习到工程并跑
中国 AI 的起点不算晚。1981 年中国人工智能学会成立,1986 年启动的 863 计划中智能计算机成为重要方向。90 年代到 2000 年代,语音识别、文字识别、人脸识别逐渐积累,科大讯飞、旷视、商汤等公司先后成立,互联网平台则提供了搜索、推荐、广告等大规模场景。
2017 年是关键节点。国务院发布《新一代人工智能发展规划》,提出到 2020 年总体技术和应用与世界先进水平同步,到 2025 年部分技术与应用达到世界领先,到 2030 年成为世界主要人工智能创新中心。此后各地建设产业集聚区和创新试验区,高校、实验室、企业联动明显加快。
2020 年前后国内大模型起跑。2021 年悟道 2.0 参数规模达到 1.75 万亿,华为盘古、百度文心相继亮相。2022 年底 ChatGPT 出现后,2023 年国内进入“百模大战”,通义千问、文心一言、豆包、混元、Kimi、智谱 GLM 密集发布。2025 年,DeepSeek 系列以开源权重和较低推理成本引发关注,国内开源生态迅速活跃。
国内的特点是场景丰富、迭代快、开源与闭源并行,算力约束反而倒逼企业在模型压缩和工程效率上投入更多。短板也很明显:高端芯片、基础软件生态、原创架构仍有差距,to B 市场付费习惯还在培养,很多项目仍以定制交付为主。
历史给开发者的三个提醒
技术突破不等于商业落地。专家系统曾被寄予厚望,最终被规则维护成本压垮。今天的大模型能力更强,但如果不能嵌入流程、算清成本、处理异常,同样可能停在演示阶段。
通用能力往往来自简单目标加大规模数据。大语言模型的核心任务只是预测下一个词,规模足够大之后却涌现出翻译、写代码、推理等能力。不要低估“简单方法加足够规模”的力量,也不要高估一次架构创新的短期改变。
工程生态决定技术扩散速度。Transformer 需要 GPU、分布式训练框架、推理引擎、向量数据库、评测工具等一整套配套。开发者的机会,往往不在最底层的理论突破,而在把能力变成稳定、便宜、好用的产品。
三、AI 三大底座:算法、算力、数据
算法:把“规则”换成“可学习的结构”
算法可以理解为模型的结构和学习方法。同样是预测房价,线性回归假设价格和面积、地段呈线性关系;决策树不断做“如果面积大于 90 平米,再看地段”的切分;深度网络则用多层非线性变换拟合更复杂的关系。
传统机器学习今天仍然重要。处理表格数据时,XGBoost、LightGBM 这类梯度提升树往往比大模型更准、更便宜、更容易解释。风控评分、销量预测、设备故障预测,很多场景并不需要大模型。不要因为大模型流行,就把所有问题都套上大模型。
深度学习的代表结构有几类。卷积网络擅长图像,通过局部连接和权重共享捕捉边缘、纹理、形状;循环网络曾主导序列建模,但训练慢、长距离依赖弱;Transformer 用注意力机制让每个位置直接关注其他位置,训练可以高度并行,因而成为大语言模型的基础。
大模型训练通常分四步:预训练,在海量文本上反复预测下一个词,学到语言规律和世界知识;监督微调,用高质量问答让模型学会按指令回答;偏好对齐,让人类对多个回答排序,训练模型更符合人的偏好,RLHF 和 DPO 都属于这一类;推理增强,用强化学习或额外思考过程,让模型在数学、代码等可验证任务上“多想一会儿”。
系统级算法也越来越重要。检索增强生成先从知识库找出相关文档,再放进上下文让模型回答,能让答案有据可查,但不能保证不幻觉。Agent 则让模型在循环中调用搜索、数据库、代码执行器等工具,根据结果决定下一步。它们都不是单一模型,而是“模型加检索、加工具、加控制流”的系统工程。混合专家模型把模型拆成多个“专家”子网络,每次只激活一部分,在参数量很大时控制计算量。蒸馏让小模型学习大模型输出,量化用更低精度存储权重,都是用少量精度损失换显存和速度。
算力:模型工厂的电力和产线
训练和推理是两种不同的算力消耗。训练要把海量数据反复喂给模型,更新所有参数,通常需要成千上万张加速卡连续运行数周甚至数月。推理是模型训练好之后,用一次前向计算生成结果。单次推理比训练便宜,但用户量一大,推理总成本可能超过训练。
推理的瓶颈往往不是算力,而是显存。模型权重本身要占显存,处理长文本时还要缓存注意力机制的键值对,也就是 KV cache。一个 700 亿参数的模型,用 4 位量化后权重约占 35GB,单张 80GB 的卡理论上是放得下的;但并发一高,KV cache 迅速膨胀,就会出现排队甚至显存不足。常见做法是限制上下文长度、做批处理、使用分页注意力、把请求路由到不同规格的模型。
训练集群的难点在规模上去之后。成千上万张卡要通过高速网络互联,任何一张卡故障都可能导致任务中断;电力、散热、存储、调度、故障恢复都是实打实的工程问题。
算力供给也是产业格局的一部分。英伟达在训练芯片和软件生态上优势明显,AMD、谷歌 TPU 以及国内的昇腾、寒武纪、海光等也在追赶。国产芯片的挑战不只是硬件参数,还包括算子库、编译器、框架适配和开发者习惯。
对多数企业来说,算力策略不是“自建还是上云”的二选一,而是混合:训练和峰值任务用云,按量付费;稳定推理自建或预留实例;敏感数据放私有环境;离线任务用批处理或闲时算力。
数据:决定上限的隐形资产
算法决定模型能学什么,算力决定学得多快,数据决定能学多好。“垃圾进,垃圾出”在大模型时代依然成立,只是垃圾的形态更隐蔽:重复网页、机器翻译腔、低质问答、带偏见的内容、未经授权的版权材料。
预训练数据通常来自网页、书籍、论文、代码和多语言语料。决定质量的不是原始数据量,而是清洗和配比。去重防止模型反复记忆同一段文本,质量过滤去掉广告、乱码和低信息密度内容,安全过滤减少暴力和歧视内容,版权和许可审查越来越重要。高质量公开文本的增长正在放缓,数据已经成为模型竞赛的硬约束。
企业数据的情况更复杂。很多公司以为自己“有很多数据”,真正要用时才发现:合同是扫描件,表格没有表头,工单描述充满缩写,客户信息分散在五个系统,权限边界一塌糊涂。要让大模型用起来,先得统一格式、补充元数据、建立权限、清理重复、标注重点。这些工作不性感,但决定 RAG 和微调的上限。
评测数据是最容易被忽略的资产。很多团队花几周调提示词,却没有稳定评测集,每次改完只能靠“感觉好像好一点”。正确做法是尽早积累 100 到 300 条真实问题,覆盖常见、边界和对抗情况,写清楚期望答案和不可接受的内容。之后每次改模型、改检索、改提示词,都跑同一套评测。合成数据可以在真实样本稀缺时补充长尾,但可能引入模型自身偏差,必须经过规则校验或人工抽检。
四、AI 企业真实落地场景
先分清三种落地形态
企业最容易犯的错,是把“模型能力”当成“业务方案”。模型能写文案,不代表能自动完成营销投放;模型能回答问题,不代表能替代客服流程。
第一种是助手型,模型嵌入现有工作流给人建议,最终由人决定,比如 IDE 代码补全、客服回复建议、合同风险提示。容错率高、落地快,适合作为起点。第二种是嵌入型,把模型嵌进流程某个环节自动完成一部分工作,比如工单分类、合同字段抽取、质检图片初筛。人仍在环路上,但只处理模型不确定或高风险的部分。第三种是重构型,用 AI 重新设计产品或流程,比如从“搜索关键词找商品”变成“描述需求,Agent 自动比价、下单、售后”。价值最大,风险也最大,往往需要组织流程同步调整。
八个已被验证的场景
| 场景 | 典型做法 | 成熟度 | 关键指标 | 常见坑 |
|---|---|---|---|---|
| 企业知识库问答 | RAG 检索文档,模型总结并给出引用 | 高 | 解决率、引用准确率、幻觉率 | 文档脏、权限乱、版本多 |
| 代码助手 | IDE 插件读取仓库上下文,生成补全、单测、重构建议 | 高 | 采纳率、缺陷率、评审耗时 | 代码泄露、过度信任 |
| 文档信息抽取 | OCR 加模型抽取字段,再用规则校验 | 高 | 字段准确率、人工复核率 | 扫描件质量、表格结构 |
| 视觉质检 | 预训练视觉模型加少样本微调,部署到边缘 | 中高 | 漏检率、误检率、单件节拍 | 长尾缺陷、样本不足 |
| 营销内容生成 | 模型生成文案素材,品牌词库和人工审核兜底 | 中高 | 采用率、转化率、投诉率 | 同质化、版权、事实错误 |
| 智能客服 | 意图识别加 RAG 加工具调用,复杂问题转人工 | 高 | 自助解决率、处理时长、满意度 | 情绪识别、权限、知识过期 |
| 预测与排产 | 传统机器学习加运筹优化 | 中 | 预测误差、库存周转、准时率 | 数据漂移、规则变化 |
| Agent 自动化 | 模型规划任务,调用工具完成多步操作 | 中低 | 任务完成率、人工接管率、成本 | 权限控制、长任务可靠性 |
成熟度高的场景有共同点:任务边界相对清晰,结果可以被验证,失败可以被兜底。成熟度低的场景,往往不是模型不够聪明,而是任务太长、环境太开放、错误代价太高。
两个脱敏案例
某汽车零部件厂要对流水线上的结构件做表面缺陷检测。缺陷有十几类,有的每类只有几百张样本,有的出现频率极低。项目组用预训练视觉模型提取特征,再用异常检测和少样本学习处理长尾类别,推理部署在产线边缘的工控机上。置信度低的图片自动推给质检员复核。复盘时,漏检率降到 1% 出头,误检率经过几轮负样本补充后也回到可接受范围。真正的难点不是模型结构,而是把相机、光源、工控机和 MES 系统稳定集成,以及让质检员愿意使用复核队列。
某中型金融机构要做合同审核辅助。合同平均几十页,包含付款、违约、担保、管辖等三十多类风险条款。项目组用 OCR 加版面分析把合同切成条款级片段,再用 RAG 检索法规和内部制度,让模型标出风险点并给出依据。高风险条款召回率在历史合同评测集上达到 90% 以上。上线时,系统只做提示和起草辅助,不直接给法律结论,所有高风险条款必须由法务复核。AI 负责缩小阅读范围,人负责承担责任。
从 Demo 到生产
很多 AI 项目死在从 Demo 到生产的路上。演示时挑几个漂亮例子,效果惊人;真正上线后,用户问题千奇百怪,数据格式五花八门,权限和合规问题接连冒出。跨过这道坎,可以拆成五步。
第一步,选场景。优先选高频、高价值、容错、数据可得、流程可拆的任务。五个条件满足三个就值得做原型,只满足一个通常要谨慎。
第二步,定指标。业务指标、模型指标、安全指标、成本指标都要有。只盯模型准确率,很容易做出“指标好看、业务不买单”的系统。
第三步,建评测集。从真实业务抽 100 到 300 条问题,覆盖常见、边界、对抗三类情况,写清楚期望答案、必须包含的要点、绝对不能出现的内容。评测集要版本化,不能拿训练数据充当评测数据。
第四步,小步上线。先用影子模式在后台跑,不直接影响用户;再灰度放量,比如先开放 5% 流量;同时保留人工接管和降级方案。模型服务挂了,系统要能退回原来的流程。
第五步,做运营并算总账。监控失败案例、用户反馈、调用成本、时延和模型版本变化;定期更新知识库和评测集;设置模型路由,简单问题用小模型,复杂问题用大模型。只算 token 费用不够,检索、向量库、人工复核、系统集成、运维和合规都要计入总成本。
五、AI 产业链与商业模式
产业链上中下游
AI 产业链可以粗略分三层。上游是算力、网络、数据和服务基础设施;中游是模型、框架和平台;下游是面向具体场景的应用和服务。
上游最确定的是“卖铲子”的生意。训练和推理都离不开 GPU、HBM 高带宽内存、服务器、交换机、光模块、数据中心和电力。英伟达在训练芯片和 CUDA 生态上占强势地位,台积电代工、SK 海力士等供应 HBM。国内在昇腾、寒武纪、海光等芯片上持续投入,也在推动国产算子库和框架适配。这个环节技术壁垒高、资本开支大,但收入相对确定。
中游是基础模型和平台层。OpenAI、Anthropic、Google、Meta 等公司在通用模型上领先;国内阿里、字节、DeepSeek、智谱、月之暗面、MiniMax 等各有布局。云厂商把模型封装成 MaaS,也就是模型即服务,按 token 或按实例收费。框架和工具链层包括 PyTorch、vLLM、LangChain、向量数据库、评测与安全工具。这一层技术迭代快、同质化压力大、价格战激烈。
下游是应用和行业解决方案。通用助手、编程工具、法律科技、医疗辅助、教育、金融风控、工业质检、Agent 自动化、端侧 AI 都属于这一层。机会最分散,因为每个行业的需求、数据、渠道、合规都不同;缺点是项目制重、定制多、规模化难,优点是离客户近、离收入近,一旦嵌入流程,替换成本较高。
| 层级 | 主要环节 | 价值来源 | 主要风险 |
|---|---|---|---|
| 上游 | 芯片、HBM、服务器、网络、数据中心、数据标注 | 算力需求增长、基础设施稀缺 | 资本开支周期、供应链限制 |
| 中游 | 基础模型、云 MaaS、训练推理框架、评测与安全 | 模型能力、规模效应、生态锁定 | 价格战、同质化、开源冲击 |
| 下游 | 通用助手、垂直应用、Agent、系统集成、端侧 | 场景理解、数据积累、渠道服务 | 定制化重、回款慢、留存低 |
六种主流商业模式
| 模式 | 怎么收费 | 适合谁 | 关键风险 |
|---|---|---|---|
| API 按 token 计费 | 按输入输出 token 数量计价 | 开发者、中小团队、弹性业务 | 价格战、毛利薄、用量波动 |
| 订阅制 | 按月或按年收费,分个人版、团队版 | 工具型产品、专业助手 | 留存率、无限使用导致成本失控 |
| 私有化部署 | 软件授权加实施服务,按项目或节点收费 | 金融、政务、大型制造企业 | 交付重、定制多、复制难 |
| 行业解决方案 | 按项目打包,包含软件、集成、运维 | 垂直行业客户 | 回款周期长、需求蔓延 |
| 效果付费 | 按解决问题数、节省工时或收入分成 | 客服、营销、招聘等可量化场景 | 归因争议、指标被操纵 |
| 软硬一体或开源商业版 | 卖设备、端侧模组,或社区免费加企业版收费 | 工业、零售、机器人、开发者工具 | 供应链、商业化路径长 |
钱最后会被谁赚走
短期看,算力层和云厂商的确定性最高,因为无论哪家模型胜出,训练和推理都要消耗算力。中期看,头部基础模型公司可能通过规模效应和生态绑定获得利润,但模型层也会被开源模型和价格战挤压。长期看,应用层的价值取决于能不能占据场景、积累数据、嵌入流程。
一个类比是电力和家电。电是通用基础设施,但真正走进千家万户、形成品牌和渠道的是冰箱、洗衣机、空调。AI 模型像电,应用像家电。发电厂很重要,但价值不都归发电厂;反过来,只做“套壳”的应用也没有护城河,模型一升级,差异就被抹平。能守住价值的应用通常具备几个特征:有专有数据,越用越好;深度嵌入客户流程,替换成本高;有渠道和信任,客户愿意为服务买单;能控制成本,规模越大越赚钱。
六、AI 对程序员的机遇与挑战
机遇:能力被放大,边界被打开
AI 编程工具最先改变的是“写”的部分。代码补全、单测生成、注释翻译、报错解释、重构建议,这些任务重复性高、反馈快、验证成本低,特别适合交给模型。熟悉业务的工程师配上好的助手,可以更快把想法变成原型,把更多时间花在架构、评审和问题上。
更深层的变化是,软件生产的边际成本被压低了,需求会变多,试错会变快,小团队能做的事变多。过去需要前端、后端、测试、运维四个人才能启动的项目,现在一个人加 AI 工具就能做出可用原型。这不意味着四个人会失业,而是意味着“能把事情做成”的人获得更大的杠杆。
新的岗位也在出现:AI 应用工程师,把模型、检索、工具、业务流程拼成可用系统;评测工程师,设计评测集、分析失败案例、建立质量基线;推理优化工程师,让模型在有限显存和预算下跑得更快;AI 安全工程师,处理提示注入、数据泄露、模型供应链风险;数据工程师,把脏数据变成可检索、可训练、可评测的资产。这些岗位的共同点是既懂 AI,又懂工程,还懂一点业务。
对开发者来说,最值得投入的不是“学会某个模型的 API”,而是“学会把模型变成可靠系统”。API 会变,模型会换,但评测、检索、权限、可观测性、成本控制这些能力会长期存在。
挑战:不确定性进入工程系统
AI 给工程带来的最大挑战,是确定性消失了。传统系统里,一个函数给定输入,输出是确定的;AI 系统里,同一个问题可能得到不同答案,模型版本一换,行为可能整体漂移。这会冲击我们熟悉的测试、发布、监控和回滚方式。
第一是评测。单元测试只能验证代码逻辑对不对,很难验证回答好不好。你需要统计意义上的评测:准确率、召回率、引用正确率、格式合规率、有害内容比例。评测集要覆盖真实场景,还要定期更新,否则模型会“背答案”。
第二是安全。模型会接收用户输入,也会调用工具、访问数据库、执行代码。提示注入可以让模型忽略原有指令,泄露系统提示词,甚至被诱导调用危险工具。一个客服机器人如果拥有退款权限,攻击者可能通过一段话术让它给指定订单退款。权限最小化、工具白名单、人工确认、输出过滤,一个都不能少。
第三是成本。大模型按 token 计费,长上下文、多轮对话、Agent 循环都会迅速放大成本。一个看似简单的 Agent 任务,可能调用十几次模型、几次检索、几次工具,单次成本是普通问答的几十倍。上线前必须做容量规划和成本压测。
第四是维护。模型提供商会升级版本,旧模型可能下线;提示词和评测集要同步更新;知识库会过期;用户行为会变化。AI 系统不是“一次开发、长期运行”,而是“持续运营、不断校准”。
第五是人的依赖。工具越顺手,人越容易跳过思考。程序员如果长期让模型写代码,却不读、不测、不理解,短期效率提升,长期判断力会退化。更危险的是,代码评审时看到“AI 写的”就放松警惕,把安全漏洞放进生产环境。
一份可执行的能力地图
| 层次 | 关键能力 | 可交付的证据 |
|---|---|---|
| 基础工程 | 编程语言、数据结构、网络、数据库、操作系统 | 能独立设计并上线稳定服务 |
| AI 应用 | 模型 API、提示词、结构化输出、RAG、工具调用 | 能做出解决具体问题的 AI 应用 |
| 工程化 | 评测、监控、缓存、限流、降级、权限、成本控制 | 能把 Demo 变成可运营的生产系统 |
| 领域知识 | 行业流程、数据含义、合规边界、真实痛点 | 能判断什么需求值得做、什么答案不能信 |
| 产品与沟通 | 问题定义、需求拆解、跨团队协作、用户反馈 | 能推动项目从想法走到落地 |
如果只学提示词,很容易停在第二层;如果只会传统开发,不理解模型的不确定性,也很难做好 AI 应用。真正稀缺的是既能把系统做稳,又能理解业务、还能对结果负责的人。
评测循环本身并不复杂:遍历固定评测集,记录每条用例是否命中要点、是否出现禁止内容、时延和 token 消耗,最后统计通过率。难的是评测集的质量和持续维护。它提醒我们:AI 应用的迭代,不是靠“感觉更好”,而是靠可重复的测量。
七、AI 的风险、版权、隐私与国内外监管
风险不止“幻觉”
提到 AI 风险,很多人第一反应是“胡说八道”。幻觉确实是最直观的问题,但它只是风险清单里的一项。
| 风险 | 真实表现 | 缓解手段 |
|---|---|---|
| 事实错误 | 编造论文、法条、数据,引用不存在的来源 | 检索增强、引用校验、人工复核 |
| 提示注入 | 用户输入诱导模型泄露提示词或越权调用工具 | 输入过滤、权限最小化、工具白名单 |
| 数据泄露 | 员工把客户信息、源代码、密钥粘贴到公共模型 | 企业网关、DLP、私有部署、脱敏 |
| 版权侵权 | 训练数据未授权,输出与受保护作品实质性相似 | 数据授权、许可证审查、相似度检测 |
| 偏见与歧视 | 招聘、信贷、医疗等场景对特定群体不公平 | 数据平衡、公平性评测、申诉通道 |
最容易被低估的是提示注入和供应链。传统安全假设“代码可信、输入不可信”,AI 系统里,模型本身也可能被输入操控,工具调用又把这种操控转化为真实动作。一个能读邮件、发邮件、访问日历的 Agent,如果权限控制不严,攻击者可以通过一封精心构造的邮件让它转发敏感信息。安全边界必须从模型外部建立,不能指望模型“自觉”。
版权:训练、输出与开源许可证
版权要分三层看:训练数据、模型输出、开源许可证。
训练数据层面争议最大。模型训练需要大量文本、图片、代码,其中很多受版权保护。支持者认为这属于合理使用,反对者认为这构成大规模复制。美国已有多起相关诉讼,法院尚未形成统一规则;欧盟要求通用模型提供训练数据摘要,并允许权利人选择退出;中国司法实践更关注具体使用行为是否构成实质性替代。企业最稳妥的做法是建立数据来源清单,优先使用有授权、可商用、许可证清晰的数据。
模型输出层面,关键问题是“AI 生成的内容有没有版权”。美国版权局的基本立场是,纯 AI 生成的内容不受版权保护,只有人类作者投入足够的创造性劳动,比如选择、编排、修改,才可能获得保护。中国法院出现过认可 AI 生成图片具有著作权的案例:北京互联网法院在 2023 年的一起案件中认为,原告在提示词设计、参数调整和图片选择上投入了智力劳动,生成图片具有独创性。但另一个案例中,广州互联网法院认定某平台生成的“奥特曼”图片侵犯他人著作权。结论很明确:AI 不自动创造权利,也不自动免除侵权责任。
开源许可证层面,要区分“开源权重”和“开源代码”。很多模型权重允许商用但有附加条件,比如月活超过一定规模需要单独授权;有些模型只允许研究用途;代码仓库的 Apache 2.0、MIT 许可证,也不等于训练数据没有版权问题。使用开源模型前,至少看清楚许可证类型、商用限制、再分发条件和专利条款。
中国从 2025 年 9 月 1 日起施行《人工智能生成合成内容标识办法》,要求对 AI 生成的文本、图片、音频、视频等添加显式或隐式标识。对开发者来说,这意味着产品设计里要预留标识能力,不能等上线后再补。欧盟《人工智能法案》也对通用模型和深度合成内容提出了透明度和文档要求。
隐私:别把客户数据喂给公共模型
隐私风险往往不是模型“记住”了什么,而是人在使用过程中主动泄露了什么。最常见的事故是员工把包含客户姓名、手机号、身份证号、合同金额的文档,直接粘贴到公共聊天窗口里让模型总结。模型服务商是否留存、是否用于训练、数据存在哪里,很多使用者根本没看。
合规上,中国有《个人信息保护法》《数据安全法》《网络安全法》,欧盟有 GDPR,美国有各州隐私法和行业法规。共同原则差不多:收集有限度,用途明确,传输安全,跨境评估,个人有知情权和删除权。企业使用 AI 时,需要和供应商签数据处理协议,明确数据是否用于训练、保留多久、存储在哪个区域。工程上可以建立企业 AI 网关,统一做身份认证、敏感信息识别、脱敏、审计和限流;对高风险数据只允许私有部署;检索层就按角色做权限过滤。
一个实用的判断标准是:如果这段内容你不能发给一个外部实习生,就不要发给公共模型。模型服务商不是你的员工,数据一旦离开边界,控制权就弱了很多。
监管:三条不同的路径
全球 AI 监管大致呈现三种路径:欧盟的横向立法、中国的组合监管、美国的分散规则。
| 法域 | 核心规则 | 对开发者的影响 |
|---|---|---|
| 欧盟 | 《人工智能法案》按风险分级,禁止部分用途,对通用模型和高风险系统提出透明度、文档、评估要求 | 进入欧盟市场需要做风险分类、技术文档、合规评估,高风险系统义务更重 |
| 中国 | 算法推荐管理、深度合成管理、生成式 AI 服务管理、内容标识等规则组合,强调备案、安全评估、内容治理 | 面向公众提供服务需关注备案、标识、内容审核、未成年人保护 |
| 美国 | 没有统一的联邦横向立法,联邦机构按行业监管,各州陆续出台法律,另有行政令和采购规则 | 合规更依赖行业规则、州法、合同和保险,跨境业务要逐州判断 |
欧盟《人工智能法案》在 2024 年 8 月生效,禁止性条款从 2025 年 2 月起适用,通用模型义务从 2025 年 8 月起适用,高风险系统的义务分阶段在 2026 年和 2027 年落地。它把 AI 系统按风险分为不可接受、高、有限、最小四级,高风险系统需要风险管理、数据治理、技术文档、日志、人工监督等机制。对开发者来说,最重要的是判断自己的产品属于哪一级、需要哪些文档和证据。
中国更强调“服务上线前”和“内容安全”。《生成式人工智能服务管理暂行办法》要求开展安全评估、履行算法备案、对生成内容负责;《互联网信息服务深度合成管理规定》要求对深度合成内容进行标识;《人工智能生成合成内容标识办法》进一步细化标识要求。美国没有统一的联邦横向立法,但金融、医疗、招聘等领域有行业法规,各州也在推进自己的法案,做美国市场不能假设“没有联邦法就等于随便做”。
开发者能做的六件事
第一,建立数据来源清单。每一批训练数据、知识库文档、评测数据,都记录来源、授权方式、许可证、更新时间和责任人。没有来源的数据,不要进生产。
第二,做供应商尽调。模型服务商是否用客户数据训练、数据存在哪里、保留多久、有没有子处理商、安全认证是否齐全。把这些写进合同,而不是只看官网宣传。
第三,做输出标识和人工复核。对深度合成内容添加标识;对高风险场景设置人工复核;对无法确认的事实,要求模型给出引用或明确说“不知道”。
第四,做红队测试。专门找人尝试提示注入、越权访问、诱导泄露、生成有害内容,把成功的攻击样例加入评测集,每次模型升级后回归测试。
第五,做权限最小化。Agent 能访问的工具、数据库、API,按任务授予最小权限;高风险操作要求二次确认;所有工具调用留审计日志。
第六,做事件响应。模型泄露、错误输出、版权投诉、监管问询,都要有预案。出了问题,能快速定位是哪个模型版本、哪段提示词、哪批数据。
八、AI 未来发展展望
Scaling 还在,但方向变了
过去几年,大模型进步的主线是“更大”:更多参数、更多数据、更多算力。这条路线仍然有效,但边际收益在下降。高质量公开文本增长放缓,训练成本越来越高,单纯堆规模的性价比不如从前。
新的方向有三个。第一是后训练,在预训练之后用更高质量的数据和更精细的奖励信号,把模型能力“打磨”出来。第二是推理时扩展,让模型在回答前生成更长的思考过程,用更多推理 token 换取更高准确率。第三是系统级扩展,把模型和检索、工具、记忆、验证器组合起来,用工程手段弥补单模型的不足。
推理模型是这两年最明显的变化。传统模型倾向“脱口而出”,推理模型会先拆解问题、尝试不同路径、检查结果,再给出答案。它在数学、代码、逻辑任务上提升明显,但代价是更长响应时间和更高 token 消耗。不是所有任务都需要“深思熟虑”,简单问答用推理模型反而浪费。未来的应用会根据任务难度动态路由:简单问题用小模型快速回答,复杂问题才调用推理模型。
Agent:从“会说”到“会做”
聊天机器人解决的是“信息获取”,Agent 解决的是“任务完成”。一个 Agent 通常包含目标理解、任务规划、工具调用、记忆、反思和终止条件。它可以在循环中观察结果、调整下一步,直到完成任务或判断无法完成。
2025 年以来,编程 Agent 是最先跑通的品类之一。它不再只是补全一行代码,而是能读仓库、改多个文件、跑测试、根据报错修复。客服、运营、数据分析、法律检索等领域也出现了大量 Agent 产品。协议层面,MCP 这类工具调用标准正在降低模型连接外部系统的成本。
但 Agent 的可靠性仍是瓶颈。任务越长,错误累积越严重;工具越多,权限和安全风险越大;环境越开放,评测越难。一个演示视频里能自动订机票的 Agent,到了真实环境可能因为验证码、支付风控、页面改版而失败。短期内,Agent 更适合“有明确边界、可验证结果、失败可回滚”的任务,而不是完全开放的通用助理。
对开发者来说,Agent 带来的机会不是“调用一个更聪明的模型”,而是“设计一套可靠的任务系统”。这包括工具设计、状态管理、错误恢复、权限控制、人工接管、成本上限。Agent 工程本质上还是软件工程,只是把模型作为其中一个不确定的组件。
本地小模型:隐私、时延与成本的再平衡
大模型很强,但不是所有场景都需要它。很多任务边界清晰、数据敏感、时延要求高,用一个小模型在本地跑更合适。
小模型通常指参数规模在十亿到几百亿之间的模型,经过量化后可以跑在笔记本、手机、边缘盒子或单张消费级显卡上。它的优势是数据不出本地、响应快、调用成本低、可以离线运行;劣势是通用能力弱、知识面窄、复杂推理容易出错。
实际落地时,常见做法是混合路由:敏感数据、简单分类、格式转换放在本地小模型;复杂推理、开放问答、创意生成调用云端大模型。这样既满足隐私和时延要求,又不用为所有请求支付大模型的高昂成本。
小模型也不是大模型的简单缩小版。要让小模型在垂直场景表现好,需要高质量领域数据、蒸馏、微调、评测和工程优化。一个通用 benchmark 上分数一般的小模型,经过领域微调后可能在特定任务上超过大模型,而且便宜十倍。未来的 AI 应用,很可能不是“一个模型打天下”,而是“大小模型协作、云端边缘协同”。
AGI:一条曲线,不是一个开关
AGI,也就是通用人工智能,是 AI 领域最有争议的话题。有人把它定义为“在大多数经济上有价值的工作上达到或超过人类水平”,有人强调“跨领域迁移和自主学习”,也有人认为只要在所有认知任务上比人强就算。定义不同,时间表自然不同。
从技术上看,当前模型还有几个明显短板。它们缺乏持续学习能力,训练完之后不会像人一样从日常经验中自然更新;长程规划和记忆不稳定,做长任务容易跑偏;对物理世界的理解有限,很多常识来自文本而非真实交互;样本效率远低于人类,学会一个技能需要大量数据;可靠性还不足以承担高风险决策。
这些短板意味着,AGI 不太可能在某一天突然“开关式”到来,更可能是一条能力曲线:在越来越多任务上达到可用,在部分任务上超过人类,在另一些任务上仍然很笨。对企业和开发者来说,重要的不是预测哪一年到来,而是提前把架构做成“模型可替换、能力可扩展、风险可控制”的样子。
九、AI 时代:普通人如何建立不可替代能力
先换一个定义
“不可替代”很容易被理解成“比 AI 更强”。但多数人不可能在所有任务上比 AI 强,也没必要。更现实的定义是:你能承担 AI 不能承担的责任,定义 AI 无法定义的问题,整合 AI 无法整合的资源。
AI 可以写出一份漂亮周报,但不能替你判断这个项目该不该继续;可以生成一段代码,但不能替你在凌晨三点处理线上故障;可以给出十个方案,但不能替你建立客户信任、在会议室里说服团队、为最终结果签字。这些“不能”,不是模型能力不够,而是责任、关系、判断和现场感不在模型的能力范围内。
六种更难被替代的能力
| 能力 | AI 的短板 | 人的价值 | 怎么练 |
|---|---|---|---|
| 问题定义 | 擅长回答,不擅长判断问题是否值得问 | 把模糊需求变成可验证目标 | 接任务先写清背景、目标、约束、成功标准 |
| 领域现场 | 有通用知识,缺行业隐性规则和现场感 | 知道哪些规则不能碰、哪些异常是常态 | 多去一线,记录例外情况 |
| 审美与判断 | 能生成多个选项,难判断哪个真正合适 | 决定什么算好、什么绝对不能接受 | 大量阅读优秀作品,建立评价标准 |
| 系统整合 | 能优化局部,难为端到端结果负责 | 协调人、流程、技术、预算,做权衡 | 主动负责一个完整项目 |
| 验证与问责 | 不承担后果,也不真正理解风险 | 设计验证方案,对结果签字负责 | 养成写评测、做复盘、留证据的习惯 |
| 信任与沟通 | 能写话术,不能建立长期关系 | 理解情绪、处理冲突、赢得信任 | 多面对面沟通,练习倾听和表达 |
这六种能力有一个共同点:它们都不是“信息处理”,而是“在真实世界里做决定”。AI 可以加速信息处理,但决定仍然要由人来做。越是高风险、高不确定性、高关系的场景,人的价值越明显。
对程序员来说,最直接的迁移路径是从“写代码的人”变成“对系统结果负责的人”。写代码只是手段,真正稀缺的是知道该写什么、为什么写、写到什么程度可以上线、出了问题怎么兜底。
给开发者的 30 天行动表
| 周次 | 动作 | 产出 |
|---|---|---|
| 第 1 周 | 选一个熟悉的真实流程,记录 20 个具体任务,标出重复、耗时、可验证的环节 | 一张任务清单和优先级排序 |
| 第 2 周 | 用现成模型 API 或本地小模型,做一个最小可用的 RAG 或 Agent 工具 | 一个能跑通的 Demo |
| 第 3 周 | 建 30 条真实评测用例,记录通过率、失败类型、时延和成本,找 3 到 5 个同事试用 | 一份评测报告和失败案例库 |
| 第 4 周 | 根据反馈迭代,补权限、兜底、日志和说明文档,写一篇复盘 | 一个可复用模板和一篇复盘 |
这个练习的价值不在于做出多大产品,而在于让你完整经历“问题定义、方案设计、评测、上线、复盘”的循环。做过一遍,你对 AI 的理解会从“它好厉害”变成“它在什么条件下可靠、什么条件下会出错、我怎么让它变得可靠”。
写在最后
AI 的发展速度确实很快,但底层逻辑并不神秘:算法提供学习能力,算力提供规模,数据提供素材,工程把能力变成产品,监管和伦理划定边界。企业落地失败,往往不是因为模型不够强,而是因为场景选错、数据太脏、评测缺失、流程没改、成本算不过来。程序员的机会,不在于会用多少个模型,而在于能不能把不确定的模型能力,变成确定的业务结果。
对普通人来说,最危险的不是被 AI 替代,而是把自己活成模型的接口:只负责转发问题、复制答案,不判断、不负责、不积累。这样的人,模型越强,越容易被绕过。
真正难以替代的,是那些愿意深入现场、定义问题、验证结果、承担责任的人。AI 可以放大他们的能力,也可以放大他们的疏忽。选择哪一种,取决于我们怎么使用它,也取决于我们愿意为自己的判断付出多少努力。