大模型应用设计与实现指南

很好的大模型应用入门介绍，之前对于提示词工程不甚了解，现在了解到已经有很多prompt框架和prompt agent去优化提示词表达；另外作者提到利用agent来让大模型感知和执行，而不再局限于文本对话生成，这可能是未来非常热的一个方向；对于金融领域，目前大模型推广应用主要面临合规问题和私有化部署(成本+技术)两方面的难题。

对于直接使用大模型的弊端分析的很透彻。要形成Agent需要不断的探索和试错，在不断的试炼中将出现优胜劣汰。楼主阐述的观点首先考虑清楚盈利模式，在落地相关场景时，能有预期效果的话，前期的投入仍是非常值得的。

作者在文中思考了大模量的技术问题、应用的问题及将来发展的问题，可见是用心在思考了。现阶段大模型还没有发展到相当成熟的阶段，存在问题是非常正常的，只要我们努力去研究技术水平必定会不断提高的。对于输出结果的不稳定性，从软件设计的角度看，应该与算法及第二个问题数据有关。在设计算法的时候算法的自主选择权太大了，也就是条件太宽泛了，所谓外延越小内涵越大，输出结果多样化也就不足为奇了。另一个原因可能是由于数据量太小，可匹配到内容太少导致输出结果多样化。有问题是正常的，经过研究可以逐步改进。目前各行业都在搞数字化转型，大模型可以在好多领域发挥作用。只是需要改进技术，提高在各种场景、各种领域的适应性。技术的改进离不开人力、资金、技术的投入，这是问题的根本。尤其是研发资金，在前期投入大产出小，多数科技企业坚持不下来。我对大模型不甚了了，讲得不对的地方请批评指正。

对在大模型使用过程中发现的面临问题的分析比较具有参考意义。 个人觉得是否在memory中考虑介于长期记忆和短期记忆之间的一个过渡？存储近期频繁使用，但又不是上下文紧密联系的内容，加速搜索。

大模型应用现在不是一般企业可以做的起来，是需要强大的底层算力，太烧钱了。就如同笔者所说：目前整个经济环境都很差，大模型应用首先要考虑的还是盈利问题，如果一开始就不能产生营收，那么以后也很难有。无论是老树开新花，还是做小众、小工具的产品，在开发大模型应用之前，就应该考虑清楚盈利模式。否则大模型的投入让你无法获得足够收益回报，也就无法坚持下去。

大模型现在各个科技强国争雄的核心之一，大模型已成功引领技术浪潮研究和应用方向。英伟达已经不是我们印象中的卖显卡的，最近股价接连超越谷歌、亚马逊、特斯拉等耳熟能详的知名企业，已成为AI时代最著名的科技公司之一。作者在文中分享了自己对大模型的见解和思考，很有借鉴意义。我也借此说一下甲方观点，现在中国不缺市场，缺的是明确的技术方向和应用持久力，服务持续性。推荐的产品和企业的需求不吻合，产品和服务的价值和企业的预算不协调。百花齐放百家争鸣是好，最终还是市场价值决定一家企业能否长久。

大模型是现在的发展趋势，文中很好的阐述了大模型的应用以及思考，同时也提到了大模型应用带来眼下的问题。所以企业在尝试落地过程中，需要充分考虑好落地应用的场景。