6月 AGI技术月报 上篇
输入“/”快速插入内容
6月 AGI技术月报 上篇
6月 AGI技术月报 上篇
用户8190用户81902024年9月10日修改
6月14日
LLM参数高效微调综述和详解-从Adpter、PrefixTuning到LoRA
文章揭示了大型语言模型（LLM）参数高效微调的关键技术，如 Adapter、PrefixTuning 和 LoRA。这些方法通过引入额外的少量参数或对现有参数进行低秩近似，实现在特定任务上的性能优化，同时大幅度减少了计算资源的消耗。其中，LoRA 通过低秩矩阵分解，有效地减少了可训练参数，使得微调过程更加高效和经济。这些技术的应用不仅提高了模型在各种任务上的适应性，还为大型模型的推广和应用开辟了新的可能性。
几款多模态向量检索引擎：Faiss 、milvus、Proxima、vearch、Jina等
本文综述了多模态向量检索引擎的几款代表性工具，包括 Faiss、milvus、Proxima、vearch 和 Jina。Faiss以其高效的近邻搜索算法和丰富的索引结构，适合大规模数据处理。milvus则以开源性和高性能著称，支持多种数据类型和距离度量。Proxima作为美团点评开发的产品，能够与关系型数据库无缝集成，适合中等规模数据集。vearch轻量级且高性能，特别适合多媒体数据的检索。Jina则提供了一个云原生的解决方案，支持多模态数据并易于扩展。这些工具在处理复杂的信息检索任务时，各有特点，需要根据具体的技术细节如数据规模、实时性需求、系统复杂度等因素来选择最合适的引擎。
引入 Lamini 内存调优：95% 的大型语言模型准确率，幻觉减少 10 倍。
Lamini Memory Tuning 技术通过对数百万个 LoRA 适配器进行细致的内存调优，实现了大语言模型（LLMs）在事实准确性上的大幅提升，减少了幻觉现象。该技术不同于传统的指令微调，它能够将模型对特定事实的回忆准确率提高至接近完美，同时保持了模型在其他任务上的泛化能力。Lamini Memory Tuning 采用了一种名为 Mixture of Memory Experts（MoME）的模型架构，通过在推理时智能检索和路由最相关的专家适配器，确保了高准确性和低延迟的响应，同时避免了高昂的计算成本。这一技术已经在高精度的文本到 SQL、数据分类和产品推荐等领域的实际应用中得到了验证，显著提升了模型的实用性和市场价值。
小米公司 Con 2024-Agent 技术在语音助手场景中的应用
小米公司的 Con 2024-Agent 技术在语音助手领域的应用，通过感知、思考和行动三个环节，提升了对话系统的智能化。在感知层，技术不仅支持文本输入，还融合了多模态输入，如图像感知。思考阶段，通过知识注入和记忆召回，实现了任务规划和信息整合。行动阶段，除了文本回复外，还能调用工具完成复杂任务，如购买火车票或搜索宾馆。小米的 Agent 技术框架包括 NLU Parser、Prompt Manager 和 Executor & API Platform，通过紧密结合大模型和系统环境，以及复用现有 NLP 能力，实现了更端到端的用户体验。技术细节如 Prompt 模板的设计、历史会话的管理、输出格式的标准化，以及记忆管理的优化，都有助于提升语音助手的性能和用户满意度。未来，小米计划进一步与系统融合，加强跨设备协同，以及探索多模态方向，以实现更智能和全面的用户交互体验。
2024年6月具身智能机器人领域情报第二弹
在技术细节方面，美国投资人当前非常关注强化学习技术，特别是英伟达在最近的ComputerX演讲中提出的“Reinforcement Learning from Physical Feedback”(RLPF)概念。这种方法基于实际的物理反馈，与以往的“强化学习从人类反馈”(RLHF)方法类似，但更强调在具身智能中的应用，即通过物理世界的交互来训练和优化算法，这对于发展更高级的机器人技术至关重要。
英伟达的最新数据仿真平台也进行了重大更新，此平台允许所有企业在一个共享的环境中训练他们的机器人来完成各种任务。这种开源策略将有助于标准化具身智能的技术水平，使各公司能够在同一基础上进行创新。
交流还指出了计算机视觉在机械臂控制等具体应用中的局限性。目前，单靠大模型进行物体感知和决策制定往往无法解决复杂的操作任务，这突显了开发更为精确和特定目标的算法的必要性。