谷歌公布Titans系列AI模型架构 融合长短期记忆与注意力机制

【谷歌公布Titans系列AI模型架构 融合长短期记忆与注意力机制】《科创板日报》21日讯，谷歌研究院发文，公布了Titans系列模型架构，相应模型架构最大的特点是采用仿生设计，结合了短期记忆、长期记忆和注意力机制，支持超过200万个Token的上下文长度，目前相关论文已发布在arXiv上，谷歌计划未来将Titans相关技术开源。