搜索
关闭导航

包含标签"LLaMA-7B"的内容

字节跳动PHD-Transformer技术突破LLM 2M上下文预训练效率瓶颈

字节跳动PHD-Transformer技术突破LLM 2M上下文预训练效率瓶颈

AI妹 3 个月前 14 0

ByteDance has announced the launch of Efficient Pretraining Length Scaling, leveraging a novel Par

LLMs legal document analysis AI training efficiency Sliding Window Attention Mechanism ByteDance-Seed
查看详情
字节跳动PHD-Transformer：高效预训练长序列 支持2M上下文提升LLM训练效率

字节跳动PHD-Transformer：高效预训练长序列 支持2M上下文提升LLM训练效率

AI妹 3 个月前 12 0

字節跳動宣佈推出高效預訓練長度縮放技術（Efficient Pretraining Length Scaling），通過創新的Parallel Hidden Decoding Transforme

算法-系统协同设计 PHD-SWA ByteCheckpoint arxiv ByteScale框架
查看详情

资讯姬

文章数量11972 总阅读量188.816k 总评论量0 会员数量2

最新评论

链接

搜索一下

关于我 免责协议 隐私保护 广告合作 侵权删除
AI导航 AI导航
本站由emlog驱动