🌱 kbaicai的技术菜园子

从RoPE到ALiBi,探讨大模型如何突破上下文窗口限制,实现百万token级别的文本处理能力...

结合实际项目经验,详细介绍RAG系统中的embedding选型、chunk策略、混合检索和重排序技术...

从源码角度分析Llama 3的GQA、RMSNorm等关键技术,理解其在效率和性能上的权衡...

整理了Chain-of-Thought、Few-shot、Self-Consistency等常用Prompt技巧的实战经验...

详细剖析Transformer的自注意力机制、位置编码和多头注意力的数学原理及代码实现...

对比主流向量数据库在性能、功能、易用性方面的差异,帮助你做出合适的技术选型...

从token计费、流式输出、错误处理到并发控制,全面总结API使用中的注意事项...

对比不同微调方法的内存占用、训练速度和效果,并提供Jupyter Notebook代码示例...

在MTEB基准上对比text-embedding-ada-002、BGE、m3e等模型的中英文表现...

手把手教你构建一个具有工具调用能力的LLM Agent,包含完整代码和调试技巧...

记录使用Dreambooth和LoRA技术训练定制化SD模型时遇到的问题和解决方案...

从数据准备到模型训练,详细记录在垂直领域进行BERT预训练的全流程...

梯度累积、混合精度训练、激活检查点等技术的原理和PyTorch实现代码...

介绍DDP、FSDP等分布式训练策略,并附上可运行的多GPU训练代码示例...

回译、EDA、词替换等文本数据增强技术的对比实验和Python实现...