Okii's blog

Tokenizer解析——子词

发表于 2024-03-15 分类于知识点积累
本文字数： 2.6k 阅读时长 ≈ 5 分钟

本章主要介绍不同的子词分法

发表于 2024-03-13 分类于知识点积累
本文字数： 1.1k 阅读时长 ≈ 2 分钟

本章主要介绍几种注意力机制的变体，包括MHA、MQA、GQA等

发表于 2024-03-07 分类于知识点积累
本文字数： 2k 阅读时长 ≈ 4 分钟

本章主要介绍几种分类任务常见的指标，包括Accuracy、Precision、Recall、F1-score等

发表于 2024-03-04 分类于知识点积累
本文字数： 1.6k 阅读时长 ≈ 3 分钟

本章主要介绍不同的浮点数类型，以及混合精度训练的方法

发表于 2024-03-01 分类于知识点积累
本文字数： 2.9k 阅读时长 ≈ 5 分钟

本章介绍LLM的并行优化，包括数据并行、流水线并行，以及DeepSpeed分布式架构的做法

发表于 2024-02-20 分类于 Leetcode 刷题
本文字数： 3.4k 阅读时长 ≈ 6 分钟

Leetcode刷题记录——回溯排列篇

发表于 2024-02-18 分类于 Leetcode 刷题
本文字数： 1.9k 阅读时长 ≈ 3 分钟

Leetcode刷题记录——回溯子集篇

发表于 2024-02-17 分类于 Leetcode 刷题
本文字数： 4.5k 阅读时长 ≈ 8 分钟

Leetcode刷题记录——回溯组合篇

发表于 2024-02-15 分类于 Leetcode 刷题
本文字数： 1.4k 阅读时长 ≈ 3 分钟

Leetcode刷题记录——回溯分割篇

发表于 2024-02-13 分类于 Leetcode 刷题
本文字数： 7.5k 阅读时长 ≈ 14 分钟

Leetcode刷题记录——二叉搜索树