承接上篇Parameter Efficient Fine-Tuning(PEFT)系列论文总结(二),本篇主要介绍LoRA及其各种变体的微调方法。
Parameter Efficient Fine-Tuning(PEFT)系列论文总结(二)
承接上篇Parameter Efficient Fine-Tuning(PEFT)系列论文总结(一),本篇主要介绍P-Tuning系列的微调方法。
Parameter Efficient Fine-Tuning(PEFT)系列论文总结(一)
本篇主要介绍早期的PEFT
方法,包括Adapter
适配器方法、PET
、Prefix Tuning
以及Prompt Tuning
。
Huggingface 服务器端镜像下载
使用Huggingface
官方提供的 *huggingface-cli
* 命令行工具在服务器端镜像下载权重或文件。
Hexo + Typora + Github 博客搭建
Hexo 是一个高效简洁的静态博客框架,支持 Markdown 写作语法,插件丰富,主题优雅,部署方便。目前已成为多数人博客建站的选择,本博客采用Hexo搭建,Markdown编辑软件为Typora并且部署在Github Page上。
ChatGLM系列模型
本章是ChatGLM模型概述,涵盖ChatGLM-1、ChatGLM-2
GPT系列模型
本章是GPT系列模型概述,比较简略,涵盖GPT-1、GPT-2、GPT-3
LLaMA系列模型
本章是LLaMA系列模型概述,比较简略,涵盖LLaMA-1、LLaMA-2
ChatGPT与其前身InstructGPT
本章介绍ChatGPT及其前身InstructGPT
RoBERTa
本章是RoBERTa模型概述