雅思终于考完了md,这次找不到借口因为别的东西不想敲代码了(虽然我感觉tmd听力还是过不了,运气好希望能一次过吧(虽然每次感觉运气好的时候运气都不好))。
无论如何,英语的学习算是告一段落了,就算运气不好的话,单科重考我认为还是很有把握的。
所以!接下来我要开始学习LLM了!但是如何入门呢?这个太宽太杂,我目前有这两种ideas:
直奔导师
直接去看未来选的导师的研究内容,但是是不是有一些太随意了。。。但是这个逃不掉,于是,我通过chatgpt问了一下,目前LLM主要是工作内容是哪些
内容如下:
学习大语言模型(LLM)的入门步骤可以分为以下几个阶段:
- 理论基础
自然语言处理 (NLP) 基础:
学习 NLP 的核心概念,例如分词、词向量、句法分析等。
推荐资源:《Speech and Language Processing》(Jurafsky & Martin) 或 Stanford 的 CS224N 课程。
深度学习基础:
熟悉神经网络、梯度下降、优化方法等。
推荐课程:Andrew Ng 的 深度学习专项课程。
概率与统计:
掌握基础概率分布(例如正态分布)、贝叶斯公式等,理解生成模型和变分推断的理论背景。
2. 模型与技术
预训练模型基础:
学习 Word2Vec、GloVe 等词嵌入模型,以及 Transformer 的工作原理。
推荐论文:《Attention is All You Need》(Transformer 起源)。
LLM 架构:
了解 GPT 系列和 BERT 系列模型的架构和差异。
推荐资源:
GPT 系列论文(尤其 GPT-3 和 GPT-4)。
Hugging Face 文档(Transformers 官方教程)。
模型训练与微调:
学习如何使用大模型进行微调(Fine-tuning)和提示学习(Prompt Engineering)。
工具:Hugging Face、PyTorch。
3. 动手实践
环境搭建:
熟悉 Python 环境,安装 NLP 必备库(如 Transformers、spaCy、NLTK)。
入门项目:
文本分类:使用 BERT 对情感分析数据进行分类。
文本生成:用 GPT 模型生成摘要或回答问题。
提示优化:探索 ChatGPT API 的提示设计(Prompt Engineering)。
数据集:
从公开数据集入手,例如 Hugging Face Datasets、Kaggle 的 NLP 项目。
4. 持续学习
阅读论文:
阅读最新的 LLM 相关论文,掌握领域动态(推荐网站:arXiv)。
参与社区:
加入 Hugging Face、OpenAI 等社区,与同行交流学习。
竞赛与应用:
参加 NLP 相关竞赛(例如 Kaggle、天池)。
在实际应用中使用 LLM,例如客服问答、文本摘要等。
推荐学习路径
观看 Transformer 和 BERT 的教学视频,理解基础架构。
使用 Hugging Face 训练并微调一个小型模型。
加深对生成式模型的理解,例如 ChatGPT 的提示设计与多轮对话。
比赛
算了=.=chat出来的学习路线是一点都不想看,但是他的基础知识确实还是很有必要的。好吧,那我只能先把理论基础给干了,然后自然就是实践出真知打比赛辣!总结一下需要学习的内容:
- 找本书看,把基础过一遍先,然后做一下课后题把相关代码熟悉熟悉
- numpy和pandas再重新过一遍,天天chat都快没脑子了!
- Python中的模块再学一遍,虽然我觉得这个没必要,但是写出有整洁性的代码对观赏来说真的太舒服了(虽然全用def也不是不行?)
- KAGGLEEEEEEEEEEEEEEEEEEEEEEEEEE(需要什么比赛另说吧,至少先把基础过了)
总结
没啥好说的,开学!
附录:
LLM宝典:https://datawhalechina.github.io/llm-cookbook/#/C1/1.%20%E7%AE%80%E4%BB%8B%20Introduction
书籍:https://github.com/Kensuke-Hinata/statistic