雅思终于考完了md,这次找不到借口因为别的东西不想敲代码了(虽然我感觉tmd听力还是过不了,运气好希望能一次过吧(虽然每次感觉运气好的时候运气都不好))。

无论如何,英语的学习算是告一段落了,就算运气不好的话,单科重考我认为还是很有把握的。

所以!接下来我要开始学习LLM了!但是如何入门呢?这个太宽太杂,我目前有这两种ideas:

直奔导师

直接去看未来选的导师的研究内容,但是是不是有一些太随意了。。。但是这个逃不掉,于是,我通过chatgpt问了一下,目前LLM主要是工作内容是哪些
内容如下:

学习大语言模型(LLM)的入门步骤可以分为以下几个阶段:

  1. 理论基础
    自然语言处理 (NLP) 基础:

学习 NLP 的核心概念,例如分词、词向量、句法分析等。
推荐资源:《Speech and Language Processing》(Jurafsky & Martin) 或 Stanford 的 CS224N 课程。
深度学习基础:

熟悉神经网络、梯度下降、优化方法等。
推荐课程:Andrew Ng 的 深度学习专项课程。
概率与统计:

掌握基础概率分布(例如正态分布)、贝叶斯公式等,理解生成模型和变分推断的理论背景。
2. 模型与技术
预训练模型基础:

学习 Word2Vec、GloVe 等词嵌入模型,以及 Transformer 的工作原理。
推荐论文:《Attention is All You Need》(Transformer 起源)。
LLM 架构:

了解 GPT 系列和 BERT 系列模型的架构和差异。
推荐资源:
GPT 系列论文(尤其 GPT-3 和 GPT-4)。
Hugging Face 文档(Transformers 官方教程)。
模型训练与微调:

学习如何使用大模型进行微调(Fine-tuning)和提示学习(Prompt Engineering)。
工具:Hugging Face、PyTorch。
3. 动手实践
环境搭建:

熟悉 Python 环境,安装 NLP 必备库(如 Transformers、spaCy、NLTK)。
入门项目:

文本分类:使用 BERT 对情感分析数据进行分类。
文本生成:用 GPT 模型生成摘要或回答问题。
提示优化:探索 ChatGPT API 的提示设计(Prompt Engineering)。
数据集:

从公开数据集入手,例如 Hugging Face Datasets、Kaggle 的 NLP 项目。
4. 持续学习
阅读论文:

阅读最新的 LLM 相关论文,掌握领域动态(推荐网站:arXiv)。
参与社区:

加入 Hugging Face、OpenAI 等社区,与同行交流学习。
竞赛与应用:

参加 NLP 相关竞赛(例如 Kaggle、天池)。
在实际应用中使用 LLM,例如客服问答、文本摘要等。
推荐学习路径
观看 Transformer 和 BERT 的教学视频,理解基础架构。
使用 Hugging Face 训练并微调一个小型模型。
加深对生成式模型的理解,例如 ChatGPT 的提示设计与多轮对话。

比赛

算了=.=chat出来的学习路线是一点都不想看,但是他的基础知识确实还是很有必要的。好吧,那我只能先把理论基础给干了,然后自然就是实践出真知打比赛辣!总结一下需要学习的内容:

  1. 找本书看,把基础过一遍先,然后做一下课后题把相关代码熟悉熟悉
  2. numpy和pandas再重新过一遍,天天chat都快没脑子了!
  3. Python中的模块再学一遍,虽然我觉得这个没必要,但是写出有整洁性的代码对观赏来说真的太舒服了(虽然全用def也不是不行?)
  4. KAGGLEEEEEEEEEEEEEEEEEEEEEEEEEE(需要什么比赛另说吧,至少先把基础过了)

总结

没啥好说的,开学!

附录:

LLM宝典:https://datawhalechina.github.io/llm-cookbook/#/C1/1.%20%E7%AE%80%E4%BB%8B%20Introduction
书籍:https://github.com/Kensuke-Hinata/statistic

站内搜索

没有找到内容!