大模型时代的危与机

下载 6

人工智能算法

发布于

139

人观看

#信息技术

展开查看详情

1 .大模型时代的危与机张奇复旦大学 1

2 .ChatGPT仿佛电影中的AI就在眼前 2 2

3 .ChatGPT给公众展现出来的是无所不能 3

4 . 大模型的几个误区语言模型预训练完成后，所需任务标注数据很少 very low latency (<30 mins) https://scale.com/blog/how-to-label-1m-data-points-week high throughput (~5,000 labels/hr) 4

5 . 大模型的几个误区语言模型预训练完成后，所需任务标注数据很少 OpenAI LLC has reportedly hired about 1,000 contractors over the past six months to help hone its artificial intelligence models’ coding capabilities. About 60% of the 1,000 hires reportedly onboarded in the past six months work on data labeling projects. The remaining 40% of the contractors are programmers. A software developer in South America who completed a five-hour unpaid coding test for OpenAI told Semafor he was asked to tackle a series of two-part assignments. First, he was given a coding problem and asked to explain in written English how he would approach it. Then, the developer was asked to provide a solution. If he found a bug, OpenAI told him to detail what the problem was and how it should be corrected, instead of simply fixing it. https://siliconangle.com/2023/01/27/report-openai-hired-1000-contractors-improve-ai-models-coding-capabilities/ 5

6 . 大模型的几个误区语言模型预训练完成后，所需任务标注数据很少 GPT-NeoXT-Chat-Base-20B-v0.16 TLDR: As part of OpenChatKit (codebase available here), GPT-NeoXT-Chat-Base-20B-v0.16 is a 20B parameter language model, fine-tuned from EleutherAI’s GPT-NeoX with over 40 million instructions on 100% carbon negative compute. 6 https://huggingface.co/togethercomputer/GPT-NeoXT-Chat-Base-20B

7 . 大模型的几个误区任务能力主要依赖涌现 7

8 . 大模型的几个误区任务能力主要依赖涌现 8

9 . 大模型的几个误区必须要使用千亿大模型语言知识世界知识 9

10 . 大模型真正展现了什么能力？超强的文本建模能力：25K英文单词的理解和生成能力多任务统一学习范式：将所有NLP任务统一到生成式多任务学习框架任务泛化能力：数千种任务统一框架学习后，部分无标注数据任务上效果很好 10 Chung et al. Scaling Instruction-Finetuned Language Models, arxiv Chung et al. Scaling Instruction-Finetuned Language Models, Arxiv Oct. 2022

11 . ChatGPT真正做的事情—文字接龙自语然什么是自然语言处理？自函数 f <latexit sha1_base64="5MrRdkOzjhKW9Qf2VwT3Cftnp54=">AAAB+HicbVDLSgNBEOyNrxhfUY9eBoPgKeyKqMegF48JmAckS5id9CZDZmeXmVkhLvkCr3r3Jl79G69+iZNkD5pY0FBUdVNNBYng2rjul1NYW9/Y3Cpul3Z29/YPyodHLR2nimGTxSJWnYBqFFxi03AjsJMopFEgsB2M72Z++xGV5rF8MJME/YgOJQ85o8ZKjbBfrrhVdw6ySrycVCBHvV/+7g1ilkYoDRNU667nJsbPqDKcCZyWeqnGhLIxHWLXUkkj1H42f3RKzqwyIGGs7EhD5urvi4xGWk+iwG5G1Iz0sjcT//WCaCnZhDd+xmWSGpRsERymgpiYzFogA66QGTGxhDLF7e+EjaiizNiuSrYUb7mCVdK6qHpXVa9xWand5vUU4QRO4Rw8uIYa3EMdmsAA4Rle4NV5ct6cd+djsVpw8ptj+APn8wcEAJOW</latexit> 然在己什么是自然语言处理？自 …… 然 f <latexit sha1_base64="5MrRdkOzjhKW9Qf2VwT3Cftnp54=">AAAB+HicbVDLSgNBEOyNrxhfUY9eBoPgKeyKqMegF48JmAckS5id9CZDZmeXmVkhLvkCr3r3Jl79G69+iZNkD5pY0FBUdVNNBYng2rjul1NYW9/Y3Cpul3Z29/YPyodHLR2nimGTxSJWnYBqFFxi03AjsJMopFEgsB2M72Z++xGV5rF8MJME/YgOJQ85o8ZKjbBfrrhVdw6ySrycVCBHvV/+7g1ilkYoDRNU667nJsbPqDKcCZyWeqnGhLIxHWLXUkkj1H42f3RKzqwyIGGs7EhD5urvi4xGWk+iwG5G1Iz0sjcT//WCaCnZhDd+xmWSGpRsERymgpiYzFogA66QGTGxhDLF7e+EjaiizNiuSrYUb7mCVdK6qHpXVa9xWand5vUU4QRO4Rw8uIYa3EMdmsAA4Rle4NV5ct6cd+djsVpw8ptj+APn8wcEAJOW</latexit> END 什么是自然语言处理？自然 END 语言处理旨在探索实现….. f <latexit sha1_base64="5MrRdkOzjhKW9Qf2VwT3Cftnp54=">AAAB+HicbVDLSgNBEOyNrxhfUY9eBoPgKeyKqMegF48JmAckS5id9CZDZmeXmVkhLvkCr3r3Jl79G69+iZNkD5pY0FBUdVNNBYng2rjul1NYW9/Y3Cpul3Z29/YPyodHLR2nimGTxSJWnYBqFFxi03AjsJMopFEgsB2M72Z++xGV5rF8MJME/YgOJQ85o8ZKjbBfrrhVdw6ySrycVCBHvV/+7g1ilkYoDRNU667nJsbPqDKcCZyWeqnGhLIxHWLXUkkj1H42f3RKzqwyIGGs7EhD5urvi4xGWk+iwG5G1Iz0sjcT//WCaCnZhDd+xmWSGpRsERymgpiYzFogA66QGTGxhDLF7e+EjaiizNiuSrYUb7mCVdK6qHpXVa9xWand5vUU4QRO4Rw8uIYa3EMdmsAA4Rle4NV5ct6cd+djsVpw8ptj+APn8wcEAJOW</latexit> 11

12 .概率如何得到的？用户输入测试训练大量对话文本人类反馈以及真实回答预训练语言模型 f 数千种针对特 <latexit sha1_base64="5MrRdkOzjhKW9Qf2VwT3Cftnp54=">AAAB+HicbVDLSgNBEOyNrxhfUY9eBoPgKeyKqMegF48JmAckS5id9CZDZmeXmVkhLvkCr3r3Jl79G69+iZNkD5pY0FBUdVNNBYng2rjul1NYW9/Y3Cpul3Z29/YPyodHLR2nimGTxSJWnYBqFFxi03AjsJMopFEgsB2M72Z++xGV5rF8MJME/YgOJQ85o8ZKjbBfrrhVdw6ySrycVCBHvV/+7g1ilkYoDRNU667nJsbPqDKcCZyWeqnGhLIxHWLXUkkj1H42f3RKzqwyIGGs7EhD5urvi4xGWk+iwG5G1Iz0sjcT//WCaCnZhDd+xmWSGpRsERymgpiYzFogA66QGTGxhDLF7e+EjaiizNiuSrYUb7mCVdK6qHpXVa9xWand5vUU4QRO4Rw8uIYa3EMdmsAA4Rle4NV5ct6cd+djsVpw8ptj+APn8wcEAJOW</latexit> 大量高质量指令微调互联网无监督数据定任务的有监督训练数据 12

13 .小模型时代的工作流程转换为提出需求机器学习问题甲方产品经理标注数据训练模型模型评测模型部署研发 N个小模型 13

14 . 小模型时代的难点任务开发成本高、时间周期长相同任务的微小需求变化，需要30%-70%的重新开发成本，无法产品化模型开发和维护成本高高水平算法研究员稀缺 14

15 .小模型时代的难点都不再是问题机遇在哪里？ 15

16 .将来会演变成什么样子？大规模语言模型构建通用能力注入特定任务使用阅读理解情感分析信息抽取分类任务数据互联网任务指令构造图书百科结果大模型 16

17 . 任务范式发生巨大变化使用自然语言对模型进行训练和使用【句子输入】，上述文字表达了褒义和贬义倾向？【文章输入】，上述文章中包含哪些公司主体？【文章输入】，从上述文章提取2022年公司主营业务收入【财报输入】，从上述财报，输出核心提示大模型【数据】，根据上述数据，书写2023年第一季度财报摘要 17

18 . 大模型优势非常少量算法研究员新任务可以快速训练，并且不需要模型重新部署低成本产品化 18

19 . 可以应用于哪些场景—银行财务报告自动化解析 NLP-抽取/OCR/表格解折公司舆情数据智能挖据 NLP-分类/情感/实体识别/事件标签场景一: 信贷辅助决策业务部门: 风险/公司/信等信贷流水材料智能处理 NLP-表格解折/OCR 宏观行业景气度分析 NLP-抽取/事件标签/专家知识风险事件传导分析 NLP-事件/专家知识募集债券说明书智能审核 NLP-抽取/审核/比对场景二: 公司债业务审核业务部门: 投行审计报告自动化比对 NLP-抽取/比对智能客户服务 NLP-多轮对话场景三，智能客服业务部门: 远程银行/信用卡等工单数据处理 NLP-分类/聚类/0CR/估感多元营销辅助 NLP-分类/聚类/实体/情感场景四:企业知识库建设业务部门，科技部门企业内部数据 NLP·搜索/问答/文本解析 19

20 . 银行应用方式问题回答对话系统语义匹配分类【句子输入】，上述文字表达了褒义和贬义倾向？实体识别情感分析事件抽取聚类【文章输入】，上述文章中包含哪些公司主体？【文章输入】，从上述文章提取2022年公司主营业务收入【财报输入】，从上述财报，输出核心提示大模型【数据】，根据上述数据，书写2023年第一季度财报摘要 20

21 . 增加一个新任务时怎么办？转换为提出需求机器学习问题甲方产品经理产生训练数据研发【句子输入】，上述文本是关于信用卡还是贷款业务？大模型 21

22 . 大模型时代的自然语言处理研究变化大模型时代从单个小任务的研究，转向一类问题统一框架研究挑战：赢者通吃，不紧跟步伐就会造成代差，并且不容易弥补对话交互方式，使得先发优势更加明显，用户数据无法获取的情况下，追赶代价更大机遇：NLP从手工作坊转向蒸汽机时代，人工智能的Iphone时代来临面向B端私有化部署的"小"模型 22

23 . 大模型时代的NLP研究重点领域大模型----对话、摘要、改写、 NLP任务集成等 1B-50B模型族大模型可控文本生成大模型隐私大模型鲁棒性评测与提升超小规模任务模型构建 1M-50M --> 是否可以脱离深度神经网络？大模型推理能力构建大模型可解释性因果机制与大模型融合中文开源大模型族 1-20B 23

24 .怎么搞？ 24

25 . 不同的业务类型差别很大模型需求稳定，模型数量少，目前效果较好模型需求稳定，但效果亟待提升大模型的长距离建模能力，解决歧义问题模型需求稳定、模型数量大大模型的统一任务建模能力，解决模型模型数量多、管理难问题小模型不能解决的问题 AIGC：对话、问题、生成等大模型的领域和任务泛化能力，解决领域迁移问题模型需求不稳定特别提醒：大多数情况下仍然依赖一定数量的训练数据 25

26 .如何搞 26

27 .如何搞 Megatron-DeepSpeed NVIDIA/Megatron-LM 27

28 . 如何搞 GPT-1（1亿） GPT-2（15亿）基础大模型训练长距离语言建模能力 GPT-3 （1750亿）代码生成指令微调 Davinci Codex InstructGPT Code-davinci-001 Text-davinci-001 指令微调代码生成理解人类指令能力 Code-davinci-002 基于强化学习的人类 RLHF Text-davinci-002 RLHF 反馈学习回答符合人类习惯的能力 Text-davinci-003 ChatGPT 28

29 . 如何搞大模型需要： 1. 好的基础语言模型 2. 任务训练数据要足够 3. 任务训练方法要合适 29

0点赞

0收藏

6下载