第10章 忽悠傻了(2/2)

【畅读更新加载慢，有广告，章节不完整，请退出畅读后阅读！】

eepMind工作，也没有在推特工作。



    背书力度太弱了，你明白吗？



    另外，你以为用GPT的数据来训练是什么很了不起的方案，是什么天才的灵光一闪。



    那是因为你了解的太少，你没有从事这一行，你在江城科技大学学的是四十年前的数据结构和C语言。



    你没有关注开源社区的前沿动态。



    华盛顿大学和艾伦人工智能研究所在ChatGPT发布的第一时间就发表了论文，论文名字叫Self-Instruct。



    你所谓的用GPT数据训练只是一句话，人家已经写成论文，并且进行了实验。



    Self-Instruct的核心内容就是让大模型自己生成自己的训练数据。



    他们把方法都公布了，一个迭代的过程。



    先准备一小批人工写的指令，这些作为例子来引导模型生成新任务。



    用当前模型提示它生成新的、更多样的指令。



    比如给它几个种子例子，让它发明新任务。



    为每个新指令生成输入和输出。



    对生成的指令，再让模型生成对应的Input和 Output。



    这样就得到一条完整的Instruction、Input和Output三元组。



    过滤低质量数据，用启发式规则自动过滤无效的任务、与已有任务重复度太高的、输出质量差的。



    把过滤后的高质量数据加回任务池，可以继续迭代生成更多数据。



    最后用这些合成数据对原始基座模型进行监督微调。



    你以为的灵光一闪，人家早就想到了并且实践落地了。



    你以为自己发现了天才，殊不知人家可能只是比你懂得多一点呢！



    你以为他有知识，可能他只是有知道呢？”



    （PS：上述是Yizhong Wang在2022年12月20日挂在Arxiv上的论文，论文全称：Self-Instruct: Aligning Language Models with Self-Generated Instructions，也是蒸馏方法的开创者。



    其中艾伦人工智能研究院是由微软联合创始人保罗?艾伦于2014年创立的一家专注于人工智能前沿研究的机构。）



    在江城大学湖滨七舍被室友们吹上天的陈神，在江城富人区的别墅里，在赵立明这不过是个运气好有点能力的小子。



    这样的反差陈曦本人不知道，但赵佩璇显然无法接受。



    但父亲说的有理有据，完全找不到反驳的点。



    这让赵佩璇内心郁郁寡欢，只是说了句：“知道了。”就回自己房间了。



    赵立明看着自己女儿扬长而去的背影，心想真是女儿大了留不住，小时候赵佩璇还会给他拥抱，现在一不顺心就是往自己房间里钻。



    “陈曦，抱歉，我没能说服我爹，找不到卡。”



    “他太固执了，不相信年轻人也能创造奇迹。”



    “看来还是得去硅谷了，我明天送你去领事馆。”



    赵佩璇每间隔几分钟就发条微信给陈曦。



    一直没人回。



    她也习惯了对方压根不回微信。



    想了想，赵佩璇收拾了一下，拿着车钥匙出门。



    女儿走到门口后，赵立明问：“去哪里？”



    “不用你管，我不回来吃饭。”赵佩璇摆了摆手，把赵立明气得够呛：“我不管你，但你吃完晚饭八点之前必须给我回来！”