清华系ChatGPT发布！唐杰团队打造专对中文优化还能把握新闻动态

清华系ChatGPT发布！唐杰团队打造专对中文优化还能把握新闻动态本站　　它对新信息的掌握度不错，知道推特现在的CEO是马斯克，也知道何恺明3月10日回归学界的事情，但还没发现GPT-4已经发布了　　据官方介绍，ChatGLM参考了ChatGPT的设计思路，在千亿基座模型GLM-130B中注入了代码预训练，通过有监督微调等技术来实现人类意图对齐（就是让机器的回答符合人类价值观、人类期望）

　　它对新信息的掌握度不错，知道推特现在的CEO是马斯克，也知道何恺明3月10日回归学界的事情，但还没发现GPT-4已经发布了

　　据官方介绍，ChatGLM参考了ChatGPT的设计思路，在千亿基座模型GLM-130B中注入了代码预训练，通过有监督微调等技术来实现人类意图对齐（就是让机器的回答符合人类价值观、人类期望）。

　　它是由清华大学知识工程实验室(KEG)与智谱AI共同研发的一个大规模中英文预训练语言模型，参数1300亿，去年8月正式对外发布。

　　不同于BERT、GPT-3以及T5的架构，GLM-130B是一个包含多目标函数的自回归预训练模型。

　　在Stanford报告的30个世界主流大模型评测中，GLM-130B也成为了亚洲唯一入选的模型。

　　比如在准确性和恶意性指标上与GPT-3 175B (davinci) 接近或持平，鲁棒性和校准误差在所有千亿规模的基座大模型（作为公平对比，只对比无指令提示微调模型）中也可圈可点。

　　而就在CCF最近的一场会议上，有现场观众提问：ChatGPT为什么没有诞生在中国？是我们没有关注这件事吗？

　　除了这个聊天机器人ChatGLM，唐杰团队这次也把GLM-130B的“缩小版”ChatGLM-6B开源了出来。

　　当然，缺点就是容量只有60亿，其模型记忆和语言能力较弱，不擅长逻辑类问题（如数学、编程），以及多轮对话可能会出现上下文丢失和理解错误的情况。