Jon Fox for Quanta Magazine导语本次是的第三期。我们将由发起人之一，来自北京大学大数据科学研究中心博士研究生李昊轩重点分享大语言模型用于因果发现和大语言模型用于因果推断的主要工作。集智俱乐部联合北京大学大数据科学研究中心博士研究生李昊轩、伦敦大学学院计算机博士研究生杨梦月，卡耐基梅隆大学和穆罕默德·本·扎耶德人工智能大学博士后研究员陈广义共同发起。这是我们因果科学系列读书会的第五季，旨在探讨在大模型之后为何仍需“因果科学”？大模型如何推动因果科学的研究进展？因果科学能否在推理能力、可解释性和可信性等方面启发更优大模型的设计？以及因果科学的最新进展如何在实际领域中应用和落地？希望汇聚相关领域的学者，共同探讨因果科学的发展和挑战，推动学科发展。内容简介因果任务主要被分为因果发现任务和因果推断任务。对于前者来说，目前已有一系列工作探索了大语言模型在因果发现任务上的性能，最近的研究表明，以 GPT-4 为代表的大语言模型包含丰富的有助于因果发现的世界知识，并且大语言模型有能力借助世界知识作为先验提高因果关系识别的准确性。此外，大语言模型强大的语义理解和分析能力可以帮助在海量的文本数据中自动发掘因果变量，从而发现全新的因果关系。对于后者而言，虽然目前的大语言模型已经被证明可以进行数据可视化和统计汇总等基本数据分析，但是对于更具挑战性的因果推断任务例如估计因果效应或进行因果决策任务，大语言模型的表现却不尽人意。想要回答因果推断问题，大语言模型需要知道估计因果效应的常用方法，以及如何利用这些方法得到答案。此外，大语言模型如何利用丰富的世界知识生成高质量的反事实数据、放宽传统因果推断假设也是值得深入研究的重要问题。大纲- 大语言模型用于因果发现- 大语言模型利用世界知识定向无向边- 大语言模型为因果发现提供先验知识- 大语言模型发掘文本中潜在的因果变量- 大语言模型用于因果推断- 大语言模型估计因果效应- 大语言模型帮助因果决策- 因果科学与大模型的融合- 因果科学在大模型设计中的启示- 最新进展和未来展望主讲人介绍李昊轩， 北京大学大数据科学研究中心，数据科学（统计学）博士，CCF会员、IEEE会员、ACM会员。研究兴趣为因果机器学习理论、反事实公平性、推荐系统去偏、分布外泛化、多源数据融合、生物信息学和大语言模型等。已在ICML、NeurIPS、ICLR、KDD、WWW、AAAI、IJCAI等多个CCF-A顶尖会议以第一作者发表多篇论文，其中5篇论文被评选为Spotlight或Oral，现为ICML、NeurIPS、ICLR、KDD、WWW、AAAI、IJCAI等多个顶会PC member或Area Chair，以及TKDE、TOIS、TKDD、The Innovation、《中国科学：信息科学》等多个顶级期刊审稿人，14项发明专利。连续两年获得北京大学博士最高研究奖“校长奖学金”，获国家奖学金，九坤（人工智能方向）奖学金，北京大学三好学生，两项成果获北京大学“挑战杯”五四青年科学奖特等奖，并获得首批国家自然科学基金青年学生基础研究项目（博士研究生）30万资助。主持人介绍陈广义， 卡耐基梅隆大学，穆罕默德·本·扎耶德人工智能大学，博士后研究员。博士就读于清华大学自动化系。主要研究方向为因果表征学习，注意力表征学习，视觉理解等。在CVPR、ICCV、ECCV、 ICLR、NeurIPS、ICML、AAAI、IEEE TIP等多个顶尖会议期刊上发表论文30余篇，其中以第一作者发表论文10余篇，Spotlight或Oral 论文7篇。现为CVPR、 ICCV、 ICLR、ICML、NeurIPS等多个国际会议PC member，以及IEEE TPAMI, IEEE TIP, IEEE TNNLS, IJCV等多个期刊审稿人.个人主页：https://chengy12.github.io/直播信息7月21日20:00-22:00（周日），直播报名入口见后文。集智俱乐部 B站和视频号免费直播，扫码可预约：扫码预约本次直播若需要观看视频回放，文末扫码付费参加可加入腾讯会议，可提问交流、加入群聊、获取视频回放及更多学习资料，成为因果科学社区种子用户，与一线科研工作者沟通交流，共同推动因果科学社区的发展。参考文献[1] Long, Stephanie, et al. "Causal Discovery with Language Models as Imperfect Experts." ICML Workshop, 2023.[2] Abdulaal, Ahmed, et al. "Causal Modelling Agents: Causal Graph Discovery through Synergising Metadata-and Data-driven Reasoning." ICLR, 2023.[3] Cai, Hengrui, et al. "Is Knowledge All Large Language Models Needed for Causal Reasoning?." arXiv preprint arXiv:2401.00139 (2023).[4] Vashishtha, Aniket, et al. "Causal Inference using LLM-Guided Discovery." AAAI Workshop, 2023.[5] Liu, Chenxi, et al. "Discovery of the Hidden World with Large Language Models." arXiv preprint arXiv:2402.03941 (2024).[6] Jin, Zhijing, et al. "CLADDER: Assessing causal reasoning in language models." NeurIPS, 2023.[7] Liu, Xiao, et al. "Are LLMs Capable of Data-based Statistical and Causal Reasoning? Benchmarking Advanced Quantitative Reasoning with Data." arXiv preprint arXiv:2402.17644 (2024).[8] Jiang, Haitao, et al. "Large Language Model for Causal Decision Making." arXiv preprint arXiv:2312.17122 (2023).因果科学社区“因果”并不是一个新概念，而是一个已经在多个学科中使用了数十年的分析技术。集智俱乐部在过去4年期间围绕研究人员的不同角度的需求，举办了4季相关主题的读书会，形成了数千人规模的社区。【】基于《Elements of Causal Inference》，探讨因果科学在机器学习方面的应用，如强化学习和迁移学习等，并分享工业应用。【】聚焦实操和基础，深入学习《Causal inference in statistics: A primer》和《Elements of causal inference: foundations and learning algorithms》。【】回顾社会学、经济学、医学，计算机等领域的因果模型和范式，尝试用现代模型提供新思路。【】探讨因果表征学习的理论、技术和最新应用，涉及因果生成模型、可解释性、公平性及工业落地。主要围绕因果科学的最新进展，包括因果科学与大模型的结合等方面进行深度的探讨和梳理，希望给在这个领域的研究者提供一个全面的研究图景。共同探讨因果科学的未来发展以及面临的挑战。详情请见：