华盛顿大学交换学习与暑期研究总结
计算机科学与技术学院 陈东平
我于华盛顿大学的交换生活是一段非常缤纷多彩且收获满满的经历，从西雅图的夏天到冬天，半年的时间虽短，但给我带来的成长与记忆却是无法用数字量化的，这是一段非常非常珍贵的会议。在西雅图这座城市，我不仅在学术上取得了更前沿的突破，也体验了美国西北部独特的文化魅力与生活。
图 1 华盛顿大学湖边美景
学术收获
在学术方面，我有幸加入了华盛顿大学的RAIVN Lab研究实验室，师从Ranjay Krishna教授，在华人学长张介宇、Zixian Ma、刘本林的悉心指导下开展了深度学习，特别是计算机视觉领域的前沿研究。实验室氛围浓厚，导师和学长们都非常乐于分享知识和经验，我们经常进行头脑风暴，讨论最新的研究动态，学到了很多很好玩的思维方式与实验和实践的思路。
图 2 RAVIN Lab 聚餐合影
我在华盛顿大学交换的期间，创作了四篇计算机视觉和多模态领域的顶会论文，其中两篇是我作为第一作者完成的，分别聚焦于interleaved text-and-image generation以及controllable image generation方向。
第一篇论文介绍了一个名为ISG（Interleaved Scene Graph）的综合评估框架，用于评估交错文本和图像生成的质量。ISG通过场景图结构捕捉文本和图像块之间的关系，并在四个粒度级别（整体、结构、块级和图像特定）上评估响应的一致性、连贯性和准确性。此外，论文还提出了一个基准数据集ISG-BENCH，包含1150个样本，涵盖8个类别和21个子类别，用于有效评估模型在视觉中心任务（如风格转换）上的表现。ISG框架的核心在于将用户查询自动解析为类似场景图的结构，其中文本和图像块作为节点，它们之间的关系作为边。基于这种图表示，ISG提出了一个跨四个粒度级别的评估协议，能够将用户查询转化为可解释的问题-答案对，从而实现系统性和可解释的评估。ISG-BENCH数据集的构建考虑了复杂的语言视觉依赖关系和黄金答案，以解决现有基准的不足。与现有基准相比，ISG-BENCH更注重视觉中心任务，并通过与人类标注的比较验证了其评估的准确性。论文还对九种流行的交错文本和图像生成方法进行了评估，包括五种统一模型和四种组合框架。此外，论文还提出了一个名为ISG-AGENT的基线代理，采用“计划-执行-精炼”流程，实现了122%的性能提升。ISG框架和ISG-BENCH基准的提出，为交错文本和图像生成的评估提供了一个新的视角和工具，有助于推动多模态语言模型的发展。
图 3 Interleaved Scene Graphs 论文截图
第二篇论文是关于controllable image generation，通过输入多种image的condition组合，比如深度图、蒙版、边缘线条、布局等等，来生成新的图片。我们收集并设计了一整套流程来生成相关的数据，得到了一个100k大小的数据集，并且收集了一部分真实世界的多condition组合图片生成的请求，构成了一个测试集。我们的测试展现了目前研究的问题，为未来的conditional image组合提供了参考。
第一篇论文都已经被机器学习顶会ICLR录用，并且被选为spotlight（top 5%），在2025年4月受邀在新加坡展出我的工作；另一篇论文投稿到2025年的ICCV，也是计算机视觉领域的顶级会议，目前正在等待同行审阅。同时，我还参与了RAIVN Lab另外两篇被CVPR接收的论文，都在过程中帮助了论文很多，因此获得了署名的机会，这些成果都极大地丰富了我的学术履历。
图 4 论文中稿截图
在华盛顿大学期间，我还有机会参观了艾伦人工智能研究所（AI2），这个实验室或许是全球最伟大的开源计算机实验室之一，在参观的过程中，我了解到许多关于机器人和人工智能前沿应用的知识，大大开阔了我的视野，也让我对未来的研究方向有了更清晰的认识，坚定了未来的读博的方向。我在华盛顿大学也参加了许多很有意思的讲座，比如CMU的计算机视觉鼻祖来开的演讲，非常有意思。
课堂体验
华盛顿大学的课程设置注重理论与实践的结合，我虽然不是学分交换项目，但是旁听了几门计算机科学课程，比如自然语言处理、计算机视觉等课程，其中的教授们都是各自领域的专家，课堂讨论充满了思想的碰撞。与国内相比，UW的课堂更加互动，学生被鼓励提出问题和表达观点。每周的reading group也是我获取知识的重要途径，我们会一起阅读最新的研究论文，并进行深入讨论。印象最深的是一门关于深度学习在计算机视觉中应用的课程，教授不仅讲授理论知识，还带领我们完成了几个实际项目，从数据处理到模型部署，全程参与的体验让我对整个技术栈有了更全面的理解。
图 5 华盛顿大学附近景色/生活
校园生活
华盛顿大学的校园生活丰富多彩，各种学生组织和俱乐部为学生提供了广阔的社交平台。我虽然没有加入学校的国际学生协会，但是也结识了来自世界各地的朋友，比如和我一起做论文的朋友就是俄罗斯人，我们经常一起组织文化交流活动，分享各自国家的传统和故事。
体育活动是UW校园文化的重要组成部分。我参与了校内的篮球和网球俱乐部，每周定期与美国的华人同学切磋球技，这不仅锻炼了身体，也帮助我更好地融入当地文化。UW的橄榄球也很强，在去年是亚军，所以我们实验室也组队去观看UW哈斯基队的橄榄球比赛，那种席卷整个校园的热情和团结氛围让我印象深刻。赛前的tailgate派对，学生们身着紫金校色，脸上画着队徽，呐喊助威的场面令人热血沸腾。
校园内的Red Square经常举办各种文化活动和表演，从音乐会到艺术展览，为校园增添了浓厚的人文气息。樱花季时，校园里粉色的花海更是美不胜收，成为了许多学生拍照留念的热门地点。
图6 华盛顿大学附近居住环境/校园内环境/生活照片
文化体验与收获
在UW的这段时间，我不仅提升了专业能力，也培养了跨文化交流的能力。与来自不同背景的同学和教授交流，让我学会了尊重和欣赏不同的观点和思维方式。美国的教育强调批判性思考和创新精神，这对我的思维方式产生了深远影响。在日常生活中，我有去Pike Place Market逛逛，那里有各种新鲜的海产品和农产品，还有许多特色小店。第一家星巴克就位于此处，总是排着长队。周末我们会去Discovery Park徒步，或者乘渡轮到Bainbridge Island感受不一样的风景。
语言能力的提升也是显著的收获。日常生活和学术交流中大量使用英语，让我的语言表达更加流利自然，经常去参与小组讨论和学术报告的经历也锻炼了我的公开演讲能力。
图 7 华盛顿大学交换时期生活
建议与感悟
对于计划赴UW交换或研究的同学，我有以下几点建议：
提前做好规划，包括课程选择、住宿安排和签证申请等，这样可以避免不必要的麻烦。
积极主动与导师和同学交流，美国的教育环境鼓励学生表达自己的想法。
合理安排时间，平衡学习、研究和生活，西雅图有很多值得探索的地方。
带好雨具，西雅图的雨季很长，但不要因此错过户外活动，雨中的西雅图别有一番风味。
融入当地文化，参加校园活动，这样能更全面地体验美国大学生活。
时至今日，我依然非常怀念在UW的日子。那段充实而有趣的经历，不仅让我在学术上取得了成果，也让我的人生视野更加开阔。华盛顿大学的经历已成为我人生中宝贵的财富，这段记忆将伴随我未来的学术道路，激励我不断前行。
图 8 科研团队聚餐
