Part 1
0-1 迭代对话体验
角色
产品设计师
设计团队
2-3 人
时间
2023.06 - 2025.02
1.基础对话体验
2023 年 4 月前后，ChatGPT、Perplexity、POE、Character.ai 等产品已经在海外市场拥有一定的知名度和用户量。ChatGPT 作为 LLM 泛知识类效率工具，Perplexity 作为 AI Answer Engine 增强搜索引擎，Character.ai 主要聚焦角色类 bot 作为娱乐和情感陪伴。
如何做一个 AI Native 产品并建立用户认知并没有经过国内市场验证，所以我们需要首先问自己：用户来这里的目的是什么？🤔 其实用户的底层需求是并没有变化的，本质上还是信息消费和情感诉求：
用快捷高效方便的方式，获取高质量的信息；
满足情感陪伴、自我表达和社交娱乐的需求。
所以在产品初期，我参与探索了众多的方向：对话、内置浏览器、PDF 阅读器、笔记、社区、亲密度、分身等等。甚至是在模型完全没有 ready 的时候过早探索了众多方向，导致对主要对话场景内容质量的失焦。
最终在尝试各种可能性后，逐步将 App 复杂度收敛，聚焦在豆包对话本身的体验上：
>> 🤔 输入框和回答本身才是最重要的信息输入与输出渠道，用简洁的页面、流畅的操作体验、更丰富的 Markdown 格式、合适的话题推荐来做出区分度。
1.输入体验
基于字节 ASR 识别准确度的优势，我们把语音输入作为重点，原则是最小程度干扰用户注意力：用户说话的时候不需要看着屏幕，说完立即出现的那条消息即是正确的。为此我们调试了多个交互方案，最终达到效果——体感上没有任何语音识别上屏的延迟，语音输入在所有输入方式稳定占比 35% 上下。
随着用户使用深度增加，出现了编辑长文、上传图片/文件、扩展技能的需求，基于此统一了输入框在各种形态下的结构，定义可扩展的输入框组件。
2.阅读体验
项目早期，我们参考了众多对话 App、文档版类 App 的文本阅读体验，对行高、段间距等做了详细的调研。提升屏效的同时，兼容各类消息卡片展示，保证多语言下的阅读体验。
豆包的回复类型增多后，我对 Markdown 列表、标题、代码块、表格、高亮块等展示进行统一和优化，并撰写消息卡片规范，供给于其他合作方在豆包中开发智能体，例如新闻、天气、汽水音乐、抖音本地生活卡片等。
3.检索体验
随着模型联网能力的增强，且用户对信息准确度、时效性、丰富度等的需求提升，豆包的联网检索结构也迭代数次，依然在实验中（数据暂不公开），但也形成了一些统一的认知：
检索过程：不必要将所有搜索过程展示给用户，可以技术链路复杂但用户无需知道；
信息来源：用户需要信息源是为了置信度和安全感，我们希望把信息总结做得足够好，让用户非必要无需点击信息源，所以需要刻意控制引用数量；
信息结构：富媒体与文字混排搭配非常重要，重要信息位于顶部，辅助推荐位于下方（通常为视频）更符合阅读习惯；
4.操作体验
对话式 AI 与传统搜索引擎相比最大的区别在于「信息元素的最小颗粒度」，搜索引擎的颗粒是网页，而 LLM 的最小颗粒度在单个信息元素 —— 一个词，一句话，一串代码，一个表格，一张图片，一个消息。我们希望用户是可以对每一个最小信息单元进行操作，例如复制一个词，展开一个表格，导出一条消息等。
针对于消息的操作，长按菜单有 10% 的渗透，在迭代过程中内容逐渐过载，针对性进行重新设计。
2.消息的分享、复访与知识管理
用户越来越多，使用深度越来越深，对话内容的复访和管理也变得越来越重要。首先为了方便用户的保存和社交媒体的传播效应，设计了简单的分享功能。上线后，渗透接近 3%，转化率超过半数，保存图片和微信的点击率最高，内容多为信息密度高或娱乐性强的内容。
豆包和其他产品很大的不同在于：打开 App 后不会进入新的话题页，而是留在主对话中。好处是资产感强，然而也会导致用户对「创建新对话」功能的使用没有强认知，只在主对话中持续提问，增加了很多消息复访和查找的难度，后果就是用户完全放弃消息管理，不利于长线的留存。
Perplexity 中引入了 Thread 概念，用 Thread 将一个主题串联成一条思维链路，多个 Thread 组成 一个 Collection，构成一个知识主题。在豆包的现有框架下，设计了时间戳自动总结、搜索等功能让回溯变得可行。
我们重新拿起了最初的 Brain Storming，深度的效率追求用户会倾向于有自己的知识资产，甚至笔记编辑。于是快速上线了 MVP 版本的收藏消息功能，上线后调研 85.71% 的用户收藏目的为方便后续查看，收藏最多的内容为生成的文案、专业知识、搜索结果、文档总结等，部分用户也希望进行二次编辑，持续迭代中…
Part 2
语音通话迭代历程
角色
产品设计师
时间
2023.10 - 2025.03
1.定义语音通话基本范式
字节的 ASR 和 TTS 技术有天然的优势，于是我们规划在 2023 年底就推出语音聊天功能，在对话体验侧重效率的基础上，增强与用户的情感连接。在语音聊天时，我们希望尽量模拟人和人的对话体验，其中有 3 个要素：
豆包形象：以亲和和活泼为原则，我们希望用户在对话过程中也可以看到动态的形象；
回答内容：相比于文字聊天，豆包的回答更口语化、更亲切、更简洁、更人性化；
通话状态：豆包的回答状态、思考状态、用户的说话状态等需要明确外露给用户;
豆包形象有 3 个设计方向：动态头像，真人形象和 3D 虚拟形象。实际测试后，真人恐怖谷效应强，虚拟形象场景性过强，影响对话的宽泛性，于是使用动态小头像作为最终方案。
在迭代过程中，我们使用「静音」代替了「暂停通话」，因为发现大部分用户的需求是：不让周围人的声音干扰到自己与豆包的对话，但依然希望听到豆包的回复。且由于语音打断的准确度限制，误打断时常发生。我们希望和真实通话一样的体验，我可以闭麦，只有在其他电话/音频干扰时才会自动暂停通话，进入 holding 状态。
上线后，56% 的用户都会使用静音，通话次日留存+2.23%，时长有增加而深度略负向符合预期。
通话功能上线半年后，渗透维持在 3% 左右。在豆包的周活用户中，不知道有通话功能的用户占到了 40%+，所以为了提升渗透率和用户的使用深度，我们不仅增加了时间感知、联网、记忆相关的模型体验，也增加了功能曝光和用户触达。
2.找到阻塞点，满足更丰富的通话场景需求
通过对线上用户的反馈我们得知，通话的核心场景是情绪陪伴与问题解决，也有非常多的用户在通话中训练自己的表达能力和英语口语，锻炼演讲和面试技巧。而不少用户流失的困扰是“不知道聊啥”，从而失去了聊天的欲望。
1.情景模式
为了帮助用户找到话题，我们根据高频诉求提供了一些场景选项，同时使用不同的模型优化回答效果。例如在英文学习场景，默认英文与用户对话，在树洞模式更多聆听用户等。
而上线「情景模式」后，使用任一模式通话的用户占 30.56%，量级可观。「英语学习」和「心情树洞」的次日留存都在 4% 以上，但对发消息深度并没有影响，也不能根本解决用户找不到话题的困扰。调试一个可用的「情景模式」成本很高，且选项有限。于是我们尝试了候选更多，更有时效性，灵活性更强的「话题推荐」，效果待验证。
2.字幕
我们收到很多用户的反馈，尤其是在英语学习和专业性较强的信息获取时，字幕是一个非常必要的选项。提供字幕功能不仅有信息获取效率和准确度的增益，也能让用户的通话更深入。
为了保证用户的听觉感受与视觉同步，我们控制字幕的速度与语音速度一致，采用逐句而非逐字的出现方案，保证用户的视觉跳变与信息干扰最小。
字幕实验显示，开启率接近 13%，转化最高的场景是英语学习。通话发消息近 7 天活跃天 +3.13%，渗透 +3.15%，对于用户的活跃度和聊天深度均有提升。
3.通话中的视觉理解
不论是软件与硬件，大模型产品都在探索视觉理解的落地场景，例如模拟面试、语言学习、办公助手、在线解题、游戏搭子等。视觉理解 AI 的用户教育刚刚起步，在用户访谈中我们发现，高频强需求集中在识别物品等工作/学习和泛知识类场景，而日常生活的监控、陪伴需求，通常需要其他硬件作为载体才能实现。
1.MVP: 边拍边问
我们在盘点高频需求时发现，通话中输入一次性的静态图像已经可以满足大部分场景，例如物品解说、识别文本，不需要长时间开启摄像头。反观人与人的视频通话，生活场景大多为了传递情绪信息，工作场景大多为了投屏讲解。于是 MVP 版本决策使用通话中拍照的方式，2024 年底开始内测。
在用户的视觉与文字输入同时进行时，回答的时序设计非常重要，什么时候直接回答，什么时候要判断上下文关系等。
2.视频通话
视频通话可以满足长时间连续问题的场景，例如：逛博物馆、旅行、修理、做菜等。当前的技术条件下，视频通话也是通过适时抽帧图片实现，于是在 MVP 拍照通话后，开始着手设计视频体验。
最终上线测试版本，使用全屏摄像头视图提升沉浸感，突出视频功能 ↓
MVP 内部测试，融合视频、拍照、上传照片、共享屏幕 ↓
其他尝试方向 ↓
4.尝试新形象突破人群局限
随着通话的场景不再局限于闲聊陪伴，卡通形象限制了获取信息、练习口语等学习/效率场景的扩展，也影响了通话功能的人群偏好。在 9 月的调研中我们发现，豆包给人的形象为友好亲切，缺乏科技感和领先性，同时，我们发现在通话中会进行一次关闭字幕操作的用户高达 94%，推测为字幕下缺少形象等视觉元素造成。
于是我们希望逐步更新豆包的品牌形象，兼容科技、专业、亲切，尝试突破人群和场景的限制，结合 2025 年春节前的 s2s 端到端语音模型同时发布。
1.豆包去拟人化
小范围实验后，18- 和 31-40 年龄段的人均通话深度负向接近 20%，但 24-30 人群深度增长近 20%，和预期相符。于是决定上线头像的更换功能，通过点击可以即时更换头像，来综合满足所有人群的需求。
2.角色陪伴形象
相反，对于角色类智能体，用户希望建立更深的情感连接。从数据上，角色类通话已经占比 50%，于是我们使用动态的拟人全屏形象代替了静态头像，带用户走进更沉浸的对话体验。
5.当然也有一些失败的课题——连续语音对话
我们曾一度想降低使用通话的心理门槛，既满足快捷需求，也满足沉浸/情感化需求。于是尝试了众多快捷对话的方式：
新入口：对话页面的 ASR 是使用率极高的输入方式，高频使用 ASR 的用户与通话高度重合；
新形态：无需按住说话，实现在对话页面的连续对话，减少语音输入下的追问成本。
😖 小范围测试后发现，用户对于长时间、沉浸感的需求远大于轻量、短时的快速语音对话，而快捷轻量其实是 AI 耳机等硬件更容易满足的，于是放弃了以手机 App 为载体来满足这个需求。
其他尝试方向 ↓