心辰Lingo语音大模型

详情介绍

心辰Lingo是西湖心辰科技有限公司研发的国内首个端到端通用语音大模型，于2024年9月5日在外滩大会上正式发布。与传统的语音交互系统不同，它不再依赖“语音识别+大模型+语音合成”的拼接模式，而是通过端到端技术直接理解语音中的完整信息，包括文字、情感、语气、节奏、音调乃至环境音，并进行语音回复，极大减少了信息处理过程中的损失。

西湖心辰成立于2021年，由西湖大学孵化而成，专注于人工智能领域的研发与服务。公司创始人蓝振忠毕业于卡耐基梅隆大学，曾就职于谷歌AI研究所，团队汇集了来自Google、Meta、Amazon等公司的AI技术人才。上市公司汤姆猫自2023年起对西湖心辰进行了两轮战略投资，双方联合打造“汤姆猫情感陪伴垂直模型”，将心辰Lingo的能力应用于AI机器人产品。

心辰Lingo的技术突破主要体现在三个方面：原生的语音理解能力、多样化的语音风格表达、以及高效的语音模态压缩。这些技术特性使它在中文语音效果上对标甚至在某些方面超越GPT-4o，为用户带来更加自然、生动、富有情感的交互体验。

自2024年8月开放内测预约以来，已有超千家企业用户预约测试，覆盖教育、金融、医疗健康、媒体娱乐等多个行业。西湖心辰计划在10月发布基于心辰Lingo的儿童陪伴、心理疏导、销售服务三大垂类语音模型，进一步推动AI技术的行业应用。

官网入口地址

心辰Lingo的官方网站入口是：https://xinchenai.com/product/lingo

内测申请专用地址：https://lingo.xinchenai.com/ 

下载地址

心辰Lingo目前主要通过官网提供内测申请和企业服务接入，暂未开放公开下载。企业和开发者可通过官网提交内测预约，获取API接入权限。西湖心辰同时提供基于心辰Lingo的垂类模型服务，如儿童陪伴、心理疏导、销售服务等，可通过商务合作方式获取。

功能介绍

心辰Lingo作为国内首个端到端通用语音大模型，具备以下核心功能：

1. 原生的语音理解能力
   心辰Lingo不仅能够识别语音中的文字信息，还能精确捕捉情感、语气、音调、节奏等副语言特征，甚至能感知环境音。这使得模型能够更全面地理解用户的真实意图，比如区分一句“你真行”是真心夸奖还是反讽，从而做出更恰当的回应。

2. 多样化的语音风格表达
   模型可以根据对话情境和用户指令，灵活调整语音特性，包括语速、音高、音量、情感色彩等。它支持生成多种风格的语音回应，如日常对话、歌唱表演、相声对白等，极大地增强了在不同使用场景中的灵活性和适应性。

3. 实时打断与实时控制
   用户可以在对话中随时打断模型的发言，模型能立即响应并调整。同时支持通过语音实时控制音量、语速等参数，让对话更加生动、直观。比如用户说“声音大一点”“说慢点”，模型能即时调整。

4. 超级拟人与情绪化回应
   心辰Lingo能够模拟真人的情感反应模式，在适当的时候加入笑声、停顿等拟人化表现。即使遇到理解错误的情况，也能用适时的笑声来缓解尴尬，提供类似与人类朋友交流的体验。

5. 语音模态超级压缩
   采用高效的语音编解码器，能够将语音压缩至极短的长度，具有数百倍的压缩率，显著降低计算和存储成本，同时保证高质量的语音内容输出。

6. 多场景垂域增强能力
   模型可根据不同行业需求进行深度训练，目前已规划儿童陪伴、心理疏导、销售服务三大垂类语音模型。在心理疏导场景中，它能像知心姐姐一样倾听和共情；在游戏陪玩场景中，它可以扮演损友角色，用调侃的方式互动。

7. 多模态情感捕捉
   除了文字信息，心辰Lingo还能捕捉情感、语气、音调等非言语信号，使模型能够更全面地理解语音内容，提供更加流畅且生动的交互体验。比如听到用户语速变慢、音调低沉，它能感知到用户情绪低落，从而调整回应方式。

8. 智能语音问答能力
   模型能够回答各种类型的问题，包括生活知识、工作技能等复杂领域的内容，提供快速且准确的语音智能交互体验。

应用场景

心辰Lingo凭借端到端语音交互能力和情感理解优势，在多个行业展现出广阔的应用前景：

• 心理健康与情感陪伴：可作为AI心理咨询师，提供24小时在线的心理支持和情感陪伴。与杭州市第一人民医院合作的“市一小西”已上线，提供专业的心理咨询和报告解读服务。心理陪伴应用“聊会小天”已服务10万注册用户，可在支付宝、微信等平台找到。

• 儿童陪伴与教育：基于心辰Lingo的儿童陪伴垂类模型，可用于智能玩具、教育机器人等产品。汤姆猫公司正利用心辰Lingo将“会说话的汤姆猫”升级为“会聊天的汤姆猫”AI机器人。模型能根据儿童的情绪和语气调整互动方式，提供寓教于乐的陪伴体验。

• 智能客服与销售：在金融、保险等行业，心辰Lingo可提升客户服务效率和满意度。某产险企业计划利用提高客户服务质量。销售服务垂类模型可模拟优秀销售人员的沟通技巧，辅助实际销售工作。

• 智能家居与IoT设备：心辰Lingo可赋能各类智能设备，实现更自然的语音交互。比如听到用户说“阳台的地有点脏”，扫地机器人就能主动去清扫；听到“阳光有些刺眼”，智能窗帘便会自动调整遮光帘。

• 游戏与娱乐：在游戏语音陪伴、社交辅助助手等场景中，心辰Lingo能扮演不同角色，提供沉浸式的互动体验。它可以模仿特定人物设定，用符合角色性格的方式与用户交流。

• 医疗健康咨询：医疗健康领域可利用心辰Lingo提供患者心理咨询和健康干预。某医院计划将用于患者的心理健康支持。

• 媒体与内容创作：模型支持多种语音风格表达，可用于有声内容生产、播客制作、虚拟主播等场景，大幅提升内容生产效率。

定价与应用示例

• 定价：心辰Lingo目前处于内测阶段，企业和开发者可通过官网申请免费试用。商业使用定价尚未公开披露，预计将根据API调用量、定制化需求等因素提供灵活的合作方案。基于心辰Lingo的垂类模型（如儿童陪伴、心理疏导、销售服务）预计将通过商务合作方式提供。

• 内测进展：自2024年8月开放内测预约以来，已有超千家企业用户预约测试。感兴趣的用户可通过官网https://lingo.xinchenai.com/提交申请。

• 技术合作伙伴：西湖心辰与上市公司汤姆猫达成战略投资与合作，双方联合打造“汤姆猫情感陪伴垂直模型”，将心辰Lingo的能力应用于AI机器人产品。同时，心辰Lingo已与杭州市第一人民医院合作，推出AI心理咨询师“市一小西”。

• 应用示例：心理陪伴应用“聊会小天”接入心辰Lingo后，已服务10万注册用户。该应用可在支付宝、微信以及浙江大学、理工大学等高校App上找到。它能够提供情感支持和心理陪伴，当检测到用户有严重心理问题或轻生倾向时，会启动人工干预流程，推送给干预热线。

• 发展规划：西湖心辰计划在2024年10月发布基于心辰Lingo的儿童陪伴、心理疏导、销售服务三大垂类语音模型，与行业伙伴共同推动AI技术的创新和应用。

心辰Lingo语音大模型常见问题