香港AI中心展示AI医技革新，发布医疗垂直领域的AI多模态大模型CARES Copilot 1.0，支持立体式人机交互。其具有多模态兼容性，能实时识别并解读多模态手术数据，辅助神经科医生进行手术决策，降低危险区域提示，降低手术风险。目前，该模型已与香港威尔士亲王医院神经外科合作应用，推动香港神经外科手术精细化管理及临床转化。预计未来将扩大至全国其他医疗机构，并在年内开始在全球范围内进行临床实验。这一重大突破不仅提升香港乃至全球神经外科手术水平，也开启医疗科技引领的新篇章。
香港AI中心展示AI医技革新，发布医疗垂直领域的AI多模态大模型CARES Copilot 1.0
一、引言
随着科技的不断发展，人工智能（AI）的应用范围日益广泛，尤其是在医疗领域，AI以其高效、精准和智能的优势，正在逐渐改变着我们对医疗服务的认知和实践。特别是在神经外科手术方面，人工智能技术正扮演着越来越重要的角色，尤其是针对复杂脑部疾病的诊疗工作，如创伤、肿瘤等。
本次，香港AI中心正式发布了名为CARES Copilot 1.0的医疗垂直领域的AI多模态大模型。作为香港首个专为神经外科手术设计的人工智能助手，CARES Copilot具备跨模态兼容性，能够实时识别并解读多模态手术数据，辅助神经科医生进行手术决策，从而显著降低手术风险。
二、多模态兼容性
CARES Copilot的“多模态兼容性”主要体现在三个方面：
1. 多模态输入：CARES Copilot支持多种类型的手术数据输入，包括但不限于X光片、CT扫描、MRI图像、超声波图像、病史记录、病理学报告等。通过这些信息，CARES Copilot可以更准确地识别和解析患者的病情状态，提供详尽的诊断依据和治疗建议。
2. 多模态输出：CARES Copilot不仅能直观地呈现患者的手术数据，还能将各种数据转化为可视化的图表和图形，帮助神经科医生更好地理解病变组织的位置、大小和结构。例如，它可以通过三维重建图像，帮助医生精确标记出可能影响手术操作的关键区域，如血肿形成区、囊肿破裂区等，同时也可以生成手术轨迹图，帮助医生预判手术路径和效果。
3. 多模态交互：除了基于图像和文本的交互方式，CARES Copilot还提供了手势识别和语音控制功能，使医生可以在无计算机屏幕的情况下直接操作设备，提高工作效率和安全性。例如，当神经外科手术涉及复杂的血管解剖时，只需轻轻挥动手势或说句话，CARES Copilot就能实时定位血管位置，给出合理的切口规划，大大减少了手术中的手动失误。
三、立体式人机交互
CARES Copilot的“立体式人机交互”模式使其成为全球首个支持立体式人机交互的神经外科手术机器人。这种模式结合了传统的人机界面和现代机器学习算法，使得CARES Copilot既能提供直观的操作指导，又能根据患者的个性化需求和当前场景动态调整操作策略，确保手术过程的连续性和准确性。
具体来说，CARES Copilot可以根据患者的身体姿势、手术任务、环境条件等因素，灵活调整操作界面布局，实现虚拟和实体操作的无缝切换。例如，在进行颈部手术时，如果患者正处于剧烈活动的状态，CARES Copilot便能在虚拟环境中模拟出真实的颈部运动场景，引导医生进行精准的操作；而在进行颅内手术时，由于头骨的复杂结构，CARES Copilot则需要使用更加精确的机械臂动作，与患者的真实身体姿态形成良好的互动关系，从而最大程度上减少手术误差。
四、临床转化及扩展应用
香港威尔士亲王医院神经外科是CARES Copilot的重要应用场景之一。经过与医院的合作，CARES Copilot已在术前模拟训练、手术方案制定、导航指引、远程操控等方面实现了高度自动化和智能化，极大地提高了神经外科手术的效率和精度。
预计在未来几年内，CARES Copilot将进一步拓展至全国其他医疗机构，助力各地神经外科手术提升整体技术水平，同时也将在国内乃至全球范围内开展临床实验，进一步验证其在神经外科手术中的优越性能和实际应用价值。
五、结语
CARES Copilot的发布不仅是香港AI中心向世界展示了AI在医疗领域的一次重要突破，更是开启了医疗科技引领新纪元的大门。凭借其强大的多模态兼容性、立体式人机交互以及显著的临床转化能力，CARES Copilot无疑将成为神经外科手术中不可或缺的利器，为其安全、高效的医疗服务提供新的可能。
在这个数字化、信息化的时代，创新和进步始终是我们前进的动力，而香港AI中心与CARES Copilot的携手，必将推动我国神经外科手术向着更高的水平和更为广阔的前景迈进，开启一个新的医疗科技时代。让我们期待未来更多类似的突破和应用，共同见证科技与医疗的深度融合，让人类在探索生命奥秘的过程中，享受更加精准、便捷、舒适的服务体验。