如果任何台式电脑通过一次升级就可以成为人工智能推理野兽，会怎样？这是Neuchips提出的想法，这是一家成立于 2019 年的台湾初创公司，以提供一流的人工智能效率而闻名。它在CES Unveiled 2024 主赛事之前的媒体预赛秀上亮相，带有 PCIe 附加卡，可以升级典型台式计算机的 AI 功能，同时仅增加 PC 的功耗预算 55 瓦。

　　这不仅仅是一个概念。该卡被插入展厅的台式电脑，并提供与由Meta 流行的 Llama 2 7B 大语言模型支持的聊天机器人的实时离线对话Neuchips 表示该卡也将运行 Llama 2 13B。

　　Neuchips 的 Evo PCIe 加速卡是围绕该公司的 Raptor Gen AI 加速芯片构建的。Raptor 芯片可实现“每秒高达 200 兆兆次的运算”，该公司表示，它针对基于变压器的模型进行了优化。

　　Neuchips 展示的卡具有 Raptor 芯片，但单芯片并不是该卡的最终形式。Neuchips 的首席执行官 Ken Lau在英特尔工作了 26 年表示，Raptor 可用于设计带有不同数量芯片的卡。

　　“该芯片实际上是可扩展的，”刘说。“所以我们从一个芯片开始。然后我们有四个芯片。然后是八块筹码。” 根据Neuchip 的新闻稿，每个芯片每秒可提供高达 200 万亿次操作 (TOPS) 。该卡还搭载 32 GB LPDDR5 内存，内存带宽达到 1.6 TB。内存带宽很重要，因为它通常是在单台 PC 上处理人工智能推理时的一个因素。

　　Neuchips 希望为用户提供有效使用该卡所需的工具，尽管距离发布还有数月时间，此处的详细信息仍然有点稀疏。Neuchips 的一位代表表示，该公司拥有编译器软件，并将提供驱动程序。我看到的演示有一个用于与 Llama 2 7B 模型交互的自定义??界面。Neuchips 的卡正在运行，但看起来很简单。

　　任何人都可以将硬件插入台式机的 PCIe 插槽，以大幅提高 AI 性能。它被称为 GPU，英伟达在市场上拥有垄断地位。在性能上与 Nvidia 正面交锋是很困难的。事实上，Nvidia 在 CES 2024 上宣布了专注于 AI 的新卡；RTX 4080 Super 将于 1 月 31 日起零售价为 999 美元，AI 性能高达 836 TOPS。

　　然而，Neuchips 看到了一个机会。“我们专注于能效，”刘说，“并致力于处理现有的许多不同模型。”

　　现代显卡功能强大，但也耗电。RTX 4080 Super 的功耗高达 320 W，通常需要计算机配备至少 750 W 的电源。相比之下，Neuchips 的 Evo PCIe 加速器仅消耗 55 W 的功耗。事实上，它的功耗非常低，以至于 Neuchips 在CES上展示的卡没有外部 PCIe 电源连接。对于大多数 GPU 卡来说，此类连接器是必需的。

　　我还被告知，最终的卡将于 2024 年下半年发货，其尺寸大约是 CES 上展示的卡的一半。这是一个重要的细节，因为我看到的卡与大多数当前的 Nvidia GPU 卡一样大，并且太大而无法适应大多数小型台式电脑。较小的卡将使 Evo PCIe 加速器可用于各种现代 PC 硬件。

　　Neuchips 的加速器虽然可能是 CES 2024 上最引人注目的 AI 加速器卡，但在展会上绝非孤例。几家初创公司推出了自己的人工智能加速器，具有独特的功能。Panmnesia 的 AI 加速器荣获 CES 创新奖，该加速器包括用于访问巨大内存池的 Compute eXpress Link 接口。其他拥有人工智能加速器的公司包括DeepX和MemryX。英特尔和AMD也参与其中。每款产品都在其最新的 CPU 架构中提供了人工智能加速器。

　　毫无疑问：Nvidia 仍然是这个领域中 800 磅重的大猩猩，而且这一点不会在一夜之间改变。尽管如此，Neuchips 的 Raptor 和 Evo PCIe 卡等新型 AI 加速器似乎已经准备好为那些不关心图形或需要在运行 AI 推理时提高电源效率的开发人员提供新的选择。

相关文章： Neuchips 在2024 年消费电子展上展示面向个人电脑的低功耗人工智能升级产品  什么是arp攻击？arp攻击原理以及arp断网攻击解决方法  蝶眼传感器捕捉紫外线图像，生物仿生技术窥探光谱的新区域  瑞萨电子提升32位MCU中24位ADC的性能  NXP新型UWB IC 系列提供安全的汽车访问  EMI屏蔽和光学粘合在先进医疗、国防显示技术中有双重作用  什么是二进制？一张图看懂二进制  手机发热发烫是什么原因？手机发热发烫的有效解决方法  中国首家！意行半导体推民用毫米波雷达MMIC解决方案  驱动器是什么？计算机系统中的驱动器的功能与类型  lm324是什么电子元件？lm324参数/引脚图及功能等中文资料  SiC 是新型组串式逆变器的关键  2023年最佳游戏显卡排名前10名  DOS是什么意思？windows常用DOS命令列表  什么是寄存器？寄存器的作用是什么？寄存器和存储器的区别  读卡器是什么？读卡器是干嘛的？读卡器怎么用  Picocom 推出小型低功耗 5G 小型蜂窝 O-RU  CDE的EMI抑制电容器，可在恶劣条件下工作  Onsemi发布可提高电池续航时间40％的图像传感器  RDS 推出紧凑、高性能 OLED 显示模块  为什么 Li-Fi 可能比 Wi-Fi 更好？  Novocomms 利用 NovoSat 双端口天线减轻 L 频段负载  英国Pickering公司推出其首款高压表面贴装簧片继电器  混合信号IP行业公司声称推出“世界首款”800G 以太网 DSP  恩智浦半导体推出的全新汽车级无刷直流电机控制 MCU  东芝电子扩展了其公司指定的“智能功率器件”(IPD) 范围  英飞凌：新型 4.5kV 的IGBT模块可改变传输设计  什么是僵尸网络？僵尸网络攻击是什么意思？僵尸网络的危害  美光新的低功耗内存为元宇宙而生  ON 的 Hyperlux LP 图像传感器可延长电池寿命  Synaptics的SYN43711芯片集成了WiFi6E 和蓝牙 5.3  电脑文件夹怎么设置密码？3分钟教会你如何给文件夹设置密码  对讲机怎么用？对讲机怎么说话和接听？对讲机使用图解  ESIM卡是什么意思?esim卡和sim卡有什么区别  lm339是什么电子元件？lm339参数/工作原理/引脚图及功能等中文资料  RF前端市场预计2023年至2028年将以10%的复合年增长率增长  兆芯推出最高频率达 3.70 GHz的八核CPU KX-7000  医疗应用传感器在提高医疗设备性能方面发挥着基础性作用  多芯片系统解决了芯片复杂性，但功耗是一个挑战  网线插座怎么接？墙壁网线插座接法  罗姆的新型高功率激光二极管可扩展激光雷达范围  什么是机械键盘轴？机械键盘轴的区别  什么是cqc认证？cqc认证是什么意思？cqc认证与ccc认证的区别  排名前十的无晶圆厂第三季度营收达到 447 亿美元  英特尔推出第5代 Xeon 处理器，负载性能提高了 36%  西门子加入 SureCore 和 Semiwise 开发低温CMOS电路芯片  采用双线圈传感器技术的 IPS，适用于高速电机  全球首款AMD Linux 游戏笔记本电脑首次亮相  ST推出STM32WL33xx系列新型低功耗、高灵活性无线MCU  关于雷达和智能物联网的 11 个误解