Добро пожаловать в Shenzhen Mingjiada Electronics Co., Ltd.

Недавно компания NEO Semiconductor объявила о разработке технологии чипов 3D X-AI, которые призваны заменить нынешние чипы DRAM в памяти с высокой пропускной способностью (HBM) и решить проблему шины данных, реализовав обработку AI в 3D DRAM.

Как правило, современные архитектуры чипов ИИ хранят данные в памяти с высокой пропускной способностью и передают их на GPU для выполнения алгоритмов ИИ (математических вычислений) по шине данных. Такая архитектура неэффективна, а шина данных приводит к длительным задержкам и высокому энергопотреблению.

3D X-AI, напротив, использует ячейки памяти для имитации синапсов в нейронной сети. Он поддерживает хранение данных и операции искусственного интеллекта в одном чипе. Данные, хранящиеся в ячейке памяти, используются непосредственно для генерации выходных данных нейронной сети без каких-либо математических вычислений, что позволяет значительно повысить производительность ИИ и существенно сэкономить энергию.

Чип 3D X-AI - это 3D DRAM с вычислительной мощностью ИИ в одном чипе, который имеет нижний слой нейронных схем и 300 слоев блоков хранения данных в верхней части с емкостью 128 ГБ. Этот инновационный чип может увеличить производительность чипов ИИ в 100 раз и снизить энергопотребление на 99 процентов. Благодаря 8-кратному увеличению плотности он идеально подходит для хранения больших языковых моделей (LLM) для генеративных приложений ИИ, таких как Chat GPT, Gemini и CoPilot.

NEO Semiconductor описывает чипы ИИ с технологией 3D X-AI от NEO как обеспечивающие 100-кратное ускорение производительности:Содержит 8 000 нейронных схем для выполнения обработки A1 в 3D-памяти; 99 % снижение энергопотребления:Минимизирует необходимость передачи данных на GPU для вычислений, тем самым снижая мощность и тепловыделение шины данных; 8-кратная плотность памяти:Содержит 300 уровней памяти плотность памяти в 8 раз: содержит 300 слоев памяти, что позволяет хранить большие модели ИИ. По оценкам NEO, каждый чип может поддерживать пропускную способность до 10 ТБ/с при обработке ИИ. Использование 12 чипов 3D X- AI, уложенных в пакет HBM, позволяет достичь пропускной способности в 120 ТБ/с при 100-кратном увеличении производительности.

3D DRAM также является одним из направлений исследований и разработок NEO Semiconductor. В отличие от традиционной DRAM с горизонтально расположенными блоками памяти, 3D DRAM с вертикально уложенными блоками памяти значительно увеличивает емкость памяти на единицу площади и повышает эффективность, что делает ее ключевым направлением развития DRAM следующего поколения.

Динамическая память с произвольным доступом (DRAM) используется для поддержки процессоров, что делает использование DRAM в электронных устройствах все более распространенным, говорят в NEO. Однако скорость процессоров растет быстрее, чем скорость памяти нескольких поколений, что создает «разрыв в производительности», который увеличивается с каждым годом. Такие чувствительные к энергопотреблению среды, как облачные центры обработки данных, все чаще используют более мощные процессоры для удовлетворения требований к производительности, но это уменьшает количество энергии, доступной для памяти.

Применение архитектур X-DRAM позволяет снизить энергопотребление, уменьшить задержки и увеличить пропускную способность, чтобы преодолеть эти и другие проблемы, возникающие при использовании традиционной DRAM. Это позволяет повысить производительность коммерческих систем (например, серверов), увеличить время автономной работы мобильных устройств (например, смартфонов), расширить функциональность пограничных вычислительных устройств (например, маршрутизаторов) и обеспечить новые возможности для развертывания объектов IoT (например, шлюзов).

Структура массива ячеек 3D X-DRAM похожа на 3D NAND Flash с технологией FBC (capacitorless floating cell), которая позволяет формировать вертикальную структуру путем добавления слоев масок, что обеспечивает высокую производительность, низкую стоимость и значительный прирост плотности. По словам NEO, технология 3D X-DRAM позволяет создать 128-гигабитный чип DRAM с 230 слоями, что в восемь раз больше, чем в настоящее время. Плотность DRAM в восемь раз превышает текущую плотность. В последние годы SK Hynix, Samsung Electronics, Micron и другие производители памяти разрабатывают технологию 3D DRAM, чтобы удовлетворить спрос на высокопроизводительную и емкую память в волне ИИ.