AMD обяви, че Zyphra е постигнала важен етап в обучението на големи AI модели с разработването на ZAYA1, първият широкомащабен Mixture-of-Experts (MoE) базов модел, обучен с помощта на AMD графичен процесор и мрежова платформа. Постижението е подробно описано в технически доклад на Zyphra, публикуван днес, използвайки графични ускорители AMD Instinct™ MI300X и AMD Pensando™ оборудване, както и благодарение на отворения софтуерен стек AMD ROCm™.
Резултатите, публикувани от Zyphra показват, че моделът осигурява конкурентна или по-добра производителност спрямо водещите отворени модели в бенчмаркове за заключения, математика и кодиране, демонстрирайки мащабируемостта и ефективността на графичните процесори AMD Instinct за продуктивни AI натоварвания.
„Лидерството на AMD в ускорените изчисления дава възможност на новатори като Zyphra да разширят границите на възможното в изкуствения интелект“, каза Емад Барсум, корпоративен вицепрезидент по изкуствен интелект и инженерство в Artificial Intelligence Group на AMD. „Този важен етап демонстрира мощността и гъвкавостта на графичните процесори AMD Instinct и мрежите Pensando за обучение на сложни, мащабни модели.“
Ефективно AI обучение в голям мащаб, задвижвано от графичните процесори AMD Instinct
Впечатляващите 192 GB високоскоростна памет на графичния процесор AMD Instinct MI300X позволяват ефективно обучение в голям мащаб, избягвайки скъпоструващото експертно или тензорно разделяне, което намалява сложността и подобрява пропускателната способност в целия стек на моделите. Zyphra също така отчита над 10 пъти по-кратко време за запазване на моделите, използвайки AMD оптимизирани I/O операции, което допълнително подобрява надеждността и ефективността на обучението. Само с малка част от активните параметри, ZAYA1-Base (общо 8,3B, 760M активни) съответства или надвишава производителността на модели като Qwen3-4B (Alibaba), Gemma3-12B (Google), Llama-3-8B (Meta) и OLMoE.
Надграждайки върху предишна съвместна работа, Zyphra работи в тясно сътрудничество с AMD и IBM, за да проектира и внедри мащабен клъстер за обучение, базиран нат графични процесори AMD Instinct™ с мрежова връзка AMD Pensando™. Съвместно разработената система на AMD и IBM, обявена по-рано това тримесечие, комбинира графичните процесори AMD Instinct™ MI300X с високопроизводителната свързваща архитектура и сторидж оборудване на IBM Cloud, осигурявайки основата за мащабното предварително обучение на ZAYA1.
