EdgeCortix apresenta SAKURA-II, um acelerador de IA para Edge com desempenho impressionante de 60 TOPS (INT8) e um baixo consumo de energia de 8 watts. O chip foi projetado para tarefas complexas de IA, como processamento de modelos de linguagem grande (LLM), modelos de visão grande (LVM) e aplicações multimodais baseadas em transformadores, bem como para aplicações na borda da rede, como dispositivos IoT e veículos autônomos. .
Permite flexibilidade em termos de hardware, com possibilidade de integração tanto em Placas de expansão PCIe com um ou dois Chips SAKURA-II, ou também em módulos M.2 2280 (interface PCIe x8 ou x16) Se você preferir. Portanto, potências de até 120 TOPS podem ser alcançadas com INT8 ou 60 TFLOPS com BF16.
A plataforma de IA também oferece uma parte de software de última geração, com um conjunto MERA para programação e otimização, uma plataforma de compilação heterogênea, técnicas avançadas de quantificação e recursos de calibração de modelo. Ele também oferece integração com estruturas de desenvolvimento populares, como PyTorch, TensorFlow Lite e ONNX, bem como acesso a uma extensa biblioteca de modelos transformativos e modelos convolucionais de última geração.
Além disso, a empresa EdgeCortix também pensou em levar mais longe seus projetos de aceleradores de IA, sendo capaz ser integrado em SoCs de outras empresas, como AMD.
Especificações técnicas do IA SAKURA-II
Como para o Especificações técnicas do EdgeCortix SAKURA-II, são as seguintes:
- NPU com arquitetura DNA-II ou Dynamic Neural Accelerator de segunda geração.
- Desempenho de até 60 TOPS com INT8 ou 30 TFLOPS com BF16.
- Memória DRAM com canal duplo tipo LPDDR64x de 4 bits (8GB, 16GB, 32GB integrado) com largura de banda de até 68 GB/s.
- Memória SRAM integrada de 20 MB.
- Eficiência de até 90% de aproveitamento, com consumo de energia de 8W.
- Embalagem BGA.
Se nos referirmos a Módulo SAKURA-II com formato M.2nós temos:
- Memória DRAM
- 8 GB (2 bancos de 4 GB LPDDR4)
- 16 GB (2 bancos de 8 GB LPDDR4)
- Interface PCIe Gen 3.0 x4
- Desempenho máximo de 60 TOPS no INT8, 30 TFLOPS no BF16
- Potência do módulo de 10W
- Dimensões M.2 2280 (22x80mm)
Para a Placa de expansão PCIe, as especificações são as seguintes para o acelerador de IA:
- Interface PCIe Gen 3.0 x8
- Para modelo de chip único SAKURA-II:
- Memória DRAM de 16 GB (2 bancos de LPDDR8 de 4 GB)
- Desempenho de 60 TOPS no INT8, 30 TFLOPS no BF16
- Potência de 10W.
- Para o modelo com dois chips SAKURA-II:
- Memória DRAM de 32 GB (2 bancos de LPDDR16 de 4 GB)
- Desempenho de 120 TOPS no INT8, 60 TFLOPS no BF16
- Potência de 20W
- 1x Slot
- Inclui dissipador de calor
Em relação a taxas, se você está se perguntando, eles chegarão a partir do segundo trimestre de 2024 com:
- M.2 8 GB: $ 249
- M.2 16 GB: $ 299
- PCIe 1xSAKURA-II: $ 429
- PCIe 2xSAKURA-II: $ 749