Ten SSD sam odpala modele AI. Nowy sprzęt Phison
Przywykliśmy do tego, że powstają dedykowane akceleratory AI, a nawet ostatnio komputery i laptopy służące do zadań związanych ze sztuczną inteligencją. Wydaje się, że nie ma limitu względem tego, gdzie da się jeszcze wcisnąć wspomagacze AI - Phison właśnie pokazał, że można to zrobić... w dyskach SSD.
Oto dyski SSD z NPU
Phison opracował dysk SSD, który posiada zintegrowany układ NPU i 64 GB pamięci z przepustowością 130 GB/s. NPU jest w stanie uruchamiać modele takie, jak PyTorch, vLLM, OpenVINO i llama.ccp.
Jeśli chodzi o operacje związane z AI i wykorzystanie dysku, producent twierdzi, że transfer danych w tym kontekście jest przyspieszony o 10-100x. Udało się tego dokonać poprzez zastosowanie mechanizmu równoległego skanowania zbiorów danych, który zwraca tylko istotne wyniki, zamiast przesyłać z powrotem cały zbiór danych do procesora lub akceleratora AI. W ten sposób można zwolnić zasoby z CPU, aby mógł wykonywać w tym czasie inne zadania. Dysk ma wyróżniać się wydajnością 36 800 DMIPS - niestety nie podano wartości w TOPS, która jest oczekiwanym branżowym standardem.
Idea używania tego sprzętu jest taka, że deweloperzy mogliby tworzyć na tym dysku bez dodatkowych, wyspecjalizowanych programów.
Nie jest to pierwszy tego typu produkt - już wcześniej Samsung próbował tego z serią SmartSSD, a AMD miał Xilinx.