從軟件角度看AI硬件Groq由一群軟件工程師于2016年創(chuàng)立，他們希望從軟件方面解決AI問題。當他們在未對AI體系結(jié)構(gòu)看起來有任何先入之見的情況下解決問題時，他們能夠創(chuàng)建可以映射到不同AI模型的體系結(jié)構(gòu)。

該公司專注于數(shù)據(jù)中心和自動駕駛汽車的推理市場，其第一款產(chǎn)品是PCIe插件卡，Groq為此為其設(shè)計了ASIC和AI加速器并開發(fā)了軟件堆棧。

這種硬件的一部分就是他們所謂的TSP或張量流處理器。上個月，Groq宣布他們的TSP架構(gòu)每秒能夠?qū)崿F(xiàn)1千萬億次運算。

AI半導體設(shè)備的獨特硅架構(gòu)

據(jù)首席運營官阿德里安·門德斯(Adrian Mendes)稱，除了其軟件基礎(chǔ)以外，Groq的不同還在于其硅架構(gòu)。Groq的AI半導體設(shè)備的核心芯片設(shè)計與多核GPU或FPGA中通常使用的流水線工藝非常不同。

它從一開始就被開發(fā)出來的方式是從編譯器開始的，因此設(shè)計人員可以看到不同的機器學習(ML)模型是什么樣的，并可以對它們進行優(yōu)化。從那里，他們可以在高度靈活的體系結(jié)構(gòu)上開發(fā)硬件。

Groq聲稱這種硅架構(gòu)具有三個明顯的優(yōu)勢：

AI模型的靈活性

通過基于軟件的優(yōu)化對即將到來的AI模型進行前瞻性驗證

有關(guān)編譯需求的更多信息

憑借高度靈活的AI架構(gòu)，設(shè)計人員無需將其映射到ResNet-50或長期短期記憶(LSTM)等神經(jīng)網(wǎng)絡(luò)。相反，他們可以采用足夠通用的這種體系結(jié)構(gòu)，并具有可擴展性以適應(yīng)研究團體創(chuàng)建的新模型。隨后，可以針對這些模型優(yōu)化具有PetaOp功能的體系結(jié)構(gòu)，而無需在硬件上進行任何更改。

換句話說，它是可以容納我們還未見過的AI模型的硬件，并且可以在軟件堆棧中完成優(yōu)化。除了靈活性以外，AI芯片還為不同的AI模型提供了高推斷吞吐量和極低的延遲。

第三個重要特征是芯片可以確定性地減少周期數(shù)。正如Mendes所解釋的，這意味著當機器學習工程師采用一個程序并將其推入編譯器時，他或她將立即知道該程序?qū)⑦\行多長時間。

因此，工程師可以了解他們的功耗，是否要針對延遲或吞吐量進行優(yōu)化，以及如何更改這些不同參數(shù)中的每個參數(shù)的設(shè)計。而且他們可以在編譯所需的時間(不是很長)內(nèi)完成此操作。

現(xiàn)在將其與工程師必須運行硬件一千次并查看延遲的方法進行比較?？偨Y(jié)了芯片確定性的好處。