Intel, AMD och Nvidia föreslår ny standard för att göra AI-bearbetning effektivare • TechCrunch

I jakten på snabbare och mer effektiv AI-systemutveckling, Intel, AMD och Nvidia idag publiceras ett utkast till specifikation för vad de refererar till som ett vanligt utbytesformat för AI. Även om den är frivillig, har den föreslagna standarden “8-bit flytande punkt (FP8)” potentialen att påskynda AI-utvecklingen genom att optimera användningen av hårdvaruminne och fungera för både AI-träning (dvs. konstruktion av AI-system) och slutledning (att köra system).

När man utvecklar ett AI-system ställs datavetare inför viktiga tekniska val utöver att bara samla in data för att träna systemet. En är att välja ett format för att representera systemets vikter – vikter är de faktorer som lärs från träningsdata som påverkar systemets förutsägelser. Vikter är det som gör att ett system som GPT-3 kan generera hela stycken från en meningslång uppmaning, till exempel, eller DALL-E 2 för att skapa fotorealistiska porträtt från en bildtext.

Vanliga format inkluderar flyttal med halv precision, eller FP16, som använder 16 bitar för att representera systemets vikter, och enkel precision (FP32), som använder 32 bitar. Halvprecision och lägre minskar mängden minne som krävs för att träna och köra ett AI-system samtidigt som det påskyndar beräkningarna och till och med minskar bandbredd och strömanvändning. Men de offrar viss noggrannhet för att uppnå dessa vinster; trots allt är 16 bitar mindre att arbeta med än 32.

Många i branschen – inklusive Intel, AMD och Nvidia – smälter samman kring FP8 (8 bitar) som sweet spot. I ett blogginlägg noterar Nvidias seniora produktmarknadschef Shar Narasimhan att det ovannämnda föreslagna formatet, som är FP8, visar “jämförbar noggrannhet” med 16-bitars precision över användningsfall inklusive datorseende och bildgenererande system samtidigt som det levererar “betydande” snabbare.

Nvidia, Arm och Intel säger att de gör sitt FP8-format licensfritt, i ett öppet format. En whitepaper beskriver det mer detaljerat; Narasimhan säger att specifikationerna kommer att skickas till IEEE, den professionella organisationen som upprätthåller standarder inom ett antal tekniska domäner, för övervägande vid ett senare tillfälle.

“Vi tror att ett gemensamt utbytesformat kommer att möjliggöra snabba framsteg och interoperabilitet mellan både hårdvaru- och mjukvaruplattformar för att främja datoranvändning,” Narasimhan.

Trion pressar inte nödvändigtvis på för jämlikhet ur sina hjärtans godhet. Nvidias GH100 Hopper-arkitektur implementerar FP8, liksom Intels Gaudi2 AI-träningskretsuppsättning. För sin del förväntas AMD stödja FP8 i sin kommande Instinct MI300A APU.

Men ett gemensamt FP8-format skulle också gynna rivaler som SambaNova, Groq, IBM, Graphcore och Cerebras – som alla har experimenterat med eller antagit någon form av FP8 för systemutveckling. I en blogg i juli skrev Graphcores medgrundare och CTO Simon Knowles att “tillkomsten av 8-bitars flyttal erbjuder enorma prestanda- och effektivitetsfördelar för AI-beräkningar”, och hävdade att det också är “en möjlighet” för branschen att slå sig fast på ett ” singel, öppen standard” snarare än att inleda en blandning av konkurrerande format.

Leave a Comment

Your email address will not be published.