Η Google παρουσίασε στις 9 Νοεμβρίου δύο νέα συστήματα επιταχυντών τεχνητής νοημοσύνης, τα TPU 8tx και TPU 8i Max, διευρύνοντας την όγδοη γενιά των ειδικά σχεδιασμένων επεξεργαστών της. Η ανακοίνωση δείχνει ότι ο ανταγωνισμός στις υποδομές AI μετατοπίζεται από την ωμή ισχύ σε πιο εξειδικευμένα συστήματα: άλλα για εκπαίδευση, άλλα για γρήγορη λογική, άλλα για ασφάλεια και άλλα για πολύ μεγάλα περιβάλλοντα δεδομένων.
Δύο διαφορετικές ανάγκες, δύο συστήματα
Το TPU 8tx απευθύνεται κυρίως σε οργανισμούς που θέλουν να εκτελούν μοντέλα και αυτόνομους agents κοντά σε ευαίσθητα δεδομένα. Σύμφωνα με τη Google, ενσωματώνει προστασία στο επίπεδο του hardware, ώστε τα δεδομένα και τα βάρη των μοντέλων να παραμένουν απομονωμένα ακόμη και όταν χρησιμοποιούνται ενεργά. Η εταιρεία το προορίζει για ρυθμιζόμενες επιχειρήσεις και κυβερνητικούς φορείς, όπου η κρυπτογράφηση κατά την αποθήκευση ή τη μεταφορά δεν αρκεί.
Η Google αναφέρει επίσης έως και διπλάσια χαμηλότερη καθυστέρηση σε σύγκριση με το TPU 8t για τις σχετικές εργασίες, με σχεδόν μηδενική επιβάρυνση επιδόσεων από τις δυνατότητες ασφάλειας. Το σύστημα μπορεί να χρησιμοποιηθεί για προσαρμογή μοντέλων με ιδιωτικά δεδομένα, για απόσταξη μεγαλύτερων μοντέλων σε μικρότερα και για εκπαίδευση agents μέσω ενισχυτικής μάθησης, χωρίς να απαιτείται μεταφορά των ευαίσθητων δεδομένων σε ξεχωριστά clusters.
Το TPU 8i Max απαντά σε διαφορετικό περιορισμό: στη μνήμη. Όταν πολλοί agents εργάζονται ταυτόχρονα πάνω σε ολόκληρο κώδικα ή σε πολλές ώρες βίντεο, το πρόβλημα δεν είναι μόνο πόσους υπολογισμούς μπορεί να κάνει ο επεξεργαστής, αλλά πόσα δεδομένα μπορεί να κρατήσει διαθέσιμα και πόσο γρήγορα τα μεταφέρει. Η λύση της Google συνδυάζει δύο chips TPU 8i σε ένα πακέτο.
Με βάση την ανακοίνωση, το TPU 8i Max διπλασιάζει την υπολογιστική ισχύ, τη SRAM και το bandwidth της HBM σε σχέση με το TPU 8i, διατηρώντας παράλληλα το ίδιο αποτύπωμα rack. Η λογική είναι περισσότερη υπολογιστική πυκνότητα ανά τετραγωνικό μέτρο και ανά watt, ώστε τα μεγάλα context windows να μην «σκοντάφτουν» τόσο εύκολα στο λεγόμενο memory wall.
Από τα chips στα πλήρη συστήματα
Η Google επιμένει ότι η είδηση αφορά συστήματα και όχι απλώς νέα chips. Τα TPU συνδυάζονται με μνήμη, δικτύωση και αποθήκευση σε μια αρχιτεκτονική που η εταιρεία αποκαλεί AI Hypercomputer. Έτσι, οι μηχανικοί μπορούν να προσαρμόζουν τη συσκευασία, τη μνήμη υψηλού bandwidth, τη δικτύωση και τα χαρακτηριστικά ασφαλείας γρηγορότερα από έναν πλήρη κύκλο σχεδιασμού νέου πυριτίου.
Η σειρά της όγδοης γενιάς έχει πλέον τέσσερις διαφορετικές διαμορφώσεις: το TPU 8t για μεγάλης κλίμακας εκπαίδευση, το TPU 8i για reasoning χαμηλής καθυστέρησης, το TPU 8tx για εμπιστευτικό υπολογισμό και το TPU 8i Max για μεγάλα συμφραζόμενα και υψηλή πυκνότητα. Η διάκριση έχει πρακτική σημασία για τις επιχειρήσεις, επειδή η επιλογή επιταχυντή μπορεί να γίνει με βάση το είδος του workload και όχι με ένα ενιαίο μέτρο επιδόσεων.
Το software ως κρίσιμος παράγοντας
Παράλληλα με το hardware, η Google ανακοίνωσε εργαλεία που μειώνουν το κόστος μετάβασης. Η εταιρεία αναφέρει ότι το ανοικτού κώδικα TorchTPU επιτρέπει σε κώδικα PyTorch και μοντέλα του Hugging Face να τρέχουν εγγενώς στα TPU, ενώ η σουίτα TPU agent suite, ακόμη σε preview, αυτοματοποιεί την αρχική εγκατάσταση, τον εντοπισμό bottlenecks και τη βελτιστοποίηση kernels.
Στο ίδιο πακέτο εντάσσονται το XLA Serving Engine για χαμηλής καθυστέρησης serving σε TPU, GPU και CPU, το TPU Sync για διαχείριση της κατάστασης των μοντέλων και το Agent Compute Engine, που αναστέλλει και επαναφέρει συνεδρίες agents όταν εκείνοι περιμένουν εξωτερικά εργαλεία ή ανθρώπινη παρέμβαση. Αυτές οι προσθήκες δείχνουν ότι η αποδοτικότητα δεν μετριέται μόνο σε tokens ανά δευτερόλεπτο, αλλά και στον χρόνο που ένας ακριβός επιταχυντής παραμένει αδρανής.
Τι αλλάζει για την αγορά
Η Google αναφέρει σχεδόν 100 πελάτες TPU, από ερευνητικούς οργανισμούς και πανεπιστήμια έως εταιρείες λιανικής και trading. Η διεύρυνση της σειράς και η προσπάθεια συμβατότητας με δημοφιλή εργαλεία ανοικτού κώδικα αποτελούν κίνηση για να γίνει η πλατφόρμα διαθέσιμη σε περισσότερους προγραμματιστές, όχι μόνο σε ομάδες που μπορούν να επενδύσουν σε εξειδικευμένο κώδικα.
Ωστόσο, η ανακοίνωση δεν αποτελεί ανεξάρτητη συγκριτική δοκιμή ούτε εγγυάται ίδια οφέλη για κάθε εφαρμογή. Οι επιδόσεις εξαρτώνται από το μοντέλο, το λογισμικό, το μέγεθος των context windows και το προφίλ των δεδομένων. Το ουσιαστικό τεστ θα είναι αν οι νέες διαμορφώσεις μειώνουν το συνολικό κόστος και τις απαιτήσεις ασφάλειας σε πραγματικές παραγωγικές εγκαταστάσεις.
