Kimi K2 von Moonshot AI: Kostenloses Sprachmodell übertrifft DeepSeek

Moonshot AI hat Kimi K2, ein großes Sprachmodell für künstliche Intelligenz, unter einer modifizierten MIT-Lizenz kostenlos veröffentlicht. Das LLM rangierte sofort unter den zehn leistungsstärksten KI-Modellen der Welt auf der LMSys-Textarena-Rangliste. Kimi K2 erzielte eine höhere Punktzahl als DeepSeek, eine weitere kostenlose KI, die bei ihrer Veröffentlichung Ende 2024 aufgrund ihrer Leistungsfähigkeit und Lizenzfreiheit weltweit Aufmerksamkeit erregte.

Kimi K2 ist ein Modell mit einer Billion Parametern (1T) und einer Mischung aus Experten (MoE) mit einem 128K-Kontextfenster und 384 Experten, die jeweils eine Teilmenge von 32 Milliarden aktivierten Parametern nutzen. Die KI wurde für den Einsatz in KI-Agenten entwickelt, die auf autonome Problemlösung, Schlussfolgerungen und den Einsatz von Werkzeugen spezialisiert sind, sodass sie komplexe Aufgaben lösen und hochrangige Geschäftsfragen bearbeiten kann.

Aufgrund der begrenzten Trainingsdaten für den Einsatz von Werkzeugen in realen Szenarien wurde Kimi K2 mit einer Kombination aus realen und simulierten Umgebungen trainiert. Zudem kam ein Selbstbewertungsmechanismus zum Einsatz, der der KI während des Trainings erlaubte, selbst zu bestimmen, ob die ausgeführten Aufgaben angemessen gelöst wurden. Der MuonClip-Optimierer wurde entwickelt, um Trainingsstabilitätsprobleme zu beheben, die beim ursprünglichen Muon-Optimierer für neuronale Netze auftraten, sodass Kimi K2 erfolgreich und effizient mit 15,5 T Tokens vortrainiert werden konnte.

Leser, die Kimi K2 für den geschäftlichen Einsatz nutzen möchten, benötigen mindestens 1 TB Speicherplatz für das Modell und einen Cluster mit mindestens 16 Nvidia H20/H200 GPUs, bevor sie es kostenlos von Hugging Face herunterladen können. Privatanwender können destillierte Versionen von DeepSeek problemlos auf Nvidia-GPUs mit 12 GB oder mehr Speicher ausführen, während sie auf destillierte Versionen von Kimi K2 warten.

Benutzer können hier kostenlos mit dem Kimi-Chatbot chatten, und Softwareentwickler können Kimi hier über seine API gegen Bezahlung nutzen.