Von neuronalen Netzen zu KI, die wirklich funktioniert
Vor zwanzig Jahren begann Google, maschinelles Lernen zu nutzen, und vor zehn Jahren trug es zur schnellen Fortschritt der KI durch Deep Learning bei. Jeff Dean und Marian Croak von Google Research werfen einen Blick darauf, wie wir diese Techniken weiterentwickelt und auf hilfreiche Weise angewendet haben, und werfen einen Blick auf einen verantwortungsbewussten und inklusiven Weg nach vorne.
Jeff Dean
Von Forschungsdemos zu KI, die wirklich funktioniert
Ich wurde erstmals 1990 als Student mit neuronalen Netzen bekannt gemacht – Computersystemen, die grob nachahmen, wie biologische Gehirne Aufgaben erledigen. Meine Abschlussarbeit beschäftigte sich mit der Verwendung paralleler Berechnung zur Schulung neuronaler Netze. In dieser frühen Zeit dachte ich, dass wir, wenn wir 32-mal mehr Rechenleistung hätten (damals mit 32 Prozessoren!), neuronale Netze zu beeindruckenden Leistungen bringen könnten. Ich lag weit daneben. Es stellte sich heraus, dass wir etwa eine Million Mal so viel Rechenleistung bräuchten, bevor neuronale Netze für realen Problemstellungen skalieren könnten.
Ein Jahrzehnt später, als Mitarbeiter bei Google, kam ich wieder mit maschinellem Lernen in Kontakt, als das Unternehmen noch ein Startup war. Im Jahr 2001 haben wir eine einfachere Version des maschinellen Lernens, statistisches ML, verwendet, um Spam zu erkennen und bessere Rechtschreibvorschläge für die Web-Suche von Personen zu machen. Aber es würde noch ein weiteres Jahrzehnt dauern, bis wir genügend Rechenleistung hatten, um einen rechenintensiveren Ansatz des maschinellen Lernens namens Deep Learning wiederzubeleben. Deep Learning verwendet neuronale Netze mit mehreren Schichten (daher „deep“), so dass es nicht nur einfache statistische Muster lernen kann, sondern auch subtilere Muster von Mustern – wie das, was in einem Bild zu sehen ist oder welches Wort in einem Audio gesprochen wurde. Eine unserer ersten Veröffentlichungen im Jahr 2012 beschäftigte sich mit einem System, das Muster in Millionen von Frames aus YouTube-Videos erkennen konnte. Das bedeutet natürlich, dass es gelernt hat, Katzen zu erkennen.
Um die hilfreichen Funktionen zu erhalten, die Sie jeden Tag verwenden – durchsuchbare Fotoalben, Vorschläge für E-Mail-Antworten, Sprachübersetzung, Hochwasserwarnungen usw. – mussten wir jahrelange Durchbrüche auf Durchbrüche erzielen und das Beste aus der Google-Forschung in Zusammenarbeit mit der breiteren Forschungsgemeinschaft nutzen. Lassen Sie mich Ihnen nur ein paar Beispiele dafür geben, wie wir dies erreicht haben.
Ein großer Moment für die Bilderkennung
Im Jahr 2012 sorgte ein Forschungspapier für Aufsehen, da es einen enormen Fortschritt bei der Genauigkeit der Bilderkennung mit Hilfe von Deep Neural Networks machte, was zu einer Reihe von schnellen Fortschritten bei Forschern außerhalb und innerhalb von Google führte. Weitere Fortschritte führten zu Anwendungen wie Google Fotos im Jahr 2015, mit denen Sie Fotos nach ihrem Inhalt durchsuchen können. Wir haben dann weitere Deep Learning-Modelle entwickelt, um Ihnen bei der Suche nach Adressen in Google Maps zu helfen, Videos auf YouTube zu verstehen und die Welt um Sie herum mit Google Lens zu erkunden. Neben unseren Produkten haben wir diese Ansätze auch auf gesundheitsbezogene Probleme angewendet, wie die Erkennung von diabetischer Retinopathie im Jahr 2016 und dann von Krebszellen im Jahr 2017 und Brustkrebs im Jahr 2020. Eine bessere Verständnis von Luftbildern durch Deep Learning hat es uns ermöglicht, im Jahr 2018 Hochwasserprognosen einzuführen, die nun 2021 auf mehr als 360 Millionen Menschen ausgeweitet wurden. Es war ermutigend zu sehen, wie hilfreich diese Fortschritte in der Bilderkennung waren.
Ähnlich haben wir Deep Learning genutzt, um das Sprachverständnis zu beschleunigen. Mit der Sequenz-zu-Sequenz-Lernmethode im Jahr 2014 haben wir begonnen, zu untersuchen, wie man Textketten mit Hilfe von Deep Learning verstehen kann. Dies führte im Jahr 2016 zur Einführung der neuronalen maschinellen Übersetzung in Google Translate, was einen massiven Qualitätssprung bedeutete, insbesondere für weniger verbreitete Sprachen. Wir haben neuronale Sprachmodelle weiterentwickelt, um Smart Reply in Gmail im Jahr 2017 einzuführen, was es Ihnen erleichtert, Ihre E-Mails zu bearbeiten, insbesondere auf Mobilgeräten. Im selben Jahr erfand Google Transformers, was zu BERT im Jahr 2018, dann zu T5 und schließlich im Jahr 2021 zu MUM führte, mit dem Sie Google deutlich nuanciertere Fragen stellen können.
Dieser Artikel ist nur ein Zusammenfassung des Originals.
Den Originalartikel in englischer Sprache gibt es hier.
