Der genaue Ursprung des Begriffs „Deep Learning“ ist ungewiss, aber mehrere Einflüsse haben wahrscheinlich zu seinem Aufstieg beigetragen:
- Geoffrey Hintons Papier von 2006 über tiefe neuronale Netzwerke half, das Konzept zu popularisieren.
- Forscher wie Yoshua Bengio verwendeten den Begriff Anfang der 2000er Jahre häufig.
- Einige Linguisten verbinden ihn mit der Idee der „deep structure“ in der kognitiven Psychologie.
- Er entstand als Möglichkeit, mehrschichtige neuronale Netzwerke von flacheren traditionellen Maschinenlernensmodellen zu unterscheiden.
- Fortschritte in der Rechenleistung, insbesondere GPUs Ende der 2000er Jahre, machten das Training tiefer Netzwerke praktikabel.
Heute beschreibt „Deep Learning“ den Bereich des Maschinenlernens, der sich auf künstliche neuronale Netzwerke mit vielen verborgenen Schichten konzentriert.