Saat ini jaringan syaraf tiruan (JST) atau artificial neural network menjadi bagian yang tidak terpisahkan dari perkembangan kecerdasan artifisial hingga saat ini. Bahkan bisa dibilang kemajuan AI dan deep learning saat ini pada dasarnya dimotori oleh kemajuan neural network. Bagaimana sejarah neural network dan perkembangannya dari masa ke masa?
Ide Awal Artificial Neural Network
Ide dasar dari jaringan saraf tiruan adalah bagaimana neuron dalam otak manusia bekerja, yang disebut juga dengan teori koneksionisme. Sejak pertengahan abad ke 18 para ilmuwan telah mengemukakan bahwa otak manusia terdiri kumpulan neuron yang saling terhubung.
Teori Bain
Pada tahun 1873 Alexander Bain mengemukakan teori bahwa :
- neuron terhubung dan saling menstimulasi satu sama lain
- memori terbentuk sebagai "jembatan" antar dua neuron, jika dua neuron yang berdekatan tersebut diaktivasi secara berurutan
Teori yang disebut oleh Bain sebagai Neural Grouping ini menjadi awal dari munculnya neural network. Sayangnya di akhir hayatnya Bain justru meragukan teorinya sendiri, dan menyatakan bahwa akan diperlukan terlalu banyak neuron dan koneksi antar neuron untuk dapat memodelkan kerja otak manusia.
Pemodelan Neural Network Pertama, McCulloch & Pitts
Pada tahun 1943, ahli neurofisiologi Warren McCulloch dan ahli matematika Walter Pitts menulis tentang cara kerja neuron, yang dianggap sebagai pemodelan neural network yang pertama. McCulloch & Pitts Model (MCP) adalah model neuron yang sangat sederhana, dengan spesifikasi :
- memiliki output biner y ∈ {0, 1}. Jika y = 1 neuron menyala/aktif dan y = 0 neuron diam
- memiliki sejumlah N input biner x ∈ {0, 1} yang disebut excitatory input
- memiliki input inhibitory/penghambat tunggal. Jika inhibitory input aktif, neuron tidak bisa menyala (output = 0)
- memiliki nilai ambang. Jika jumlah input lebih besar dari threshold, neuron aktif. Jika tidak, neuron diam
Meskipun terlihat sangat sederhana, MCP dapat digunakan untuk memodelkan berbagai logic gate, termasuk NOR dan NAND. Namun demikian, McCulloch & Pitt tidak menyertakan bukti maupun menjelaskan bagaimana mekanisme learning untuk model tersebut.
Prinsip Hebbian Learning
Pada tahun 1949, Donald Hebb menulis The Organisation of Behavior. Hebb menyatakan bahwa jalur saraf diperkuat setiap kali jalur tersebut digunakan. Konsep ini dipengaruhi teori Bain yang dikemukakan hampir satu abad sebelumnya. Prinsip Hebbian learning ini dikenal dengan ungkapan ”Cells that fire together, wire together”. Jika dua saraf bekerja untuk sebuah stimulus yang sama, maka koneksi di antara keduanya akan meningkat. Konsep ini menjadi dasar dari berbagai algoritma learning di kemudian hari.
Perceptron, Dasar Neural Network
Pada tahun 1958 Frank Rosenblatt menciptakan perceptron, sebuah model neural network yang akan menjadi dasar dari neural network modern. Perceptron tidak dirancang sebagai software namun sebagai sebuah mesin yang dinamakan "Mark 1 perceptron". Mesin ini dibangun untuk melakukan pengenalan citra dengan 400 fotosel yang terhubung secara acak ke "neuron". Weight disimpan dalam potensiometer, dan update weight selama learning dilakukan oleh motor listrik. Rosenblatt membayangkan perceptron sebagai sebuah mesin yang dapat membedakan berbagai bentuk, apapun ukuran, warna, orientasi, dll.
Beberapa perbaikan perceptron terhadap model MCP adalah :
- Bisa menerima input bilangan real
- Menggunakan weight dan bias yang dapat disesuaikan nilainya melalui training
- Nilai threshold tidak hanya integer saja
Tidak hanya model neural network, Frank Rosenblatt juga melengkapi karyanya dengan penjelasan mengenai mekanisme supervised learning. Berbagai pengembangan ini membuat perceptron dapat benar-benar ‘belajar’ dari data dan berfungsi sebagai classifier.
Keberhasilan perceptron memantik antusiasme dan harapan yang sangat besar terhadap kemajuan AI. New York Times edisi 8 Juli 1958 bahkan menyebutnya sebagai “Cikal bakal komputer elektronik yang diharapkan akan dapat berjalan, berbicara, melihat, menulis, mereproduksi dirinya sendiri dan menyadari keberadaan dirinya,”
Pada tahun 1959, Bernard Widrow dan Marcian Hoff dari Stanford mengembangkan model yang disebut "ADALINE" dan "MADALINE." Nama-nama tersebut berasal dari penggunaan Multiple ADAptive LINear Elements dalam model. ADALINE dikembangkan untuk mengenali pola biner sehingga jika ia membaca bit streaming dari saluran telepon, ia dapat memprediksi bit berikutnya. MADALINE adalah jaringan saraf pertama yang diterapkan pada masalah dunia nyata, menggunakan filter adaptif untuk menghilangkan gema pada saluran telepon. Sistem ini saat ini masih digunakan secara komersial.
Musim Dingin Kecerdasan Artificial
Meskipun sempat memicu optimisme yang besar di bidang AI, namun perceptron masih jauh dari memadai. Di antara keterbatasannya adalah, ia hanya dapat menangani problem linear saja. Pada tahun 1969 Marvin Minsky dan Seymour Papert menulis buku berjudul Perceptrons yang membahas mengenai berbagai keterbatasan perceptron. Salah satu yang terkenal adalah tentang ketidakmampuan perceptron untuk menangani gate XOR. Meskipun kemudian terbukti bahwa masalah ini dapat diselesaikan dengan penggunaan multilayer perceptron, akan tetapi kritik yang dibuat Minsky dan Papert ini disebut telah menyebabkan surutnya antusiasme dan berkurangnya pendanaan terhadap riset neural network dan AI pada umumnya, yang sering disebut dengan periode “AI Winter”.
Selama periode AI winter tersebut sangat sedikit kemajuan riset yang terjadi, salah satu yang cukup penting adalah disertasi Paul Werbos pada 1974 yang menjelaskan mengenai proses training neural network menggunakan algoritma backpropagation.
Kebangkitan Kedua Kecerdasan Artificial
Kebekuan di bidang neural network mulai terpecahkan di tahun 1982 ketika John Hopfield menemukan neural network asosiatif yang disebut Hopfield Network. Jaringan syaraf tiruan ini terdiri dari satu layer yang berisi satu atau lebih recurrent neuron yang terhubung sepenuhnya.
Pada tahun yang sama juga diadakan konferensi gabungan AS-Jepang tentang Cooperative/Competitive Neural Networks. Jepang mengumumkan upaya Generasi Kelima untuk bidang JST. Hal tersebut memicu tumbuhnya ketertarikan serta mengalirnya kembali pendanaan untuk riset bidang AI dan khususnya JST di seluruh dunia.
Pada tahun 1986 David Rumelhart, Geoffrey Hinton, dan R.J Williams menerbitkan paper monumental, yang menjelaskan mengenai penggunaan backpropagation dalam multilayer neural network. Makalah ini juga menjelaskan beberapa kasus di mana backpropagation bekerja jauh lebih cepat daripada pendekatan learning sebelumnya. Hal ini memungkinkan untuk menggunakan neural network dalam memecahkan masalah yang sebelumnya sulit atau tidak dapat dipecahkan. Pada makalah ini disebutkan pula penggunaan fungsi sigmoid sebagai fungsi aktivasi.
Neural network mulai menemukan kembali momentumnya dan mulai berkembang dengan cukup pesat. Pada tahun 1994 Yann LeCun merilis LeNet yang menjadi pondasi dari Convolutional Neural Network. Sebenarnya LeNet pertama kali digagas sejak 1989, namun LeNet yang arsitekturnya banyak disebut dan digunakan saat ini mengacu pada LeNet5 yang dirilis tahun 1994 ini. Arsitektur LeNet5 menjadi dasar dari CNN modern dan merupakan awal kemajuan deep learning selanjutnya.
Pada tahun 1997 Sepp Hochreiter and Jürgen Schmidhuber memperkenalkan Long Short Term Memory neural network (LSTM), yaitu sebuah tipe RNN yang mengatasi permasalahan vanishing gradient dengan unit yang disebut Constant Error Carousel (CEC).
Tahun 1998, Yann LeCun dan Yoshua Bengio menulis makalah terkenal yang berjudul "Gradient based Learning Applied To Document Recognition". Dalam paper ini mereka menunjukkan bahwa metode pengembangan sistem pengenalan pola yang dilakukan dengan integrasi modul-modul terpisah secara manual dapat digantikan dengan "Graph Transformer Networks" yang memungkinkan semua modul di-train sekaligus untuk mengoptimalkan kinerja sistem secara global.
Tahun Penting Bagi Perkembangan Neural Network
Tahun 2012 merupakan tahun yang cukup penting bagi neural network, karena pada tahun ini banyak kemajuan yang menggembirakan yang dicapai. Salah satu di antaranya adalah AlexNet yang didesain oleh Alex Krizhevsky bersama Ilya Sutskever dan Geoffrey Hinton berhasil memenangkan kompetisi ImageNet Large Scale Visual Recognition Challenge (ILSRVC). Team ini adalah yang pertama berhasil menembus akurasi 75 persen dalam kompetisi tersebut. Makalah AlexNet berperan penting dalam perkembangan industri machine learning karena di samping lebih mempopulerkan CNN, paper ini juga mengajukan teknik-teknik baru, termasuk penggunaan GPU untuk model training, penggunaan dropout layer, dan rectified linear activation units (ReLU).
Di tahun tersebut Hinton et. al juga menulis mengenai deep neural network untuk speech recognition. Dalam makalahnya ditunjukkan bahwa kinerja neural network unggul secara signifikan terhadap metode statistik seperti Hidden Markov Model (HMM) maupun Gaussian Mixture Model (GMM) yang biasanya digunakan.
Masih di tahun yang sama, Para peneliti di Google X lab membangun JST yang terdiri dari 16.000 prosesor komputer dengan satu miliar koneksi. Algoritma ini dapat mengenali video kucing di YouTube dengan tingkat akurasi yang tinggi. Menurut para peneliti, network mereka dapat mengenali konsep tingkat tinggi seperti wajah kucing dan tubuh manusia. Mereka mendapatkan akurasi 15,8 persen dalam mengenali 20.000 kategori objek, sebuah lompatan akurasi sebesar 70 persen dibandingkan sebelumnya. Perkembangan ini sangat penting untuk bidang pengenalan wajah dan gambar, jenis permasalahan yang saat ini banyak diselesaikan menggunakan JST.
Setelah tahun tersebut perkembangan AI khususnya deep neural network seolah tidak terbendung lagi. Semakin banyak pencapaian dalam bidang ilmu maupun hasil praktis yang dapat dirasakan di dunia nyata. Salah satu yang mungkin paling kita rasakan manfaatnya adalah perbaikan kualitas dan cakupan Google Translate secara signifikan pada sekitar tahun 2016 setelah beralih dari metode statistik ke neural network, pengenalan wicara pada digital assistant, self-driving car, dan lain sebagainya.