Judul asli: "The Next Generation Pixar: Bagaimana AI Akan Menggabungkan Film & Game"
Pengarang: Jonathan Lai
Disusun oleh: Deep Wave TechFlow
Selama satu abad terakhir, perubahan teknologi telah memunculkan banyak cerita favorit kita. Pada tahun 1930-an, misalnya, Disney menemukan kamera multi-bidang dan menghasilkan animasi penuh warna pertama dengan suara tersinkronisasi. Terobosan teknologi ini mengarah pada terciptanya film animasi inovatif Putri Salju dan Tujuh Kurcaci. "
Tahun 1940-an menyaksikan kebangkitan Marvel dan DC Comics, yang dikenal sebagai "Zaman Keemasan Komik", berkat meluasnya penggunaan mesin cetak putar empat warna dan teknologi cetak offset, yang memungkinkan komik dicetak dalam skala besar. Keterbatasan teknologi ini – resolusi rendah, jangkauan nada warna terbatas, pencetakan dot matriks pada kertas koran murah – menghasilkan tampilan “pulp” ikonik yang masih kita kenal hingga saat ini.
Demikian pula, Pixar berada dalam posisi unik pada tahun 1980an untuk memanfaatkan platform teknologi baru—komputer dan grafik 3D. Salah satu pendiri Edwin Catmull adalah peneliti awal di Laboratorium Grafik Komputer NYIT dan Lucasfilm, memelopori konsep dasar CGI dan kemudian meluncurkan film fitur animasi pertama yang sepenuhnya dihasilkan komputer. Film "Toy Story." Rangkaian rendering grafis Pixar, Renderman, telah digunakan di lebih dari 500 film hingga saat ini.
Dengan setiap gelombang teknologi, apa yang awalnya merupakan prototipe awal kebaruan berkembang menjadi format baru penceritaan mendalam, yang dipimpin oleh generasi pencipta baru. Hari ini, kami yakin Pixar berikutnya akan segera lahir. AI Generatif mendorong perubahan mendasar dalam penyampaian cerita yang kreatif, memberdayakan generasi baru manusia pencipta untuk menyampaikan cerita dengan cara yang benar-benar baru.
Secara khusus, kami percaya bahwa Pixar abad mendatang tidak akan lahir melalui film atau animasi tradisional, namun melalui video interaktif. Format narasi baru ini akan mengaburkan batasan antara video game dan TV/film - menggabungkan penceritaan mendalam dengan agen penonton dan "permainan", sehingga membuka pasar baru yang besar.
Game: Perbatasan Narasi Modern
Ada dua gelombang besar yang muncul saat ini yang dapat mempercepat pembentukan perusahaan naratif generasi baru:
Pergeseran konsumen ke media interaktif (dibandingkan media linier/pasif, misalnya TV/film)
Kemajuan teknologi didorong oleh kecerdasan buatan generatif
Selama 30 tahun terakhir, kita telah melihat pergeseran konsumen semakin mendalam, dengan game dan media interaktif menjadi semakin populer di setiap generasi. Bagi Gen Z dan generasi muda, bermain game kini menjadi pilihan utama untuk menghabiskan waktu luang mereka, mengalahkan TV dan film. Pada tahun 2019, CEO Netflix Reed Hastings mengatakan dalam sebuah surat kepada pemegang saham: "Kami bersaing dengan (dan sering kalah) Fortnite lebih dari HBO." Bagi sebagian besar rumah tangga, pertanyaannya adalah "apa yang kami mainkan" bukan "apa yang kami tonton". ".
Meskipun TV, film, dan buku masih menceritakan kisah-kisah yang menarik, banyak kisah-kisah baru yang paling inovatif dan sukses kini diceritakan dalam permainan. Seperti "Harry Potter". Permainan role-playing dunia terbuka Hogwarts Legacy memungkinkan pemain merasakan pengalaman menjadi siswa baru di Hogwarts yang belum pernah ada sebelumnya. Game tersebut merupakan judul terlaris pada tahun 2023, menghasilkan keuntungan kotor lebih dari $1 miliar saat diluncurkan dan melampaui semua film Harry Potter terakhir kecuali yang terakhir, "Harry Potter: The Deathly Hallows: Part 2."
Kekayaan intelektual (IP) game juga meraih kesuksesan besar baru-baru ini dalam adaptasi televisi dan film. The Last of Us karya Naughty Dog menjadi serial HBO Max yang paling banyak ditonton pada tahun 2023, dengan rata-rata 32 juta penonton per episode. Film Super Mario Bros. memiliki akhir pekan pembukaan terbesar untuk film animasi di seluruh dunia dengan $1,4 miliar di box office. Selain itu, ada serial Fallout yang mendapat pujian kritis, serial Halo Paramount, film Tomb Raider karya Tom Holland, film Skibidi Toilet karya Michael Bay – dan masih banyak lagi.
Alasan utama mengapa media interaktif begitu bermanfaat adalah karena partisipasi aktif membantu membangun keintiman dengan sebuah cerita atau alam semesta. Satu jam bermain game jauh lebih baik daripada satu jam menonton TV secara pasif. Banyak game juga bersifat sosial, dengan mekanisme multipemain yang tertanam dalam desain intinya. Kisah yang paling berkesan sering kali adalah kisah yang kita buat dan bagikan kepada keluarga dan teman.
Audiens terus berinteraksi dengan kekayaan intelektual melalui berbagai media (menonton, bermain, berkreasi, berbagi), menjadikan cerita bukan sekedar hiburan tetapi bagian dari identitas seseorang. Transformasi magis yang terjadi ketika seseorang bertumbuh dari sekedar "penonton Harry Potter" menjadi "penggemar setia Potter" yang lebih bertahan lama, membangun identitas dan multipleks di sekitar apa yang dulunya merupakan aktivitas tunggal.
Secara keseluruhan, meskipun kisah-kisah terhebat dalam sejarah kita diceritakan dalam media linier, di masa depan, permainan dan media interaktif akan menjadi tempat di mana kisah-kisah masa depan akan diceritakan – jadi kami percaya bahwa perusahaan-perusahaan penceritaan paling penting di abad mendatang akan lahir. Di Sini.
Video interaktif: menggabungkan narasi dan permainan
Mengingat dominasi game dalam budaya, kami yakin Pixar berikutnya akan muncul melalui format media yang menggabungkan narasi dan game. Salah satu format yang kami lihat memiliki potensi besar adalah video interaktif.
Pertama, apa itu video interaktif dan apa bedanya dengan video game? Dalam video game, pengembang melakukan pramuat sekumpulan aset ke dalam mesin game. Misalnya, di Super Mario Bros., seniman mendesain karakter, pohon, dan latar belakang Mario. Pemrogram mengatur Mario untuk melompat 50 piksel setelah pemain menekan tombol "A". Lewati bingkai menggunakan rendering pipa grafis tradisional. Hal ini menghasilkan arsitektur game yang sangat deterministik dan komputasional, dengan kontrol penuh pengembang.
Video interaktif sepenuhnya bergantung pada jaringan saraf untuk menghasilkan bingkai secara real-time. Tidak ada aset untuk diupload atau dibuat selain perintah materi iklan (yang dapat berupa teks atau gambar representatif). Model grafis AI real-time menerima masukan pemain (seperti tombol "atas") dan secara probabilistik berspekulasi pada frame game berikutnya yang dihasilkan.
Janji dari video interaktif terletak pada penggabungan aksesibilitas dan kedalaman narasi televisi dan film dengan sistem video game yang dinamis dan digerakkan oleh pemain. Semua orang tahu cara menonton televisi dan mengikuti cerita linier. Dengan menambahkan video yang dihasilkan secara real-time berdasarkan masukan pemain, kami dapat menciptakan pengalaman bermain game yang dipersonalisasi dan tanpa batas - yang berpotensi memungkinkan produksi media untuk melibatkan penggemar selama ribuan jam. World of Warcraft Blizzard berusia lebih dari 20 tahun dan masih memiliki sekitar 7 juta pelanggan hingga saat ini.
Video interaktif juga menawarkan berbagai cara untuk menontonnya—pemirsa dapat menikmati konten semudah menonton acara TV, atau aktif bermain game di perangkat seluler atau pengontrol di lain waktu. Mengizinkan penggemar untuk merasakan dunia IP favorit mereka dengan sebanyak mungkin cara adalah inti dari penceritaan transmedia, membantu menumbuhkan rasa keintiman dengan IP.
Selama dekade terakhir, banyak pendongeng yang berusaha mewujudkan visi video interaktif. Terobosan awal adalah Telltale's The Walking Dead - sebuah pengalaman interaktif berdasarkan serial komik Robert Kirkman di mana pemain menonton adegan animasi yang terungkap tetapi membuat pilihan pada momen-momen penting melalui dialog dan peristiwa reaksi cepat. Pilihan-pilihan ini – seperti memutuskan karakter mana yang akan diselamatkan selama serangan zombie – menciptakan variasi cerita yang dipersonalisasi yang membuat setiap pengalaman bermain game menjadi unik. The Walking Dead diluncurkan pada tahun 2012 dan sukses besar - memenangkan banyak penghargaan Game of the Year dan terjual lebih dari 28 juta kopi hingga saat ini.
Pada tahun 2017, Netflix juga memasuki ruang video interaktif - dimulai dengan karya animasi "The Cat Books" dan berpuncak pada peluncuran "Black Mirror: Bandersnatch" yang mendapatkan pujian kritis, sebuah film aksi langsung untuk pemirsa muda. proses mengadaptasi buku fantasi menjadi video game. Bandersnatch menjadi fenomena liburan, menarik banyak penggemar yang membuat diagram alur yang mendokumentasikan setiap kemungkinan akhir film.
Namun, meskipun mendapat ulasan positif, baik Bandersnatch dan The Walking Dead menghadapi krisis eksistensial - terlalu mahal dan memakan waktu untuk secara manual membuat cerita bercabang yang tak terhitung jumlahnya yang menentukan formatnya. Ketika Telltale memperluas ke beberapa proyek, mereka membangun budaya kerja lembur di kalangan pengembang, yang mengeluhkan "kelelahan dan kelelahan". Kualitas narasinya menurun - meskipun The Walking Dead awalnya memiliki skor Metacritic 89, empat tahun kemudian ketika Telltale merilis salah satu IP terbesarnya, The Batman, ia hanya menerima skor 64 yang tidak memuaskan. Pada tahun 2018, Telltale menyatakan bangkrut karena gagal membangun model bisnis yang berkelanjutan.
Untuk Bandersnatch, kru merekam 250 klip video, termasuk cuplikan berdurasi lebih dari lima jam, untuk menjelaskan lima akhir film. Anggaran dan waktu produksi dilaporkan dua kali lipat dari standar Kaca hitam episode, dengan showrunners mengatakan kompleksitas proyek ini setara dengan "membuat empat episode pada waktu yang sama." Akhirnya pada tahun 2024, Netflix memutuskan untuk menutup seluruh divisi spesial interaktifnya—dan sebagai gantinya membuat permainan tradisional.
Hingga saat ini, biaya konten untuk proyek video interaktif meningkat secara linear seiring dengan waktu permainan—tidak ada jalan lain untuk mengatasi hal ini. Namun, kemajuan dalam model AI generatif mungkin menjadi kunci untuk meningkatkan skala video interaktif.
Model generatif akan segera menjadi cukup cepat untuk mendukung video interaktif
Kemajuan terkini dalam distilasi model generatif gambar sungguh menakjubkan. Pada tahun 2023, peluncuran model konsistensi laten dan SDXL Turbo secara signifikan meningkatkan kecepatan dan efisiensi pembuatan gambar, menjadikan rendering resolusi tinggi hanya satu langkah dibandingkan 20-30 langkah sebelumnya, dan biayanya berkurang lebih dari 30 kali lipat. . Ide untuk menghasilkan video—serangkaian gambar yang konsisten dengan variasi dari satu bingkai ke bingkai lainnya—tiba-tiba menjadi sangat mungkin dilakukan.
OpenAI membuat gebrakan awal tahun ini dengan pengumuman Sora, model text-to-video yang dapat menghasilkan video berdurasi hingga 1 menit sambil memastikan konsistensi visual. Tidak lama kemudian, Luma AI merilis model video yang lebih cepat, Dream Machine, yang dapat menghasilkan 120 frame (video berdurasi sekitar 5 detik) dalam 120 detik. Luma baru-baru ini berbagi bahwa mereka menarik 10 juta pengguna hanya dalam 7 minggu. Bulan lalu, Hedra Labs merilis Character-1, model video multi-modal yang berfokus pada karakter yang dapat menghasilkan video berdurasi 60 detik dalam 90 detik, menampilkan emosi dan sulih suara manusia yang ekspresif. Dan Runway baru-baru ini meluncurkan Gen-3 Turbo, model yang dapat menghasilkan klip berdurasi 10 detik hanya dalam 15 detik.
Saat ini, calon pembuat film dapat dengan cepat menghasilkan konten video HD 720p berdurasi menit dari petunjuk teks atau gambar referensi, yang dapat dipasangkan dengan bingkai utama awal atau akhir untuk menambah konkrit. Runway juga telah mengembangkan seperangkat alat pengeditan yang memberikan kontrol lebih baik atas video yang dihasilkan difusi, termasuk kontrol kamera intra-frame, interpolasi bingkai, dan kuas gerak. Luma dan Hedra juga akan segera meluncurkan rangkaian alat pembuat kontennya masing-masing.
Meskipun alur kerja produksi masih dalam tahap awal, kami telah bertemu dengan beberapa pembuat konten yang menggunakan alat ini untuk bercerita. Kemiripan AI menciptakan Nexus 1945, kisah sejarah alternatif Perang Dunia II berdurasi 3 menit yang menarik yang diproduksi oleh Luma, Midjourney, dan Eleven Labs. Pembuat film independen Uncanny Harry membuat film pendek cyberpunk bersama Hedra, dan pembuatnya juga memproduksi video musik, trailer, vlog perjalanan, dan bahkan iklan burger cepat saji. Sejak tahun 2022, Runway telah mengadakan Festival Film Kecerdasan Buatan setiap tahun untuk memilih 10 film pendek produksi AI yang luar biasa.
Penting untuk dicatat bahwa masih ada beberapa keterbatasan saat ini - masih ada kesenjangan yang jelas dalam kualitas narasi dan kontrol antara klip berdurasi 2 menit yang dihasilkan dari sebuah prompt dan fitur berdurasi 2 jam yang diproduksi oleh tim profesional. Menghasilkan apa yang diinginkan pembuat dari sebuah prompt atau gambar seringkali sulit, dan bahkan teknisi prompt yang berpengalaman sering kali membuang sebagian besar konten yang dihasilkan. Pencipta AI, Abel Art, melaporkan bahwa dibutuhkan sekitar 500 video untuk menghasilkan video koheren berdurasi 1 menit. Konsistensi gambar sering kali mulai rusak setelah satu atau dua menit pemutaran video terus-menerus, dan pengeditan manual sering kali diperlukan, itulah sebabnya sebagian besar video yang dihasilkan saat ini dibatasi durasinya sekitar 1 menit.
Bagi sebagian besar studio Hollywood profesional, video yang dihasilkan oleh model difusi dapat digunakan untuk pembuatan storyboard dalam praproduksi guna memvisualisasikan seperti apa sebuah adegan atau karakter, namun bukan pengganti pembuatan film di lokasi. Ada juga peluang untuk menggunakan AI untuk pemrosesan efek audio dan visual pada pascaproduksi, tetapi secara keseluruhan, rangkaian alat pembuat AI masih dalam tahap awal pengembangan dibandingkan dengan alur kerja tradisional yang telah memerlukan investasi puluhan tahun.
Dalam jangka pendek, salah satu peluang terbesar untuk menghasilkan video terletak pada pengembangan format media baru seperti video interaktif dan film pendek. Video interaktif telah dipecah menjadi segmen pendek berdurasi 1-2 menit, berdasarkan pilihan pemain, dan sering kali dianimasikan atau diberi gaya, dengan tersedia rekaman beresolusi lebih rendah. Terlebih lagi, biaya pembuatan video pendek ini melalui model difusi lebih hemat biaya dibandingkan pada masa Telltale/Bandersnatch—Abel Art memperkirakan bahwa video berdurasi 1 menit dari Luma berharga $125, setara dengan menyewa film untuk sehari. rekaman.
Meskipun kualitas video yang dihasilkan saat ini mungkin tidak konsisten, popularitas vertikal berdurasi pendek seperti ReelShort dan DramaBox telah menunjukkan permintaan pemirsa terhadap televisi berdurasi pendek episodik dengan nilai produksi rendah. Meskipun para kritikus mengeluhkan sinematografi amatir dan skrip yang diformulasikan, ReelShort telah mendorong lebih dari 30 juta unduhan dan meraup lebih dari $10 juta per bulan, menghasilkan ribuan mini-seri seperti Forbidden Desire: Alpha Love.
Kendala teknis terbesar yang dihadapi video interaktif adalah mencapai kecepatan pembuatan bingkai yang cukup cepat untuk menghasilkan konten secara real time. Dream Machine saat ini menghasilkan sekitar 1 frame per detik. Target minimum yang dapat diterima untuk konsol modern adalah 30 FPS yang solid, dengan 60 FPS sebagai standar emasnya. Dengan bantuan teknologi seperti PAB, kecepatan ini dapat ditingkatkan hingga 10-20 FPS pada jenis video tertentu, namun kecepatannya masih belum cukup.
Keadaan Saat Ini: Lanskap Video Interaktif
Mengingat tingkat peningkatan yang kami lihat pada perangkat keras dan model yang mendasarinya, kami memperkirakan masih ada waktu sekitar 2 tahun lagi untuk menghasilkan video interaktif yang sepenuhnya layak secara komersial.
Saat ini, kami melihat kemajuan dalam bidang penelitian dari pemain seperti Microsoft Research dan OpenAI yang mengerjakan model dasar end-to-end untuk video interaktif. Model Microsoft bertujuan untuk menghasilkan lingkungan tiga dimensi yang sepenuhnya "dunia yang dapat dimainkan". OpenAI menunjukkan demo Sora, model yang mampu melakukan simulasi Minecraft "sampel nol": "Sora dapat secara bersamaan mengontrol tindakan pemain di Minecraft, menjadikan dunia dan dinamikanya dengan ketelitian tinggi."
Pada bulan Februari 2024, Google DeepMind merilis model dasar video interaktif end-to-end miliknya sendiri, Genie. Genie unik dalam model tindakan latennya, yang menyimpulkan tindakan laten antara sepasang bingkai video. Dilatih dalam video platform berdurasi 300.000 jam, Genie belajar mengenali gerakan karakter, seperti cara menavigasi rintangan. Model tindakan laten ini digabungkan dengan tokenizer video dan dimasukkan ke dalam model dinamis yang memprediksi frame berikutnya untuk membuat video interaktif.
Pada tingkat penerapan, kami telah melihat beberapa tim mengeksplorasi pengalaman video interaktif baru. Banyak perusahaan berupaya membuat film atau acara TV generatif, yang dirancang dan dikembangkan berdasarkan keterbatasan model saat ini. Kami juga melihat beberapa tim menambahkan elemen video ke mesin game asli AI.
Latens dari Ilumine sedang mengembangkan "simulator mimpi jernih" yang menghasilkan konten visual secara real-time saat pengguna berjalan melalui mimpi. Sedikit penundaan ini membantu menciptakan pengalaman nyata. Pengembang di komunitas sumber terbuka Deforum menciptakan instalasi video interaktif yang imersif di dunia nyata. Dynamic sedang mengembangkan mesin simulasi yang memungkinkan pengguna mengendalikan robot dari sudut pandang orang pertama, menggunakan video yang dihasilkan sepenuhnya.
Di bidang TV dan film, Fable Studio sedang mengembangkan Showrunner, layanan streaming AI yang memungkinkan penggemar mengadaptasi acara populer versi mereka sendiri. Proyek bukti konsep Fable, South Park AI, ditonton 8 juta kali saat ditayangkan perdana musim panas lalu. Solo Twin dan Uncanny Harry adalah dua studio pembuatan film AI yang mutakhir. Alterverse membuat video role-playing game interaktif yang terinspirasi oleh D&D di mana komunitas memutuskan apa yang akan terjadi selanjutnya. Late Night Labs adalah perusahaan produksi film papan atas baru yang mengintegrasikan AI ke dalam proses kreatif. Odyssey sedang mengembangkan platform bercerita visual yang didukung oleh 4 model generatif.
Ketika batasan antara film dan game menjadi kabur, kita akan memiliki mesin dan alat game asli AI yang memberikan kontrol lebih besar kepada pembuat konten. Series AI mengembangkan Rho Engine, sebuah platform menyeluruh untuk pengembangan game AI, dan memanfaatkan platformnya untuk bersama-sama mengembangkan judul orisinal dengan pemegang kekayaan intelektual besar. Kami juga telah melihat peluncuran rangkaian kreasi AI oleh Rosebud AI, Astrocade, dan Videogame AI, yang memungkinkan orang-orang yang baru mengenal pemrograman atau seni dengan cepat mulai menciptakan pengalaman interaktif.
Rangkaian kreasi AI baru ini akan menciptakan peluang pasar untuk penyampaian cerita, memungkinkan kelompok pencipta warga baru untuk mewujudkan imajinasi mereka menggunakan rekayasa cepat, sketsa visual, dan pengenalan suara.
Siapa yang akan membuat Pixar versi interaktif?
Pixar mampu memanfaatkan perubahan teknologi mendasar pada komputer dan grafik 3D untuk menciptakan perusahaan ikonik. Saat ini, bidang AI generatif mengalami gelombang serupa. Namun, penting untuk diingat bahwa kesuksesan Pixar sebagian besar disebabkan oleh Toy Story dan film animasi klasiknya yang dibuat oleh tim cerita kelas dunia yang dipimpin oleh John Lasseter. Kreativitas manusia dipadukan dengan teknologi baru menciptakan cerita terbaik.
Demikian pula, kami yakin Pixar berikutnya harus menjadi studio penceritaan interaktif kelas dunia serta perusahaan teknologi terkemuka. Mengingat pesatnya perkembangan penelitian AI, tim kreatif perlu bekerja sama dengan tim AI untuk memadukan narasi dan desain game dengan inovasi teknis. Pixar memiliki tim unik yang memadukan seni dan teknologi serta bermitra dengan Disney. Peluang saat ini terletak pada tim baru yang mampu menyatukan disiplin game, film, dan AI.
Jelasnya, ini akan menjadi tantangan besar dan tidak hanya dibatasi oleh teknologi. Tim perlu mencari cara baru bagi pendongeng manusia untuk bekerja sama dengan alat AI yang meningkatkan, bukan mengurangi, imajinasi mereka. Selain itu, ada banyak kendala hukum dan etika yang perlu diselesaikan—kepemilikan hukum dan perlindungan hak cipta atas karya kreatif yang dihasilkan oleh AI masih belum jelas kecuali pencipta dapat membuktikan kepemilikan atas semua data yang digunakan untuk melatih model. Masalah kompensasi bagi penulis asli, artis, dan produser di balik data pelatihan juga perlu segera diselesaikan.
Namun, saat ini terlihat jelas bahwa ada permintaan yang kuat akan pengalaman interaktif baru. Dalam jangka panjang, Pixar berikutnya tidak hanya akan menciptakan cerita interaktif, tetapi juga membangun dunia virtual yang lengkap. Kami sebelumnya telah mengeksplorasi potensi game tanpa akhir — dunia dinamis yang dipadukan dengan pembuatan level real-time, narasi yang dipersonalisasi, dan agen cerdas — serupa dengan visi Westworld HBO. Video Interaktif memecahkan salah satu tantangan terbesar dalam menghidupkan Westworld - dengan cepat menghasilkan konten interaktif berkualitas tinggi yang dipersonalisasi dalam jumlah besar.
Suatu hari nanti, dengan bantuan AI, kita mungkin memulai proses kreatif dengan membangun dunia cerita—dunia kekayaan intelektual yang kita bayangkan akan terbentuk sepenuhnya, lengkap dengan karakter, rangkaian narasi, visual, dll.—dan kemudian menghasilkan apa yang kita harapkan akan terwujud. menjadi cerita untuk khalayak atau berbagai produk media tertentu yang disediakan oleh situasi tersebut. Ini akan menjadi perkembangan akhir dari penyampaian cerita transmedia, yang sepenuhnya mengaburkan batas-batas bentuk media tradisional.
Pixar, Disney, dan Marvel semuanya mampu menciptakan dunia tak terlupakan yang menjadi bagian inti dari identitas penggemarnya. Peluang interaktif Pixar berikutnya terletak pada pemanfaatan AI generatif untuk mencapai tujuan yang sama—menciptakan dunia cerita baru yang mengaburkan batas-batas format narasi tradisional untuk menciptakan dunia yang belum pernah ada sebelumnya.