Como baixar Jukebox AI: um guia para amantes de música
Se você adora música e deseja criar suas próprias canções, talvez se interesse pelo Jukebox AI, uma rede neural que gera música em formato de áudio bruto. Neste artigo, explicaremos o que é o Jukebox AI, o que ele pode fazer e como você pode baixá-lo e instalá-lo em seu computador. Também mostraremos como samplear músicas do Jukebox AI e explorar os samples que ele produz.
O que é o Jukebox AI e o que ele pode fazer?
Jukebox AI é uma rede neural que gera música em forma de áudio bruto. Foi lançado em abril de 2020 pela OpenAI, a mesma empresa que nos trouxe o gerador de arte AI chamado Dall-E, e o chatbot AI chamado ChatGPT.
how to download jukebox ai
Jukebox AI é uma rede neural que gera música em forma de áudio bruto
Ao contrário de alguns outros geradores de música que produzem música simbolicamente na forma de notas ou rolos de piano, o Jukebox AI modela a música diretamente como áudio bruto. Isso significa que ele pode capturar vozes humanas e muitos timbres, dinâmicas e expressividades sutis que são essenciais para a música. No entanto, isso também significa que ele precisa lidar com sequências de dados muito longas, já que uma música típica de 4 minutos tem mais de 10 milhões de intervalos de tempo.
Jukebox AI pode produzir música em vários gêneros e estilos artísticos
O Jukebox AI foi treinado em um grande conjunto de dados de músicas de vários gêneros e artistas. Aprendeu a associar diferentes características musicais a diferentes rótulos, como gênero, artista e letra. Como resultado, pode gerar música em uma variedade de gêneros e estilos artísticos, como rock, pop, jazz, metal, country, rap e muito mais. Também pode produzir novas combinações de gêneros e estilos, como o pop country Frank Sinatra ou o death metal Six Feet Under.
Jukebox AI também pode gerar letras e cantá-las
Outra característica incrível do Jukebox AI é que ele pode gerar letras e cantá-las. Aprendeu a alinhar letras com melodias e ritmos a partir dos dados de treinamento.Também aprendeu a imitar diferentes estilos vocais e sotaques de diferentes artistas. Portanto, pode produzir músicas com letras que correspondem ao gênero e estilo do artista da entrada. Ele também pode gerar letras inéditas para músicas existentes ou novas.
Como instalar o Jukebox AI no seu computador?
Se você quiser experimentar o Jukebox AI em seu próprio computador, precisará seguir alguns passos para instalá-lo. Aqui estão os principais passos:
Você precisa instalar o con Você precisa instalar o gerenciador de pacotes conda e algumas dependências
Conda é um gerenciador de pacotes que ajuda você a instalar e gerenciar diferentes pacotes de software e ambientes. Você precisará instalar o conda no seu computador para executar o Jukebox AI. Você pode baixar e instalar o conda em . Depois de instalar o conda, você também precisará instalar algumas dependências, como PyTorch, Apex e Librosa. Você pode fazer isso executando os seguintes comandos no seu terminal:
conda create -n jukebox python=3.7 conda activate jukebox conda install pytorch archvision cudatoolkit=10.1 -c pytorch pip install -v --no-cache-dir --global-option="--cpp_ext" --global-option="--cuda_ext" ./apex pip install librosa unidecode
Você precisa clonar o repositório Jukebox AI do GitHub
A próxima etapa é clonar o repositório Jukebox AI do GitHub, que contém o código-fonte e as instruções para executar o Jukebox AI. Você pode fazer isso executando o seguinte comando no seu terminal:
git clone cd jukebox
Você precisa baixar os pesos do modelo e o código do OpenAI
A etapa final é baixar os pesos e o código do modelo do OpenAI, que são armazenados em um local separado. Você precisará se registrar e fazer login no site da OpenAI para acessar esses arquivos. Você pode fazer isso seguindo . Após o login, você verá uma lista de arquivos que você pode baixar. Você precisará baixar os seguintes arquivos e colocá-los na pasta jukebox:
jukebox/models/5b/vqvae.pth.tar
jukebox/models/5b/prior_level_0.pth.tar
jukebox/models/5b/prior_level_1.pth.tar
jukebox/models/5b/prior_level_2.pth.tar
jukebox/utils/sample_utils.py
jukebox/utils/dist_utils.py
jukebox/sampling.py
Como samplear músicas do Jukebox AI?
Agora que você instalou o Jukebox AI no seu computador, pode começar a samplear músicas dele. Existem duas maneiras principais de samplear músicas do Jukebox AI: do zero ou de músicas existentes.
Você pode experimentar músicas do zero ou de músicas existentes
Se você quiser samplear música do zero, você pode usar o amostra.py script que vem com o Jukebox AI. Esse script permite especificar o gênero, o artista e as letras como entrada e, em seguida, amostrar uma música com base nessas entradas. Por exemplo, se você quiser samplear uma música de rock do AC/DC com a letra "Thunderstruck", você pode executar o seguinte comando em seu terminal:
python jukebox/sample.py --model=5b_lyrics --name=sample_1 --levels=3 --sample_length_in_seconds=20 --total_sample_length_in_seconds=180 --sr=44100 --n_samples=16 --hop_fraction=0.5,0.5,0.125 --mode=primed --audio_file= --prompt_length_in_seconds=12 --genre=rock --artist=AC/DC --lyrics="Thunderstruck"
Se você quiser samplear músicas de músicas existentes, você pode usar o sample_from_checkpoint.py script que vem com o Jukebox AI. Este script permite que você carregue uma música existente como um ponto de verificação e continue a amostrar a partir desse ponto. Por exemplo, se você quiser experimentar uma continuação de "Bohemian Rhapsody" do Queen, você pode executar o seguinte comando em seu terminal:
python jukebox/sample_from_checkpoint.py --model=5b_lyrics --name=sample_2 --levels=3 --sample_length_in_seconds=20 --total_sample_length_in_seconds=180 --sr=44100 --n_samples=16 --hop_fraction=0.5,0.5,0.125 --mode=continue --audio_file= Você pode especificar o gênero, artista e letras como entrada
Um dos recursos interessantes do Jukebox AI é que você pode especificar o gênero, o artista e as letras como entrada, e ele tentará gerar uma música que corresponda a essas entradas. Você pode usar o --gênero, --artista, e --letra da música bandeiras para fazer isso. Por exemplo, se você quiser samplear uma música pop de Taylor Swift com a letra "Você pertence a mim", você pode executar o seguinte comando em seu terminal:
python jukebox/sample.py --model=5b_lyrics --name=sample_3 --levels=3 --sample_length_in_seconds=20 --total_sample_length_in_seconds=180 --sr=44100 --n_samples=16 --hop_fraction=0.5,0.5,0.125 --mode=primed --audio_file= --prompt_length_in_seconds=12 --genre=pop --artist=Taylor Swift --lyrics="Você pertence a mim"
Você também pode usar vários gêneros, artistas ou letras como entrada, separados por vírgulas. Por exemplo, se você quiser samplear uma música que mistura rap e country de Lil Nas X e Billy Ray Cyrus com a letra "Old Town Road", você pode executar o seguinte comando em seu terminal:
python jukebox/sample.py --model=5b_lyrics --name=sample_4 --levels=3 --sample_length_in_seconds=20 --total_sample_length_in_seconds=180 --sr=44100 --n_samples=16 --hop_fraction=0.5,0.5,0.125 --mode=primed --audio_file= --prompt_length_in_seconds=12 --genre=rap,country --artist=Lil Nas X,Billy Ray Cyrus --lyrics="Old Town Road"
Você pode usar várias GPUs para acelerar o processo de amostragem
A amostragem de música do Jukebox AI pode ser muito lenta e computacionalmente intensa, especialmente se você deseja gerar amostras coerentes e de alta qualidade. Uma maneira de acelerar o processo de amostragem é usar várias GPUs em seu computador ou em um serviço de nuvem. Você pode usar o --n_gpus sinalizador para especificar quantas GPUs você deseja usar para amostragem. Por exemplo, se você tiver 4 GPUs em seu computador e quiser usá-las todas para amostragem, poderá executar o seguinte comando em seu terminal:
python jukebox/sample.py --model=5b_lyrics --name=sample_5 --levels=3 --sample_length_in_seconds=20 --total_sample_length_in_seconds=180 --sr=44100 --n_samples=16 --hop_fraction=0.5,0.5,0.125 --mode=primed --audio_file= --prompt_length_in_seconds=12 --genre=jazz --artist=Ella Fitzgerald,Louis Armstrong --lyrics="Summertime" --n_gpus=4
Se você não tiver GPUs suficientes em seu computador, também poderá usar um serviço de nuvem, como o Google Colab ou o Paperspace, para executar o Jukebox AI. Você pode encontrar alguns tutoriais e exemplos de como fazer isso em .
Como explorar as amostras geradas pelo Jukebox AI?
Depois de samplear músicas do Jukebox AI, você pode querer explorar as amostras e ver como elas soam e se parecem. Há três maneiras principais de fazer isso: ouvir os samples, visualizar os samples como um HTML e navegar pelos samples no Jukebox Sample Explorer.
Você pode ouvir as amostras em diferentes níveis de qualidade e coerência
Ao amostrar música do Jukebox AI, você obterá uma pasta com o nome da sua amostra que contém vários arquivos. Um desses arquivos é level_0/item_0.wav, que é a saída final do processo de amostragem. Este arquivo tem a mais alta qualidade e coerência, mas também leva mais tempo para ser gerado. Você pode ouvir este arquivo usando qualquer reprodutor de áudio compatível com o formato WAV.
Outro arquivo é level_1/item_0.wav, que é a saída do segundo nível de amostragem. Este arquivo tem qualidade e coerência inferiores, mas também leva menos tempo para ser gerado. Você pode ouvir este arquivo para ter uma ideia aproximada de como será o resultado final.
O último arquivo é level_2/item_0.wav, que é a saída do primeiro nível de amostragem. Este arquivo tem a menor qualidade e coerência, mas também leva menos tempo para ser gerado. Você pode ouvir este arquivo para ter uma ideia aproximada de como será o resultado final.
Você pode visualizar as amostras como um HTML com as letras alinhadas
Outra forma de explorar as amostras é visualizá-las como um HTML com as letras alinhadas. Isso permite que você veja como as letras combinam com as melodias e ritmos da música. Você pode fazer isso abrindo o index.html arquivo que está na mesma pasta que sua amostra. Este arquivo mostrará uma tabela com todas as amostras que você gerou, junto com seu gênero, artista e letra. Você pode clicar em qualquer amostra para reproduzi-la e ver sua letra destacada em sincronia com a música.
Você pode navegar por todos os samples no Jukebox Sample Explorer
A última maneira de explorar as amostras é procurá-las no Jukebox Sample Explorer, que é um aplicativo da web que permite ouvir e baixar todas as amostras que foram geradas pelo Jukebox AI. Você pode acessar este aplicativo seguindo . Você pode filtrar as amostras por gênero, artista ou letra, ou pesquisar por palavras-chave específicas. Você também pode avaliar e comentar as amostras ou compartilhá-las com outras pessoas.
Conclusão
Jukebox AI é uma ferramenta incrível para geração e exploração de música. Ele pode produzir música em forma de áudio bruto, em vários gêneros e estilos artísticos, com letras e vocais. Você pode baixar e instalar o Jukebox AI seguindo algumas etapas simples e, em seguida, experimentar músicas de diferentes maneiras. Você também pode explorar as amostras que ele gera em diferentes níveis de qualidade e coerência, como um HTML com letras alinhadas ou no Jukebox Sample Explorer. Se você gosta de música e quer criar suas próprias músicas, definitivamente deveria experimentar o Jukebox AI.
perguntas frequentes
Quais são os requisitos para executar o Jukebox AI?
Você precisa ter um computador com Python 3.7, conda, PyTorch, Apex, Librosa e algumas outras dependências instaladas. Você também precisa ter acesso a uma ou mais GPUs compatíveis com CUDA 10.1 ou superior.
Quanto tempo leva para amostrar músicas do Jukebox AI?
Depende de vários fatores, como o comprimento da amostra, o número de GPUs que você usa e o nível de qualidade e coerência que você deseja. De um modo geral, pode levar de alguns minutos a várias horas para experimentar músicas do Jukebox AI.
Posso usar o Jukebox AI para fins comerciais?
Não, você não pode usar o Jukebox AI para fins comerciais sem a permissão do OpenAI. Jukebox AI é licenciada sob uma licença não comercial que proíbe qualquer uso que se destine ou seja direcionado para vantagem comercial ou compensação monetária.
Como posso saber mais sobre o Jukebox AI?
Como posso saber mais sobre o Jukebox AI?
Você pode aprender mais sobre o Jukebox AI lendo o artigo original da OpenAI, que explica os detalhes técnicos e os desafios do Jukebox AI. Você também pode assistir à apresentação em vídeo dos autores, que demonstra algumas das amostras e recursos do Jukebox AI. Você pode encontrar o papel e o vídeo em .
Quais são algumas das limitações e desafios do Jukebox AI?
Jukebox AI é uma conquista notável, mas não é perfeita. Algumas das limitações e desafios do Jukebox AI são:
Requer muitos recursos computacionais e tempo para gerar amostras coerentes e de alta qualidade.
Às vezes, produz amostras com ruído, distorcidas ou desafinadas.
Às vezes, gera letras sem sentido, ofensivas ou inapropriadas.
Ele nem sempre respeita o gênero, o artista ou as letras de entrada e pode produzir amostras inconsistentes ou incompatíveis com eles.
Pode infringir os direitos de propriedade intelectual dos artistas ou compositores originais.
0517a86e26
Comments