Rails tempfile binary options

Eu estava usando RMagick e amando, mas estava comendo enormes quantidades de memória. Mesmo um script simples usaria mais de 100MB de RAM. Na minha máquina local isso não era um problema, mas no meu servidor de hospedagem os aplicativos de ruby ​​iriam falhar por causa de seu limite de memória de 100MB. Usando MiniMagick a memória de processos ruby ​​permanece pequena (ele gera ImageMagicks programa de linha de comando mogrify que ocupa alguma memória também, mas é muito menor em comparação com RMagick). Consulte Pensando em mudar de RMagick abaixo. MiniMagick dá-lhe acesso a todas as opções de linha de comando ImageMagick tem (encontrado aqui). ImageMagick ou GraphicsMagick ferramenta de linha de comando tem que ser instalado. Você pode verificar se você o tem instalado executando o MiniMagick foi testado em Rubies seguintes: Adicione a gem ao seu Gemfile: Veja primeiro um exemplo básico de redimensionamento de uma imagem. MiniMagick :: Image. open faz uma cópia da imagem, e outros métodos modificar essa cópia (o original permanece intocado). Em seguida, redimensionamos a imagem e a escrevemos em um arquivo. A parte escrita é necessária porque a cópia é apenas temporária, obtém o lixo coletado quando perdemos referência à imagem. MiniMagick :: Image. open também aceita URLs. Por outro lado, se quisermos que a imagem original seja realmente modificada, podemos usar MiniMagick :: Image. new. Embora usar métodos como redimensionar diretamente é conveniente, se usarmos mais métodos desta forma, ele rapidamente se torna ineficiente, porque ele chama o comando em cada chamada de métodos. MiniMagick :: Imagecombineoptions tem várias opções e a partir delas cria um único comando. Como um atalho acessível, MiniMagick :: Image. new também aceita um bloco opcional que é usado para combinar as opções. O construtor produzido é uma instância do MiniMagick :: Tool :: Mogrify. Para saber mais sobre sua interface, consulte Metal abaixo. Um MiniMagick :: Image tem vários atributos úteis. Se você precisar de mais controle, você também pode acessar atributos de imagem bruta: Para obter todas as informações sobre a imagem, MiniMagick dá-lhe um método acessível (que apenas converte a saída de identificar - verbose em um Hash): Algumas ferramentas MiniMagick como comparar Saída o resultado do comando em erro padrão, mesmo se o comando teve êxito. O resultado de MiniMagick :: Toolcall é sempre a saída padrão, mas se você passar um bloco, ele irá produzir o status stdout, stderr e sair do comando: Erros sendo gerados quando eles não devem Esta gema levanta um erro quando ImageMagick retorna um Código de saída diferente de zero. Às vezes, no entanto, ImageMagick retorna códigos de saída diferente de zero quando o comando realmente foi ok. Nestes casos, para evitar erros de aumento, você pode adicionar a seguinte configuração: Se você está usando a ferramenta diretamente, você pode passar o valor whiny: false para o construtor: Pode acontecer que, ao lidar com imagens muito grandes, o processo acabe De memória, e Errno :: ENOMEM é gerado no seu código. Nesse caso, tente instalar a gem posix-spawn e diga ao MiniMagick para usá-la ao executar comandos shell. Pensando em mudar de RMagick Ao contrário de RMagick, o MiniMagick é um wrapper muito mais fino ao redor do ImageMagick. Para juntar os comandos do MiniMagick, consulte a Documentação do Mogrify. Por exemplo, você pode usar a opção - flop como image. flop. Operações em uma imagem MiniMagick tendem a acontecer no local como image. trim. Enquanto RMagick tem tanto copiar e in-place métodos como image. trim e image. trim. Para abrir arquivos com MiniMagick você usa MiniMagick :: Image. open como faria Magick :: Image. read. Para abrir um arquivo e editá-lo diretamente, use MiniMagick :: Image. new. Salvando o. pdf gerado no disco A definição do cabeçalho PDFKit-save-pdf fará com que o PDFKit escreva o. pdf gerado no arquivo indicado pelo valor do arquivo cabeçalho. Fará com que o arquivo. pdf seja salvo em path / to / saved. pdf além de ser enviado de volta para o cliente. Se o caminho não for gravável / inexistente, a escrita falhará silenciosamente. O cabeçalho PDFKit-save-pdf nunca é enviado de volta para o cliente. Problema de thread único: em ambientes de desenvolvimento, é comum executar um único processo de servidor. Isso pode causar problemas ao renderizar seu pdf requer wkhtmltopdf para bater seu servidor novamente (para imagens, js, css). Isso ocorre porque as solicitações de recursos serão bloqueadas pela solicitação inicial ea solicitação inicial estará aguardando as solicitações de recursos causando um bloqueio. Isso geralmente não é um problema em um ambiente de produção. Para contornar esse problema, você pode querer executar um servidor com vários funcionários como o Passenger ou tentar incorporar seus recursos dentro de seu HTML para evitar solicitações HTTP extras. Exemplo de solução (rails / bundler), adicione unicórnio ao grupo de desenvolvimento em seu unicórnio gem Gemfile, em seguida, executar bundle. Em seguida, adicione um arquivo config / unicorn. conf com Then para executar o aplicativo unicornrails - c config / unicorn. conf (from railsroot) Os recursos não estão incluídos no PDF: Imagens, CSS ou JavaScript não parecem estar baixando corretamente no PDF. Isto é devido ao fato de que wkhtmltopdf não sabe onde encontrar esses arquivos. Certifique-se de que está a utilizar caminhos absolutos (iniciar com a barra invertida) para os seus recursos. Se você estiver usando o PDFKit para gerar PDFs a partir de uma fonte HTML bruta, certifique-se de usar caminhos completos (arquivos ou URLs incluindo o domínio). Em ambientes de servidor restritivos a configuração rooturl pode ser o que você está procurando para alterar seu host de ativos. Mangled no navegador: Certifique-se de que seus cabeçalhos de resposta HTTP especificam Content-Type: application / pdf Nota sobre Patches / Pull Requests Fork o projeto. Configure seu ambiente de desenvolvimento com: gem install bundler bundle install Faça sua adição de recursos ou correção de bugs. Adicione testes para ele. Isso é importante para que eu não quebrá-lo em uma versão futura, sem intenção. Confie, não mexa com rakefile, versão ou histórico. (Se você quiser ter sua própria versão, isso é bom, mas a versão bump em um commit por si mesmo, eu posso ignorar quando eu puxar) Envie-me um pedido pull. Pontos de bônus para ramos tópicos. Copyright (c) 2010 Jared Pace. Consulte LICENSE para detalhes. Tempfile Uma classe de utilitário para gerenciar arquivos temporários. Quando você cria um objeto Tempfile, ele criará um arquivo temporário com um nome de arquivo exclusivo. Um objeto Tempfile se comporta exatamente como um objeto File, e você pode executar todas as operações de arquivo habituais: ler dados, gravar dados, alterar suas permissões, etc. Portanto, embora essa classe não documente explicitamente todos os métodos de instância suportados pelo File, você Pode de fato chamar qualquer método de instância de arquivo em um objeto Tempfile. Quando um objeto Tempfile é coleta de lixo, ou quando o interpretador Ruby sai, seu arquivo temporário associado é automaticamente excluído. Isso significa que é desnecessário excluir explicitamente um Tempfile após o uso, embora sua boa prática para fazer isso: excluir explicitamente Tempfiles não utilizados pode potencialmente deixar grandes quantidades de tempfiles no sistema de arquivos até que eles sejam coletados. A existência desses arquivos temporários pode tornar mais difícil determinar um novo arquivo Tempfile. Portanto, sempre se deve chamar desassociar ou fechar em um bloco de garantia, como este: Desassociar após a criação Para sistemas POSIX, é possível desassociar um arquivo logo após criá-lo e antes de fechá-lo. Isso remove a entrada de sistema de arquivos sem fechar o identificador de arquivo, portanto, garante que somente os processos que já tinham o identificador de arquivo aberto podem acessar o conteúdo dos arquivos. É altamente recomendável que você faça isso se você não quiser que outros processos sejam capazes de ler ou gravar no Tempfile. E você não precisa saber o arquivo Tempfiles também. Por exemplo, um caso de uso prático para desvincular-depois da criação seria este: você precisa de um buffer de bytes grandes que é muito grande para caber confortavelmente na RAM, p. Quando você está escrevendo um servidor web e você deseja armazenar em buffer os dados do arquivo de clientes. Consulte desvincular para obter mais informações e um exemplo de código. Menor notas para uarr Tempfiles método de picking filename é tanto thread-safe e inter-process-safe: garante que nenhum outro segmento ou processo irá escolher o mesmo nome de arquivo. O próprio Tempfile não pode ser inteiramente thread-safe. Se você acessar o mesmo objeto Tempfile de vários segmentos, em seguida, você deve protegê-lo com um mutex. Métodos de classe pública create (basename, tmpdirnil, mode: 0, options) clique para alternar source Cria um arquivo temporário como o objeto File usual (não Tempfile). Não usa finalizador e delegação. Se nenhum bloco é fornecido, isso é semelhante a :: new, exceto criar arquivo em vez de Tempfile. O arquivo criado não é removido automaticamente. Você deve usar File. unlink para removê-lo. Se um bloco for dado, então um objeto File será construído eo bloco será chamado com o objeto como argumento. O objeto Arquivo será automaticamente fechado eo arquivo temporário será removido após o término do bloco. A chamada retorna o valor do bloco. Em qualquer caso, todos os argumentos (args) serão tratados como :: new. New (basename, tmpdir Dir. tmpdir, opções) click to toggle source Cria um arquivo temporário com permissões 0600 (somente legível e gravável pelo proprietário) e abre com o modo w. O parâmetro basename é usado para determinar o nome do arquivo temporário. Você pode passar um String ou um Array com 2 elementos String. Na forma anterior, o nome da base de arquivos temporários começará com a string dada. Na última forma, o nome da base de arquivos temporários começará com o primeiro elemento dos arrays e terminará com o segundo elemento. Por exemplo: O arquivo temporário será colocado no diretório conforme especificado pelo parâmetro tmpdir. Por padrão, este é Dir. tmpdir. Quando SAFE gt 0 eo dado tmpdir está contaminado, ele usa / tmp como o diretório temporário. Observe que os valores ENV são corrompidos por padrão eo valor de retorno de Dir. tmpdir pode vir de variáveis ​​de ambiente (por exemplo, TMPDIR). Você também pode passar um hash de opções. Sob o capuz, Tempfile cria o arquivo temporário usando File. open. Essas opções serão passadas para File. open. Isso é útil principalmente para especificar opções de codificação, por exemplo: Exceptions para uarr Se :: new não consegue encontrar um nome de arquivo exclusivo dentro de um número limitado de tentativas, então ele criará uma exceção. Open (args) clique para alternar fonte Se nenhum bloco é dado, este é um sinônimo de :: new. Se um bloco é dado, então um objeto Tempfile será construído, eo bloco é executado com o dito objeto como argumento. O objeto Tempfile será automaticamente fechado após o término do bloco. A chamada retorna o valor do bloco. Em qualquer caso, todos os argumentos (args) serão passados ​​para :: new. Métodos de Instância Pública close (unlinknowfalse) click to toggle source Fecha o arquivo. Se unlinknow for true, o arquivo será desassociado (excluído) após o fechamento. Claro, você pode optar por chamar mais tarde desvincular se você não desvincular agora. Se você não explicitamente desvincular o arquivo temporário, a remoção será atrasada até que o objeto seja finalizado. Close () clique para alternar entre a origem Fecha e desassocia (exclui) o arquivo. Tem o mesmo efeito que chamado close (true).Documentation fopen Descrição fopen (filename, format) abre um arquivo existente para leitura no formato especificado. Um erro é gerado se nenhum arquivo com o nome especificado for encontrado ou o formato do arquivo não coincide com o formato especificado. Se o arquivo estiver no formato gzip - compressed e seu nome terminar em. gz, ele será descompactado de forma transparente após a leitura. Fopen (filename) abre um arquivo existente para leitura. O arquivo deve conter dados em formato binário texto ou MuPAD x00AE (opcionalmente compactado), fopen automaticamente identifica o formato de arquivo neste caso. O arquivo não deve ser usado como arquivo raw. Fopen (filename, mode, format) abre o arquivo para escrita no formato especificado se o modo for dado como Read ou Append. Se nenhum arquivo com o nome especificado existir, um novo arquivo será criado. Se o nome de arquivo terminar em. gz, todos os dados gravados no arquivo serão transparentemente compactados no formato compatível com gzip. Fopen (TempFile, format) cria e abre um arquivo temporário para gravação no formato especificado. A opção Ler e Acrescentar não é permitida neste caso. Se nenhum formato é fornecido, Bin é usado. Use fname para consultar o nome real eo local do arquivo temporário. Cf. Exemplo 3. Fopen (. Encoding codingValue) usa a codificação especificada. Para codificações suportadas, consulte Opções. Você pode usar essa opção com as sintaxes especificadas anteriormente para arquivos de texto. No modo de gravação (usando uma das opções Write ou Append), a variável de ambiente WRITEPATH é considerada se nenhum arquivo temporário é criado. Se ele tiver um valor, um novo arquivo será criado (ou um arquivo existente será pesquisado) na pasta correspondente. Caso contrário, ele é criado / procurado na pasta de trabalho. Observe que o significado da pasta de trabalho depende do sistema operacional. Nos sistemas Windows x00AE e nos sistemas Mac OS X, a pasta de trabalho é a pasta onde o MATLAB x00AE está instalado. Nos sistemas UNIX x00AE, é a pasta de trabalho atual na qual o MATLAB foi iniciado. Quando iniciado a partir de um item de menu ou de área de trabalho, esta é normalmente a pasta de início do utilizador. Nota: No modo de leitura, fopen não procura arquivos nas pastas fornecidas pelo caminho da biblioteca. Um arquivo temporário é criado em uma pasta especial. Esta pasta e o nome do arquivo dependem do sistema. Também os nomes de caminho absolutos são processados ​​por fopen. O descritor de arquivo retornado por fopen pode ser usado por várias funções, como fname. Fclose. Fread Fprint. ler. Escrever etc. Um arquivo aberto por fopen deve ser fechado por fclose após o uso. Isso também é válido para arquivos temporários. Fopen aceita seus argumentos em qualquer ordem, não apenas na ordem acima. Interações de ambiente A função é sensível à variável de ambiente WRITEPATH ao criar arquivos que não são temporários (arquivos temporários são criados via TempFile). Se WRITEPATH tem um valor, no modo de gravação (usando as opções Write ou Append), o arquivo é criado na pasta correspondente. Caso contrário, o arquivo é criado na pasta de trabalho. Um arquivo temporário é criado em uma pasta especial. Ao usar Write ou Append. Fopen cria um novo arquivo se nenhum arquivo sob o nome fornecido existir. Exemplos Exemplo 1 Abra o teste de arquivo para escrita. Com a opção Gravar. Não é necessário que o teste de arquivo existe. Por padrão, o arquivo é aberto como um arquivo binário: Anexar. Ler. Escrever com leitura. O arquivo é aberto para leitura com Write ou Append. Ele é aberto para escrita. Se um arquivo aberto por escrito ainda não existe, ele é criado. Com Gravar. Arquivos existentes são substituídos. Com Anexar. Novos dados podem ser anexados a um arquivo existente. Observe que no modo Append, o formato especificado deve coincidir com o formato do arquivo existente caso contrário, o arquivo não pode ser aberto e fopen retorna FAIL. Se o flag TempFile é fornecido, o modo padrão é Write. Caso contrário, o modo padrão é Read. Com Bin. Os dados são armazenados no formato binário interno do MuPAD. Com texto. Os dados podem ser cadeias ou objetos MuPAD armazenados como texto. Newlines são tratadas de acordo com as convenções do sistema operacional em mãos. Com Raw. Os dados são interpretados como números binários de máquina. Consulte as funções readbytes e writebytes. Se o modo for Read ou Append. O padrão é o formato dos dados no arquivo existente. Se o modo for Write. O padrão é Bin. Selecione seu PaísSerializing (e desserialização) objetos com Ruby Serialização é uma daquelas coisas que você pode facilmente fazer sem até que de repente você realmente precisa dele um dia. Isso é muito bonito como ele foi comigo. Eu estava felizmente usando e aprendendo Ruby por meses antes de eu nunca correr em uma situação onde a serialização de alguns objetos realmente teria feito a minha vida mais fácil. Mesmo assim, evitei olhar para ele, você pode muito facilmente converter os dados importantes de um objeto em uma seqüência de caracteres e escrever isso para um arquivo. Então, quando você precisar, você acabou de ler o arquivo, analisar a seqüência de caracteres e recriar o objeto, o que poderia ser mais simples Claro, poderia ser muito mais simples, especialmente quando você está lidando com uma profunda hierarquia de objetos. Eu acho que sendo desmamados em linguagens como Java, você chega a esperar operações como serialização para ser não trivial. Don39t me entende errado, não é realmente difícil em Java, mas nem é simples e se você quiser que o seu objeto serializado para ser humano-legível, então você está em terras da biblioteca de terceiros e as coisas podem ficar mais fácil ou mais difícil, dependendo de suas necessidades. Basta dizer que as más experiências no passado não o enchem com muito entusiasmo para o futuro. Quando eu comecei a olhar para a serialização em Ruby, eu esperava totalmente ter que olhar para as soluções de terceiros 8211 certamente os mecanismos de serialização construídos na linguagem couldn39t possivelmente, facilmente caber minhas necessidades. Como de costume, fiquei agradavelmente surpreendido. Agora, como esse martelo proverbial. Serialização parece ser útil o tempo todo :). Enfim, vou deixar você julgar por si mesmo, vamos dar uma olhada nas melhores e mais comuns opções que você tem, quando se trata de serialização com Ruby. Objetos de leitura humana O Ruby tem dois mecanismos de serialização de objetos construídos diretamente na linguagem. Um é usado para serializar em um formato legível humano, o outro em um formato binário. Eu vou olhar para o binário um pouco, mas por enquanto letrsquos foco em humanos legível. Qualquer objeto que você criar em Ruby pode ser serializado em formato YAML, com praticamente nenhum esforço necessário em sua parte. Letrsquos fazer alguns objetos: Desde que criamos um tos, método, podemos ver a representação de seqüência de nossa árvore de objeto: Para serializar a nossa árvore de objeto que simplesmente fazer o seguinte: Nosso objeto serializado se parece com isto: Se agora queremos obtê-lo de volta : Isso produz saída que é exatamente o mesmo que o que tínhamos acima, o que significa que nossa árvore de objeto foi reproduzida corretamente: Claro que você quase nunca deseja serializar apenas um objeto. Geralmente é uma matriz ou um hash. Neste caso, você tem duas opções, ou você serializar toda a matriz / hash de uma só vez, ou serializar cada valor separadamente. A regra aqui é simples, se você sempre precisa trabalhar com todo o conjunto de dados e nunca partes dele, basta escrever a matriz inteira / hash, caso contrário, iterar sobre ele e escrever cada objeto. A razão pela qual você faz isso é quase sempre compartilhar os dados com outra pessoa. Se você acabou de escrever toda a matriz / hash em um só golpe, então é tão simples como o que fizemos acima. Quando você faz um objeto de cada vez, é um pouco mais complicado, já que não queremos escrever para um monte de arquivos, mas sim para todos eles para um arquivo. É um pouco mais complicado desde que você quer ser capaz de facilmente ler seus objetos de volta no que pode ser complicado como serialização YAML cria várias linhas por objeto. Aqui está um truque que você pode usar, quando você escreve os objetos para fora, separá-los com duas novas linhas, por exemplo: O arquivo ficará assim: Então, quando você quiser ler todos os objetos de volta, basta definir o separador de entrada de entrada para ser duas novas linhas Por exemplo: Qual é exatamente o que esperamos 8211 útil. Pela maneira, eu estarei cobrindo coisas como o separador do registro de entrada em uma série upcoming de bornes que eu estou planeando fazer sobre Ruby one-liners, assim que don39t esquece subscrever se você don39t querer o faltar. Naturalmente, se não quisermos recorrer a truques como esse, mas ainda assim mantermos nossos objetos serializados legíveis para humanos, temos outra alternativa que é basicamente tão comum quanto o Ruby construído nos métodos de serialização 8211 JSON. O suporte JSON em Ruby é fornecido por uma biblioteca de terceiros. Tudo o que você precisa fazer é: O segundo é se você quer uma implementação Ruby puro (sem extensões nativas). A coisa boa sobre JSON, é o fato de que é ainda mais legível do que o YAML. É também uma alternativa quot de baixo teor de gordura para XML e pode ser usado para transportar dados sobre o fio através de chamadas AJAX que requerem dados do servidor (que é a explicação simples de uma frase :)). A outra boa notícia quando se trata de serializar objetos para JSON usando Ruby é que se você salvar o objeto em um arquivo, ele salva em uma linha, então nós don39t ter que recorrer a truques ao salvar vários objetos e lê-los novamente. Há más notícias, é claro, no sentido de que seus objetos não serão automaticamente convertidos em JSON, a menos que você esteja usando hashes, arrays e primitives. Você precisa fazer um pouco de trabalho para se certificar de que seu objeto personalizado é serializável. Letrsquos fazer uma das classes que introduziu anteriormente serializável usando JSON. Certifique-se de não esquecer de 39 exigir 39 json, caso contrário, you39ll obter comportamento engraçado. Agora você pode simplesmente fazer o seguinte: Que produz saída como este: A primeira seqüência de caracteres é nossa seqüência de caracteres JSON serializada, ea segunda é o resultado de saída nosso objeto desserializado, que dá a saída que esperamos. Como você pode ver, implementamos dois métodos: tojson 8211 chamado na instância de objeto e nos permite converter um objeto em uma seqüência de caracteres JSON. Jsoncreate 8211 permite-nos chamar JSON. parse passando em uma seqüência de caracteres JSON que irá converter a seqüência de caracteres em uma instância do nosso objeto Você também pode ver que, ao converter o nosso objeto em uma seqüência de caracteres JSON precisamos ter certeza, que acabamos com Um hash e que contém a chave 39 jsonclass 39. Também precisamos nos certificar de que apenas usamos hashes, matrizes, primitivas (ou seja, números inteiros, flutuadores, etc., não realmente primitivas em Ruby, mas você obtém a imagem) e strings. Assim, JSON tem algumas vantagens e algumas desvantagens. Eu gosto porque ele é amplamente suportado para que você possa enviar dados em torno e ter que ser reconhecido por outros aplicativos. Eu não gosto porque você precisa fazer o trabalho para se certificar de que seus objetos são facilmente serializáveis, então se você don39t necessidade de enviar seus dados em qualquer lugar, mas simplesmente quer compartilhá-lo localmente, é um pouco de dor. Serialização binária O outro mecanismo de serialização embutido no Ruby é a serialização binária usando o Marshal. É muito semelhante ao YAML e tão fácil de usar, a única diferença é que não é legível para humanos, pois armazena seus objetos em um formato binário. Você usa Marshal exatamente da mesma maneira que usa YAML, mas substitui a palavra YAML por Marshal :) Como você pode ver, de acordo com a saída os objetos antes e depois da serialização são os mesmos. Você não precisa nem exigir nada :). A coisa a observar quando a saída de múltiplos objetos Marshalled para o mesmo arquivo, é o separador de registros. Desde que você está escrevendo dados binários, não é inconcebível que você pode acabar com uma nova linha em algum lugar em um registro acidentalmente, que vai encher tudo quando você tentar ler os objetos de volta dentro Então duas regras básicas para lembrar são: don39t use Põe quando a saída Marshalled objetos para um arquivo (use impressão em vez disso), desta forma você evitar o newline estranho do coloca usar um separador de registro diferente de nova linha, você pode fazer qualquer coisa improvável para cima (se você rolar para baixo um pouco você verá que eu Usado 398212821239 como um separador) A desvantagem de Marshal é o fato de sua saída não é legível. A vantagem é a sua velocidade. Que um para escolher é simples, se você precisa ser capaz de ler seus dados serializáveis, então você tem que ir com um dos formatos legíveis por humanos (YAML ou JSON). I39d ir com YAML puramente porque você don39t necessidade de fazer qualquer trabalho para obter seus objetos personalizados para serializar corretamente, eo fato de que ele serializa cada objeto como uma cadeia multilinha não é um grande negócio (como eu mostrei acima). As únicas vezes que eu iria com o JSON (além de todo o amplo suporte e enviá-lo sobre o negócio de fio), é se você precisa ser capaz de editar facilmente seus dados à mão, ou quando você precisa de dados legíveis por humanos e você tem um Lote de dados para lidar com (ver benchmarks abaixo). Se você don39t realmente precisa ser capaz de ler os seus dados, então sempre ir com Marshal, especialmente se você tem um monte de dados. Aqui está uma situação que eu normalmente tenho que lidar. Eu tenho um arquivo CSV, ou algum outro tipo de arquivo de dados, eu quero lê-lo, analisá-lo e criar um objeto por linha ou pelo menos um hash por linha, para tornar os dados mais fáceis de lidar. O que eu gosto de fazer é ler este arquivo CSV, criar meu objeto e serializá-los para um arquivo ao mesmo tempo usando Marshal. Desta forma, posso operar em conjunto de dados ou partes do conjunto de dados, simplesmente lendo os objetos serializados em, e é ordens de magnitude mais rápido do que ler o arquivo CSV novamente. Vamos fazer alguns benchmarks. Vou criar 500000 objetos (um conjunto relativamente pequeno de dados) e serializá-los todos para um arquivo usando todos os três métodos. E quanto à desserialização de todos os objetos: Como você pode ver, é significativamente mais rápido para serializar objetos quando você está usando Marshal. Embora JSON é apenas cerca de 2 vezes mais lento. YAML fica na poeira. Quando desserializar, as diferenças não são tão aparentes, embora Marshal ainda é o vencedor claro. Os dados mais você tem que lidar com o mais contando estes resultados serão. Assim, para a velocidade 8211 pura escolher Marshal. Para velocidade e legibilidade humana, escolha JSON (à custa de ter que adicionar métodos a objetos personalizados). Para a legibilidade humana com conjuntos de dados relativamente pequenos 8211 ir com YAML. Isso é praticamente tudo que você precisa saber, mas não é tudo o que tenho a dizer sobre serialização. Uma das características mais interessantes (e legais) do Ruby é como blocos úteis podem ser em muitas situações, então você inevitavelmente, eventualmente, correr em uma situação onde você pode querer serializar um bloco e este é o lugar onde você vai encontrar problemas. Vamos lidar com problemas de serialização de bloco e o que (se alguma coisa) você pode fazer sobre isso em um post posterior. Mais Ruby logo :). Compartilhe este: Ya I8217ll 1 em usar yajl-ruby para JSON. O suporte a streaming de It8217s é super poderoso (você pode começar a desserializar antes de ter um objeto completo) e I8217ve também encontrou problemas de codificação de string com o json lib. Observe que it8217s também é possível serializar objetos Proc a seu conteúdo de origem. Eu adicionei o apoio a Storable para este (github / delano / storable) alguns dias há. O código original foi por Florian Gross: skorks Alan Skorkin That8217s realmente legal sobre procs, vou definitivamente ter um jogo com ele e incorporá-lo no post que eu planejo escrever sobre serialização e procs. A maior questão para mim, é como algo como isso iria lidar com objetos dentro do proc que saíram do escopo em qualquer outro lugar, exceto o próprio proc (o proc sendo um encerramento e todos). Se houver referências dentro do Proc para objetos criados em outro lugar, você teria que executá-lo em um contexto que contém esses objetos. Com variáveis ​​de instância, that8217s bastante simples porque você simplesmente usa instanceeval. Variáveis ​​locais são outra história. A solução mais limpa que posso imaginar seria definir métodos com os mesmos nomes dos vars. Blog. marc-andre. ca Marc-Andr Lafortune Pode ser importante notar que a maioria das libs não será capaz de serializar todos os tipos de dados. Marechal é o único mecanismo irá viagem de ida e volta todos os objetos (exceto alguns como Procs, 8230). Yaml é muito bom também. Outros falharão (mesmo em coisas simples como símbolos). Quanto ao desempenho, a biblioteca yaml é inteiramente nova no próximo 1.9.2. skorks Alan Skorkin A coisa com algo como JSON embora, é que você fornece sua própria implementação de como serializar e desserializar para que sempre será tão sólido como o código que você escreve. Isso é verdade. A outra questão com o Marshal (e outros formatos binários) é que você pode (com segurança) empacotar entre versões ou implementações de Ruby (por exemplo, 1,8 a 1,9 ou MRI para JRuby). Sim 8211 that8217s porque eu sempre prefiro algo como JSON ou YAML 8211 não são apenas os outros implementação dependente, eles são my-code-versão dependente. Eu acho que depende porque você está serializando dados 8211 se it8217s apenas temporária, it8217s útil para usar Marshal ou o que é mais rápido. Mas se não é um dado efêmero, é bom ter um formato genérico que eu possa des-serializar a qualquer momento no futuro, mesmo que tenha mudado meu modelo de objeto enquanto isso. Blog. marc-andre. ca Marc-Andre Lafortune Marshal prevê mecanismo para ser compatível com versões anteriores se você alterar o formato de dados e precisa dele: apenas especializar marshalload e marshaldump. Blog. marc-andre. ca Marc-Andre Lafortune Acredito que você está enganado. Primeiro, todas as implementações do Ruby são obrigadas a respeitar o formato binário Marshal para uma determinada versão do marshal. Check RubySpec (core / marshal) Em segundo lugar, a versão marshal mudou entre 1,8 e 1,9, mas é compatível com versões anteriores e principalmente compatível com versões anteriores. Eu realmente gostei do post, muito útil, como seus comentários são. Na minha experiência recente, a serialização é fundamental para ignorar o acesso ao banco de dados durante a criação de objetos relacionados ao atual. A fase de serialização também é suave, eu nem preciso referir-me explicitamente a uma matriz. Por exemplo: MyClass. writeassociatedobjectstoyamlfile (método que acesso ao banco de dados, e use toyaml) me dá um yaml que já representa uma matriz. Quando eu faço MyClass. readassociatedobjectsfromyamlfile, eu automaticamente obter uma matriz preenchida com objetos do tipo certo (MyOtherClass), usando 8220YAML. loadfile 8216myyaml. yml8221. Eu só tenho que ter cuidado e carregar 8216myotherclass. rb8217 caso contrário eu recebo um monte de 8220YAML :: Object8221s, que não são que useful8230 :-) Obrigado, este é um argumento muito interessante, LucaB i8217ve também teve problemas com yaml e whitespaces. Por exemplo YAML :: load (8220n8221.toyaml) gt 82208221 por essa razão eu fui com json, só para descobrir que can8217t lidar com carga binária em strings, então eu acabei tirando todas as strings para um bloco de dados separados e substituí-los por seus No bloco de dados e comprimento. (Eu queria também usá-lo com outras línguas, assim marshal wasn8217t uma opção)