Compreender o Hadoop Distributed File System por John Karry

TheHadoop Distributed File System é um sistema totalmente portátil arquivo, que isalso distribuídos, bem como escalável para a estrutura Hadoop. É também um_arquivo sistema que foi escrito em Java para esse mesmo quadro. Cada HDFScluster que pertence a esse sistema de arquivos específico contém um único modo de nome, bem como um conjunto individual de nós de dados que nem sempre têm de bepresent dentro de cada cluster HDFS o tempo todo. Este sistema de arquivos distribuídos específico é o que proporciona o acesso regular a dados de aplicativos e dados ThisApplication é algo que deve ser sempre permitido esse acesso viathe portal através do HDFS. Cada nó de dados que faz parte do cluster HDFS doesserve sua própria finalidade; e este propósito é servir blocos principalmente constantes ofdata através da rede usando um protocolo único que pertence somente a theHDFS.

O Sistema de Arquivos HadoopDistributed

usa a camada TCP /IP, a fim de transportar itscommunications fora. HDFS pode armazenar arquivos grandes, eo tamanho desses arquivos isEquivalent a cerca de um múltiplo de 64 MB. Os clientes que não querem communicatedirectly com o HDFS deve ter RPC, que é curto para a ordem Procedimento Callin remoto para se comunicar corretamente. Os arquivos grandes que HDFS podem transferir go tomultiple máquinas ao mesmo tempo.

Hadoop é baseado em uma plataforma Java e suporta theprocessing de grandes conjuntos de dados, como o que encontramos no Google. O Sistema de Arquivos HadoopDistributed é um ambiente totalmente integrateddevelopment

que é utilizada uma grande quantidade por um monte de differentcompanies e organizações para ambos, produtos e para realizar a pesquisa. Sistema de ficheiros Hadoopdistributed é a razão para a rápida transferência de dados entre os nodos, assim, permitindo que um sistema funcional de forma ininterrupta no caso de uma falha. Themain aplicação deste sistema tem sido nos motores de busca e para advertisingonline.

Vamos entender a lógica por trás HDFS. Ele armazena largefiles por distribuir os dados entre um conjunto de nós de dados. Master /slavearchitecture é usado neste, onde o mestre controla um ou mais escravos. Theinformation sobre os nós de dados é armazenado nos gânglios nome individual, e DataNodes são ligados uns aos outros como um conjunto. Para o usuário, ele irá representar arquivo onesingle. O benefício de HDFS é uma solução de armazenamento confiável para largefiles. A razão subjacente para a criação de HDFS é a fiabilidade dos dados, mesmo no caso de falha.