MongoDB系列教程(八):GridFS存储详解
在前几篇教程中,我们已经介绍了MongoDB中的基本用法,比如数据库的创建、集合的创建和基本的CRUD操作等。在本篇教程中,我们将进一步介绍MongoDB的高级功能——GridFS存储。
GridFS是一种MongoDB提供的存储机制,它可以用于存储超大型数据,比如视频、音频、PDF等文件类型。在GridFS中,将文件存储为二进制数据块,然后将所有的二进制数据块合并成一个整体。文件在存储到GridFS后,可以被任何连接到MongoDB的应用程序所访问和使用。
当将文件存储到GridFS中,它会被切割成多个块。每个块都会被存储成一个文档。文档包括块的数据和元数据,比如文件名、上传时间、文件类型等。
除了文件存储,GridFS还将文件信息存储在文件存储的集合中,这个集合称为文件信息集合。文件信息集合包含一个文档,其中包含文件的基本元数据信息,比如文件名、文件类型、上传日期、块的大小等。
上传小文件时,使用MongoDB提供的“db.fs.files”集合。
示例代码:
db.fs.files.insert({
filename: "small_file.txt",
contentType: "text/plain"
});
var fileData = "这是一段小文件数据。"
db.fs.chunks.insert({
files_id: fileId,
data: BinData(0, fileData)
});
当上传大文件时,需要按照文件大小将文件进行分块,并将每个块作为一个文档存储到“db.fs.chunks”集合中。文件的基本元数据信息存储在文件信息集合中。
示例代码:
db.fs.files.insert({
filename: "big_file.txt",
chunkSize: 1024*1024, // 每块大小为1M
contentType: "text/plain"
});
var fs = require("fs");
var fileSize = fs.statSync("big_file.txt").size;
var chunkSize = 1024*1024; // 每块大小为1M
var numChunks = Math.ceil(fileSize/chunkSize);
var fileId = ObjectId(); // 创建文件ID
for (var i=0; i<numChunks; i++) {
var buffer = new Buffer(chunkSize);
var bytesRead = fs.readSync(fd, buffer, 0, chunkSize, i*chunkSize);
db.fs.chunks.insert({
files_id: fileId,
n: i,
data: buffer.slice(0, bytesRead)
});
}
db.fs.files.update({
_id: fileId
},{
$set: {
length: fileSize,
uploadDate: new Date()
}
});
下载小文件时,可以从“db.fs.chunks”集合中取出文件的二进制数据,然后将数据写入指定的文件中。
示例代码:
var fileId = ObjectId("59b636e3c0afa9172cf3e431"); // 文件ID
var fileDoc = db.fs.files.findOne({
_id: fileId
});
if (!fileDoc) {
print("文件不存在!");
return;
}
var filename = fileDoc.filename;
var contentType = fileDoc.contentType;
var cursor = db.fs.chunks.find({
files_id: fileId
}).sort({n: 1});
var bufferArray = [];
while (cursor.hasNext()) {
bufferArray.push(cursor.next().data);
}
var fileData = Buffer.concat(bufferArray)
require("fs").writeFileSync(filename, fileData);
print("文件下载成功!");
下载大文件时,需要循环遍历“db.fs.chunks”集合,依次取出每个块的数据,然后将数据写入指定的文件中。
示例代码:
var fileId = ObjectId("59b636e3c0afa9172cf3e431"); // 文件ID
var fileDoc = db.fs.files.findOne({
_id: fileId
});
if (!fileDoc) {
print("文件不存在!");
return;
}
var filename = fileDoc.filename;
var contentType = fileDoc.contentType;
var cursor = db.fs.chunks.find({
files_id: fileId
}).sort({n: 1});
var fd = require("fs").openSync(filename, "w");
while (cursor.hasNext()) {
var chunk = cursor.next();
var buffer = chunk.data.buffer;
require("fs").writeSync(fd, buffer, 0, buffer.byteLength, chunk.n*fileDoc.chunkSize);
}
require("fs").closeSync(fd);
print("文件下载成功!");
本篇教程介绍了MongoDB中的GridFS存储机制,讲解了GridFS文件存储和下载的实现方法,并附带示例代码。GridFS是MongoDB中非常重要的组件之一,在实际应用中可以用于存储大型文件和数据。在进行存储和下载操作时,需要遵循GridFS的相关规范。
本文链接:http://task.lmcjl.com/news/14424.html