固态硬盘-单个大磁盘读取与多个小磁盘读取磁盘、多个、固态、硬盘

2023-09-04 01:44:15 作者:ー愛上妳ヽ真是幸福

我正在进行一个项目,在该项目中我将文件系统用作某种数据库。我每天执行一个批处理作业,该作业将写入数万个小文件,然后从这些文件中读取。

这些文件完全可以放入机器的RAM中,但仍有几十GB。

电脑固态硬盘分区会影响使用性能与寿命吗

所以各种问题:

单个大型读取比许多相同大小的小型读取更快还是更慢? 我是否可以先用我的语言将所有文件写入内存中的FS,然后再以一批写入磁盘,从而提高性能? 同样的问题也适用于阅读。将整个文件夹加载到内存文件系统中,是否比调度散布在处理代码中的许多小读操作更快?

推荐答案

区块引用 单个大型读取往往比许多相同大小的小型读取更快还是更慢?

它往往更高效,因为内存和磁盘之间的往返次数更少。然而,在收益递减的情况下,可以使用像IOMeter或FIO这样的工具(取决于您的操作系统--有很多这样的工具)来确定一个好的聚合大小,并特别注意直接模式(绕过OS FS缓存)和回写或直写模式。考虑低延迟还是高吞吐量是最重要的,因为它们通常是相互冲突的。

Can anyone recommend disk I/O benchmarking software for Windows?

对于您的特定设备,通常有一些存储站点的评论可以显示最大读/写速度,这可以提供有价值的性能目标。您正在使用的总线接口(如SATA或PCIe)也起着重要作用。