博客
关于我
关于使用FileMapping和直接操作File+缓存的IO性能对比
阅读量:401 次
发布时间:2019-03-04

本文共 703 字,大约阅读时间需要 2 分钟。

优化后的内容

作者在阅读Windows核心编程17章时,对于文件大规模读写操作的优化方法进行了深入思考。虽然使用FileMapping可以直接将文件映射到进程地址空间,通过操作系统管理换页和缓存操作,但这种方式在处理大文件IO时并不够理想。笔者认为直接将缓存交给操作系统处理可能不是最优的选择,特别是在大文件读写场景下。

基于此,笔者对原书中的示例代码进行了改写和对比。改写后的代码不仅支持原有的逻辑,还增加了对多线程和非文件映射的支持。具体来说,新增了对分配粒度(blocksize)的预先定义功能,默认为64KB,同时支持直接操作文件和缓存而非文件映射的方式。

测试一:文件映射下的多线程性能测试

  • 单线程测试

    • 分配粒度为64KB、512KB和4MB,分别对接近3GB的文件进行操作。
    • 测试结果显示,64KB粒度下性能较好,完成任务所需时间最短。
  • 多线程测试

    • 使用1、2和4个线程,分配粒度为512KB进行测试。
    • 结果表明,随着线程数的增加,性能显著提升。4线程下的完成时间最短。
  • 非文件映射测试

    • 使用1、2和4个线程,分配粒度为512KB进行测试。
    • 性能表现与文件映射下基本一致,但由于直接操作文件和缓存,资源管理更为灵活。
  • 测试二:真实环境下的性能测试

    由于无法完全关闭所有可能导致IO干扰的进程(如QQ、Chrome浏览器),实际测试结果受到了一定影响。建议在理想环境下进行更精确的性能对比。


    通过以上测试可以看出,优化后的代码在文件读写性能上表现优异。多线程处理能够有效提升性能,尤其是在IO带宽充足的情况下。对于大文件操作,合理选择分配粒度(如64KB)和线程数(如4线程),能够达到最佳性能。

    转载地址:http://dmbg.baihongyu.com/

    你可能感兴趣的文章
    Objective-C实现EM算法(附完整源码)
    查看>>
    Objective-C实现EM算法(附完整源码)
    查看>>
    Objective-C实现entropy熵算法(附完整源码)
    查看>>
    Objective-C实现euclidean distance欧式距离算法(附完整源码)
    查看>>
    Objective-C实现Euclidean GCD欧几里得最大公约数算法(附完整源码)
    查看>>
    Objective-C实现euclideanDistance欧氏距离算法(附完整源码)
    查看>>
    Objective-C实现euler method欧拉法算法(附完整源码)
    查看>>
    Objective-C实现euler modified变形欧拉法算法(附完整源码)
    查看>>
    Objective-C实现eulerianPath欧拉路径算法(附完整源码)
    查看>>
    Objective-C实现Eulers TotientFunction欧拉函数算法(附完整源码)
    查看>>
    Objective-C实现eulers totient欧拉方程算法(附完整源码)
    查看>>
    Objective-C实现EulersTotient欧拉方程算法(附完整源码)
    查看>>
    Objective-C实现eval函数功能(附完整源码)
    查看>>
    Objective-C实现even_tree偶数树算法(附完整源码)
    查看>>
    Objective-C实现Exceeding words超词(差距是ascii码的距离) 算法(附完整源码)
    查看>>
    Objective-C实现exchange sort交换排序算法(附完整源码)
    查看>>
    Objective-C实现ExponentialSearch指数搜索算法(附完整源码)
    查看>>
    Objective-C实现extended euclidean algorithm扩展欧几里得算法(附完整源码)
    查看>>
    Objective-C实现ExtendedEuclidean扩展欧几里德GCD算法(附完整源码)
    查看>>
    Objective-C实现external sort外排序算法(附完整源码)
    查看>>