LWN:多精度时间戳的再思考!

关注了就能看到更多这么棒的文章哦~

Rethinking multi-grain timestamps

By Jonathan Corbet
October 9, 2023
ChatGPT translation
https://lwn.net/Articles/946394/

在 6.6 合并窗口期间添加到主线内核(mainline kernel)的一个重大功能就是多粒度的时间戳(multi-grain timestamp)。它允许内核有选择性地以更高精度来存储文件修改时间,而不会影响性能。不幸的是,这个特性还引发了一些令人意外的性能回退,因此很快就被撤出了内核。我们来看一下这个功能出了什么问题,以及相关开发人员计划如何继续下一步,会对大家有所启发。

文件系统里维护了若干时间戳,有的用来记录此文件的修改时间、有的记录元数据(metadata)更改时间,有的是访问时间(尽管通常出于性能原因关闭了访问时间的更新功能)。这些时间戳的分辨率相对较粗糙,以毫秒为单位;对于这些信息的通常用户来说足够好了。然而,在某些情况下需要更高的分辨率;一个突出的例子就是通过 NFS 传送文件。现代 NFS 协议可以积极地缓存文件内容以提高性能,但必须在底层文件被修改时丢弃掉这些缓存。通过修改时间戳来通知客户端进行修改是一种方式,但这仅在时间戳的分辨率足够高,可以反映频繁更改时才有效。

理论上,以更高分辨率记录时间戳是很简单的,只要文件系统有额外的数据空间。然而,更高分辨率数据带来的负担也是一个问题;低分辨率时间戳变化相对不频繁,而更频繁变化的时间戳必然导致更频繁对文件系统进行写回。这会增加 I/O 速率,尤其是对于带有日志记录功能的文件系统,其中每个元数据的更新也必须通过日志传递。增加精度的成本是显著的,尤其是如果因为一些几乎永远不会使用更高精度的数据而增加的成本更加不受欢迎。

解决方案就是多粒度时间戳,也就是只有在确实有人在关注的情况下才会记录文件的更高精度时间戳。通常情况下,时间戳数据仅以当前的相对低精度存储,这意味着可以跳过对频繁写入的文件的许多元数据的更新。然而,如果有人(例如一个进程或内核 NFS 服务器)查询特定文件的修改时间,那么时间戳字段中通常不使用的bit将被设置,用来记录查询发生过这个事实。后续的时间戳更新将以高精度执行,因为认为该文件的修改时间现在很受关注。只要有人继续查询该文件的修改时间,那么内核将继续以高分辨率更新该时间。

这就是在 6.6 版本中合并了的功能。问题在于,这个算法可能会对两个文件的相对修改时间产生误导性的结果。想象以下序列的事件:

  1. 写入 file1 。

  2. 查询 file2 的修改时间。

  3. 写入 file2 。

  4. 再次查询 file2 的修改时间。

  5. 再次写入 file1 。

  6. 查询 file1 的修改时间。

在这个序列之后,在步骤 6 中获取的 file1 的修改时间应该比 file2 的时间晚 —— 毕竟它是最后一个被写入的文件。但是,由于它的修改时间没有被查询,因此修改时间戳将以低分辨率存储。与此同时,由于存在关于 file2 的查询(尤其是步骤 2),其修改时间戳(在步骤 3 中设置并在步骤 4 中查询)将使用更高分辨率。这可能导致 file2 看起来已经在 file1 之后被更改,与实际发生的情况相反。这进而可能会使像 make 这样非常关心文件的相对修改时间的程序感到困惑。

一旦明确了存在这个问题,也就清楚了多粒度时间戳无法以其初始形式在 6.6 版本中发布。人们考虑了各种选择,包括将该特性隐藏在mount选项中,或者暂时禁用该功能。然而,正如 Christian Brauner 所描述的那样,最终决定是完全撤销该功能:

“在讨论各种修复方案时,决定重新审视问题,最终探索一种只将这种精细的时间戳内部暴露给 NFS,而不会暴露给用户空间的解决方案。

由于有多种解决方案正在讨论中,所以此处要做的现实工作不是修复或禁用它,而是干脆撤销它。”

该功能已经在 6.6-rc3 版本中被撤销(revert)。

接下来可能会看到 Jeff Layton 提出的 这组patch,他是多粒度时间戳相关工作的作者。这组patch首先将底层机制添加到内核中,以便可以像以前一样选择性地存储高精度时间戳。时间戳在报告给用户空间之前会被精确地截断,因此高分辨率在虚拟文件系统层之外是不可见的。这应该可以防止上面描述的问题。

该系列还包括对 XFS 文件系统的更改,当与 NFS 配合使用时,该文件系统在需要时最能受益于高精度时间戳(其他流行的文件系统已经实现了 "change cookie" 支持,用来提供 NFS 客户端需要的关于何时丢弃缓存的信息)。通过这个改动,XFS 将使用时间戳信息来创建自己的 NFS change cookie;更高的精度就可以确保文件内容更改时会修改 cookie。

Layton 表示希望看到这些改动可以在 6.7 版本中合并。它们已经合入了虚拟文件系统这个git分支中,并目前在 linux-next 中也存在,所以看来很可能会这样发生。如果是这样的话,高分辨率的时间戳将不像最初预想的那样广泛可用,但实际上没有迹象表明用户空间需要这种分辨率;Linus Torvalds 对这种精度是不是必要的或者说有用的 持有一定的批评态度。但最迫切的问题 —— 为 NFS 提供准确的更改信息 —— 最终希望能已经被解决了。

全文完
LWN 文章遵循 CC BY-SA 4.0 许可协议。

欢迎分享、转载及基于现有协议再创作~

长按下面二维码关注,关注 LWN 深度文章以及开源社区的各种新近言论~

format,png

内容概要:本文提出了一种基于非合作博弈理论的居民负荷分层调度模型,并结合双层鲸鱼优化算法(Two-level Whale Optimization Algorithm)进行高效求解,模型与算法均通过Matlab代码实现。研究针对电力系统中居民侧用电负荷的复杂调度问题,引入非合作博弈机制刻画各用户之间的利益竞争关系,实现负荷的分层优化分配;同时设计双层优化架构,上层优化资源配置,下层模拟用户自主决策行为,提升了模型的实用性与合理性。通过智能优化算法求解多层级、非凸非线性的博弈模型,有效提高了调度方案的收敛性与全局寻优能力,适用于现代智能电网中的需求侧管理与能源优化场景。; 适合人群:具备电力系统基础理论知识和Matlab编程能力,从事智能电网、能源优化调度、需求侧管理、博弈论应用等方向的科研人员、高校研究生及工程技术人员。; 使用场景及目标:①应用于居民区电力负荷的分层优化调度系统设计与仿真分析;②为非合作博弈在多主体能源系统建模中的应用提供方法论支持;③利用双层鲸鱼算法解决具有嵌套结构的复杂双层优化问题,提升求解效率与调度方案的可行性。; 阅读建议:建议读者结合提供的Matlab代码深入理解模型构建逻辑与算法实现流程,重点关注博弈模型的效用函数设计、纳什均衡求解思路以及双层优化结构的迭代机制,宜配合实际用电数据开展复现实验以验证模型有效性与鲁棒性。
内容概要:本文围绕基于自适应神经模糊推理系统(ANFIS)智能控制器的可再生能源微电网功率管理系统展开研究,结合Simulink仿真实现,深入探讨了微电网中功率的智能调控与经济机组组合调度问题。通过引入ANFIS控制器,有效应对风能、光伏等可再生能源出力的波动性与不确定性,提升系统运行的稳定性与电能质量。研究内容涵盖微电网多源协调控制策略、功率平衡管理、优化调度模型构建及仿真验证,实现了对分布式电源、储能系统和负荷的协同优化,兼顾经济性与可靠性目标,并通过仿真平台验证了所提方法的有效性与优越性。; 适合人群:具备电力系统、自动化或新能源相关专业背景,熟悉Matlab/Simulink仿真环境,从事微电网能量管理、智能控制、能源优化等领域研究的研究生、科研人员及工程技术人员。; 使用场景及目标:①用于高比例可再生能源接入场景下的微电网能量管理系统研发与教学实践;②为实现微电网功率稳定控制与经济高效运行提供先进的智能控制解决方案;③支撑高水平学术论文复现、科研课题攻关及实际工程项目的仿真验证与方案优化。; 阅读建议:建议结合提供的Simulink模型与相关代码进行动手实践,重点关注ANFIS控制器的设计流程、规则库构建与参数调优方法,并通过与传统PID或MPC控制策略的对比实验,深入理解其在动态响应与鲁棒性方面的优势。同时可进一步拓展文中提出的优化调度逻辑,应用于多目标、多约束的复杂实际应用场景中。
内容概要:本文档聚焦于“直流电机双闭环控制Matlab仿真”,系统阐述了基于Matlab/Simulink平台实现直流电机双闭环控制系统(主要包括速度环与电流环)的设计与仿真全过程。通过构建直流电机的数学模型,结合PI控制器进行调控,实现对电机转速和电枢电流的高精度动态控制,验证控制策略的稳定性与响应性能。文档详细介绍了仿真模型的搭建流程、关键参数的整定方法、系统动态波形的分析手段以及仿真结果的有效性验证,体现了经典自动控制理论在实际电机系统中的工程应用,是电机控制与电力电子技术相结合的典型研究案例。; 适合人群:具备自动控制原理、电机与拖动基础、电力电子技术和Matlab/Simulink仿真能力的电气工程、自动化、机电一体化等专业的本科生、研究生及从事电机驱动系统研发的工程技术人员。; 使用场景及目标:①作为高校课程设计或实验教学材料,帮助学生深入理解双闭环调速系统的工作机理与工程实现;②服务于科研项目,为新型电机控制算法(如滑模、模糊PID等)的开发与性能对比提供基础仿真验证平台;③作为工业界产品前期设计的仿真工具,用于评估不同控制策略在动态响应、抗干扰能力和稳态精度方面的可行性。; 阅读建议:建议读者在学习过程中紧密结合自动控制理论知识,亲手在Simulink环境中搭建完整的双闭环仿真模型,通过反复调整PI控制器的比例与积分参数,观察并分析转速、电流的阶跃响应曲线,从而深刻理解反馈控制的本质、系统稳定性条件以及参数整定对动态性能的影响,进而掌握电机控制系统的设计精髓。
内容概要:本文研究了基于Benders分解与输电网运营商(TSO)和配电网运营商(DSO)协调机制的不确定环境下输配电网双层优化模型,旨在提升高比例可再生能源接入背景下电网系统的协调性与鲁棒性。模型上层以系统整体经济性为目标进行优化调度,下层采用Benders分解实现TSO与DSO之间的信息交互与协同决策,通过引入割平面迭代机制保障求解的收敛性与全局最优性。研究充分考虑新能源出力与负荷需求的不确定性,构建了具有强适应性的双层优化框架,并基于Matlab完成了模型的编程实现与仿真验证,有效解决了多主体、多层级、多不确定性因素耦合下的电力系统优化调度难题。; 适合人群:具备电力系统分析、运筹学与优化理论基础,熟悉Matlab编程环境,从事智能电网、能源互联网、分布式能源集成、电力市场等方向的研究生、科研人员及工程技术人员。; 使用场景及目标:①研究高渗透率可再生能源条件下输配电网协同优化调度策略;②掌握Benders分解在电力系统双层优化建模中的应用方法与实现技巧;③构建TSO-DSO多主体协调机制,实现跨层级电网资源的高效互动与决策解耦;④提升对不确定性建模、分解算法设计及大规模优化问题求解能力。; 阅读建议:建议读者结合Matlab代码逐模块剖析模型构建流程,重点理解Benders割的生成逻辑、主从问题的信息传递机制及收敛判据设定,推荐在标准IEEE测试系统上复现实验以深入掌握模型特性与算法性能。
内容概要:本文系统研究了基于灰狼优化算法(GWO)优化Elman神经网络的方法,并提供了完整的Matlab代码实现。研究重点在于利用灰狼优化算法强大的全局搜索能力,对Elman神经网络的关键参数进行智能优化,从而克服传统训练方法易陷入局部最优的缺陷,显著提升模型在时序预测与非线性系统建模任务中的精度与稳定性。文章详细阐述了Elman网络的动态反馈机制及其在处理时间序列数据方面的优势,构建了GWO与Elman相结合的混合预测框架,涵盖了从模型搭建、参数寻优、仿真测试到结果分析的全流程,特别适用于风电功率预测、电力负荷预测等具有强时变性和不确定性的工程应用场景。; 适合人群:具备一定Matlab编程能力和神经网络基础知识,从事智能优化算法、时间序列预测、电力系统分析或新能源出力预测等相关领域的研究生、科研人员及工程技术人员。; 使用场景及目标:①掌握灰狼优化算法在神经网络超参数优化中的具体实施路径与技术细节;②深入理解Elman递归神经网络与群体智能优化算法融合的建模范式;③将其应用于风电、光伏等新能源发电功率预测及复杂动态系统的建模与仿真,提升预测性能。; 阅读建议:建议读者结合所提供的Matlab代码进行动手实践,重点关注GWO算法与Elman网络的接口设计、适应度函数构建及参数优化迭代过程,可通过调整数据集或迁移至其他预测场景以深化理解和验证模型泛化能力。
源码直接下载地址: https://pan.quark.cn/s/a4b39357ea24 JMeter的录制方法及过滤策略、线程组构成要素是什么? JMeter能够借助第三方录制工具(如BadBoy)或其自带的录制功能来完成录制工作,JMeter的录制机制:是借助HTTP代理服务器来捕获用户在操作网站时产生的链接信息。JMeter允许在配置HTTP代理服务器时,排除掉非必要的CSS、GIF等资源,以此减轻不必要的负担。 线程组涵盖:线程组的名称标识、附加注释说明、线程组内的用户数量、线程组完成请求的时间分配、循环执行次数、时间调度机制 【JMeter性能测试详解】 JMeter是一款功能强大的性能测试软件,常用于模拟大规模用户同时访问Web应用,用以衡量系统的性能表现和稳定性。接下来将具体说明JMeter的操作方法、线程组的设置以及性能测试的重要环节。 **JMeter录制与过滤** JMeter可以通过BadBoy等外部工具或其自带的HTTP代理服务器来记录用户的行为。其录制原理是JMeter作为HTTP代理,拦截用户浏览器发出的所有网络请求。在配置代理服务器时,能够过滤掉不必要的CSS、GIF等静态资源,以减少无效的负载。 **线程组配置** 线程组是JMeter测试计划的核心部分,包含以下几个关键参数: 1. **线程组名**:用于区分测试计划中的不同测试区域。 2. **注释**:用于记录测试目标或注意事项。 3. **线程数**:用于模拟并发用户的数量。 4. **循环次数**:每个线程需要执行的循环次数,可以设置为无限循环。 5. **Ramp-up period**:规定所有线程启动的时间跨度,旨在平滑增加负载。 6. **定时器**:例如思考时间或...
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值