-
目前,基于此方案,已在实验室内搭建了一个包含15个FEE板卡、240路ADC的数据获取系统。除此之外使用模拟源搭建了TOF探测器数据获取原型系统,其中所用的模拟源尽可能地模拟TOF探测器的数据情况。两系统均由TOF探测器数据获取系统中需用到的所有软件和FPGA固件形式的流处理节点所搭建,例如合并节点、命令路由节点、多路复用节点等。测试结果显示,两系统均可以正确工作,验证了所使用的流处理节点的正确性和该架构的可行性。在此基础之上,主要进行了传输和处理性能的测试,下面分别进行阐述。
-
在系统中主要包含三种传输场景:硬件到硬件、硬件到软件、软件到软件的传输。由于软件到软件的传输采用标准的网络接口传输,因此下文将主要对于前两种传输场景的传输性能进行测试。
TOF探测器DAQ中硬件到硬件的传输主要基于光纤链路进行建立并测试,该测试中光纤链路的理想带宽为10 Gbps。在传输中,传输包长的改变将导致传输速度发生改变,测试结果如图16所示,随着包长度变大,传输速率趋近于9.66 Gbps,传输效率达到96.6%。在实际应用中,将基于系统的具体需求选择合适的链路带宽。
考虑到PCIe总线的高带宽特性,在系统中使用PCIe总线传输方式来完成硬件和软件之间的通讯。本测试中使用PCIe 2.0×8,理想带宽为 4 Gbps。在测试中,分别测试了传输的数据帧长度和通道数对于传输速度的影响,测试结果分别如图17和图18所示。可看到,当保持通道数不变,数据帧长度增大时,当长度大于4 kB时,数据传输速率可达3.4 GB/s,带宽利用率可达 85%。当数据包长度保持在4 kB,数据通道总数大于等于2时,数据传输速率可以达3.4 GB/s,带宽利用率可以达到 85%。结果表明,当通道数大于1时,并行读出提高了传输效率。这证明了该模型在多通道的高速率传输场景下有良好的传输性能。
-
系统中流处理节点的处理性能对于整个系统的性能有较大的影响,因此分别对硬件和软件流处理节点进行测试,验证其是否可以满足系统需求。
对于硬件的流处理节点,主要以FPGA固件形式采用流水线方式工作,工作频率最低的流处理节点将影响硬件系统实时处理能力,目前经过综合和仿真,至少可工作在156.25 MHz频率下,当处理位宽为64 bit时,处理能力达10 Gbps。
在软件方面,目前在单个服务器上(CPU : Intel Xeon W-2104 @ 3.2 GHz, 4核)测试组装事例率,测试结果如表1所列,可看到随着合并节点中事例组装模块个数增多,最终每个合并节点速率可达8.2 kHz。由于在系统中采用MAP-T节点将不同事例的数据分发至不同的EBS,这样多个EBS可进行并行处理。即在实际应用中,可通过扩充服务器节点数量来满足系统实时处理和传输需求。对于TOF系统,两个事例组装服务器即可达到17 kHz,满足TOF系统的10 kHz事例率要求。
合并节点个数 输出事例率 输入帧率 速率/Mbps 1 2 941 47 056 753 2 5 128 82 051 1 313 基于以上测试,整个系统可满足10 Gbps的吞吐率和实时处理传输和处理能力,远远超出TOF系统的实时传输处理能力需求。
Design of Data Acquisition System for TOF Detectors in the CEE Experiment
doi: 10.11804/NuclPhysRev.38.2020070
- Received Date: 2020-09-28
- Rev Recd Date: 2020-11-25
- Available Online: 2021-09-27
- Publish Date: 2021-09-20
-
Key words:
- CEE /
- TOF /
- a generic stream processing DAQ
Abstract: The CSR External-target Experiment(CEE) system under development may reach an average data rate of 2 GB/s after being triggered. In response to the design requirements of the entire spectrometer, a generic stream processing data acquisition architecture D-Matrix is put forward in the article, and a specific scheme of D-Matrix in the Time-of-Flight detector(TOF) subsystem is proposed. The DAQ of the TOF system uses high-speed serial communication methods such as optical fiber and PCIe bus to complete data transmission from Front-End Electronics(FEE) to the servers, and deploys and cascades stream processing nodes with a unified interface to complete event building, command routing, Real-time status monitoring and displaying and data storage tasks. In addition, the DAQ of the TOF system has strong versatility in hardware and logic design, it also can be compatible with other sub-detector systems, and can be further applied to the global system of CEE experiments.
Citation: | Ruolin LIU, Junfeng YANG, Tianxing WANG, Hongwei ZHAO, Lei ZHANG. Design of Data Acquisition System for TOF Detectors in the CEE Experiment[J]. Nuclear Physics Review, 2021, 38(3): 301-310. doi: 10.11804/NuclPhysRev.38.2020070 |