Merge branch 'FlagOpen:main' into chatglm3_6b

FlagOpen · Sep 5, 2024 · 71add5b · 71add5b
2 parents 7290a9d + 3363e47
commit 71add5b
Show file tree

Hide file tree

Showing 1,190 changed files with 21,998 additions and 3,130 deletions.
diff --git a/README.md b/README.md
@@ -79,7 +79,7 @@
         <td>FP64算力</td>
       <td>算力</td>
       <td><a href="https://github.com/FlagOpen/FlagPerf/tree/main/base/benchmarks/computation-FP64/nvidia/A100">算子或原语</a>,<br><a href="https://github.com/FlagOpen/FlagPerf/tree/main/base/toolkits/computation-FP64/nvidia/A100">厂商专用工具</a></td>
-      <td><a href="https://github.com/FlagOpen/FlagPerf/tree/main/base/benchmarks/computation-FP64/metax">算子或原语</a></td>
+      <td>N/A</td>
       <td>N/A</td>
     </tr>
     <tr>
@@ -144,15 +144,15 @@
       <td>互联</td>
       <td><a href="https://github.com/FlagOpen/FlagPerf/tree/main/base/benchmarks/interconnect-h2d/nvidia/A100">算子或原语</a>,<br><a href="https://github.com/FlagOpen/FlagPerf/tree/main/base/toolkits/interconnect-h2d/nvidia/A100">厂商专用工具</a></td>
       <td>N/A</td>
-      <td>N/A</td>
+      <td><a href="https://github.com/FlagOpen/FlagPerf/tree/main/base/toolkits/interconnect-h2d/ascend">厂商专用工具</a></td>
     </tr>
     <tr>
       <td>10</td>
         <td>服务器内P2P直连</td>
       <td>互联</td>
       <td><a href="https://github.com/FlagOpen/FlagPerf/tree/main/base/benchmarks/interconnect-P2P_intraserver/nvidia/A100">算子或原语</a>,<br><a href="https://github.com/FlagOpen/FlagPerf/tree/main/base/toolkits/interconnect-P2P_intraserver/nvidia/A100">厂商专用工具</a></td>
       <td>N/A</td>
-      <td>N/A</td>
+      <td><a href="https://github.com/FlagOpen/FlagPerf/tree/main/base/toolkits/interconnect-P2P_intraserver/ascend">厂商专用工具</a></td>
     </tr>
     <tr>
       <td>11</td>
@@ -212,6 +212,12 @@
       <td>nativetorch<br>flaggems</td>
       <td><a href="https://github.com/FlagOpen/FlagPerf/tree/main/operation/benchmarks/linear/nvidia">A100_40_SXM</a></td>
     </tr>
+    <tr>
+      <td>...</td>
+        <td>...</td>
+      <td>...</td>
+      <td>...</td>
+    </tr>
 </tbody>
 </table>
 
@@ -244,6 +250,7 @@
     <td class="xl65" x:str>天数智芯</td>
     <td class="xl65" x:str>腾讯九霄</td>
     <td class="xl65" x:str>沐曦</td>
+    <td class="xl65" x:str>海飞科</td>
    </tr>
    <tr height="16.80" style='height:16.80pt;'>
     <td class="xl65" x:str>1</td>
@@ -254,6 +261,7 @@
     <td class="xl69" x:str>f16</td>
        <td class="xl69" x:str>f16</td>
        <td class="xl69" x:str>f32/f16</td>
+       <td class="xl69" x:str>N/A</td>
    </tr>
     <tr height="16.80" style='height:16.80pt;'>
     <td class="xl65" x:str>2</td>
@@ -264,6 +272,7 @@
     <td class="xl69" x:str>f16</td>
         <td class="xl69" x:str>N/A</td>
         <td class="xl69" x:str>f32/f16</td>
+        <td class="xl69" x:str>N/A</td>
    </tr>
     <tr height="16.80" style='height:16.80pt;'>
     <td class="xl65" x:str>3</td>
@@ -274,6 +283,7 @@
     <td class="xl69" x:str>N/A</td>
         <td class="xl69" x:str>N/A</td>
         <td class="xl69" x:str>f32/f16</td>
+        <td class="xl69" x:str>N/A</td>
    </tr>
     <tr height="16.80" style='height:16.80pt;'>
     <td class="xl65" x:str>4</td>
@@ -284,6 +294,7 @@
     <td class="xl69" x:str>f16</td>
         <td class="xl69" x:str>N/A</td>
         <td class="xl69" x:str>f32/f16</td>
+        <td class="xl69" x:str>N/A</td>
    </tr>
    <tr height="16.80" style='height:16.80pt;'>
     <td class="xl65" x:str>5</td>
@@ -294,6 +305,7 @@
     <td class="xl69" x:str>N/A</td>
        <td class="xl69" x:str>N/A</td>
        <td class="xl69" x:str>f32/f16</td>
+       <td class="xl69" x:str>N/A</td>
    </tr>
     <tr height="16.80" style='height:16.80pt;'>
     <td class="xl65" x:str>6</td>
@@ -304,6 +316,7 @@
     <td class="xl69" x:str>N/A</td>
         <td class="xl69" x:str>N/A</td>
         <td class="xl69" x:str>f32/f16</td>
+        <td class="xl69" x:str>N/A</td>
    </tr>
     <tr height="16.80" style='height:16.80pt;'>
     <td class="xl65" x:str>7</td>
@@ -314,6 +327,7 @@
     <td class="xl69" x:str>N/A</td>
         <td class="xl69" x:str>N/A</td>
         <td class="xl69" x:str>f32/f16</td>
+        <td class="xl69" x:str>f32/f16</td>
    </tr>
     <tr height="16.80" style='height:16.80pt;'>
     <td class="xl65" x:str>8</td>
@@ -324,6 +338,7 @@
     <td class="xl69" x:str>N/A</td>
         <td class="xl69" x:str>N/A</td>
         <td class="xl69" x:str>f16</td>
+        <td class="xl69" x:str>N/A</td>
     </tr>
 <tr height="16.80" style='height:16.80pt;'>
    <td class="xl65" x:str>9</td>
@@ -334,6 +349,7 @@
     <td class="xl69" x:str>N/A</td>
         <td class="xl69" x:str>N/A</td>
         <td class="xl69" x:str>f32/f16</td>
+        <td class="xl69" x:str>N/A</td>
     </tr>
     <tr height="16.80" style='height:16.80pt;'>
    <td class="xl65" x:str>10</td>
@@ -344,7 +360,8 @@
     <td class="xl69" x:str>N/A</td>
         <td class="xl69" x:str>N/A</td>
         <td class="xl69" x:str>N/A</td>
-    </tr><<tr height="16.80" style='height:16.80pt;'>
+        <td class="xl69" x:str>N/A</td>
+    </tr><tr height="16.80" style='height:16.80pt;'>
    <td class="xl65" x:str>11</td>
     <td class="xl65" height="33.60" style='height:33.60pt;border-right:none;border-bottom:none;' x:str><a href="https://github.com/FlagOpen/FlagPerf/tree/main/inference/benchmarks/llama3_8b_mmlu" style="text-decoration:none" target="_parent">LLaMA3-8B MMLU</td>
         <td class="xl69" x:str>LLM</td>
@@ -353,7 +370,9 @@
     <td class="xl69" x:str>N/A</td>
         <td class="xl69" x:str>N/A</td>
         <td class="xl69" x:str>N/A</td>
-    </tr></table>
+        <td class="xl69" x:str>N/A</td>
+    </tr>
+</table>
 
 
 ## 如何使用FlagPerf进行AI硬件评测

diff --git a/assets/imgs/overview.png b/assets/imgs/overview.png
diff --git a/base/benchmarks/computation-BF16/cambricon/MLU/README.md b/base/benchmarks/computation-BF16/cambricon/MLU/README.md
@@ -0,0 +1,44 @@
+# 参评AI芯片信息
+
+* 厂商：Cambricon
+
+## 服务器1
+
+- 产品名称：/
+- 产品型号：/
+- TDP：/
+
+# 所用服务器配置
+
+* 服务器数量：1
+
+## 服务器1
+
+* 单服务器内使用卡数：8
+* 服务器型号：/
+* 操作系统版本：Ubuntu 22.04.1 LTS
+* 操作系统内核：linux5.15.0-97-generic
+* CPU：/
+* docker版本：25.0.3
+* 内存：2TiB
+* 服务器间AI芯片直连规格及带宽：此评测样例无需服务器间通信
+
+# 评测结果
+
+## 核心评测结果
+
+| 评测项  | BF16算力测试值(8卡平均) | BF16算力标定值(8卡平均) | 测试标定比例(8卡平均) |
+| ---- | ---------------- | ---------------- | ------------- |
+| 评测结果 | /      | /      | /        |
+
+## 能耗监控结果
+
+| 监控项  | 系统平均功耗 | 系统最大功耗 | 系统功耗标准差 | 单机TDP | 单卡平均功耗(8卡平均) | 单卡最大功耗(8卡最大) | 单卡功耗标准差(8卡平均) | 单卡TDP |
+| ---- | ------------ | ------------ | ------------- | ----- | ------------- | ------------- | -------------- | ----- |
+| 监控结果 | /      | /     | /        | /     | /        | /       | /         | /  |
+
+## 其他重要监控结果
+
+| 监控项  | 系统平均CPU占用 | 系统平均内存占用 | 单卡平均温度(8卡平均) | 单卡平均显存占用(8卡平均) |
+| ---- | --------------- | -------------- | ------------- | --------------- |
+| 监控结果 | /  | /        | /       |/   |
diff --git a/base/benchmarks/computation-BF16/cambricon/MLU/case_config.yaml b/base/benchmarks/computation-BF16/cambricon/MLU/case_config.yaml
@@ -0,0 +1,6 @@
+M: 10240
+N: 10240
+K: 10240
+WARMUP: 100
+ITERS: 50000
+DIST_BACKEND: "cncl"
diff --git a/base/benchmarks/computation-BF16/cambricon/MLU/env.sh b/base/benchmarks/computation-BF16/cambricon/MLU/env.sh
@@ -0,0 +1 @@
+echo "Cambricon PLACEHOLDER ENV.SH"
diff --git a/...s/computation-BF16/metax/requirements.txt → ...ation-BF16/cambricon/MLU/requirements.txt b/...s/computation-BF16/metax/requirements.txt → ...ation-BF16/cambricon/MLU/requirements.txt
diff --git a/base/benchmarks/computation-BF16/main.py b/base/benchmarks/computation-BF16/main.py
@@ -3,6 +3,13 @@
 # Licensed under the Apache License, Version 2.0 (the "License")
 #!/usr/bin/env python3
 # -*- coding: UTF-8 -*-
+
+# cambricon mlu import
+try:
+    from torch_mlu.utils.model_transfer import transfer
+except ImportError:
+    pass
+
 import torch
 import torch.distributed as dist
 import os

diff --git a/...nchmarks/computation-BF16/metax/README.md → ...rks/computation-BF16/metax/C550/README.md b/...nchmarks/computation-BF16/metax/README.md → ...rks/computation-BF16/metax/C550/README.md
@@ -4,9 +4,9 @@
 
 ## 服务器1
 
-- 产品名称：C500
-- 产品型号：曦云®C500 64G
-- TDP：350W
+- 产品名称：C550
+- 产品型号：曦云®C550 64G
+- TDP：450W
 
 # 所用服务器配置
 
@@ -15,10 +15,10 @@
 ## 服务器1
 
 * 单服务器内使用卡数：8
-* 服务器型号：同泰怡 G658V3
+* 服务器型号：OAM C550-1500
 * 操作系统版本：Ubuntu 20.04.6 LTS
 * 操作系统内核：linux5.15.0-58-generic
-* CPU：Montage Jintide(R) C8458P-176core
+* CPU：Inter(R) Xeon(R) Plattinum 8480+
 * docker版本：24.0.7
 * 内存：2TiB
 * 服务器间AI芯片直连规格及带宽：此评测样例无需服务器间通信
@@ -29,16 +29,16 @@
 
 | 评测项  | BF16算力测试值(8卡平均) | BF16算力标定值(8卡平均) | 测试标定比例(8卡平均) |
 | ---- | ---------------- | ---------------- | ------------- |
-| 评测结果 |      |        | 94.2%         |
+| 评测结果 |      |        | 82.8%         |
 
 ## 能耗监控结果
 
 | 监控项  | 系统平均功耗 | 系统最大功耗 | 系统功耗标准差 | 单机TDP | 单卡平均功耗(8卡平均) | 单卡最大功耗(8卡最大) | 单卡功耗标准差(8卡平均) | 单卡TDP |
 | ---- | ------------ | ------------ | ------------- | ----- | ------------- | ------------- | -------------- | ----- |
-| 监控结果 | 1866.92W      | 1998.0W      | 88.62W        | /     | 62.5W        | 68.0W        | 5.5W          | 350W  |
+| 监控结果 | 4207.5      | 4233.0      | 25.5        | /     | 125.5W        | 150.0W        | 24.5W          | 450W  |
 
 ## 其他重要监控结果
 
 | 监控项  | 系统平均CPU占用 | 系统平均内存占用 | 单卡平均温度(8卡平均) | 单卡平均显存占用(8卡平均) |
 | ---- | --------------- | -------------- | ------------- | --------------- |
-| 监控结果 | 3.097%          | 1.313%         | 36.0°C       | 3.752%       |
+| 监控结果 | 0.784%          | 0.55%         | 35.5°C       | 5.003%       |
diff --git a/base/benchmarks/computation-BF16/metax/C550/case_config.yaml b/base/benchmarks/computation-BF16/metax/C550/case_config.yaml
@@ -0,0 +1,5 @@
+M: 6656
+N: 2048
+K: 4096
+ITERS: 500
+DIST_BACKEND: "nccl"
diff --git a/.../benchmarks/computation-BF16/metax/env.sh → ...hmarks/computation-BF16/metax/C550/env.sh b/.../benchmarks/computation-BF16/metax/env.sh → ...hmarks/computation-BF16/metax/C550/env.sh
diff --git a/...s/computation-FP64/metax/requirements.txt → ...putation-BF16/metax/C550/requirements.txt b/...s/computation-FP64/metax/requirements.txt → ...putation-BF16/metax/C550/requirements.txt
diff --git a/base/benchmarks/computation-FP16/cambricon/MLU/README.md b/base/benchmarks/computation-FP16/cambricon/MLU/README.md
@@ -0,0 +1,44 @@
+# 参评AI芯片信息
+
+* 厂商：Cambricon
+
+## 服务器1
+
+- 产品名称：/
+- 产品型号：/
+- TDP：/
+
+# 所用服务器配置
+
+* 服务器数量：1
+
+## 服务器1
+
+* 单服务器内使用卡数：8
+* 服务器型号：/
+* 操作系统版本：Ubuntu 22.04.1 LTS
+* 操作系统内核：linux5.15.0-97-generic
+* CPU：/
+* docker版本：25.0.3
+* 内存：2TiB
+* 服务器间AI芯片直连规格及带宽：此评测样例无需服务器间通信
+
+# 评测结果
+
+## 核心评测结果
+
+| 评测项  | FP16算力测试值(8卡平均) | FP16算力标定值(8卡平均) | 测试标定比例(8卡平均) |
+| ---- | ---------------- | ---------------- | ------------- |
+| 评测结果 | /      | /      | /        | |
+
+## 能耗监控结果
+
+| 监控项  | 系统平均功耗 | 系统最大功耗 | 系统功耗标准差 | 单机TDP | 单卡平均功耗(8卡平均) | 单卡最大功耗(8卡最大) | 单卡功耗标准差(8卡平均) | 单卡TDP |
+| ---- | ------------ | ------------ | ------------- | ----- | ------------- | ------------- | -------------- | ----- |
+| 监控结果 | /      | /     | /        | /     | /        | /       | /         | /  |
+
+## 其他重要监控结果
+
+| 监控项  | 系统平均CPU占用 | 系统平均内存占用 | 单卡平均温度(8卡平均) | 单卡平均显存占用(8卡平均) |
+| ---- | --------------- | -------------- | ------------- | --------------- |
+| 监控结果 | /  | /        | /       |/   |
diff --git a/base/benchmarks/computation-FP16/cambricon/MLU/case_config.yaml b/base/benchmarks/computation-FP16/cambricon/MLU/case_config.yaml
@@ -0,0 +1,4 @@
+M: 10240
+N: 10240
+K: 10240
+DIST_BACKEND: "cncl"
diff --git a/base/benchmarks/computation-FP16/cambricon/MLU/env.sh b/base/benchmarks/computation-FP16/cambricon/MLU/env.sh
@@ -0,0 +1 @@
+echo "Cambricon PLACEHOLDER ENV.SH"
diff --git a/...s/computation-TF32/metax/requirements.txt → ...ation-FP16/cambricon/MLU/requirements.txt b/...s/computation-TF32/metax/requirements.txt → ...ation-FP16/cambricon/MLU/requirements.txt
diff --git a/base/benchmarks/computation-FP16/main.py b/base/benchmarks/computation-FP16/main.py
@@ -3,6 +3,13 @@
 # Licensed under the Apache License, Version 2.0 (the "License")
 #!/usr/bin/env python3
 # -*- coding: UTF-8 -*-
+
+# cambricon mlu import
+try:
+    from torch_mlu.utils.model_transfer import transfer
+except ImportError:
+    pass
+
 import torch
 import torch.distributed as dist
 import os

diff --git a/...nchmarks/computation-TF32/metax/README.md → ...rks/computation-FP16/metax/C550/README.md b/...nchmarks/computation-TF32/metax/README.md → ...rks/computation-FP16/metax/C550/README.md
@@ -4,9 +4,9 @@
 
 ## 服务器1
 
-- 产品名称：C500
-- 产品型号：曦云®C500 64G
-- TDP：350W
+- 产品名称：C550
+- 产品型号：曦云®C550 64G
+- TDP：450W
 
 # 所用服务器配置
 
@@ -15,10 +15,10 @@
 ## 服务器1
 
 * 单服务器内使用卡数：8
-* 服务器型号：同泰怡 G658V3
+* 服务器型号：OAM C550-1500
 * 操作系统版本：Ubuntu 20.04.6 LTS
 * 操作系统内核：linux5.15.0-58-generic
-* CPU：Montage Jintide(R) C8458P-176core
+* CPU：Inter(R) Xeon(R) Plattinum 8480+
 * docker版本：24.0.7
 * 内存：2TiB
 * 服务器间AI芯片直连规格及带宽：此评测样例无需服务器间通信
@@ -27,18 +27,18 @@
 
 ## 核心评测结果
 
-| 评测项  | BF16算力测试值(8卡平均) | BF16算力标定值(8卡平均) | 测试标定比例(8卡平均) |
+| 评测项  | FP16算力测试值(8卡平均) | FP16算力标定值(8卡平均) | 测试标定比例(8卡平均) |
 | ---- | ---------------- | ---------------- | ------------- |
-| 评测结果 |      |        | 88.55%         |
+| 评测结果 |      |        | 83.5%         |
 
 ## 能耗监控结果
 
 | 监控项  | 系统平均功耗 | 系统最大功耗 | 系统功耗标准差 | 单机TDP | 单卡平均功耗(8卡平均) | 单卡最大功耗(8卡最大) | 单卡功耗标准差(8卡平均) | 单卡TDP |
 | ---- | ------------ | ------------ | ------------- | ----- | ------------- | ------------- | -------------- | ----- |
-| 监控结果 | 2012.0W      | 3486.0W      | 450.54W        | /     | 69.0W        | 81.0W        | 12.0W          | 350W  |
+| 监控结果 | 4182.0W      | 4182.0W      | 0.0W        | /     | 112.5W        | 124.0W        | 11.5W          | 450W  |
 
 ## 其他重要监控结果
 
 | 监控项  | 系统平均CPU占用 | 系统平均内存占用 | 单卡平均温度(8卡平均) | 单卡平均显存占用(8卡平均) |
 | ---- | --------------- | -------------- | ------------- | --------------- |
-| 监控结果 | 3.423%          | 1.34%         | 36.5°C       | 5.148%       |
+| 监控结果 | 0.872%          | 0.55%         | 34.5°C       | 4.71%       |
diff --git a/base/benchmarks/computation-FP16/metax/C550/case_config.yaml b/base/benchmarks/computation-FP16/metax/C550/case_config.yaml
@@ -0,0 +1,5 @@
+M: 6656
+N: 2048
+K: 4096
+ITERS: 500
+DIST_BACKEND: "nccl"
diff --git a/.../benchmarks/computation-FP16/metax/env.sh → ...hmarks/computation-FP16/metax/C550/env.sh b/.../benchmarks/computation-FP16/metax/env.sh → ...hmarks/computation-FP16/metax/C550/env.sh
diff --git a/...n_memory-bandwidth/metax/requirements.txt → ...putation-FP16/metax/C550/requirements.txt b/...n_memory-bandwidth/metax/requirements.txt → ...putation-FP16/metax/C550/requirements.txt