HPCシステムズではエンジニアを募集しています。詳しくはこちらをご覧ください。
HPCシステムズのエンジニア達による技術ブログ

Tech Blog

HPCシステムズのSIP OSをアップデートする方法

高性能なAIの普及に伴い、これまで以上に高いセキュリティ対応が求められる場面が増えてきました。しかしHPC環境では、性能を最大限引き出すために攻めたチューニングを施すため、修正モジュールやパッチがアプリケーションの性能や動作に悪影響を及ぼす恐れが十分にあります。加えて、単にアップデートを実行しただけでは、ドライバ更新などで失敗することも珍しくありません。安易に当てることも、当てずに放置することもできない、HPCシステムを運用していくにあたり、非常に頭の痛い問題です。

弊社ではアプリケーションを環境に合わせて最適化してビルドしているため、納品後にOSやドライバへ修正モジュールを適用された場合、その更新が当初の精度・パフォーマンスにどのような影響を及ぼすかを弊社で事前に保証することは原理的に困難です。そのため、セキュリティ対応につきましてはOSセキュリティ保守ガイドラインに沿ってご対応をお願いしておりますが、弊社としても対策と性能を両立できる方法を引き続き模索してまいります。

先月、深刻な脆弱性が立て続けに報告され、その対応として暫定対処策を弊社HP上でご案内いたしました。これらの暫定対処策は、問題が見つかったモジュールを無効化するという方法です。いずれもHPC環境にとってクリティカルではないモジュールであったため、この暫定対処策のまま運用を継続いただいて差し支えないと考えております。

ただ今後、HPC環境にとってクリティカルな部分に脆弱性が発覚する可能性はゼロではなく、更新せざるを得ないケースが出てくることも考えられます。そこで今回、通常はOS更新を「非推奨」としてご提供している弊社のシステムインテグレーションパックOS（SIP OS）について、カーネルの更新手順を整備し、主要なソフトウェアで数値ズレが生じないこと、および極端なパフォーマンス劣化が起きないことを確認いたしました。あくまで自己責任のもとで実施いただく際の参考としてお考えください。

なお、OS更新作業自体も有償にて承っておりますので、必要な際はお気軽にお問い合わせください。

(2026年7月30日追記)
深刻な脆弱性の報告が現在も断続的に続いており、カーネル更新しか実質的に対処方の無いケースも発生しています。特にInfinibandのドライバについて、現在弊社ではNVIDIA提供のドライバパッケージ(MLNX OFED/DOCA OFED)を導入していますが、セキュリティ更新でカーネルが上がるたびにドライバ側の対応版を待たなければならない状況です。実際にRHEL9系のOSで脆弱性対策済みのカーネルバージョンではDOCAとの整合性が取れず動かせないケースに遭遇しました。
そのためRHEL9系の更新手順を、セキュリティを実行する際にはRHELが標準サポートしているインボックスドライバを利用する方法に変更いたしました。

AlmaLinux8.x / RHEL8.x SIPカーネル更新手順

    ※実行コマンドは root ユーザーで実行してください。
　　実行前に、弊社マニュアルに記載してある方法でバックアップの実施をお願いします。

1. Mellanox OFED アンインストール

ofed_uninstall.sh

「 Do you want to continue?[y/N]: 」と表示されるので「 y 」を入力してください

2. /boot/grub2/grubenv 再作成

cd /boot/grub2
rm -f grubenv
(AlmaLinuxの場合)
ln -s ../efi/EFI/almalinux/grubenv . (RedHatの場合) ln -s ../efi/EFI/redhat/grubenv .

3. カーネル更新と再起動

(AlmaLinuxの場合)
dnf -y --enablerepo=baseos,appstream update 'kernel*' 
(RedHatの場合)
dnf -y update 'kernel*'
reboot

4. NVIDIA DOCA(Mellanox OFED 後継) インストール
 DOCA リポジトリ用ファイル /etc/yum.repos.d/doca.repo を作成して下記を記載してください。

[doca]
name=DOCA Online Repo
baseurl=https://linux.mellanox.com/public/repo/doca/3.4.0/rhel8/x86_64/
enabled=1
gpgcheck=0

5. DOCA インストール (Infinibandを使用しない場合は不要なケースもあります)

dnf clean all 
dnf -y install doca-all

インストール後、ソフトウェアの動作確認をお願いします。
問題が発覚した場合、弊社マニュアルに記載があるように、バックアップディスクから立ち上げることで設定前の状態に戻すことが出来ます。

AlmaLinux9.x / RHEL9.x SIPカーネル更新手順

1. InfiniBand用ドライバのアンインストール

1.1 Mellanox OFEDの場合

ofed_uninstall.sh

「 Do you want to continue?[y/N]: 」と表示されるので「 y 」を入力してください 

1.2 DOCA OFEDの場合

dnf -y remove 'doca*'
dnf config-manager --disable doca

2. インボックスドライバのインストール

dnf -y --enablerepo=baseos,appstream install ibacm infiniband-diags libibumad libibverbs libibverbs-utils librdmacm librdmacm-utils libvma opensm rdma-core-devel srp_daemon 'ucx*'

3. カーネル更新と再起動

cmdlineを削除して新カーネル用のgrubファイルを作成させるため下記を実行してください

rm -f /etc/kernel/cmdline

上記実行後、下記コマンドでカーネルを更新してください

dnf --enablerepo=baseos,appstream install 'kernel*'

更新後、再起動を実行してください

reboot

 

ホーム
トップ