Pytorch installation failure (libnccl.so.2)

3D Flexible Refinement
1

Hello, another instance of pytorch failure on CentOS. Our CS version: 4.1.1+230110

Error:

Traceback (most recent call last):
File “cryosparc_master/cryosparc_compute/run.py”, line 80, in cryosparc_compute.run.main
File “/home/spuser/cryosparc/cryosparc_worker/cryosparc_compute/jobs/jobregister.py”, line 443, in get_run_function
runmod = importlib.import_module(“…”+modname, name)
File “/home/spuser/cryosparc/cryosparc_worker/deps/anaconda/envs/cryosparc_worker_env/lib/python3.8/importlib/init.py”, line 127, in import_module
return _bootstrap._gcd_import(name[level:], package, level)
File “”, line 1014, in _gcd_import
File “”, line 991, in _find_and_load
File “”, line 975, in _find_and_load_unlocked
File “”, line 671, in _load_unlocked
File “”, line 1174, in exec_module
File “”, line 219, in _call_with_frames_removed
File “cryosparc_master/cryosparc_compute/jobs/flex_refine/run_train.py”, line 12, in init cryosparc_compute.jobs.flex_refine.run_train
File “cryosparc_master/cryosparc_compute/jobs/flex_refine/flexmod.py”, line 19, in init cryosparc_compute.jobs.flex_refine.flexmod
File “/home/spuser/cryosparc/cryosparc_worker/deps/anaconda/envs/cryosparc_worker_env/lib/python3.8/site-packages/torch/init.py”, line 229, in
from torch._C import * # noqa: F403
ImportError: libnccl.so.2: cannot open shared object file: No such file or directory

Here’s what I did:

-set PATH and LD_LIBRARY_PATH to remove all cuda instances
-removed the /etc/ld.so.cache
-ran cryosparcw install-3dflex with log as recommended earlier

What I get:

Installing 3D Flex Refine dependencies...
Collecting package metadata (current_repodata.json): done
Solving environment: done


==> WARNING: A newer version of conda exists. <==
  current version: 4.12.0
  latest version: 23.3.1

Package Plan 

  environment location: /home/spuser/cryosparc/cryosparc_worker/deps/anaconda/envs/cryosparc_worker_env

  added / updated specs:
    - cuda-nvcc=11.7
    - cuda-toolkit=11.7

The following packages will be downloaded:

    package                    |            build
    ---------------------------|-----------------
    ca-certificates-2023.01.10 |       h06a4308_0         120 KB
    certifi-2023.5.7           |   py38h06a4308_0         152 KB
    cuda-cccl-11.7.91          |                0         1.2 MB  nvidia/label/cuda-11.7.1
    cuda-command-line-tools-11.7.1|                0           1 KB  nvidia/label/cuda-11.7.1
    cuda-compiler-11.7.1       |                0           1 KB  nvidia/label/cuda-11.7.1
    cuda-cudart-11.7.99        |                0         194 KB  nvidia/label/cuda-11.7.1
    cuda-cudart-dev-11.7.99    |                0         1.1 MB  nvidia/label/cuda-11.7.1
    cuda-cuobjdump-11.7.91     |                0         158 KB  nvidia/label/cuda-11.7.1
    cuda-cupti-11.7.101        |                0        22.9 MB  nvidia/label/cuda-11.7.1
    cuda-cuxxfilt-11.7.91      |                0         293 KB  nvidia/label/cuda-11.7.1
    cuda-documentation-11.7.91 |                0          88 KB  nvidia/label/cuda-11.7.1
    cuda-driver-dev-11.7.99    |                0          16 KB  nvidia/label/cuda-11.7.1
    cuda-gdb-11.7.91           |                0         4.8 MB  nvidia/label/cuda-11.7.1
    cuda-libraries-11.7.1      |                0           1 KB  nvidia/label/cuda-11.7.1
    cuda-libraries-dev-11.7.1  |                0           2 KB  nvidia/label/cuda-11.7.1
    cuda-memcheck-11.7.91      |                0         168 KB  nvidia/label/cuda-11.7.1
    cuda-nsight-11.7.91        |                0       113.6 MB  nvidia/label/cuda-11.7.1
    cuda-nsight-compute-11.7.1 |                0           1 KB  nvidia/label/cuda-11.7.1
    cuda-nvcc-11.7.99          |                0        42.7 MB  nvidia/label/cuda-11.7.1
    cuda-nvdisasm-11.7.91      |                0        31.5 MB  nvidia/label/cuda-11.7.1
    cuda-nvml-dev-11.7.91      |                0          80 KB  nvidia/label/cuda-11.7.1
    cuda-nvprof-11.7.101       |                0         4.3 MB  nvidia/label/cuda-11.7.1
    cuda-nvprune-11.7.91       |                0          64 KB  nvidia/label/cuda-11.7.1
    cuda-nvrtc-11.7.99         |                0        17.3 MB  nvidia/label/cuda-11.7.1
    cuda-nvrtc-dev-11.7.99     |                0        16.9 MB  nvidia/label/cuda-11.7.1
    cuda-nvtx-11.7.91          |                0          57 KB  nvidia/label/cuda-11.7.1
    cuda-nvvp-11.7.101         |                0       114.3 MB  nvidia/label/cuda-11.7.1
    cuda-sanitizer-api-11.7.91 |                0        16.8 MB  nvidia/label/cuda-11.7.1
    cuda-toolkit-11.7.1        |                0           1 KB  nvidia/label/cuda-11.7.1
    cuda-tools-11.7.1          |                0           1 KB  nvidia/label/cuda-11.7.1
    cuda-visual-tools-11.7.1   |                0           1 KB  nvidia/label/cuda-11.7.1
    gds-tools-1.3.1.18         |                0           2 KB  nvidia/label/cuda-11.7.1
    libcublas-11.10.3.66       |                0       286.1 MB  nvidia/label/cuda-11.7.1
    libcublas-dev-11.10.3.66   |                0       296.4 MB  nvidia/label/cuda-11.7.1
    libcufft-10.7.2.91         |                0        93.6 MB  nvidia/label/cuda-11.7.1
    libcufft-dev-10.7.2.91     |                0       196.4 MB  nvidia/label/cuda-11.7.1
    libcufile-1.3.1.18         |                0         545 KB  nvidia/label/cuda-11.7.1
    libcufile-dev-1.3.1.18     |                0        12.4 MB  nvidia/label/cuda-11.7.1
    libcurand-10.2.10.91       |                0        50.3 MB  nvidia/label/cuda-11.7.1
    libcurand-dev-10.2.10.91   |                0        50.7 MB  nvidia/label/cuda-11.7.1
    libcusolver-11.4.0.1       |                0        78.7 MB  nvidia/label/cuda-11.7.1
    libcusolver-dev-11.4.0.1   |                0        55.9 MB  nvidia/label/cuda-11.7.1
    libcusparse-11.7.4.91      |                0       151.1 MB  nvidia/label/cuda-11.7.1
    libcusparse-dev-11.7.4.91  |                0       309.5 MB  nvidia/label/cuda-11.7.1
    libnpp-11.7.4.75           |                0       129.3 MB  nvidia/label/cuda-11.7.1
    libnpp-dev-11.7.4.75       |                0       126.6 MB  nvidia/label/cuda-11.7.1
    libnvjpeg-11.8.0.2         |                0         2.2 MB  nvidia/label/cuda-11.7.1
    libnvjpeg-dev-11.8.0.2     |                0         1.9 MB  nvidia/label/cuda-11.7.1
    nsight-compute-2022.2.1.3  |                0       461.4 MB  nvidia/label/cuda-11.7.1
    openssl-1.1.1t             |       h7f8727e_0         3.7 MB
    ------------------------------------------------------------
                                           Total:        2.63 GB

The following NEW packages will be INSTALLED:

  cuda-cccl          nvidia/label/cuda-11.7.1/linux-64::cuda-cccl-11.7.91-0
  cuda-command-line~ nvidia/label/cuda-11.7.1/linux-64::cuda-command-line-tools-11.7.1-0
  cuda-compiler      nvidia/label/cuda-11.7.1/linux-64::cuda-compiler-11.7.1-0
  cuda-cudart        nvidia/label/cuda-11.7.1/linux-64::cuda-cudart-11.7.99-0
  cuda-cudart-dev    nvidia/label/cuda-11.7.1/linux-64::cuda-cudart-dev-11.7.99-0
  cuda-cuobjdump     nvidia/label/cuda-11.7.1/linux-64::cuda-cuobjdump-11.7.91-0
  cuda-cupti         nvidia/label/cuda-11.7.1/linux-64::cuda-cupti-11.7.101-0
  cuda-cuxxfilt      nvidia/label/cuda-11.7.1/linux-64::cuda-cuxxfilt-11.7.91-0
  cuda-documentation nvidia/label/cuda-11.7.1/linux-64::cuda-documentation-11.7.91-0
  cuda-driver-dev    nvidia/label/cuda-11.7.1/linux-64::cuda-driver-dev-11.7.99-0
  cuda-gdb           nvidia/label/cuda-11.7.1/linux-64::cuda-gdb-11.7.91-0
  cuda-libraries     nvidia/label/cuda-11.7.1/linux-64::cuda-libraries-11.7.1-0
  cuda-libraries-dev nvidia/label/cuda-11.7.1/linux-64::cuda-libraries-dev-11.7.1-0
  cuda-memcheck      nvidia/label/cuda-11.7.1/linux-64::cuda-memcheck-11.7.91-0
  cuda-nsight        nvidia/label/cuda-11.7.1/linux-64::cuda-nsight-11.7.91-0
  cuda-nsight-compu~ nvidia/label/cuda-11.7.1/linux-64::cuda-nsight-compute-11.7.1-0
  cuda-nvcc          nvidia/label/cuda-11.7.1/linux-64::cuda-nvcc-11.7.99-0
  cuda-nvdisasm      nvidia/label/cuda-11.7.1/linux-64::cuda-nvdisasm-11.7.91-0
  cuda-nvml-dev      nvidia/label/cuda-11.7.1/linux-64::cuda-nvml-dev-11.7.91-0
  cuda-nvprof        nvidia/label/cuda-11.7.1/linux-64::cuda-nvprof-11.7.101-0
  cuda-nvprune       nvidia/label/cuda-11.7.1/linux-64::cuda-nvprune-11.7.91-0
  cuda-nvrtc         nvidia/label/cuda-11.7.1/linux-64::cuda-nvrtc-11.7.99-0
  cuda-nvrtc-dev     nvidia/label/cuda-11.7.1/linux-64::cuda-nvrtc-dev-11.7.99-0
  cuda-nvtx          nvidia/label/cuda-11.7.1/linux-64::cuda-nvtx-11.7.91-0
  cuda-nvvp          nvidia/label/cuda-11.7.1/linux-64::cuda-nvvp-11.7.101-0
  cuda-sanitizer-api nvidia/label/cuda-11.7.1/linux-64::cuda-sanitizer-api-11.7.91-0
  cuda-toolkit       nvidia/label/cuda-11.7.1/linux-64::cuda-toolkit-11.7.1-0
  cuda-tools         nvidia/label/cuda-11.7.1/linux-64::cuda-tools-11.7.1-0
  cuda-visual-tools  nvidia/label/cuda-11.7.1/linux-64::cuda-visual-tools-11.7.1-0
  gds-tools          nvidia/label/cuda-11.7.1/linux-64::gds-tools-1.3.1.18-0
  libcublas          nvidia/label/cuda-11.7.1/linux-64::libcublas-11.10.3.66-0
  libcublas-dev      nvidia/label/cuda-11.7.1/linux-64::libcublas-dev-11.10.3.66-0
  libcufft           nvidia/label/cuda-11.7.1/linux-64::libcufft-10.7.2.91-0
  libcufft-dev       nvidia/label/cuda-11.7.1/linux-64::libcufft-dev-10.7.2.91-0
  libcufile          nvidia/label/cuda-11.7.1/linux-64::libcufile-1.3.1.18-0
  libcufile-dev      nvidia/label/cuda-11.7.1/linux-64::libcufile-dev-1.3.1.18-0
  libcurand          nvidia/label/cuda-11.7.1/linux-64::libcurand-10.2.10.91-0
  libcurand-dev      nvidia/label/cuda-11.7.1/linux-64::libcurand-dev-10.2.10.91-0
  libcusolver        nvidia/label/cuda-11.7.1/linux-64::libcusolver-11.4.0.1-0
  libcusolver-dev    nvidia/label/cuda-11.7.1/linux-64::libcusolver-dev-11.4.0.1-0
  libcusparse        nvidia/label/cuda-11.7.1/linux-64::libcusparse-11.7.4.91-0
  libcusparse-dev    nvidia/label/cuda-11.7.1/linux-64::libcusparse-dev-11.7.4.91-0
  libnpp             nvidia/label/cuda-11.7.1/linux-64::libnpp-11.7.4.75-0
  libnpp-dev         nvidia/label/cuda-11.7.1/linux-64::libnpp-dev-11.7.4.75-0
  libnvjpeg          nvidia/label/cuda-11.7.1/linux-64::libnvjpeg-11.8.0.2-0
  libnvjpeg-dev      nvidia/label/cuda-11.7.1/linux-64::libnvjpeg-dev-11.8.0.2-0
  nsight-compute     nvidia/label/cuda-11.7.1/linux-64::nsight-compute-2022.2.1.3-0

The following packages will be UPDATED:

  ca-certificates    conda-forge::ca-certificates-2022.12.~ --> pkgs/main::ca-certificates-2023.01.10-h06a4308_0
  certifi            conda-forge/noarch::certifi-2022.12.7~ --> pkgs/main/linux-64::certifi-2023.5.7-py38h06a4308_0
  openssl            conda-forge::openssl-1.1.1s-h0b41bf4_1 --> pkgs/main::openssl-1.1.1t-h7f8727e_0


Downloading and Extracting Packages
libcusolver-dev-11.4 | 55.9 MB   | ############################################################################ | 100%
cuda-command-line-to | 1 KB      | ############################################################################ | 100%
cuda-nvprune-11.7.91 | 64 KB     | ############################################################################ | 100%
cuda-sanitizer-api-1 | 16.8 MB   | ############################################################################ | 100%
libnvjpeg-dev-11.8.0 | 1.9 MB    | ############################################################################ | 100%
cuda-documentation-1 | 88 KB     | ############################################################################ | 100%
libcusparse-11.7.4.9 | 151.1 MB  | ############################################################################ | 100%
cuda-cudart-11.7.99  | 194 KB    | ############################################################################ | 100%
cuda-nvdisasm-11.7.9 | 31.5 MB   | ############################################################################ | 100%
cuda-cupti-11.7.101  | 22.9 MB   | ############################################################################ | 100%
cuda-nvrtc-11.7.99   | 17.3 MB   | ############################################################################ | 100%
cuda-nvprof-11.7.101 | 4.3 MB    | ############################################################################ | 100%
nsight-compute-2022. | 461.4 MB  | ############################################################################ | 100%
cuda-nsight-11.7.91  | 113.6 MB  | ############################################################################ | 100%
cuda-nsight-compute- | 1 KB      | ############################################################################ | 100%
certifi-2023.5.7     | 152 KB    | ############################################################################ | 100%
libcurand-dev-10.2.1 | 50.7 MB   | ############################################################################ | 100%
cuda-nvvp-11.7.101   | 114.3 MB  | ############################################################################ | 100%
cuda-nvrtc-dev-11.7. | 16.9 MB   | ############################################################################ | 100%
libcublas-11.10.3.66 | 286.1 MB  | ############################################################################ | 100%
openssl-1.1.1t       | 3.7 MB    | ############################################################################ | 100%
cuda-driver-dev-11.7 | 16 KB     | ############################################################################ | 100%
gds-tools-1.3.1.18   | 2 KB      | ############################################################################ | 100%
cuda-nvml-dev-11.7.9 | 80 KB     | ############################################################################ | 100%
libnpp-11.7.4.75     | 129.3 MB  | ############################################################################ | 100%
cuda-cudart-dev-11.7 | 1.1 MB    | ############################################################################ | 100%
cuda-memcheck-11.7.9 | 168 KB    | ############################################################################ | 100%
ca-certificates-2023 | 120 KB    | ############################################################################ | 100%
libnpp-dev-11.7.4.75 | 126.6 MB  | ############################################################################ | 100%
cuda-cuxxfilt-11.7.9 | 293 KB    | ############################################################################ | 100%
cuda-cccl-11.7.91    | 1.2 MB    | ############################################################################ | 100%
libcufft-dev-10.7.2. | 196.4 MB  | ############################################################################ | 100%
libcusparse-dev-11.7 | 309.5 MB  | ############################################################################ | 100%
cuda-libraries-11.7. | 1 KB      | ############################################################################ | 100%
libnvjpeg-11.8.0.2   | 2.2 MB    | ############################################################################ | 100%
cuda-cuobjdump-11.7. | 158 KB    | ############################################################################ | 100%
libcufile-dev-1.3.1. | 12.4 MB   | ############################################################################ | 100%
cuda-compiler-11.7.1 | 1 KB      | ############################################################################ | 100%
libcufile-1.3.1.18   | 545 KB    | ############################################################################ | 100%
libcublas-dev-11.10. | 296.4 MB  | ############################################################################ | 100%
cuda-gdb-11.7.91     | 4.8 MB    | ############################################################################ | 100%
libcurand-10.2.10.91 | 50.3 MB   | ############################################################################ | 100%
cuda-tools-11.7.1    | 1 KB      | ############################################################################ | 100%
libcusolver-11.4.0.1 | 78.7 MB   | ############################################################################ | 100%
cuda-nvcc-11.7.99    | 42.7 MB   | ############################################################################ | 100%
cuda-nvtx-11.7.91    | 57 KB     | ############################################################################ | 100%
cuda-libraries-dev-1 | 2 KB      | ############################################################################ | 100%
cuda-visual-tools-11 | 1 KB      | ############################################################################ | 100%
cuda-toolkit-11.7.1  | 1 KB      | ############################################################################ | 100%
libcufft-10.7.2.91   | 93.6 MB   | ############################################################################ | 100%
Preparing transaction: done
Verifying transaction: done
Executing transaction: done
Found existing installation: pycuda 2020.1
Uninstalling pycuda-2020.1:
  Successfully uninstalled pycuda-2020.1
Looking in indexes: pypi.org/simple, pypi.ngc.nvidia.com
Collecting torch
  Downloading torch-2.0.1-cp38-cp38-manylinux1_x86_64.whl (619.9 MB)
     ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 619.9/619.9 MB 119.2 MB/s eta 0:00:00
Installing collected packages: torch
Successfully installed torch-2.0.1
Looking in indexes: pypi.org/simple, pypi.ngc.nvidia.com
Processing ./deps_bundle/python/python_packages/pip_packages/pycuda-2020.1-cp38-cp38-linux_x86_64.whl
Installing collected packages: pycuda
Successfully installed pycuda-2020.1
PyTorch not installed correctly, or NVIDIA GPU not detected.

No other errors I could identify. Any suggestions what else I could try to fix this?

Many thanks
Dmitry

2

Welcome to the forum @gilyarod .

Did you confirm cuda directories are absent from user’s and system-wide variable definitions.

Did you disable /etc/ld.so.conf[.d] entries that might cause cuda directories to reappear in /etc/ld.so.cache?
It may be easier to troubleshoot 3DFlex dependencies installation and function in the latest version of CryoSPARC. For this purpose, you might:

  1. update CryoSPARC
  2. remove outdated 3DFlex dependencies with
    cryosparcw forcedeps
  3. confirm absence of cuda directories from PATH, LD_LIBRARY_PATH, ldconfig -p (these absences are even more important at 3DFlex runtime) [edited]
  4. install up-to-date 3DFlex dependencies
    cryosparcw install-3dflex
  5. test a 3DFlex job
3

Hi, thanks for quick reply. Success! After I set the system path and disabled /etc/ld.so.conf.d cuda entries, updated CS and re-installed, I got the following message:

**Processing ./deps_bundle/python/python_packages/pip_packages/pycuda-2020.1-cp38-cp38-linux_x86_64.whl
Installing collected packages: pycuda
Successfully installed pycuda-2020.1
NOTE: Installation of 3D Flex dependencies succeeded, but PyTorch or NVIDIA GPU were not detected.
This is expected at this point of the installation process.
Please confirm the installation by running a 3D Flex job.
**

And the 3D Train is now running, so I believe this is solved