2020/7/23

conda install tensorflow -- (& keras)

這是時代的進步?
只是 create 一個 env, 就全自動安裝了 ? (snpe 要 python 3.6)
(base) charles-chang@beaver:~$ conda create -name tensorflow python=3.6
Collecting package metadata (current_repodata.json): done
Solving environment: done

## Package Plan ##

  environment location: /home/charles-chang/miniconda3/envs/ame

  added / updated specs:
    - tensorflow


The following packages will be downloaded:

    package                    |            build
    ---------------------------|-----------------
    _tflow_select-2.3.0        |              mkl           2 KB
    absl-py-0.9.0              |           py38_0         165 KB
    astunparse-1.6.3           |             py_0          17 KB
    blinker-1.4                |           py38_0          22 KB
    brotlipy-0.7.0             |py38h7b6447c_1000         322 KB
    c-ares-1.15.0              |    h7b6447c_1001          89 KB
    ca-certificates-2020.6.24  |                0         125 KB
    cachetools-4.1.0           |             py_1          15 KB
    certifi-2020.6.20          |           py38_0         156 KB
    cffi-1.14.0                |   py38he30daa8_1         225 KB
    chardet-3.0.4              |        py38_1003         174 KB
    click-7.1.2                |             py_0          71 KB
    cryptography-2.9.2         |   py38h1ba5d50_0         556 KB
    gast-0.3.3                 |             py_0          14 KB
    google-auth-1.17.2         |             py_0          55 KB
    google-auth-oauthlib-0.4.1 |             py_2          20 KB
    google-pasta-0.2.0         |             py_0          46 KB
    grpcio-1.27.2              |   py38hf8bcb03_0         1.3 MB
    h5py-2.10.0                |   py38hd6299e0_1         948 KB
    hdf5-1.10.6                |       hb1b8bf9_0         3.7 MB
    idna-2.10                  |             py_0          50 KB
    keras-preprocessing-1.1.0  |             py_1          37 KB
    libedit-3.1.20191231       |       h14c3975_1         116 KB
    libffi-3.3                 |       he6710b0_2          50 KB
    libprotobuf-3.12.3         |       hd408876_0         2.9 MB
    markdown-3.1.1             |           py38_0         116 KB
    mkl_fft-1.1.0              |   py38h23d657b_0         150 KB
    numpy-1.18.5               |   py38ha1c710e_0           5 KB
    numpy-base-1.18.5          |   py38hde5b4d6_0         4.1 MB
    oauthlib-3.1.0             |             py_0          91 KB
    opt_einsum-3.1.0           |             py_0          54 KB
    pip-20.1.1                 |           py38_1         1.7 MB
    protobuf-3.12.3            |   py38he6710b0_0         648 KB
    pyasn1-0.4.8               |             py_0          57 KB
    pyasn1-modules-0.2.7       |             py_0          68 KB
    pycparser-2.20             |             py_2          94 KB
    pyjwt-1.7.1                |           py38_0          33 KB
    pyopenssl-19.1.0           |             py_1          48 KB
    pysocks-1.7.1              |           py38_0          28 KB
    python-3.8.3               |       hcff3b4d_2        49.1 MB
    requests-2.24.0            |             py_0          56 KB
    requests-oauthlib-1.3.0    |             py_0          23 KB
    rsa-4.0                    |             py_0          29 KB
    scipy-1.5.0                |   py38h0b6359f_0        14.5 MB
    setuptools-49.2.0          |           py38_0         737 KB
    sqlite-3.32.3              |       h62c20be_0         1.1 MB
    tensorboard-2.2.1          |     pyh532a8cf_0         2.4 MB
    tensorboard-plugin-wit-1.6.0|             py_0         630 KB
    tensorflow-2.2.0           |mkl_py38h6d3daf0_0           4 KB
    tensorflow-base-2.2.0      |mkl_py38h5059a2d_0       127.2 MB
    tensorflow-estimator-2.2.0 |     pyh208ff02_0         254 KB
    termcolor-1.1.0            |           py38_1           8 KB
    tk-8.6.10                  |       hbc83047_0         3.0 MB
    urllib3-1.25.9             |             py_0         103 KB
    werkzeug-1.0.1             |             py_0         240 KB
    wrapt-1.12.1               |   py38h7b6447c_1          50 KB
    ------------------------------------------------------------
                                           Total:       217.8 MB

The following NEW packages will be INSTALLED:

  _libgcc_mutex      pkgs/main/linux-64::_libgcc_mutex-0.1-main
  _tflow_select      pkgs/main/linux-64::_tflow_select-2.3.0-mkl
  absl-py            pkgs/main/linux-64::absl-py-0.9.0-py38_0
  astunparse         pkgs/main/noarch::astunparse-1.6.3-py_0
  blas               pkgs/main/linux-64::blas-1.0-mkl
  blinker            pkgs/main/linux-64::blinker-1.4-py38_0
  brotlipy           pkgs/main/linux-64::brotlipy-0.7.0-py38h7b6447c_1000
  c-ares             pkgs/main/linux-64::c-ares-1.15.0-h7b6447c_1001
  ca-certificates    pkgs/main/linux-64::ca-certificates-2020.6.24-0
  cachetools         pkgs/main/noarch::cachetools-4.1.0-py_1
  certifi            pkgs/main/linux-64::certifi-2020.6.20-py38_0
  cffi               pkgs/main/linux-64::cffi-1.14.0-py38he30daa8_1
  chardet            pkgs/main/linux-64::chardet-3.0.4-py38_1003
  click              pkgs/main/noarch::click-7.1.2-py_0
  cryptography       pkgs/main/linux-64::cryptography-2.9.2-py38h1ba5d50_0
  gast               pkgs/main/noarch::gast-0.3.3-py_0
  google-auth        pkgs/main/noarch::google-auth-1.17.2-py_0
  google-auth-oauth~ pkgs/main/noarch::google-auth-oauthlib-0.4.1-py_2
  google-pasta       pkgs/main/noarch::google-pasta-0.2.0-py_0
  grpcio             pkgs/main/linux-64::grpcio-1.27.2-py38hf8bcb03_0
  h5py               pkgs/main/linux-64::h5py-2.10.0-py38hd6299e0_1
  hdf5               pkgs/main/linux-64::hdf5-1.10.6-hb1b8bf9_0
  idna               pkgs/main/noarch::idna-2.10-py_0
  intel-openmp       pkgs/main/linux-64::intel-openmp-2020.1-217
  keras-preprocessi~ pkgs/main/noarch::keras-preprocessing-1.1.0-py_1
  ld_impl_linux-64   pkgs/main/linux-64::ld_impl_linux-64-2.33.1-h53a641e_7
  libedit            pkgs/main/linux-64::libedit-3.1.20191231-h14c3975_1
  libffi             pkgs/main/linux-64::libffi-3.3-he6710b0_2
  libgcc-ng          pkgs/main/linux-64::libgcc-ng-9.1.0-hdf63c60_0
  libgfortran-ng     pkgs/main/linux-64::libgfortran-ng-7.3.0-hdf63c60_0
  libprotobuf        pkgs/main/linux-64::libprotobuf-3.12.3-hd408876_0
  libstdcxx-ng       pkgs/main/linux-64::libstdcxx-ng-9.1.0-hdf63c60_0
  markdown           pkgs/main/linux-64::markdown-3.1.1-py38_0
  mkl                pkgs/main/linux-64::mkl-2020.1-217
  mkl-service        pkgs/main/linux-64::mkl-service-2.3.0-py38he904b0f_0
  mkl_fft            pkgs/main/linux-64::mkl_fft-1.1.0-py38h23d657b_0
  mkl_random         pkgs/main/linux-64::mkl_random-1.1.1-py38h0573a6f_0
  ncurses            pkgs/main/linux-64::ncurses-6.2-he6710b0_1
  numpy              pkgs/main/linux-64::numpy-1.18.5-py38ha1c710e_0
  numpy-base         pkgs/main/linux-64::numpy-base-1.18.5-py38hde5b4d6_0
  oauthlib           pkgs/main/noarch::oauthlib-3.1.0-py_0
  openssl            pkgs/main/linux-64::openssl-1.1.1g-h7b6447c_0
  opt_einsum         pkgs/main/noarch::opt_einsum-3.1.0-py_0
  pip                pkgs/main/linux-64::pip-20.1.1-py38_1
  protobuf           pkgs/main/linux-64::protobuf-3.12.3-py38he6710b0_0
  pyasn1             pkgs/main/noarch::pyasn1-0.4.8-py_0
  pyasn1-modules     pkgs/main/noarch::pyasn1-modules-0.2.7-py_0
  pycparser          pkgs/main/noarch::pycparser-2.20-py_2
  pyjwt              pkgs/main/linux-64::pyjwt-1.7.1-py38_0
  pyopenssl          pkgs/main/noarch::pyopenssl-19.1.0-py_1
  pysocks            pkgs/main/linux-64::pysocks-1.7.1-py38_0
  python             pkgs/main/linux-64::python-3.8.3-hcff3b4d_2
  readline           pkgs/main/linux-64::readline-8.0-h7b6447c_0
  requests           pkgs/main/noarch::requests-2.24.0-py_0
  requests-oauthlib  pkgs/main/noarch::requests-oauthlib-1.3.0-py_0
  rsa                pkgs/main/noarch::rsa-4.0-py_0
  scipy              pkgs/main/linux-64::scipy-1.5.0-py38h0b6359f_0
  setuptools         pkgs/main/linux-64::setuptools-49.2.0-py38_0
  six                pkgs/main/noarch::six-1.15.0-py_0
  sqlite             pkgs/main/linux-64::sqlite-3.32.3-h62c20be_0
  tensorboard        pkgs/main/noarch::tensorboard-2.2.1-pyh532a8cf_0
  tensorboard-plugi~ pkgs/main/noarch::tensorboard-plugin-wit-1.6.0-py_0
  tensorflow         pkgs/main/linux-64::tensorflow-2.2.0-mkl_py38h6d3daf0_0
  tensorflow-base    pkgs/main/linux-64::tensorflow-base-2.2.0-mkl_py38h5059a2d_0
  tensorflow-estima~ pkgs/main/noarch::tensorflow-estimator-2.2.0-pyh208ff02_0
  termcolor          pkgs/main/linux-64::termcolor-1.1.0-py38_1
  tk                 pkgs/main/linux-64::tk-8.6.10-hbc83047_0
  urllib3            pkgs/main/noarch::urllib3-1.25.9-py_0
  werkzeug           pkgs/main/noarch::werkzeug-1.0.1-py_0
  wheel              pkgs/main/linux-64::wheel-0.34.2-py38_0
  wrapt              pkgs/main/linux-64::wrapt-1.12.1-py38h7b6447c_1
  xz                 pkgs/main/linux-64::xz-5.2.5-h7b6447c_0
  zlib               pkgs/main/linux-64::zlib-1.2.11-h7b6447c_3


Proceed ([y]/n)? 


Downloading and Extracting Packages
grpcio-1.27.2        | 1.3 MB    | ############################################################################## | 100% 
numpy-base-1.18.5    | 4.1 MB    | ############################################################################## | 100% 
tensorboard-plugin-w | 630 KB    | ############################################################################## | 100% 
requests-oauthlib-1. | 23 KB     | ############################################################################## | 100% 
cryptography-2.9.2   | 556 KB    | ############################################################################## | 100% 
_tflow_select-2.3.0  | 2 KB      | ############################################################################## | 100% 
brotlipy-0.7.0       | 322 KB    | ############################################################################## | 100% 
numpy-1.18.5         | 5 KB      | ############################################################################## | 100% 
pyjwt-1.7.1          | 33 KB     | ############################################################################## | 100% 
ca-certificates-2020 | 125 KB    | ############################################################################## | 100% 
absl-py-0.9.0        | 165 KB    | ############################################################################## | 100% 
python-3.8.3         | 49.1 MB   | ############################################################################## | 100% 
blinker-1.4          | 22 KB     | ############################################################################## | 100% 
h5py-2.10.0          | 948 KB    | ############################################################################## | 100% 
pyasn1-0.4.8         | 57 KB     | ############################################################################## | 100% 
c-ares-1.15.0        | 89 KB     | ############################################################################## | 100% 
mkl_fft-1.1.0        | 150 KB    | ############################################################################## | 100% 
tensorflow-2.2.0     | 4 KB      | ############################################################################## | 100% 
werkzeug-1.0.1       | 240 KB    | ############################################################################## | 100% 
pysocks-1.7.1        | 28 KB     | ############################################################################## | 100% 
urllib3-1.25.9       | 103 KB    | ############################################################################## | 100% 
setuptools-49.2.0    | 737 KB    | ############################################################################## | 100% 
cffi-1.14.0          | 225 KB    | ############################################################################## | 100% 
pyopenssl-19.1.0     | 48 KB     | ############################################################################## | 100% 
requests-2.24.0      | 56 KB     | ############################################################################## | 100% 
opt_einsum-3.1.0     | 54 KB     | ############################################################################## | 100% 
keras-preprocessing- | 37 KB     | ############################################################################## | 100% 
google-auth-1.17.2   | 55 KB     | ############################################################################## | 100% 
certifi-2020.6.20    | 156 KB    | ############################################################################## | 100% 
rsa-4.0              | 29 KB     | ############################################################################## | 100% 
idna-2.10            | 50 KB     | ############################################################################## | 100% 
chardet-3.0.4        | 174 KB    | ############################################################################## | 100% 
libedit-3.1.20191231 | 116 KB    | ############################################################################## | 100% 
libprotobuf-3.12.3   | 2.9 MB    | ############################################################################## | 100% 
tk-8.6.10            | 3.0 MB    | ############################################################################## | 100% 
click-7.1.2          | 71 KB     | ############################################################################## | 100% 
wrapt-1.12.1         | 50 KB     | ############################################################################## | 100% 
markdown-3.1.1       | 116 KB    | ############################################################################## | 100% 
oauthlib-3.1.0       | 91 KB     | ############################################################################## | 100% 
tensorboard-2.2.1    | 2.4 MB    | ############################################################################## | 100% 
sqlite-3.32.3        | 1.1 MB    | ############################################################################## | 100% 
tensorflow-base-2.2. | 127.2 MB  | ############################################################################## | 100% 
google-auth-oauthlib | 20 KB     | ############################################################################## | 100% 
libffi-3.3           | 50 KB     | ############################################################################## | 100% 
google-pasta-0.2.0   | 46 KB     | ############################################################################## | 100% 
termcolor-1.1.0      | 8 KB      | ############################################################################## | 100% 
pycparser-2.20       | 94 KB     | ############################################################################## | 100% 
protobuf-3.12.3      | 648 KB    | ############################################################################## | 100% 
astunparse-1.6.3     | 17 KB     | ############################################################################## | 100% 
pyasn1-modules-0.2.7 | 68 KB     | ############################################################################## | 100% 
scipy-1.5.0          | 14.5 MB   | ############################################################################## | 100% 
pip-20.1.1           | 1.7 MB    | ############################################################################## | 100% 
hdf5-1.10.6          | 3.7 MB    | ############################################################################## | 100% 
gast-0.3.3           | 14 KB     | ############################################################################## | 100% 
tensorflow-estimator | 254 KB    | ############################################################################## | 100% 
cachetools-4.1.0     | 15 KB     | ############################################################################## | 100% 
Preparing transaction: done
Verifying transaction: done
Executing transaction: done
#
# To activate this environment, use
#
#     $ conda activate ame
#
# To deactivate an active environment, use
#
#     $ conda deactivate
還不清楚問什麼... 先在這裡紀錄一下...
在三台機器上試過,跟 conda 版本無關,有些會這樣,有些不會。
還有,安裝的是 INTEL Floating Library 的版本 (MKL),不是 GPU 版本的 tensorflow.
要改用 gpu 版本,只要..
conda install tensorflow-gpu
舊可以。
-- 官網寫的是錯的,他說只有 tensorflow 1.X 要分 CPU/GPU, 2.X 是不用的。
結果 2.X 也一樣,沒有加 "-gpu" 話,裝的是 CPU板。

另外,測試 tensorflow 是否 gpu 版,根據 這一篇
>l>>import tensorflow as tf
>>>tf.config.experimental.list_physical_devices('GPU')
2020-07-23 09:19:31.565159: I tensorflow/stream_executor/platform/default/dso_loader.cc:44] Successfully opened dynamic library libcuda.so.1
2020-07-23 09:19:31.659710: I tensorflow/stream_executor/cuda/cuda_gpu_executor.cc:981] successful NUMA node read from SysFS had negative value (-1), 
but there must be at least one NUMA node, so returning NUMA node zero
2020-07-23 09:19:31.660556: I tensorflow/core/common_runtime/gpu/gpu_device.cc:1561] Found device 0 with properties: 
pciBusID: 0000:01:00.0 name: GeForce GT 740M computeCapability: 3.5
coreClock: 1.0325GHz coreCount: 2 deviceMemorySize: 1.96GiB deviceMemoryBandwidth: 13.41GiB/s
2020-07-23 09:19:31.683972: I tensorflow/stream_executor/platform/default/dso_loader.cc:44] Successfully opened dynamic library libcudart.so.10.1
2020-07-23 09:19:31.992823: I tensorflow/stream_executor/platform/default/dso_loader.cc:44] Successfully opened dynamic library libcublas.so.10
2020-07-23 09:19:32.124542: I tensorflow/stream_executor/platform/default/dso_loader.cc:44] Successfully opened dynamic library libcufft.so.10
2020-07-23 09:19:32.178241: I tensorflow/stream_executor/platform/default/dso_loader.cc:44] Successfully opened dynamic library libcurand.so.10
2020-07-23 09:19:32.432432: I tensorflow/stream_executor/platform/default/dso_loader.cc:44] Successfully opened dynamic library libcusolver.so.10
2020-07-23 09:19:32.481091: I tensorflow/stream_executor/platform/default/dso_loader.cc:44] Successfully opened dynamic library libcusparse.so.10
2020-07-23 09:19:32.959076: I tensorflow/stream_executor/platform/default/dso_loader.cc:44] Successfully opened dynamic library libcudnn.so.7
2020-07-23 09:19:32.959311: I tensorflow/stream_executor/cuda/cuda_gpu_executor.cc:981] successful NUMA node read from SysFS had negative value (-1), 
but there must be at least one NUMA node, so returning NUMA node zero
2020-07-23 09:19:32.959740: I tensorflow/stream_executor/cuda/cuda_gpu_executor.cc:981] successful NUMA node read from SysFS had negative value (-1), 
but there must be at least one NUMA node, so returning NUMA node zero
2020-07-23 09:19:32.960028: I tensorflow/core/common_runtime/gpu/gpu_device.cc:1703] Adding visible gpu devices: 0
[PhysicalDevice(name='/physical_device:GPU:0', device_type='GPU')]


2021/4/21 update:

依照Tensorflow、Keras傻瓜式安裝教學 的說明,如果是 tensorflow 2.0 以上。
keras 是內建的。
因為 tensorflow 已經把 keras 內建了。
可以用:
>> import tensorflow.keras as keras
>> keras.__version__
'2.3.0-tf' 

要檢查 tensorflow 有沒有找到gpu,也可以參考這一篇 官方 api:
import tensorflow as tf
tf.test.is_gpu_available()
就會看到一堆 load cuda library 的 output message,最後回答 true



如果不是 gpu 版本,tensorflow 會安裝 2.6,導致 keras 版本不相容。
所以最好是指定版本:
conda create -name tensorflow tensorflow=2.4.1

沒有留言:

張貼留言