了解官方Python Docker映像的功能

官方的Python Docker映像非常受欢迎。顺便说一句,我本人已推荐它的一种变体作为基本图像。但是许多程序员并不完全了解它是如何工作的。这可能导致混乱和各种问题。 在本文中,我将讨论该图像的创建方式,如何使用,正确使用及其局限性。具体来说,我将在这里分解一个变体(以20208月19日的Dockerfile表示的状态),并在此过程中重点介绍最重要的细节。







python:3.8-slim-buster



读取Dockerfile



▍基本影像



让我们从基本图像开始:



FROM debian:buster-slim


事实证明,基本映像python:3.8-slim-buster是Debian GNU / Linux 10-Debian的当前稳定发行版,也称为Buster(Debian发行版以Toy Story中的角色命名)。如果有人感兴趣的话,巴斯特就是安迪的狗。



因此,我们感兴趣的映像的核心是Linux发行版,它保证了其稳定的运行。此版本会定期发布错误修复。该变体slim安装的软件包少于常规变体。例如,那里没有编译器。



▍环境变量



现在让我们看一下环境变量。第一个确保尽早将其添加/usr/local/bin到中$PATH



#     python,   ,    
ENV PATH /usr/local/bin:$PATH


设计该映像的目的是为了在中完成Python安装/usr/local因此,此构造可确保默认情况下将使用已安装的可执行文件。



接下来,让我们看一下语言设置:



# http://bugs.python.org/issue19846
# >     "LANG=C"  Linux *    Python 3*,   .
ENV LANG C.UTF-8


据我所知,默认情况下,现代Python 3在没有此设置的情况下使用UTF-8。因此,我不确定这些天的Dockerfile中是否需要此行。



还有一个环境变量,其中包含有关当前Python版本的信息:



ENV PYTHON_VERSION 3.8.5


Dockerfile还具有一个带有GPG密钥的环境变量,用于验证正在加载的Python源。



▍运行时​​依赖



Python需要一些其他软件包才能工作:



RUN apt-get update && apt-get install -y --no-install-recommends \
    ca-certificates \
    netbase \
  && rm -rf /var/lib/apt/lists/*


第一个软件包ca-certificates包含标准CA证书的列表。浏览器使用类似的方法来验证-addresses这使Pythonwget和其他工具可以验证服务器提供的证书。



第二个软件包netbase/etc几个文件中执行安装,对于配置某些名称到某些端口和协议的映射是必需的。例如,它/etc/services负责设置服务名称(例如https端口号)的对应关系在这种情况下为443/tcp



Python安装Python



现在正在安装编译工具包。即,Python源代码已下载并编译,然后卸载了不必要的Debian软件包:



RUN set -ex \
  \
  && savedAptMark="$(apt-mark showmanual)" \
  && apt-get update && apt-get install -y --no-install-recommends \
    dpkg-dev \
    gcc \
    libbluetooth-dev \
    libbz2-dev \
    libc6-dev \
    libexpat1-dev \
    libffi-dev \
    libgdbm-dev \
    liblzma-dev \
    libncursesw5-dev \
    libreadline-dev \
    libsqlite3-dev \
    libssl-dev \
    make \
    tk-dev \
    uuid-dev \
    wget \
    xz-utils \
    zlib1g-dev \
#   Stretch "gpg"       
    $(command -v gpg > /dev/null || echo 'gnupg dirmngr') \
  \
  && wget -O python.tar.xz "https://www.python.org/ftp/python/${PYTHON_VERSION%%[a-z]*}/Python-$PYTHON_VERSION.tar.xz" \
  && wget -O python.tar.xz.asc "https://www.python.org/ftp/python/${PYTHON_VERSION%%[a-z]*}/Python-$PYTHON_VERSION.tar.xz.asc" \
  && export GNUPGHOME="$(mktemp -d)" \
  && gpg --batch --keyserver ha.pool.sks-keyservers.net --recv-keys "$GPG_KEY" \
  && gpg --batch --verify python.tar.xz.asc python.tar.xz \
  && { command -v gpgconf > /dev/null && gpgconf --kill all || :; } \
  && rm -rf "$GNUPGHOME" python.tar.xz.asc \
  && mkdir -p /usr/src/python \
  && tar -xJC /usr/src/python --strip-components=1 -f python.tar.xz \
  && rm python.tar.xz \
  \
  && cd /usr/src/python \
  && gnuArch="$(dpkg-architecture --query DEB_BUILD_GNU_TYPE)" \
  && ./configure \
    --build="$gnuArch" \
    --enable-loadable-sqlite-extensions \
    --enable-optimizations \
    --enable-option-checking=fatal \
    --enable-shared \
    --with-system-expat \
    --with-system-ffi \
    --without-ensurepip \
  && make -j "$(nproc)" \
    LDFLAGS="-Wl,--strip-all" \
  && make install \
  && rm -rf /usr/src/python \
  \
  && find /usr/local -depth \
    \( \
      \( -type d -a \( -name test -o -name tests -o -name idle_test \) \) \
      -o \( -type f -a \( -name '*.pyc' -o -name '*.pyo' -o -name '*.a' \) \) \
      -o \( -type f -a -name 'wininst-*.exe' \) \
    \) -exec rm -rf '{}' + \
  \
  && ldconfig \
  \
  && apt-mark auto '.*' > /dev/null \
  && apt-mark manual $savedAptMark \
  && find /usr/local -type f -executable -not \( -name '*tkinter*' \) -exec ldd '{}' ';' \
    | awk '/=>/ { print $(NF-1) }' \
    | sort -u \
    | xargs -r dpkg-query --search \
    | cut -d: -f1 \
    | sort -u \
    | xargs -r apt-mark manual \
  && apt-get purge -y --auto-remove -o APT::AutoRemove::RecommendsImportant=false \
  && rm -rf /var/lib/apt/lists/* \
  \
  && python3 --version


这里发生了很多事情,但是最重要的是:



  1. Python已安装在中/usr/local
  2. 所有.pyc文件都将被删除。
  3. gcc不再需要软件包时,尤其是软件包以及编译Python所需的其他软件包,将被删除。


由于所有这些都在单个命令中发生,RUN因此,编译器没有存储在任何层中,这有助于保持紧凑的图像大小。



在这里您可以注意到Python需要一个库进行编译libbluetooth-dev这对我来说似乎很不寻常,因此我决定解决。事实证明,Python可以创建蓝牙套接字,但前提是必须使用此库进行编译。



▍符号链接设置



下一步/usr/local/bin/python3是分配一个符号链接/usr/local/bin/python,该符号链接允许以不同的方式调用Python:



#     ,     
RUN cd /usr/local/bin \
  && ln -s idle3 idle \
  && ln -s pydoc3 pydoc \
  && ln -s python3 python \
  && ln -s python3-config python-config


▍安装点子



程序包管理器pip有自己的发布时间表,该发布时间表与Python的发布时间表不同。例如,此Dockerfile安装了2020年7月发布的Python 3.8.5。而pip 20.2.2在Python发布后的8月发布了,但是Dockerfile设计为安装了新版本pip



#     "PIP_VERSION",  pip  : "ValueError: invalid truth value '<VERSION>'"
ENV PYTHON_PIP_VERSION 20.2.2
# https://github.com/pypa/get-pip
ENV PYTHON_GET_PIP_URL https://github.com/pypa/get-pip/raw/5578af97f8b2b466f4cdbebe18a3ba2d48ad1434/get-pip.py
ENV PYTHON_GET_PIP_SHA256 d4d62a0850fe0c2e6325b2cc20d818c580563de5a2038f917e3cb0e25280b4d1

RUN set -ex; \
  \
  savedAptMark="$(apt-mark showmanual)"; \
  apt-get update; \
  apt-get install -y --no-install-recommends wget; \
  \
  wget -O get-pip.py "$PYTHON_GET_PIP_URL"; \
  echo "$PYTHON_GET_PIP_SHA256 *get-pip.py" | sha256sum --check --strict -; \
  \
  apt-mark auto '.*' > /dev/null; \
  [ -z "$savedAptMark" ] || apt-mark manual $savedAptMark; \
  apt-get purge -y --auto-remove -o APT::AutoRemove::RecommendsImportant=false; \
  rm -rf /var/lib/apt/lists/*; \
  \
  python get-pip.py \
    --disable-pip-version-check \
    --no-cache-dir \
    "pip==$PYTHON_PIP_VERSION" \
  ; \
  pip --version; \
  \
  find /usr/local -depth \
    \( \
      \( -type d -a \( -name test -o -name tests -o -name idle_test \) \) \
      -o \
      \( -type f -a \( -name '*.pyc' -o -name '*.pyo' \) \) \
    \) -exec rm -rf '{}' +; \
  rm -f get-pip.py


与以前一样,完成这些操作之后,将删除所有.pyc文件。



▍影像入口



结果,在Dockerfile中指定了映像的入口点:



CMD ["python3"]


使用CMD代替,ENTRYPOINT我们启动图像,默认情况下,我们可以访问python:



$ docker run -it python:3.8-slim-buster
Python 3.8.5 (default, Aug  4 2020, 16:24:08)
[GCC 8.3.0] on linux
Type "help", "copyright", "credits" or "license" for more information.
>>>


但是,如有必要,您可以在启动映像时指定其他可执行文件:



$ docker run -it python:3.8-slim-buster bash
root@280c9b73e8f9:/#


结果



这是我们通过解析正式的Python映像Dockerfile中学到的slim-buster



▍图像包括Python



尽管这看起来似乎很明显,但值得注意的是确切如何在图像中包含Python。也就是说,这是通过将其安装在中来完成的/usr/local



使用此映像的程序员有时会犯同样的错误,即重新安装Debian版本的Python:



FROM python:3.8-slim-buster

#    :
RUN apt-get update && apt-get install python3-dev


当您运行此命令时,RUN将再次安装Python,但安装在中/usr,而不是中/usr/local而且通常不会是安装在中的Python版本/usr/local使用上述Docker文件的程序员可能不需要在同一映像中使用两个不同版本的Python。这主要是造成混乱的原因。



而且,如果某人确实需要Debian版本的Python,则最好将其用作基础映像debian:buster-slim



▍图像包含最新版本的点子



例如,最新的Python 3.5版本于2019年11月发布,但Docker映像python:3.5-slim-buster包含了pip2020年8月发布的映像。(通常)这是很好的,因为这意味着我们可以使用最新的错误修复和性能改进。这也意味着我们可以从对较新车轮选件的支持中受益。



▍所有.pyc文件都从图像中删除



如果要加快系统启动速度,可以将标准库的源代码独立编译为.pyc格式。这是使用compileall模块完成的



▍映像未安装Debian安全更新



尽管基础映像debian:buster-slimpython经常更新,但是Debian安全更新的发布与将其转换为映像之间仍有一定的差距。因此,您需要为基本的Linux发行版独立安装安全更新。



您使用什么Docker映像执行Python代码?






All Articles