在一个实施方式中，图像校正部104对基于宽高比以外的基准(例如，被摄体的线对称性等)计算出的得分加上基于宽高比的追加得分，选择得分最高的构图即可。 作为输入图像中的被摄体信息，可以举出例如人物的脸部等关注被摄体、输入图像中所包括的边缘和直线、亮度分布以及颜色分布等多方面的信息。 例如，如果是在检测输入图像中的脸部作为输入图像中的被摄体信息的情况下，则能使用利用从输入图像检测到的肤色区域的信息等现有技术来检测输入图像中的被摄体信息。 本发明并不限定于上述各实施方式，在权利要求所示的范围内可进行各种变更，将分别在不同的实施方式中公开的技术方案适当组合而获得的实施方式也包括在本发明的技术范围内。 而且，通过将分别在各实施方式中公开的技术方案组合，能形成新的技术特征。 如上所述，输入图像401、405、501、505中的任一个均是以被摄体402位于图像中央的方式所拍摄的图像，但作为优选的印象的构图根据输入图像的宽高比而变化。
例如，在操作部4为触摸面板的情况下，为在显示部2具备操作部4的构成，在显示部2显示有操作画面，接受用户的操作。 操作部4接受的操作可以列举出，例如，拍摄指示、曝光设定等各种拍摄设定、拍摄图像的存储以及删除、图像处理装置1b中的处理的执行指示等。 花的中心 需要说明的是，为了便于说明，对具有与在所述实施方式中说明过的构件相同的功能的构件标注相同的附图标记，并省略其说明。 本实施方式的图像处理装置是与实施方式3的图像处理装置1a相同的构成，但图像校正部104a的动作不同。
花的中心: CN110506292A - 图像处理装置、摄像装置、终端装置、图像校正方法及图像处理程序
例如，在输入图像的宽高比为纵向长的情况下，预想主要被摄体的横向侧的余量(被摄体与图像端之间的距离)小，若大幅裁剪横向的裁剪宽度，则在输出图像中，主要被摄体的一部分可能会位于裁剪区域外，画质可能会劣化。 此外，在输入图像的宽高比为横向长的情况下，预想主要被摄体的纵向侧的余量小，若大幅地裁剪纵向的裁剪宽度，则在输出图像中，主要被摄体的一部分可能会位于裁剪区域外，画质可能会劣化。 特别优选的是，长边方向的长度与短边方向的长度的比例越高的图像，短边方向(在纵向长的情况下为横向，在横向长的情况下为纵向)的切除宽度的最大值越小。 另一方面，在图像的长边方向的端部(在横向长的情况下为左右端，在纵向长的情况下为上下端)拍摄到主要被摄体的可能性低，因此，长边方向的裁剪宽度能在一定程度上增大。 花的中心2023 因此，优选的是，与输入图像的宽高比为纵向长的情况相比，输入图像的宽高比的横向越长，则将横向的切除宽度与输入图像的宽度的比例的最大值设定得越小。
因此，在评价拍摄图像1701并选择最佳的构图的情况下，为了抵消在从右斜方向拍摄的情况下产生的摄像装置1300的倾斜，图像校正部104b包括进行了校正以y轴为中心的旋转的投影变换的图像来进行评价，并选择最适当的构图即可。 需要说明的是，投影变换的旋转角度没有特别限定，也可以是分别输出以多个预先确定的角度旋转后的角度。 如图16的～所示，在有意识地以被摄体1602位于拍摄图像的中心的方式进行拍摄的情况下，有时在拍摄者1601、摄像装置1300的中心以及被摄体1602位于一条直线上的状态下进行拍摄。 但是，在使用像摄像装置1300这样的在横向保持的情况下拍摄部3不位于中央的摄像装置的情况下，如图16的所示，有时从倾斜方向拍摄被摄体1602。 基于图16的中所示的轴向对此进行说明，在图16的中，摄像装置1300相对于被摄体1602的朝向发生以y轴为中心的旋转。
花的中心: CN110506292A - 图像处理装置、摄像装置、终端装置、图像校正方法及图像处理程序
因此，考虑到根据输入图像的宽高比假定的、拍摄到输入图像时的摄像装置的朝向，图像处理装置1b在进行包括投影变换的校正的基础上进行构图的评价，生成适当的构图的输出图像。 例如，在图16的中，摄像装置1300被横向保持，因此以使拍摄图像成为横向长的宽高比的方式进行拍摄。 然后，摄像装置1300的拍摄部3不位于摄像装置的中央，因此如图16的所示，在横向保持摄像装置1300的条件下进行拍摄，以使拍摄部3朝向被摄体1602而位于右侧，在这样的情况下，从右斜方向对被摄体1602进行拍摄的可能性变高。
图像校正部104a基于宽高比信息获取部102所获取到的宽高比信息或朝向信息获取部103所获取到的朝向信息来确定输入图像的旋转的精度。 而且，图像校正部104a检测作为输入图像中的水平方向的线索的水平方向信息，并基于已确定的旋转的精度和水平方向信息，确定使图像旋转的旋转量。 花的中心 而且，图像校正部104a基于已确定的旋转量使输入图像旋转，生成旋转校正后的输出图像。
花的中心: CN110506292A - 图像处理装置、摄像装置、终端装置、图像校正方法及图像处理程序
朝向信息获取部103b获取表示朝向检测部5所检测到的拍摄到输入图像时的摄像装置的朝向(摄像装置是纵向还是横向)的朝向信息。 虽然区域1203和区域1204都是相对于输入图像的横向倾斜15°的矩形，但是相对于输入图像的面积比不同。 花的中心 具体而言，与区域1203相比较，区域1204与输入图像的面积比变小。 即，输入图像的宽高比的横向越长，则即使旋转量相同，通过旋转校正而得到的输出图像相对于输入图像的面积的减小率也越大。 其结果是，通过旋转校正而得到的输出图像相对于输入图像的视角的减小率变大。
- 根据上述构成，根据图像的宽高比或拍摄到输入图像时的摄像装置的朝向来切换旋转的精度，因此能生成被适当地校正为倾斜的输出图像。
- 宽高比信息获取部102将获取到的宽高比信息提供给图像校正部104a。
- 具备第一通信部，从终端装置接收所述输入图像以及表示拍摄到所述输入图像时的摄像装置的朝向的信息，并将所述输出图像发送至所述终端装置。
- 摄像装置例如具备计测加速度(重力)相对于摄像装置的朝向的加速度传感器，由此，能获取与拍摄时的摄像装置的朝向有关的信息。
- 在输入图像1101的左侧用箭头表示的宽度W1表示从输入图像1101的图像下端到水平线1103的长度，在输入图像1101的右侧用箭头表示的宽度W2表示从输入图像1101的图像下端到水平线1103的长度。
- 具体而言，图像校正部104根据所确定的构图来裁剪输入图像，由此生成校正为适当的构图的图像。
图像校正部104基于被摄体信息和输入图像或输出图像的宽高比，从输入图像裁剪图像，校正构图。 以下，对在输入图像的宽高比与输出图像的宽高比相同的情况，就是说，对考虑到输入图像的宽高比的构图校正进行具体说明。 也可以是，本发明的方案3的图像处理装置在上述的方案1中采用所述图像校正部检测所述输入图像中所包含的被摄体信息，并基于所述被摄体信息和所述输入图像或输出图像的宽高比来校正所述输入图像的构成。 也可以是，本发明的方案2的图像处理装置在上述方案1中采用所述图像校正部基于所述输入图像或所述输出图像的宽高比来确定所述输出图像的构图的构成。 服务器1803具备控制部10、存储部20以及第一通信部1804。 控制部10基于经由第一通信部1804从终端装置1801接收到的输入图像以及表示拍摄到输入图像时的摄像装置的朝向的信息，生成输出图像，并经由第一通信部1804发送至终端装置1801。
花的中心: CN110506292A - 图像处理装置、摄像装置、终端装置、图像校正方法及图像处理程序
此外，在一个方案中，在宽高比表示与阈值相比纵向长的情况下，图像校正部104确定以变形三分法构图作为输出图像的构图，该变形三分法构图是使主要被摄体位于将图像的横向分割为两部分的线与将纵向分割为三部分的线的交点上。 在一个方案中，在宽高比表示与阈值相比横向长的情况下，图像校正部104确定以变形三分法构图作为输出图像的构图，该变形三分法构图是使主要被摄体位于将图像的横向分割为三部分的线与将纵向分割为两部分的线的交点上。 此外，图像校正部104也可以综合考虑输入图像的像素数等图像信息、拍摄到输入图像时的焦点位置等拍摄信息来评价构图。
朝向信息获取部103获取表示拍摄到输入图像时的摄像装置的朝向(摄像装置是纵向(拍摄纵向长的图像的朝向)还是横向(拍摄横向长的图像的朝向))的朝向信息。 关于拍摄到输入图像时的摄像装置的朝向，能计测加速度(重力)相对于摄像装置的朝向，并将此作为与拍摄到输入图像时的摄像装置的朝向有关的信息。 例如，加速度(重力)相对于摄像装置的朝向能通过摄像装置所具备的加速度传感器来计测。 由此，获取拍摄到输入图像时的摄像装置的朝向为纵向还是横向的信息。
花的中心: CN110506292A - 图像处理装置、摄像装置、终端装置、图像校正方法及图像处理程序
作为输入图像中的水平方向信息，可以列举出输入图像中的直线、人物的面部朝向等。 为了解决上述问题，本发明的一个方案的图像处理装置是如下构成：具备图像校正部，对输入图像进行裁剪、旋转以及投影变换中的至少一种校正来生成输出图像，所述图像校正部基于所述输入图像或输出图像的宽高比或拍摄所述输入图像时的摄像装置的朝向来进行所述校正。 拍摄图像1701从右倾斜方向进行拍摄的可能性低，但其倾斜角度根据到被摄体1602的距离等、摄像装置1300与被摄体1602的位置关系而改变。
因此，输入图像的宽高比的横向越长或纵向越长，则图像校正部104a将旋转量的最大值设定得越小，由此能降低输出图像相对于输入图像的视角的减小。 在输入图像1101的左侧用箭头表示的宽度W1表示从输入图像1101的图像下端到水平线1103的长度，在输入图像1101的右侧用箭头表示的宽度W2表示从输入图像1101的图像下端到水平线1103的长度。 同样地，在输入图像1104的左侧用箭头表示的宽度W3表示从输入图像1104的图像下端到水平线1103的长度，在输入图像1104的右侧用箭头表示的宽度W4表示从输入图像1104的图像下端到水平线1103的长度。 虽然从图像下端到水平线1103的宽度在输入图像1101和1104中在左右都不同，但宽度W3与宽度W4的差比宽度W1与宽度W2的差大。 因此，相比于输入图像1101，输入图像1104中更容易识别水平线1103的倾斜。 即，图像的宽高比的横向越长，越容易识别水平线的倾斜，因此在输入图像的构图的校正中，在宽高比为横向长的情况下，水平校正的精度是重要的。
花的中心: CN110506292A - 图像处理装置、摄像装置、终端装置、图像校正方法及图像处理程序
因此，例如，输出图像的视角与输入图像的视角的比例越大，则评价越高，由此优选的是，容易选择宽视角的构图。 具备第二通信部，向权利要求8所述的图像处理装置发送所述输入图像以及表示拍摄到所述输入图像时的摄像装置的朝向的信息，并从所述图像处理装置接收所述输出图像。 所述图像校正部根据所述输入图像或输出图像的宽高比或者拍摄到所述输入图像时的摄像装置的朝向来切换所述投影变换的旋转轴。
被摄体1602为对称性高的被摄体，因此通过以对称构图进行拍摄而成为适当的印象的图像。 但是，如图16的所示，在从倾斜方向拍摄的情况下，成为了对称性低的图像。 像这样的图像，在平行移动、旋转等已知的仿射变换中，无法校正为像拍摄图像1702那样的正对被摄体1602的图像。 因此，在已知的方法中，无法将拍摄图像1701校正为对称性高的图像。 花的中心2023 为了将拍摄图像1701校正为像拍摄图像1702那样的对称性高的图像，考虑到从右倾斜方向拍摄被摄体1602，图像校正部104b需要进行以y轴为中心的旋转的投影变换。 图像处理装置1b对输入至图像处理装置1b的输入图像，进行使图像以特定的轴为中心旋转的投影变换的图像处理，生成校正后的图像(输出图像)。
花的中心: CN110506292A - 图像处理装置、摄像装置、终端装置、图像校正方法及图像处理程序
接着，朝向信息获取部103获取表示拍摄到输入图像时的摄像装置的朝向(拍摄装置是纵向还是横向)的朝向信息。 朝向信息获取部103将获取到的朝向信息提供给图像校正部104a。 此外，在使用三分法构图作为输出图像的构图的情况下，图像校正部104可以根据图像的宽高比，使用变形三分法构图来代替上述三分法构图，该变形三分法构图是使主要被摄体位于将图像的长边方向分割为三部分的线与将图像的短边方向分割为两部分的线的交点上。 此外，输入图像的被摄体信息也可以是从图像处理装置1的外部被输入至图像处理装置1的构成。 例如，能采用如下构成：用户在显示于显示部2的输入图像上选择被摄体，所选择的被摄体的位置作为输入图像中的被摄体信息被输入至图像处理装置1。 例如，在显示部2是触摸面板的情况下，用户能通过触摸触摸面板来选择被摄体。
如图13所示，图像处理装置1b与实施方式1的图像处理装置1的不同点在于，控制部10b具备图像校正部104b来代替图像校正部104、控制部10b还具备朝向信息获取部103b以及控制部10b代替存储部20而与图像处理装置1b的外部的存储部6连接。 通过采用这样的构成，图像处理装置1b能根据输入图像或输出图像的宽高比或者根据拍摄到输入图像时的摄像装置的朝向来切换针对输入图像的投影变换的旋转轴。 图像处理装置1a对输入至图像处理装置1a的输入图像进行使图像旋转的图像处理，生成校正后的图像(输出图像)。
花的中心: CN110506292A - 图像处理装置、摄像装置、终端装置、图像校正方法及图像处理程序
需要说明的是，也可以是像这样的图像信息和拍摄信息与输入图像一起从图像处理装置1的外部输入至图像处理装置1的构成。 此外，输入图像的像素数等图像信息可以由图像校正部104基于输入图像来计算出，也可以是图像处理装置1还具备图像信息计算部(未图示)的构成，由该图像信息计算部基于输入图像来计算出像素数等图像信息。 在生成其他构图的输出图像的情况下，图像校正部104也同样以使被摄体的位置在输出图像中适合于构图的方式确定裁剪区域，根据裁剪区域内的各像素的数据生成输出图像的数据即可。 此外，在一个方案中，图像校正部104可以使输入图像旋转来进行裁剪，也可以将使裁剪后的图像旋转而成的图像作为输出图像。 本发明的方案11的摄像装置是如下构成：在上述的方案10中还具备朝向检测部，该朝向检测部用于检测所述摄像装置的朝向，所述图像处理装置(1、1a、1b)基于所述朝向检测部检测到的所述摄像装置的朝向来生成所述输出图像。
花的中心: CN110506292A - 图像处理装置、摄像装置、终端装置、图像校正方法及图像处理程序
因此，在图像的宽高比不为横向长的情况下，优选能够通过降低角度精度来削减处理量，进行高速处理。 以下，对图像处理装置1a的图像校正部104a所进行的校正进行具体说明。 花的中心2023 图像校正部104a根据图像的宽高比或拍摄到输入图像时的摄像装置的朝向来切换输入图像的旋转的精度。 花的中心 花的中心2023 花的中心2023 在此，对图像校正部104a基于宽高比切换输入图像的旋转的精度的情况进行说明。 以下，对输入图像的宽高比与输出图像的宽高比相同的情况，就是说，对考虑到输入图像的宽高比的旋转校正进行具体说明。
花的中心: CN110506292A - 图像处理装置、摄像装置、终端装置、图像校正方法及图像处理程序
例如，在图16的和中，摄像装置1300与被摄体1602之间的距离不同。 在该情况下，在图16的的条件下对被摄体1602进行拍摄的情况下的摄像装置1300相对于被摄体1602的倾斜角度α1大于在图16的的条件下对被摄体1602进行拍摄的情况下的摄像装置1300相对于被摄体1602的倾斜角度α2。 因此，通过对以多个旋转量进行投影变换后的图像进行评价，可能会能生成进行了最佳的投影变换的图像。 例如，在图16的和的拍摄条件下，进行了最佳的投影变换的图像对称性变高，因此易于从以多个旋转量进行投影变换后的图像之中选择对称构图来作为适当的构图。 在一个实施方式中，在以多个旋转量进行投影变换后的候选图像之中，将对称构图的得分设定得最高，由此易于从候选图像之中选择对称构图来作为最佳的图像。 此外，在另一实施方式中，用户能从以多个旋转量进行投影变换后的候选图像之中选择最佳的图像。
花的中心: CN110506292A - 图像处理装置、摄像装置、终端装置、图像校正方法及图像处理程序
所述图像校正部根据所述输入图像的宽高比或拍摄到所述输入图像时的摄像装置的朝向来限制所述裁剪中的所述输入图像的切除宽度。 接着，图像校正部104b针对在步骤S34中确定的旋转轴，对输入图像进行投影变换，生成校正后的输出图像。 控制部7控制在摄像装置1300内所具备的各部，例如基于由操作部4接受到的拍摄指示来控制拍摄部3，或基于由朝向检测部5检测到的摄像装置1300的倾斜来控制显示于显示部2的图像的朝向等。 接着，图像校正部104基于在步骤S13中检测到的被摄体信息和在步骤12中获取到的宽高比信息从输入图像裁剪图像，生成构图被校正后的输出图像。 本发明的一个方案是鉴于上述问题点而完成的，其目的在于实现一种能生成适当的输出图像的新的图像处理装置。 所述图像校正部基于所述输入图像或输出图像的宽高比或者拍摄到所述输入图像时的摄像装置的朝向来进行所述校正。
而且，计算机系统(或CPU)从上述记录介质读取上述程序并执行，由此达成本发明的目的。 作为上述记录介质，可以使用“非暂时的有形介质”，例如磁带、磁盘、卡、半导体存储器、可编程逻辑电路等。 此外，上述程序可以经由能传输该程序的任意传输介质(通信网络、广播波等)提供给上述计算机。 需要说明的是，本发明的一个方案以上述程序通过电子传输而具体化的、嵌入至载波的数据信号的形态也能实现。
