EvgIg
Tuesday, 17 January 2006, 17:55
Вобщем столкнулся сегодня с одной большой проблемой... корни которой, как мне представляется скрываются далеко в истории.
Немного истории:
Электоронные письма сами по себе представляют простой текстовый файл.
И, насколько помню, в этом текстовом файле нельзя передавать часть символов (они являются управляющими).
Когда пользователь прикрепляет какой-то файл к своему посланию, то этот файл добавляется в "тело" письма. При этом любой файл кодируется с помощью алгоритма base64 для исключения управляющих символов и файл состоящий из двух строчек:
На форуме 570420 сообщений
Зарегистрировано 52014 пользователей
в теле письма превращается в:
------------6562603B292154
Content-Type: text/plain; name="=?Windows-1251?B?0uXq8fLu4vvpIOTu6vPs5e3yLnR4dA==?="
Content-transfer-encoding: base64
Content-Disposition: attachment; filename="=?Windows-1251?B?0uXq8fLu4vvpIOTu6vPs5e3yLnR4dA==?="
zeAg9O7w8+zlIDU3MDQyMCDx7u7h+eXt6OkNCsfg8OXj6PHy8Ojw7uLg7e4gNTIwMTQg7+7r
/Ofu4uDy5evl6Q==
------------6562603B292154--
т.е. из 64 байт в 90 (жирный шрифт) плюс дополнительная информация(остальное).
Дак вот, к чему все это.
Если в письмо воткнуть большой файл, особенно картинку, экзешник или архив, то перекодировка может очень сильно увеличить размер письма. Например, добавив исполнимый файл размером 12 847 789 байт получилось письмо в 17 594 045 байт!!! Добавка почти в ПЯТЬ мегабайт. Почти в полтора раза больше!
HTTP протокол при передаче файлов менее расточителен и, если почтовый сервер имеет вэб-интерфейс, то лучше видимо воспользоваться им.
Какие будут мнения?
PS: Не претендую на полноту и точность изложения, но надеюсь что понятна суть проблемы.
Duke
Wednesday, 18 January 2006, 2:59
QUOTE |
HTTP протокол при передаче файлов менее расточителен и, если почтовый сервер имеет вэб-интерфейс, то лучше видимо воспользоваться им. |
Помойму без разницы ! Ведь письма то всё равно передаются по SMTP. А веб-интерфейс является всего лиш онлайн почтовым клиентом.
Salagin
Wednesday, 18 January 2006, 6:28
EvgIg
При чем тут POP3? Он отвечает за снятия почты с ящика, HTTP - протокол не для передачи файлов, а именно гипертекста, что следует из его названия Duke правильно сказал, что вэб интерфейс - лишь удобная среда для взаимодействия с почтовым сервером.
По поводу увеличения размера письма - откуда такие данные? Не наблюдал такого...
Duke
Wednesday, 18 January 2006, 8:29
QUOTE |
По поводу увеличения размера письма - откуда такие данные? Не наблюдал такого... |
Сейчас попробовал в почтовеке The Bat 3.0.2.2 ! Действительно, такой эфект есть. Прикрепил ехе файл (10м), а письмо получилось 14 мегов.
Странно ! Лень настраивать Аутлук. Может это глюк только The Bat ?
Salagin
Wednesday, 18 January 2006, 9:45
Duke
Судя по всему - служебная информация и прочее... Поэтому большие файлы и и льюццо via ftp :-)
Duke
Wednesday, 18 January 2006, 10:08
Salagin QUOTE |
Судя по всему - служебная информация и прочее |
4 мега служебной инфы ?!?!
Кстать, заметил, чем больше файл, тем больще добавляется левой шняги (примерно 40% от веса файла).
Дак вот, если в аутлуке нет такого, значит это глюк Бата, однозначно !
А ты аутлуком не пробовал ?
QUOTE |
Поэтому большие файлы и и льюццо via ftp :-) |
Salagin
Wednesday, 18 January 2006, 12:53
Duke QUOTE |
значит это глюк Бата, однозначно ! |
Я пробовал через вэб интерфейс - тоже самое. Имхо, тут дело в преобразовании аттача, подробности надо поискать...
Duke
Wednesday, 18 January 2006, 13:06
QUOTE |
Я пробовал через вэб интерфейс - тоже самое. |
Ааахренеть ! и тоже на 40 % разбухает ? Если так, то EvgIg прав. это перекодировка.
QUOTE |
подробности надо поискать... |
Если что нароеш, слей сюда плиз.
EvgIg
Wednesday, 18 January 2006, 16:47
Прошу прощение за расплывчатость.
Я скорее пытался посоветовать для передачи/приема больших файлов через вэб-интерфейс почтовых серверов. И ждал подтверждение или опровержение своих догадок.
Вобщем вот мое ИМХО:
Duke QUOTE |
Ведь письма то всё равно передаются по SMTP. А веб-интерфейс является всего лиш онлайн почтовым клиентом. |
Насколько могу судить, не совсем так.
Вэб-интерфейс работает через HTTP в котором нет таких "потерь".
Скорее всего, примерно так: есть некая база данных писем, а прикрепленные файлы хранятся отдельно (в теле письма только ссылка на файл, например). Во время прихода письма прикрепленные файлы "изымаются", а во время отправки "вставляются" в тело письма. Думаю, что владельцам серверов не выгодно хранить дополнительные объемы информации.
А если мы работаем через вэб, то работаем, грубо говоря, напрямую с http файловым архивом.
Salagin
Все время забываю кто есть кто 
Проблема то не в этом. "Отправленное письмо" = "Полученное письмо". Так что разницы нет - принимаем мы или отправляем. Вопрос - кто расточительнее?
QUOTE |
HTTP - протокол не для передачи файлов, а именно гипертекста |
т.е. тот же index.htm не является файлом?
Введи в любом поисковике строку "передача файлов через http" и увидишь предназначен он для этого или нет 
QUOTE |
По поводу увеличения размера письма - откуда такие данные? Не наблюдал такого... |
И я больше двух лет не наблюдал. 
Duke
QUOTE |
Может это глюк только The Bat ? |
Это глюк стандарта электронной почты
В Outlook'е то же самое +/- несколко кило из-за разного способа кодировки.
Народ! Возьмите любое письмо с приаттаченым файлом, сохраните или экспортируйте на диск и откройте в блокноте.
Salagin
QUOTE |
Судя по всему - служебная информация и прочее... |
QUOTE |
При этом любой файл кодируется с помощью алгоритма base64 для исключения управляющих символов |
Ведь было же сказано почему это происходит.
QUOTE |
Я пробовал через вэб интерфейс - тоже самое. |
Т.е. брал файл, вставлял его в письмо, отправлял и отправлял его же через вэб-интерфейс, а затем сравнивал количество принятых/отправленных байт?
И то же самое при получении через почтовик и через вэб.
Если так, то можешь выложить статистику?
Уф. Сорри ежли че.
настроение чей-то сегодня ни того
EvgIg
Wednesday, 18 January 2006, 17:01
Duke
Загрузил страничку с утра и не видел последнего поста...
Это 99,99% перекодировка плюс служебная информация(примерно семь строчек).
При кодировке Bat делает строки длинной 73 байта, а Outlook 77 байт из-за чего на больших файлах письма последнего немного короче (меньшее количество CRLF - переводов строк)
Просьба:
Естьли у кого-нибудь возможность погонять файл размером хотябы 1Мб и замерить при этом статистику отправленных/полученных байт через почтовик/вэб-интерфейс. Поделитесь пожалуйста этой самой статистикой.
Duke
Thursday, 19 January 2006, 4:05
QUOTE |
И ждал подтверждение или опровержение своих догадок. |
Помойму ты их получил 
QUOTE |
Насколько могу судить, не совсем так. Вэб-интерфейс работает через HTTP в котором нет таких "потерь". |
Совсем так ! Потери есть, причём такие же ! Да и как их может не быть, если протокол то един. И еслиб Веб интерфейс перекодировал подругому, то удалённый клиент его бы не понял!
QUOTE |
т.е. тот же index.htm не является файлом? Введи в любом поисковике строку "передача файлов через http" и увидишь предназначен он для этого или нет |
Если так рассуждать, то можно сказать, что "можно смотреть ВЕБ страници по протоколам POP(Если ктонить сайт отправит), FTP(если ктонить зальёт), даже через шару
)))
QUOTE |
Скорее всего, примерно так: есть некая база данных писем, а прикрепленные файлы хранятся отдельно (в теле письма только ссылка на файл, например). Во время прихода письма прикрепленные файлы "изымаются", а во время отправки "вставляются" в тело письма. Думаю, что владельцам серверов не выгодно хранить дополнительные объемы информации. |
Нет. Все письма хранятся в одном файле ! Причём,ещё раз подчеркну, ВСЕ письма данной папки пользователя(например "корзина" "входящие") вместе с прекреплёнными,перекодированными файлами. Причём на всех почт. серверах, что под Windows, что под Linux.
QUOTE |
И я больше двух лет не наблюдал. |
Ага . Я тож не замечал больше 5 лет
QUOTE |
Т.е. брал файл, вставлял его в письмо, отправлял и отправлял его же через вэб-интерфейс, а затем сравнивал количество принятых/отправленных байт? И то же самое при получении через почтовик и через вэб. Если так, то можешь выложить статистику? |
Всё тоже самое !
QUOTE |
Естьли у кого-нибудь возможность погонять файл размером хотябы 1Мб и замерить при этом статистику отправленных/полученных байт через почтовик/вэб-интерфейс. Поделитесь пожалуйста этой самой статистикой. |
Сильно не гонял. Килобайты не ловил ! И зделал вывод.
без разнице почтовик это либо Веб интерфейс. Плюс, минус несколько КБ! Чего я сразу и говорил. От стандарта протокола не уйдёш.
Совет: Хочеш обмениваться файлами большого размера используй FTP.
Salagin
Thursday, 19 January 2006, 7:11
EvgIg
Немного плаваете, учите мат.часть.
Советую глянуть описание bace64, mime64, plain/text
EvgIg
Thursday, 19 January 2006, 17:49
Salagin
Можно поконкретнее? Где и в чем я плаваю
За мат часть особая благодарность.
Читал про все это где-то в 96-98 годах в файлах скаченных из ФИДО. Подзабылось.
Вот что удалось добыть:
QUOTE |
base64_encode() возвращает data закодированные в кодировке base64. Эта кодировка разработана для того, чтобы передовать двоичные данные через транспортные слои, которые не содержат восьмой бит, такие как почтовые тела. Данные в кодировке Base64 занимают примерно на 33% больше места, чем оригинал. |
Взято [Для просмотра ссылки зарегистрируйтесь]
О чем и было сказано выше.
Duke
Ладно. Пришлось.
Тест на передачу архивного файла по электронной почте и через вэб интерфейс.
Передача файла осущевствлялась с yandex.ru на freemail.ru.
Размер файла 100 000 байт ровно.
Само письмо пустое.
В Bat'е письмо имеет размер 137 739 байт.
Для измерения объемов передаваемых данных был использован прокси сервер UserGate 2.8.0.142
CODE |
Отправлено Получено (в байтах) Передача файла: Bat 137 833 639 mail.yandex.ru 108 231 59 157 Прием файла: Bat 107 140 200 pop3.freemail.ru 776 100 164 Всего за сеанс: 322 162 596 044 Накладные расходы веб: 75 215 295 884
|
Пояснения:
При передаче с mail.yandex.ru было получено больше, т.к. после отправки сообщения загрузилось окно-сообщение об удачной отправке письма.
При приеме в Bat'e использовался диспетчер писем (прием заголовков) что вызвало бополнительный объем данных.
"Всего за сеанс" - это полный объем переданных данных включая авторизацию на yandex'e и freemail'e, загрузка страниц отправки и получения почты.
"Накладные расходы веб" - переданные данные при авторизации, загрузке страниц почтового вэб-интерфейса, загрузка картинок(забыл отключить
), плюс, как оказалось, оба почтовика еще лазют по куче всяких сайтов.
Итог:
При приеме и передаче файлов почтовые программы (в силу своего стандарта) более расточительны при передаче бинарных файлов.
Вэб-интерфейс расточителен в том плане, что необходимы дополнительные расходы трафика на авторизацию и загрузку интерфейса, но эти расходы примерно постоянны и зависят только от "завешенности" интерфейса и, например, от количества писем (например,если открывается папка "входящие", то чем больше писем - тем больше переданных данных).
Вывод:
Если передавать большой файл через вэб-интерфейс, то накладные расходы в какой-то момент (зависящий от размера файла) начнут оправдываться и прерйдут в экономию трафика по сравнению с почтовыми программами.
Duke
Friday, 20 January 2006, 4:00
EvgIg Да помойму твои иследования интересны чисто теоритически ! Ибо разница в копейки между методами отправки. А исходящий трафик почти не у кого не платится. Разве что GPRS. Забей на это дело и отправляй так, как тебе удобнее. Ну а есл большой файл нужно отправить, заливай на ФТП, будет один в один.
Salagin
Friday, 20 January 2006, 6:32
EvgIg QUOTE |
Для измерения объемов передаваемых данных был использован прокси сервер UserGate 2.8.0.142 |
Я не понял, мы говорим о конечном объеме файла, положенного в ящик, или о трафике, который затратили на отправку/получение письма? Если у вас кэширующий прокси, то часть трафика пойдет локально, к тому же вы не принимаете в учет повторы/сбои передачи, на это тоже тратится трафик. QUOTE |
При приеме в Bat'e использовался диспетчер писем (прием заголовков) что вызвало бополнительный объем данных. |
Заголовки принимаются всегда, ведь вы получаете все письмо, а не только его body? Если вы используете фишку "Показать заголовки" то это никак не отражается на объеме трафика.
EvgIg
Friday, 20 January 2006, 11:50
Duke QUOTE |
Да помойму твои иследования интересны чисто теоритически |
В принцыпе да.
QUOTE |
Ибо разница в копейки между методами отправки. |
33% - это не копейки, если файлы передаются часто и большого объема.
У меня есть клиенты, которые предают почти каждый день с десяток отсканированных страниц А4 формата (заполнены от руки, поэтому о распознавании речь не идет, а для читабельности приходится увеличивать разрешение) по модему.
QUOTE |
А исходящий трафик почти не у кого не платится. |
Как раз сижу на GPRS
У многих на этом форуме (и у моих знакомых) до сих пор модемное соединение.
QUOTE |
Забей на это дело и отправляй так, как тебе удобнее. |
Обычно у меня нет необходимости в отправке больших файлов. Просто так получилось
ну и понесло. И пользоваться в ближайшее время буду Bat'ом.
Может посоветуешь какой-нибудь ФТП сервер? Буду очень признателен.
Salagin
QUOTE |
Я не понял, мы говорим о конечном объеме файла, положенного в ящик, или о трафике, который затратили на отправку/получение письма? |
См. [Для просмотра ссылки зарегистрируйтесь] Там было сказано:
QUOTE |
Вопрос - кто расточительнее? |
QUOTE |
Если у вас кэширующий прокси, то часть трафика пойдет локально, к тому же вы не принимаете в учет повторы/сбои передачи, на это тоже тратится трафик. |
Сто лет не лазил на mail.yandex.ru и тем более на freemail.ru, так что тут совесть у прокси чиста
В данном случае кэшировались картинки, но они скорее всего были в кэше Оперы нежели прокси-сервера. Насчет сбоев - если внимательно посмотреть, то скорее всего они были, но мы же говорим о реальных условиях, а не теоритических.
QUOTE |
Заголовки принимаются всегда, ведь вы получаете все письмо, а не только его body? Если вы используете фишку "Показать заголовки" то это никак не отражается на объеме трафика. |
Было отправлено Два письма, а принято Одно. Второе просто удалил на сервере через Bat - отсюда дополнительные расходы на прием заголовков и удаление писем.
"Показать заголовки" какраз создает дополнительный трафик - сначала принимаются заголовки, а потом принимаются полностью письма. Приемущество в том, что мы можем удалить письма не скачивая с сервера. За удобства надо платить
###
Еще раз вернусь:
QUOTE |
Да помойму твои иследования интересны чисто теоритически ! |
Шепотом, озираясь. "Мне кажется, что это заговор!" 
См. выше:
QUOTE |
которые не содержат восьмой бит, такие как почтовые тела. |
Теоретически современные протоколы способны передавать файлы без всяких перекодировок.
Но монстрам программной индустрии, видимо, не выгодно менять стандарты и как следствие свои программы. С нетерпением жду появление почтового протокола что-то навроде POP3(IMAP)+SMTP+FTP 
А вся полемика с моей стороны началась из-за... ладно не будем об этом.
Лучше скажу так(приблизительно и грубо):
Все протоколы (POP3, HTTP, SMTP, FTP по крайней мере) работают примерно по одному принципу.
Клиент "стучится" на сервер и они некоторое время мило беседуют определяя кто есть кто.
Дальше идет передача информации Клиент-Сервер и Сервер-Клиент.
Среди этой информации есть и передача файлов.
Все это происходит в рамках протокола TCP/IP, поэтому передача файлов происходит почти один в один если не считать подтверждения приема, дополнительные запросы и повторную передачу потеряных пакетов.
А отличаются протоколы лишь тем, что клиент и сервер "разговаривают" на определенном языке который отличается от протокола к протоколу и описан в соответствующих стандартах.
В связи с тем, что передача файлов происходит почти один в один и было сделано предположение, что почтовые программы более расточительны (в связи с перекодировкой файла и, как следствие, непропорционального увеличения размера письма) при передаче файла (а не письма как такового) нежели передача через веб-интерфейс. Что и было доказано практикой.
###
Кстати, в рамках проекта "Экономь свой трафик"
Теоретически пока что
Если ваше соединение оплачивается по трафику и приходится много скачивать различных файлов с помощью различных менеджеров закачки, то советую вам уменьшить количество однавременно закачиваемых секций до 1 (единицы). Т.к. на каждую секцию создается новое подключение к серверу.
Пока что все.
PS: Если есть желание раскажу где и в чем вы не правы. Чего и от вас прошу в мою сторону.
Salagin
Friday, 20 January 2006, 13:53
QUOTE |
"Показать заголовки" какраз создает дополнительный трафик - сначала принимаются заголовки, а потом принимаются полностью письма. Приемущество в том, что мы можем удалить письма не скачивая с сервера. За удобства надо платить |
Насколько я понял, речь идет о поставляемом с Батом спам-фильтре BayesIt (не гарантирую точность написания), то он действительно работает с заголовками.
QUOTE |
советую вам уменьшить количество однавременно закачиваемых секций до 1 (единицы). Т.к. на каждую секцию создается новое подключение к серверу. |
Ну там трафика - все те же копейки...
EvgIg
Friday, 20 January 2006, 15:17
Salagin QUOTE |
Насколько я понял, речь идет о поставляемом с Батом спам-фильтре BayesIt (не гарантирую точность написания), то он действительно работает с заголовками. |
Речь шла о встроенном инструменте "Диспетчер писем" (Account/Dispatch mail on Server/New messages only Ctrl+F2 в русской кажется так и называется "Диспетчер писем", сорри нет под рукой).
Так или иначе прием заголовков - дополнительный трафик в любом случае т.к. письмо получается сначала.
QUOTE |
Ну там трафика - все те же копейки... |
Копейка рубль бережет
Как говорится: наше дело предложить - ваше дело отказаться.
Duke
Monday, 23 January 2006, 3:51
QUOTE |
33% - это не копейки, если файлы передаются часто и большого объема. |
Я не понял.... где ты эти 33% выиграть собираешся ? Уже же выяснили, что этих потерь не избежать, а разница в отправке между клиентами и вэб - КОПЕЙКИ !!!
QUOTE |
Как раз сижу на GPRS |
Но ты же не будеш 10мегов по GPRS постоянно пересылать...чтоб потери то почуствовать...
QUOTE |
У многих на этом форуме (и у моих знакомых) до сих пор модемное соединение. |
Ну и что ? Вот как раз трафик на модеме,как правило, и не важен, а подождать пару минут закачивая лишнии 33% не критично .
QUOTE |
Может посоветуешь какой-нибудь ФТП сервер? Буду очень признателен. |
Для мелких нужд можеш поюзать [Для просмотра ссылки зарегистрируйтесь] Дают чегото около 32 мегов.
А поболе я честно говоря незнаю. Потому,как, у меня свой ФТП сервер в инете. Поищи в поисковиках.
QUOTE |
почтовые программы более расточительны (в связи с перекодировкой файла и, как следствие, непропорционального увеличения размера письма) при передаче файла (а не письма как такового) нежели передача через веб-интерфейс. Что и было доказано практикой. |
Опять же не пойму....что и где было доказанно ? Ты как понять то не можеш, что ВЕБ интерфейс это просто интерфейс для того же самого ПОЧТОВОГО КЛИЕНТА !
EvgIg
Monday, 23 January 2006, 12:14
Duke QUOTE |
Уже же выяснили, что этих потерь не избежать, а разница в отправке между клиентами и вэб - КОПЕЙКИ !!! |
Пожалуйста, читай внимательнее сколко байт было отправлено через почтовик и через вэб. То же самое с приемом. (См. ниже)
QUOTE |
Но ты же не будеш 10мегов по GPRS постоянно пересылать...чтоб потери то почуствовать... |
Лично я - нет, но, например, наш директор постоянно отправляет/принимает объемные письма через GPRS.
QUOTE |
Вот как раз трафик на модеме,как правило, и не важен, а подождать пару минут закачивая лишнии 33% не критично . |
Т.е. не важно 10 минут или 15?
Благодарю.
Немного из более раннего:
QUOTE |
Нет. Все письма хранятся в одном файле ! Причём,ещё раз подчеркну, ВСЕ письма данной папки пользователя(например "корзина" "входящие") вместе с прекреплёнными,перекодированными файлами. Причём на всех почт. серверах, что под Windows, что под Linux. |
Насколько я понял ты путаешь локальные базы данных писем с серверными базами. (кстати, в бате, например, есть опция навроде "хранить прикрепленные файлы в отдельном каталоге")
На серверах, если и есть папки, то они скорее всего виртуальные.
Возьми, например, десять файлов в любой папке Бата или Оутлука и перемести в любую другую папку.
Засеки сколько это займет времени. Зайди на любой почтовик через вэб и сделай то же самое(например удали десяток писем в корзину). Даже если получится примерно один результат по времени - не забывай, что на этом же сервере в данный момент времени может работать куча народа.
На локальном компьютере происходит перемещение писем из одной базы данных в другую. На сервере исползуется единая база данных (врать не буду, но скорее всего база для всех клиентов). Изменяется только некий атрибут принадлежности к какой-то папке, что может быть в тысячи раз быстрее простого перемещения.
Дак, вот о чем и к чему это я...
QUOTE |
Ты как понять то не можеш, что ВЕБ интерфейс это просто интерфейс для того же самого ПОЧТОВОГО КЛИЕНТА ! |
Еще раз прошу - изучи внимательно таблицу теста.
По твоим выкладкам можно сделать выовод, что 137 833 байт = 108 231 байт, т.е. трафик в почтовике равен трафику в вэбе при отправке, а так же 140 200 = 100 164 при приеме.
(вопрос: куда деваются 40 килобайт при отправке/получении через вэб?)
Если так рассуждать, то заливаем сайт через FTP, потом смотрим его через HTTP и получается FTP=HTTP. 
Хорошо, другой пример. Не сочтите за рекламу.
Заходим на сайт 5ballov.ru, который является по своей сути файловым архивом и выбираем любой реферат. У нас есть два способа получить сей реферат: либо скачать по HTTP, либо заказать его на почту. Дак вот, закачивая через HTTP мы получаем "чистый" архив, а получая через почту с прибавкой в те самые 33%.
(упс, они отключили возможность доставки по почте, но суть от этого не меняется. Одной из возможных причин отключения может быть то о чем мы беседуем. Т.е. расход лишнего трафика)
Абстрагируйся от протоколов как таковых. Есть какое-то хранилище данных(не важно БД, архив файлов или еще что-то) к которым есть несколько способов доступа. И эти данные передаются в формате того способа доступа, который мы выбираем. Нам не надо задумываться как и что - сервер все делает за нас и, если необходимо, перегоняет данные из одного формата в другой.
При передаче файла без разницы какой протокол(pop3,smtp,http,ftp) - он передается один в один.
Но при передаче архива по почте письмо больше(максимум) на 33%.
Лишний трафик получается не из-за протокола передачи как такового, а из-за формата хранения передаваемых данных.
И еще из раннего:
QUOTE |
Если так рассуждать, то можно сказать, что "можно смотреть ВЕБ страници по протоколам POP(Если ктонить сайт отправит), FTP(если ктонить зальёт), даже через шару))) |
В точку!
Насчет "можно смотреть ВЕБ страници по протоколам POP". Если не в курсе, то Оутлук создает письма в HTML формате(есть HTML/Text режимы) и в письме может быть что угодно - те же кнопки, галочки, списки, формы отправки заявок (конечно, возможно, порезанный, но HTML). В Бате встроенный (читай - урезаный) HTML редактор/просмотрщик. При этом Оутлук может ползать в инет через HTTP для закачки картинок по имеющимся в теле HTML письма ссылкам.
Duke
Monday, 23 January 2006, 13:42
QUOTE |
Пожалуйста, читай внимательнее сколко байт было отправлено через почтовик и через вэб. То же самое с приемом. |
я не стал морочиться и мерить как ты. Я судил по размеру отправленного из разных клиентов и с Web письма ! Вывод один ! Неважно откуда отправляеш,письмо сильно не отличается.
QUOTE |
Лично я - нет, но, например, наш директор постоянно отправляет/принимает объемные письма через GPRS. |
В любом случае, он не будет отправлять почту большим обьёмом через GPRS. Т.к это дорого очень. Дешевле купить модем. Тем более если это директор. А если он маленькие письма отправляет,то прирост и не критичен.
QUOTE |
Т.е. не важно 10 минут или 15 |
Иного выхода нет.
QUOTE |
Насколько я понял ты путаешь локальные базы данных писем с серверными базами |
Я ничего не путаю. Поставь себе любой виндовый, почтовый сервер ну или Линуховый и посмотри. (вообще у меня в обслуживании рабочий почтовый сервер в инете )
QUOTE |
Возьми, например, десять файлов в любой папке Бата или Оутлука и перемести в любую другую папку.Засеки сколько это займет времени. |
Возьми серверную плату и пару процов Xeon 3600 ну или 4х процовый,2х ядерный Оптерон.
Возьми какойнить мощный RAID контройлер, возьми штук 8 SCSI HDD 15000rpm .Собери в RAID10 или RAID5.
И у тебя будет во много раз быстрее чем через WEB.
QUOTE |
Возьми, например, десять файлов в любой папке Бата или Оутлука и перемести в любую другую папку. Засеки сколько это займет времени. Зайди на любой почтовик через вэб и сделай то же самое(например удали десяток писем в корзину). Даже если получится примерно один результат по времени - не забывай, что на этом же сервере в данный момент времени может работать куча народа. |
СМ.ВЫШЕ
QUOTE |
На сервере исползуется единая база данных |
НА СЕРВЕРЕ ИСПОЛЬЗУЮТСЯ ОТДЕЛЬНЫЕ ПАПКИ ДЛЯ РАЗНЫХ ЮЗЕРОВ И папок. и дальнейшии споры об этом бесплодны.попробуй установи любой почтовый сервер !
QUOTE |
В точку! smile.gif Насчет "можно смотреть ВЕБ страници по протоколам POP" |
Это не есть смотреть ВЕБ страници по протоколам POP. это просто получить html айл по почте 
QUOTE |
Лишний трафик получается не из-за протокола передачи как такового, |
как раз из за него. ну понимает он только так ! а вот как всё это хранится....пофиг....
EvgIg
Monday, 23 January 2006, 19:15
Duke QUOTE |
Я судил по размеру отправленного из разных клиентов и с Web письма ! |
Дак в почтовике, естесственно, они будут одного размера.
QUOTE |
Неважно откуда отправляеш,письмо сильно не отличается. |
Вот именно, что письмо! а я говорю о количестве переданных байт через почтовик и через вэб, что не есть одно и то же.
Естественно, что письма созданные в почтовике и в вэбе будут одинаковые - кодировка то одна и таже! Плюс/минус сервисная инвормация и само письмо.
Я не говорил, что письмо отправленное через вэб при получении в почтовике будет меньше занимать места.
QUOTE |
В любом случае, он не будет отправлять почту большим обьёмом через GPRS. |
Есть такие слова: Мобильность, Надо, Срочно. И два предприятия за 30 км друг от друга и головной оффис километрах эдак в 2000.
QUOTE |
А если он маленькие письма отправляет,то прирост и не критичен. |
Снова уходишь от темы.
QUOTE |
Поставь себе любой виндовый, почтовый сервер |
Скачал любой, поставил. "Office Mile Server" и "Courier Mail Server".
Первый хранит письма в одном файле для каждого юзера в общей папке, второй в отдельной папке для юзера отдельно каждое письмо.
И нет там этого:
QUOTE |
Все письма хранятся в одном файле ! Причём,ещё раз подчеркну, ВСЕ письма данной папки пользователя(например "корзина" "входящие") вместе с прекреплёнными,перекодированными файлами. |
QUOTE |
(вообще у меня в обслуживании рабочий почтовый сервер в инете ) |
На сколько пользователей? Есть ли вэб-интерфейс?
Понимаю, что здесь залез не в свою тему и опыта у меня в почтовых делах нет.
И прошу прощение, если как-то задел своим незнанием.
Вопрос то был совсем в другом.
QUOTE |
Возьми серверную плату и пару процов |
Если ты обслуживал почтовики подобные яндексу, то тогда в вопросах POP3 и SMTP серверов я просто отступаю.
Просто, как человек поверхностно знакомый с базами данных и всевозможных языков программирования для вэб, считаю что есть более эффективные способы управления почтовыми базами, чем названы выше.
QUOTE |
НА СЕРВЕРЕ ИСПОЛЬЗУЮТСЯ ОТДЕЛЬНЫЕ ПАПКИ ДЛЯ РАЗНЫХ ЮЗЕРОВ И папок. и дальнейшии споры об этом бесплодны.попробуй установи любой почтовый сервер ! |
Уже попробовал. Не на всех. 
QUOTE |
QUOTE Лишний трафик получается не из-за протокола передачи как такового, как раз из за него. |
Дак это согласие или...
Еще раз вернусь к нашим баранам.
При передаче письма с файлом (POP3, SMTP) и того же файла (HTTP) файл и письмо передаются один в один. Но в связи с тем, что письмо с файлом получается больше по размеру чем сам файл, то соответственно при передаче по почте получается больший трафик.
Насчет того, что используется один и тот же протокол... Вэб-интерфейс не использует ни POP3 ни SMTP (попробуй отрубить 25 и 110 порты - вэб-интерфейс от этого не пострадает) он передает и принимает файл в чистом виде, как если бы мы работали с HTTP архивом.
QUOTE |
я не стал морочиться и мерить как ты. |
Стоит хотябы попробовать
Duke
Tuesday, 24 January 2006, 3:17
QUOTE |
Есть такие слова: Мобильность, Надо, Срочно. |
Ну незнаю..... такие слова как Мобильность, Надо, Срочно у меня в работе есть
но GPRS тут не выход. Ибо медленно и дорого.
QUOTE |
И два предприятия за 30 км друг от друга и головной оффис километрах эдак в 2000. |
у меня 6 точек удалённых друг от друга на 5-50 км. и я долго искал решения, в том числе и GPRS и в оконцовке остановился всётки на модемах. Хотя это всё лирика и к делу отношения не имеет. Но всё же, на будущиее... GPRS мало чем пока в жизни помогает...ищи другие варианты...
И смотри в будущее...удалённое администрирование вещ хорошая...
QUOTE |
Скачал любой, поставил. "Office Mile Server" и "Courier Mail Server". Первый хранит письма в одном файле для каждого юзера в общей папке, второй в отдельной папке для юзера отдельно каждое письмо. |
Что и требовалось доказать! И никаких там "общих локальных баз данных писем" там нет !
QUOTE |
И нет там этого:
QUOTE | Все письма хранятся в одном файле ! Причём,ещё раз подчеркну, ВСЕ письма данной папки пользователя(например "корзина" "входящие") вместе с прекреплёнными,перекодированными файлами.
|
|
Ну естественно нет ! Это же не клиент ! Вернее WEB клиента нет. Это просто сервера ! там только входящая почта ! А вот если к почтовому серваку будет прикручен ВЕБ интерфейс(с папками например "корзина" "отправленные"), то и будут :
QUOTE |
Все письма хранятся в одном файле ! Причём,ещё раз подчеркну, ВСЕ письма данной папки пользователя(например "корзина" "входящие") вместе с прекреплёнными,перекодированными файлами.
|
Хотя прекреплённые файлы могут и валяться отдельно ! Но ЭТО К ДЕЛУ НЕ ОТНОСИТСЯ ! Почему ? Обьясню ниже.
QUOTE |
На сколько пользователей? Есть ли вэб-интерфейс? Понимаю, что здесь залез не в свою тему и опыта у меня в почтовых делах нет. |
Сейчас около 50 пользователей, цифра постоянно плавает. Пользуюсь postfix. Web интерфейса нет сейчас, за ненадобностью. Но для интереса прикручивал,пробовал.
QUOTE |
Если ты обслуживал почтовики подобные яндексу, то тогда в вопросах POP3 и SMTP серверов я просто отступаю. |
ну до яндекса мне далеко! но как это работает я точно представляю . Немало разных серверов ставил, испытывал. Кстати совет. Поставь MDaemon из последних. Там кстати и интерфейс есть
и гоня трафик локально, считай наздоровье ! 
QUOTE |
считаю что есть более эффективные способы управления почтовыми базами, чем названы выше |
А чем сейчас не эффективно ?
Вообщем я только вчера, выпив пару бутылок пива, допёр, что ты имееш ввиду !!!
Ты просто неправельно немного изложил свои мысли ( или я не понял
) Да и полез не в те дебри. Запутал вообщем меня в конец.
А тема такая !
Если мы заходим через ВЕБ интерфейс, приатачиваем к письму файл, а затем жмём отправить, то :
1. Файл,путём запуска скрипта, сливается с твоего компа на почт.сервак .
2. Там файл,перекодируется в нужный формат
2. Собирается письмо
3. Уже готовое "тело" письма лежит на серваке и ждёт, когда его отправят ))) Причём уже на сервере письмо увеличивается в размерах на 33 %
Если мы заходим через ВЕБ интерфейс, а затем на принятом письме жмём сохранит приатаченый файл то :
1. Сервер вытаскивает закодированный файл из тела письма.
2. Файл, раскодируется сервером в обычный формат. И принимает свой естественный размер ещё на сервере.
3. Файл,путём запуска скрипта, сливается с сервака на твой комп
Поправка: Сервер не кодирует\раскодирует файлы, а только отправляет,принимает почту,аутентифицирует пользователей ,и хранит письма. А всем остальным занимается почтовый WEB клиент. Который и предостовляет интерфейс, занимается кодированием\раскодированием, умеет работать с папками почтового сервера! Умница вообщем 
Итого:
При Приёме\Отправке файлов размером больше 1М выгоднее использовать WEB клиент. Но теряется оперативность ! И абсолютно тут не причём почтовые сервер, базы данных, и прочее, что мы тут обсуждали. Где то тут я уже сказал, что WEB интерфейс это тот же почтовый клиент, только написанный на PHP или Perl например. И это происходит только потому, что функции кодировщика на себя берёт WEB почтовый клиент.
И еслиб я сразу понял к чему ты клониш, то без замеров сказал бы, что ты прав и экономия будет при Приёме\Отправке файлов размером больше 1М.
Вообщем получилось так, что я начал думать с точки зрения админа, т.е полез, с твоих направлений, в глубь. А всё оказалось совсем просто
Хотя было очень интерестно !!!
Salagin
Tuesday, 24 January 2006, 6:59
Ну вы блин наворотили....
QUOTE |
Заливаем сайт через FTP, потом смотрим его через HTTP и получается FTP=HTTP. |
С чего бы это? Откуда знак равно? Это разные протоколы!
QUOTE |
Скачал любой, поставил. "Office Mile Server" и "Courier Mail Server". Первый хранит письма в одном файле для каждого юзера в общей папке, второй в отдельной папке для юзера отдельно каждое письмо. |
Один работает с протоколом Pop3, другой - с Imap, не приплетайте сюда локальные папки....
QUOTE |
Вэб-интерфейс не использует ни POP3 ни SMTP (попробуй отрубить 25 и 110 порты - вэб-интерфейс от этого не пострадает) |
Использует, еще как. Ты закрываешь потры локально, а вэб-интерфейс крутится на серваке, или у тебя на локальной машине крутиться почтовый сервер?
Насчет собсна сабжа -
QUOTE |
Суть формата Base64 заключается в том, чтобы вместо всех 256 вариантов байта использовать, только 64. Следовательно выходной поток будет немного длинее, но зато его можно будет без проблем передать по электронной почте. Каждым трем байтам входящего потока соответствует четыре символа в выходном потоке. |
Вот откуда прирост в 33%. Вот и все. Так что отправляете вы через вэб интерфейс, локальными почтовыми клиентами - разницы нет.
Duke
Tuesday, 24 January 2006, 7:54
QUOTE |
Ну вы блин наворотили.... |
Вот и я о том же ! Но в итоге то разобрались. Просто EvgIg изначально немного неточно свою мысль выразил ну и лишнего добавил 
QUOTE |
Использует, еще как. Ты закрываешь потры локально, а вэб-интерфейс крутится на серваке, или у тебя на локальной машине крутиться почтовый сервер? |
Он и имеет ввиду, что на серваке. И если у тебя на компе закрыты всё на исход. порты, кроме 80. ТО ты просто прикрепиш файл и отправиш почту через ИЕ например. Только через 80 порт !
QUOTE |
Вот откуда прирост в 33%. Вот и все. Так что отправляете вы через вэб интерфейс, локальными почтовыми клиентами - разницы нет. |
Это мы уже выяснили. Но вот только разница в чём.
Если мы отправим через БАТ например, то письмо перекодируется и увеличется в размере у тебя же на компе. и отправлять ты его будеш уж с приростом в 33%.
А если через WEB,то файл зальётся на почт.сервер и будет оригенального размера, а уже на сервере он закодируется и отправится.
Тоже и при отправке! т.е получаем, выигрыш 66% при отправке и приёме письма с файлом.
Но только если почтовый сервер с ВЕБ интерфейсом и находится вне локалки.
Вообщем эти 66% распределяются между почтовыми серверами.
Salagin Я тоже долго вьехать не мог ! Попробуй мыслить более по юзеровски
И внимательно прочитай то,что я выделил жирным шрифтом в прошлом посте.
Salagin
Tuesday, 24 January 2006, 8:11
Duke
Ну есть еще несколько моментов....
Считаеццо ли трафик до мейл-сервера внутренним и не оплачиваеццо? Если оплачиваеццо, то какой? Входящий/исходящий, либо тот и другой?
Duke
Tuesday, 24 January 2006, 9:27
Salagin QUOTE |
Считаеццо ли трафик до мейл-сервера внутренним и не оплачиваеццо? Если оплачиваеццо, то какой? Входящий/исходящий, либо тот и другой? |
Ну это естественно !
я писал:
CODE |
Но только если почтовый сервер с ВЕБ интерфейсом и находится вне локалки. |
Вообще это будет полезно обывателям, у которых нет локалок и своих почтовых серверов ! Да и не только. знаеш, что тебе отправили файл 50мегов на мыил.ру, и прямиком в браузер. и если ты платиш за входящий трафик (в основном так), то 16.5 - 0.5(на ВЕБ) мегов экономится....помойму нехило.
Salagin
Tuesday, 24 January 2006, 14:05
Duke
А мейл.ру пропустит письмо 50 метров?
EvgIg
Tuesday, 24 January 2006, 17:07
Ну вот, разобрались вроде!

Ура!
Duke Если правильно понял, то ты просто скачал файл через почтовик, потом через вэб и посмотрел размеры писем на серваке, кторые оказались ессно примерно равны

QUOTE |
Просто EvgIg изначально немного неточно свою мысль выразил ну и лишнего добавил |
Неточность мысли видимо и была из-за незнания работы почтовиков.
Все лишнее (разборки насчет протоколов и вплоть до серверов) - это было уже в процессе "спора". 
А мысль была изначально правильно высказана:
При передаче файлов вэб интерфейс менее расточителен чем почтовые программы.
QUOTE |
Попробуй мыслить более по юзеровски |
Ох тяжела жизнь сисадмина... Постаянно нужно мыслить на уровне пользователей, чтобы понять чего же они хотят. Так и до раздвоения личности не далеко
По себе знаю 
Ну и спасибо за все... Ежли че буду знать куда обращаться. 
Salagin
Извини, конечно...
Пожалуйста, не надо вырывать слова и фразы из контекста.
QUOTE |
Заливаем сайт через FTP, потом смотрим его через HTTP и получается FTP=HTTP. С чего бы это? Откуда знак равно? Это разные протоколы! |
Там было:
QUOTE |
Если так рассуждать, то заливаем сайт через FTP, потом смотрим его через HTTP и получается FTP=HTTP.  |
И естественно они разные. Прочитай всю дискуссию, а потом делай выводы.
QUOTE |
Ну есть еще несколько моментов.... |
Моменты они всегда есть. Можно предположить, что на линии теряется 50% трафика, есть люди у которых безлимитка, а еще... (дописать свой вариант).
Ладно об этом все.
Вот схема работы на прием/передачу.
Надеюсь, что все встанет на свои места.
CODE |
/-- почтовик (+33%)-POP3,SMTP-25,110 порты-|------------|-- почтовый----------------------\ Файл Клиент |Интернет| Сервер Письмо \-- вэб-интерфейс---- HTTP ------ 80 порт ----|-------------|- WWW -кодировка(+/-33%)/
|
Duke
Wednesday, 25 January 2006, 4:01
QUOTE |
А мейл.ру пропустит письмо 50 метров? |
Неа,не более 10
Бесплатные мыло вообще ацтой! Зато платные,как правило, пропускаю не менее 100МБ.
QUOTE |
Если правильно понял, то ты просто скачал файл через почтовик, потом через вэб и посмотрел размеры писем на серваке, кторые оказались ессно примерно равны |
Честно ? Я не пробовал даже !
Зачем мне это ? Я и так всё понял.
QUOTE |
А мысль была изначально правильно высказана: При передаче файлов вэб интерфейс менее расточителен чем почтовые программы. |
Нее ...фраза звучала не так , а вот :
QUOTE |
HTTP протокол при передаче файлов менее расточителен и, если почтовый сервер имеет вэб-интерфейс, то лучше видимо воспользоваться им. |
Попробуй тут догони что к чему
Короч ладно ! В любом случае было круто
Salagin
Wednesday, 25 January 2006, 6:30
EvgIg QUOTE |
Если так рассуждать, то заливаем сайт через FTP, потом смотрим его через HTTP и получается FTP=HTTP. |
Это ты рассуждаешь? Или ты просто пишешь - "если так рассуждать"? Выражайся точнее, тогда я не буду "делать выводы".
EvgIg
Thursday, 26 January 2006, 10:57
Salagin QUOTE |
Это ты рассуждаешь? |
Этот вывод был сделан из ваших с Duke'ом рассуждений, что вэб интерфейс - это "надстройка" над почтовым клиентом и что при передаче письма (с файлом) через вэб используется протокол SMTP.
Так можно вообще сказать, что все протоколы равны.
И там специально был поставлен смайл, выражающий мое отношение к сказанному.
QUOTE |
Выражайся точнее, тогда я не буду "делать выводы". |
Пожалуйста, сделай вывод (т.е. подтверди или опровергни) по существу вопроса. Без отклонения от темы.
Duke
QUOTE |
Я не пробовал даже ! |
Вот от сюда и произошел весь сыр бор.
Duke
Thursday, 26 January 2006, 12:50
QUOTE |
что вэб интерфейс - это "надстройка" над почтовым клиентом и что при передаче письма (с файлом) через вэб используется протокол SMTP |
Это кто и где это говорил ? Я говорил, что ВЕБ интерфейс это и есть почтовый клиент. И то что он использует SMTP никто и нигде не говорил! Читай внимательнее !!!
QUOTE |
Вот от сюда и произошел весь сыр бор. |
Сыр бор произошол не иза этого, а иза того, что кто то неправильно излажил свою мысль
Да и ещё накрутил лишнего вагон. И если тебе нужно пробовать чтобы понять, то мне это не обязательно. Я мыслю логически. Просто изначально я мыслил в абсолютно другом направлении, причём с твоей же подачи.
Salagin
Thursday, 26 January 2006, 13:19
Господа, я думаю тема себя исчерпала, не будем упрекать друг друга, говорим по существу, либо тема будет закрыта, в целях недопускания конфликта.
Duke
Friday, 27 January 2006, 2:46
Salagin Полностью согласен ! Тема исчерпана . Всем спасибо

Было весьма позновательно и интерестно !